type
status
date
slug
summary
tags
category
icon
password
AI 摘要
这里写文章的前言：
本文章使用阿里云服务器安装Hadoop基础教程
对于学生来说，阿里云的高校计划可以领取300元的优惠卷是对于我们学习hadoop有很大帮助
阿里云高校计划链接入口
推荐一个开发工具,主要对新手不是很熟悉使用vim的用户
Xterminal
软件 | 版本 | 下载链接 |
Hadoop | 3.3.4 | |
Flume | 1.10.1 | |
Zookeeper | 3.8.3 | |
JDK | 1.8 | |
Kafka | 2.12 | |
MySQL | 8.0.3 | |
Hive | 3.1.3 | |
Flink | 1.17.1 | |
HBase | 2.4.11 | |
Spark | 3.1.3 | |
Spark-without-hadoop | 3.1.3 | |
datax | ㅤ | |
Maxwell | ㅤ |
服务器规划
hadoop102 | hadoop103 | hadoop104 |
NameNode | ResourceManage | SecondaryNaneNode |
DataNode | DataNode | DataNode |
NodeManager | NodeManager | NodeManager |
HistoryServer | - | - |
jdk | jdk | jdk |
zk | zk | zk |
kafka | kafka | kafka |
MySQL | - | - |
Flume | - | - |
Hive | - | - |
flink(JobManager) | flink | flink |
TaskManager | TaskManager | TaskManager |
HBase | HBase | HBase |
Spark | ㅤ | ㅤ |
阿里云购买服务器配置安全组搭建环境服务器登录配置内网ip互联SSH互联jdk1.8上传jdk,hadoop,zookeeper,kafka,flumeHadoop配置启动与关闭Zookeeper配置分发脚本kafka配置分发脚本Flume配置MySQL安装MySQL检查登录Hive配置配置元数据库配置客户端脚本HBase配置分发和启动高可用Flink配置分发Yarn运行模式Spark(Yarn)配置启动和测试Spark on Hive配置测试Maxwell启用MySQL Binlog脚本datax📎 参考文章
阿里云购买服务器
配置安全组
可以选择手动添加，但太麻烦了有多直接选择导入
搭建环境
服务器登录
分别记住这三个公网ip
打开软件
测试
配置内网ip互联
三台机器都需要
一个一个操作太麻烦了写一个脚本
在写脚本之前我们想要创建一个用户来管理我们后续的hadoop全家桶安装
于是创建一个hadoop用户
切换到hadoop用户写脚本
请注意
这三个为自己的主机
给文件权限
分发内容
SSH互联
接下来就是互联按照往常的安装来说
分别是 root 和 hadoop 用户需要进行互联
这个软件有个好处就是可以批量操作
开始互联吧！
root 和 hadoop 用户都要操作一遍
jdk1.8
后续的安装都推荐使用hadoop用户且用hadoop102进行操作
先用root给hadoop权限
上传目录
安装目录
上传jdk,hadoop,zookeeper,kafka,flume
耐心等一会
现在上传完成开始进行jdk安装
修改名字(默认都在module操作，后续不提示)
环境变量
验证
分发
先不着急查看其他两台，profile还没有分发，等hadoop一起
Hadoop
解压
改名
配置
推荐使用软件自带的编辑器 xedit命令
环境变量
分发环境
分发hadoop
检查java
检查hadoop
格式化
启动脚本
jps查看脚本
启动与关闭
Zookeeper
解压修改名字
配置
配置服务器编号
注意编号是2
修改配置文件
或者替换配置文件内容
分发
修改hadoop103,hadoop104的myid配置
脚本
kafka
解压和修改名
配置
环境变量
记得刷新
分发
修改hadoop103/104的配置文件
脚本
请记住kakfa是在zookeeper启动下才能成功启动
Flume
解压和修改名
配置
分发
MySQL
MySQL下载地址(推荐)
或者用上面的
解压下载的
上传MySQL和hive
安装MySQL
root 密码是 000000
检查登录
安装成功
Hive
解压和修改名
配置
hive-env.sh
hive-site.xml
环境变量
解决日志Jar包冲突
将MySQL的JDBC驱动拷贝到Hive的lib目录
配置元数据库
mysql操作
hive操作
修改元数据库字符集
启动
配置客户端
beeline
DG配置
脚本
这个脚本只用于启动metastor和hiveserver2以及杀死hive
hi.sh
HBase
安装前确保Hadoop集群和zk启动
解压和修改名
配置
环境变量配置
记得分发和刷新一下
hbase-env.sh
hbase-site.xml
regionservers
解决HBase和Hadoop的log4j兼容性问题
分发和启动
成功图,端口号16010
如果说找不到jdk
自动在hbase-env.sh添加jdk路径
高可用
Flink
解压和修改名
配置
flink-conf.yaml
workers
masters
分发
hadoop103/104
修改配置flink-conf.yaml
Yarn运行模式
环境变量添加
启动截图
如果打不开，不要慌，先检查阿里云安全组是否打开了8081端口
Spark(Yarn)
解压和修改名
配置
hadoop的yarn-site.xml
记得分发
Spark配置
spark-env.sh
spark-defaults.conf
启动和测试
启动历史服务器
测试
查看
Spark on Hive
解压和修改名
配置
spark-env.sh
环境变量
记得刷新变量
hive创建spark文件
HDFS创建路径，用于存储历史日志和Spark的jar包
修改hive的hive-site.xml
添加
Yarn环境配置
测试
第一次很慢需要调用资源，但第二次就很快了。
Maxwell
解压和修改名
启用MySQL Binlog
增加
重启MySQL服务
在MySQL中创建数据库
配置Maxwell
脚本
datax
解压和修改名
自我测试检查
📎 参考文章
- 一些引用
- 引用文章
有关Notion安装或者使用上的问题，欢迎您在底部评论区留言，一起交流~
- Author:YXH1024
- URL:http://bk.yxh666.top/article/21e25538-db3f-4a2a-b277-181113fa1039
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!