hadoop扩充服役新节点

1、需求

​ 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

2、环境准备

（1）克隆获取新设备

​ 在hadoop13主机上再克隆一台hadoop14主机(如果存在备用的，可以不用处理hadoop13)

​ a、先关闭hadoop13虚拟机.

​ b、由hadoop13创建完整的克隆,虚拟机名称为hadoop14

​ c、hadoop13克隆完成后，将hadoop13虚拟机启动

​ d、确保hadoop11、hadoop12和hadoop13全部启动

​ e、在hadoop11上先停止dfs后再重启

[root@hadoop11 ~]# stop-dfs.sh
[root@hadoop11 ~]# start-dfs.sh

​ f、在hadoop12上先停止yarn，在启动yarn

[hadoop@hadoop12 ~]# stop-yarn.sh
[hadoop@hadoop12 ~]# start-yarn.sh

（2）修改hadoop14主机名称和IP地址后重启

​ a、vmware中启动hadoop14.

​ b、使用root账号登陆,修改主机名和ip地址

[root@hadoop14 ~]# vim /etc/hostname
hadoop14
[root@hadoop14 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 以下为修改后不同的内容
IPADDR = 192.168.10.14

​ c、修改完成后重启hadoop14

[root@hadoop14 ~]# reboot

(3) windows中修改hosts

打开C:\Windows\System32\drivers\etc文件夹中hosts文件(建议使用notepad++打开)

新增以下内容：

192.168.10.14 hadoop14

hosts文件如果无法修改或者修改无效，按照以下操作：

1）在桌面创建新建文本文档.txt，打开后，内部添加：

192.168.10.11 hadoop11
192.168.10.12 hadoop12
192.168.10.13 hadoop13
192.168.10.14 hadoop14

2）修改新建文本文档.txt为hosts

3） 将桌面上的hosts文件剪切到C:\Windows\System32\drivers\etc中，覆盖原有的hosts文件。

肯定会提示替换目标中的文件，都选择是

(4) xshell登陆hadoop14，账号为hadoop

Last login: Thu Oct 12 11:15:16 2023 from 192.168.10.1
[hadoop@hadoop14 ~]$ 

(5) 删除hadoop14中留存的文件

删除hadoop14中原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和logs）

[hadoop@hadoop14 ~]# rm -rf /opt/module/hadoop-3.1.3/logs
[hadoop@hadoop14 ~]# rm -rf /opt/module/hadoop-3.1.3/data

因为没有再workers中加入hadoop14，所有在hadoop11启动hadoop14无效

3、服役新节点具体步骤

(1) 启动hadoop14中hdfs和yarn

a、单点启动hadoop14中DataNode，即可关联到集群

[hadoop@hadoop14 ~]# hdfs --daemon start datanode
WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
[hadoop@hadoop14 hadoop-3.1.3]# jps
1787 DataNode
1805 Jps

b、访问HDFS监控地址：http://hadoop11:9870/ 选择导航中Datanodes后向下滚动查看Node列表

c、单点启动hadoop14中NodeManager，即可关联到集群

[hadoop@hadoop14 ~]# yarn --daemon start nodemanager
[hadoop@hadoop14 ~]# jps
1896 NodeManager
1787 DataNode
1933 Jps

d、访问地址：http://hadoop12:8088,检查Active Nodes

(2) 在hadoop14上测试

a、在hadoop14上,测试上传文件，执行下面命令

[hadoop@hadoop14 ~]# hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt /
2023-08-20 10:14:39,243 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
[root@hadoop105 hadoop-3.1.3]# 

b、打开在线HDFS文件系统：访问http://hadoop11:9870/，选择Utilities ->Browse the file system,会看到刚才上传的LICENSE.txt

4、添加集启/停

(1) 在hadoop11中workers中添加hadoop14

[root@hadoop11 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
hadoop11
hadoop12
hadoop13
hadoop14

(2) 将workers文件同步其他服务器

不修改my_rsync.sh脚本，可以直接使用。即使不同步到hadoop14，也不会影响后期操作。

[hadoop@hadoop11 ~]$ my_rsync /opt/module/hadoop-3.1.3/etc/hadoop/
==========hadoop12================
sending incremental file list
hadoop/
hadoop/workers

sent 984 bytes  received 46 bytes  2,060.00 bytes/sec
total size is 107,134  speedup is 104.41
==========hadoop13================
sending incremental file list
hadoop/
hadoop/workers

(3) ssh添加hadoop14无密登陆

​ a、hadoop11添加无密登陆hadoop14

[hadoop@hadoop11 ~]# ssh-copy-id hadoop14

​ b、hadoop12添加无密登陆hadoop14

[hadoop@hadoop12 ~]# ssh-copy-id hadoop14

(4) 整体停止HDFS

a、在 hadoop11上操作整体停止HDFS

[hadoop@hadoop11 ~]$ stop-dfs.sh
[hadoop@hadoop11 ~]$ jps
1792 NodeManager
3699 Jps

b、检查hadoop14上DataNode是否停止

[hadoop@hadoop14 hadoop-3.1.3]$ jps
1929 Jps
1567 NodeManager

(5) 整体停止yarn

a、在 hadoop12上操作整体停止yarn

[hadoop@hadoop12 ~]$ stop-yarn.sh
Stopping nodemanagers
Stopping resourcemanager
[hadoop@hadoop12 ~]$ jps
3211 Jps

b、检查hadoop14上NodeManager是否停止

[hadoop@hadoop14 hadoop-3.1.3]$ jps
1995 Jps

(6) 练习启动集群

要求：

1、 启动集群所有hdfs和yarn

2、通过jps检查每台hadoop服务器进程是否全部启动

3、浏览器访问HDFS监控网站：http://hadoop11:9870,检查所有4台DataNode是否都链接成功。

4 、浏览yarn监控网站：http://hadoop12:8088，检查Active Nodes是否为4个