Loading... # hadoop扩充服役新节点 ## **1、需求** 随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。 ## **2、环境准备** ### （1）克隆获取新设备 在hadoop13主机上再克隆一台hadoop14主机`(如果存在备用的，可以不用处理hadoop13)` a、先关闭`hadoop13`虚拟机. b、由`hadoop13`创建完整的克隆,虚拟机名称为`hadoop14` c、`hadoop13`克隆完成后，将`hadoop13`虚拟机启动 d、确保hadoop11、hadoop12和hadoop13全部启动 e、在`hadoop11`上先停止dfs后再重启 ```shell [root@hadoop11 ~]# stop-dfs.sh [root@hadoop11 ~]# start-dfs.sh ``` f、在`hadoop12`上先停止yarn，在启动yarn ```shell [hadoop@hadoop12 ~]# stop-yarn.sh [hadoop@hadoop12 ~]# start-yarn.sh ``` ### （2）修改hadoop14主机名称和IP地址后重启 a、vmware中启动hadoop14. b、使用`root`账号登陆,修改主机名和ip地址 ```shell [root@hadoop14 ~]# vim /etc/hostname hadoop14 [root@hadoop14 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 # 以下为修改后不同的内容 IPADDR = 192.168.10.14 ``` c、修改完成后重启`hadoop14` ```shell [root@hadoop14 ~]# reboot ``` ### (3) windows中修改hosts 打开`C:\Windows\System32\drivers\etc`文件夹中`hosts`文件`(建议使用notepad++打开)`<img src="imgs/image-20231021192124817.png" alt="image-20231021192124817" style="zoom:80%;" style=""> 新增以下内容： ``` 192.168.10.14 hadoop14 ``` > hosts文件如果无法修改或者修改无效，按照以下操作： > > 1）在桌面创建`新建文本文档.txt`，打开后，内部添加： > > ``` > 192.168.10.11 hadoop11 > 192.168.10.12 hadoop12 > 192.168.10.13 hadoop13 > 192.168.10.14 hadoop14 > ``` > > 2）修改`新建文本文档.txt`为`hosts` > > 3） 将桌面上的`hosts`文件剪切到C:\Windows\System32\drivers\etc中，覆盖原有的hosts文件。 > > 肯定会提示`替换目标中的文件`，都选择`是` ### (4) xshell登陆hadoop14，账号为hadoop ```shell Last login: Thu Oct 12 11:15:16 2023 from 192.168.10.1 [hadoop@hadoop14 ~]$ ``` ### (5) 删除hadoop14中留存的文件 删除hadoop14中原来HDFS文件系统留存的文件（/opt/module/hadoop-3.1.3/data和logs） ```shell [hadoop@hadoop14 ~]# rm -rf /opt/module/hadoop-3.1.3/logs [hadoop@hadoop14 ~]# rm -rf /opt/module/hadoop-3.1.3/data ``` >因为没有再workers中加入hadoop14，所有在hadoop11启动hadoop14无效 ## **3、服役新节点具体步骤** ### (1) 启动hadoop14中hdfs和yarn a、单点启动hadoop14中DataNode，即可关联到集群 ```shell [hadoop@hadoop14 ~]# hdfs --daemon start datanode WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating. [hadoop@hadoop14 hadoop-3.1.3]# jps 1787 DataNode 1805 Jps ``` b、访问HDFS监控地址：`http://hadoop11:9870/` 选择导航中`Datanodes`后向下滚动查看Node列表  c、单点启动hadoop14中NodeManager，即可关联到集群 ```shell [hadoop@hadoop14 ~]# yarn --daemon start nodemanager [hadoop@hadoop14 ~]# jps 1896 NodeManager 1787 DataNode 1933 Jps ``` d、访问地址：`http://hadoop12:8088`,检查Active Nodes ### (2) 在hadoop14上测试 **a、在hadoop14上,测试上传文件**，执行下面命令 ```shell [hadoop@hadoop14 ~]# hadoop fs -put /opt/module/hadoop-3.1.3/LICENSE.txt / 2023-08-20 10:14:39,243 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false [root@hadoop105 hadoop-3.1.3]# ``` **b、打开在线HDFS文件系统**：访问http://hadoop11:9870/，选择Utilities ->Browse the file system,会看到刚才上传的LICENSE.txt  <img src="imgs/image-20231021210757656.png" alt="image-20231021210757656" style="zoom:80%;" style=""> ## 4、添加集启/停 ### (1) 在hadoop11中workers中添加hadoop14 ```shell [root@hadoop11 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/workers hadoop11 hadoop12 hadoop13 hadoop14 ``` ### (2) 将workers文件同步其他服务器 不修改my_rsync.sh脚本，可以直接使用。即使不同步到hadoop14，也不会影响后期操作。 ```shell [hadoop@hadoop11 ~]$ my_rsync /opt/module/hadoop-3.1.3/etc/hadoop/ ==========hadoop12================ sending incremental file list hadoop/ hadoop/workers sent 984 bytes received 46 bytes 2,060.00 bytes/sec total size is 107,134 speedup is 104.41 ==========hadoop13================ sending incremental file list hadoop/ hadoop/workers ``` ### (3) ssh添加hadoop14无密登陆 a、`hadoop11`添加无密登陆hadoop14 ```shell [hadoop@hadoop11 ~]# ssh-copy-id hadoop14 ``` b、`hadoop12`添加无密登陆hadoop14 ```shell [hadoop@hadoop12 ~]# ssh-copy-id hadoop14 ``` ### (4) 整体停止HDFS a、在 `hadoop11`上操作整体停止HDFS ```shell [hadoop@hadoop11 ~]$ stop-dfs.sh [hadoop@hadoop11 ~]$ jps 1792 NodeManager 3699 Jps ``` b、检查`hadoop14`上DataNode是否停止 ```shell [hadoop@hadoop14 hadoop-3.1.3]$ jps 1929 Jps 1567 NodeManager ``` ### (5) 整体停止yarn a、在` hadoop12`上操作整体停止yarn ```shell [hadoop@hadoop12 ~]$ stop-yarn.sh Stopping nodemanagers Stopping resourcemanager [hadoop@hadoop12 ~]$ jps 3211 Jps ``` b、检查`hadoop14`上NodeManager是否停止 ```shell [hadoop@hadoop14 hadoop-3.1.3]$ jps 1995 Jps ``` ### (6) 练习启动集群 要求： 1、 启动集群所有hdfs和yarn 2、通过jps检查每台hadoop服务器进程是否全部启动 3、浏览器访问HDFS监控网站：http://hadoop11:9870,检查所有4台DataNode是否都链接成功。 4 、浏览yarn监控网站：http://hadoop12:8088，检查Active Nodes是否为4个 最后修改：2024 年 01 月 24 日 © 允许规范转载 打赏 赞赏作者 赞 咱们谁跟谁，用不着～