A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© wuqiong 金牌黑马   /  2018-7-23 10:21  /  1772 人查看  /  6 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

Hdfs节点的服役与退役也就是节点的新增与删除。其中退役也就是把节点放在黑名单里,并且从白名单中删除,服役就是在白名单中新加入节点

具体配置如下:


黑白名单的组合情况
-------------------------
include        //dfs.include(白名单)
exclude        //dfs.hosts.exclude(黑名单)
include        exclude        Interpretation
No        No        不能连接
No        Yes        不能连接
Yes        No        可以连接
Yes        Yes        可以连接,将会退役状态。
节点的服役和退役(hdfs)
----------------------
[添加新节点]
1.在dfs.include文件中包含新节点名称,该文件在NameNode的本地目录。
[白名单]

[s10:/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]

                s10

s11
s12
s13(新增加的服役节点)
2.在hdfs-site.xml文件中添加属性.
<property>
<name>dfs.hosts</name>
<value>/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt</value>
</property>


3.在NomeNode上刷新节点
$>hdfs dfsadmin -refreshNodes

4.在slaves文件中添加新节点ip(主机名)
s10
s11
s12
s13        //新添加的


5.单独启动新的节点中的datanode
[s13]
$>hadoop-daemon.sh start datanode



[退役]
1.添加退役节点的ip到黑名单,不要更新白名单.
[/home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt]
s13


2.配置hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt</value>
</property>


3.刷新NameNode节点
$>hdfs dfsadmin -refreshNodes


4.查看webui,节点状态在decommisstion in progress.


5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。


6.从白名单删除节点,并刷新节点
[s10:/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]
...


$>hdfs dfsadmin -refreshNodes


7.从slaves文件中删除退役节点


节点的服役和退役(yarn)
----------------------
[添加新节点]
[白名单]

[s10:/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt]

                s10

s11
s12
s13(新增加的服役节点)
2.在yarn-site.xml文件中添加属性.
<property>
<name>yarn.resourcemanager.nodes.include-path</name>
<value>/home/zpx/soft/hadoop-2.7.3/etc/dfs.include.txt</value>
</property>


3.在NameNode上刷新节点
$>yarn rmadmin -refreshNodes


4.在slaves文件中添加新节点ip(主机名)

                s10

s11
s12
s13(新增加的服役节点)


5.单独启动新的节点中的nodemananger
[s13]
$>yarn-daemon.sh start nodemananger



[退役]

1.添加退役节点的ip到黑名单,不要更新白名单.

[/home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt]
s13


2.配置yarn-site.xml
<property>
<name>yarn.resourcemanager.nodes.exclude-path</name>
<value>/home/zpx/soft/hadoop-2.7.3/etc/dfs.hosts.exclude.txt</value>
</property>


3.刷新rm节点
$>yarn rmadmin -refreshNodes


4.查看webui,节点状态在decommisstion in progress.


5.当所有的要退役的节点都报告为Decommissioned,数据转移工作已经完成。


6.从白名单删除节点,并刷新节点


$>yarn rmadmin -refreshNodes


7.从slaves文件中删除退役节点

注意:slaves下配置的节点信息仅仅是在服务器集群启动的时候向里面配置的节点发送启动数据节点的命令,但是决定数据节点能不能连到Hadoop集群并不是slaves,而是由dfs.hosts属性指定的,存在于名称节点的本地系统中(在hdfs-site.xml中配置)。指定了真正要连接到集群中的节点。



6 个回复

倒序浏览
回复 使用道具 举报
回复 使用道具 举报
奈斯,优秀
回复 使用道具 举报
回复 使用道具 举报
回复 使用道具 举报
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马