黑马程序员技术交流社区

标题: 【上海校区】XSHELL5运行HADOOP集群 [打印本页]

作者: 梦缠绕的时候    时间: 2019-11-5 13:40
标题: 【上海校区】XSHELL5运行HADOOP集群
[size=0.9em]XSHELL5运行HADOOP集群Posted on 2019-10-30 20:18 不要扒拉我 阅读(20) 评论(0) 编辑 [url=]收藏[/url]
[size=1em]---恢复内容开始---
[size=1em]1.CentOS主机配置
[size=1em]在配置Hadoop过程中,防火墙必须优先关闭SELinux,否则将影响后续Hadoop配置与使用,命令如下:
[size=1em]# 查看 “系统防火墙” 状态命令
[size=1em]systemctl status firewalld.service
[size=1em]# 关闭 “系统防火墙” 命令
[size=1em]systemctl stop firewalld.service
[size=1em]# 关闭 “系统防火墙” 自启动命令
[size=1em]systemctl disable firewalld.service
[size=1em]# 关闭 “SELinux”命令
[size=1em]setenforce 0
[size=1em]# 关闭“SELinux”系统系统自启动服务
[size=1em]vi /etc/selinux/config
[size=1em]# 修改内容
[size=1em]SELINUX=disabled
[size=1em](1)执行图结果如下:
[size=1em]
[size=1em](2)上图的防火墙处于运行状态,现在关闭防火墙,如下图:
[size=1em]
[size=1em](3)关闭防火墙后,因为重启服务器防火墙会自动重启,关闭系统自启动命令如下:
[size=1em]# systemctl  firewalld.service


[size=1em]2.设置主机名称
[size=1em](1)使用vi编译器编译 #vi /etc/sysconfig/network,修改其内容:
[size=1em]# 修改为:
[size=1em]NETWORKING=yes
[size=1em]HOSTNAME=master
[size=1em](2)修改主机名,进入#vi /etc/hostname里修改内容:
[size=1em]# 修改为: master

[size=1em]3.配置hosts文件
[size=1em](1)编译#vi /etc/hosts添加内容,不用去掉原先内容:
[size=1em]#添加内容
[size=1em]192.168.56.110 master
[size=1em](2)192.168.56.110为IP地址。


[size=1em]4.验证配置结果

[size=1em](1)重启后主机为master。
[size=1em]# 重启系统命令
[size=1em]reboot now
[size=1em](2)在终端输入命令 #ping master -c 5查看是否成功。
[size=1em]


[size=1em]5.JavaJDK环境配置
[size=1em](1)上传JDK文件,使用xftp将jdk传到/opt目录下,如图:
[size=1em]

[size=1em](2)解压缩JDK安装包
[size=1em] 进入/opt 目录并解 压 缩 文 件 #tar -zxvf /opt/jdk-8u162-linux-x64.tar.gz

[size=1em](3)移动 javaJDK 目录至/usr/local/java 中 ,其环境变量地址与Java目录一致
[size=1em]#mv /opt/jdk1.8.0_162 /usr/local/java

[size=1em](4)配置环境变量
[size=1em]编辑 .bash_profile 文件 :
[size=1em]#vi /root/.bash_profile
[size=1em]添加内容 :
[size=1em]export  JAVA_HOME=/usr/local/java
[size=1em]export  PATH=$JAVA_HOME/bin:$PATH
[size=1em] 使环境变量生效:
[size=1em]#source /root/.bash_profile

[size=1em](5)验证JDK配置是否成功,使用# java -version,结果如下:
[size=1em]


[size=1em]6.Hadoop安装与配置

[size=1em](1)使用xftp将Hadoop软件包上传至/opt下,如图:
[size=1em]

[size=1em](2)解压Hadoop
[size=1em]上传完成后,解压缩文件 #tar -zxvf /opt/hadoop-2.7.5.tar.gz
[size=1em]修改 hadoop-2.7.6-src 目录名称为 hadoop
[size=1em]#mv /opt/hadoop-2.7.5 /opt/hadoo

[size=1em](3)配置环境变量
[size=1em] 编辑 .bash_profile 文件:
[size=1em]#vi /root/.bash_profile

添加内容 :
[size=1em]export HADOOP_HOME=/opt/hadoop
[size=1em]export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

[size=1em](4)添加完成后,输入命令 #source /root/.bash_profile 使环境变量生效。
[size=1em]


[size=1em]7.配置其文件
[size=1em](1)配置core-site.xml 文件
[size=1em]#vi /opt/hadoop/etc/hadoop/core-site.xml
[size=1em]配置其内容:
[size=1em]在<configuration>补充区域</configuration>中间补充
[size=1em]补充内容,如下
[size=1em]<property>   
[size=1em]  <name>fs.defaultFS</name>   
[size=1em]  <value>hdfs://master:9000</value>
[size=1em]</property>
[size=1em]<property>   
[size=1em]  <name>hadoop.tmp.dir</name>   
[size=1em]  <value>/opt/hadoop/hadoopdata</value>
[size=1em]</property>

[size=1em](2)配置文件系统hdfs-site.xml
[size=1em]#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml
配置内容如下 :
[size=1em]<property>  
[size=1em]  <name>dfs.replication</name>     
[size=1em]  <value>1</value>
[size=1em]</property>

[size=1em](3)配置资源管理器yarn-site.xml
[size=1em]#vi /opt/hadoop/etc/hadoop/yarn-site.xml
[size=1em]补充内容:
[size=1em]<property>   
  <name>yarn.nodemanager.aux-services</name>   
[size=1em]  <value>mapreduce_shuffle</value>
[size=1em]</property>
[size=1em]<property>
[size=1em]  <name>yarn.resourcemanager.address</name>   
[size=1em]  <value>master:18040</value>
[size=1em]</property>
[size=1em]<property>  
[size=1em]  <name>yarn.resourcemanager.scheduler.address</name>   
[size=1em]  <value>master:18030</value>
[size=1em]</property>
[size=1em]<property>   
[size=1em]  <name>yarn.resourcemanager.resource-tracker.address</name>     
[size=1em]  <value>master:18025</value>
[size=1em]</property>
[size=1em]<property>
[size=1em]  <name>yarn.resourcemanager.admin.address</name>     
[size=1em]  <value>master:18141</value>
[size=1em]</property>
[size=1em]<property>   
[size=1em]  <name>yarn.resourcemanager.webapp.address</name>     
[size=1em]  <value>master:18088</value>
[size=1em]</property>

[size=1em](4)配置添加计算框架mapred-site.xml
[size=1em]复制文件
[size=1em]#cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapredsite.xml
[size=1em]编辑文件
[size=1em]#vi /opt/hadoop/etc/hadoop/mapred-site.xml
[size=1em]配置内容
[size=1em]<property>
[size=1em]  <name>mapreduce.framework.name</name>   
[size=1em]  <value>yarn</value>
[size=1em]</property>

[size=1em](5)创建数据文件
[size=1em]创建文件
[size=1em]#mkdir /opt/hadoop/hadoopdata
[size=1em]格式化文件系统
[size=1em]#hadoop namenode -format

[size=1em]8.设置SSH网络
[size=1em](1)ssh-keygen免密登陆设置,输入命令键回车三次
[size=1em]生成免登入密匙 #ssh-keygen -t rsa
[size=1em]

[size=1em](2)为 master 发送免登入密匙 #ssh-copy-id -i ~/.ssh/id_rsa root@192.168.56.110
[size=1em]注意:输入 yes 回车 yes
[size=1em]输入密码 ,密码为xshell密码。
[size=1em]

[size=1em](3)ssh 连接 master
[size=1em]#ssh master
[size=1em](4)直接输入 JavaJDK 物理路径
[size=1em]配置文件
[size=1em]# vi /opt/hadoop/etc/hadoop/hadoop-env.sh     
[size=1em]内容为 JAVA 路径 :
[size=1em]export JAVA_HOME=/usr/local/java


[size=1em]9.启动Hadoop
[size=1em](1)开启命令 #start-all.sh
[size=1em]停止命令 #stop-all.sh

[size=1em](2)验证配置是否成功
[size=1em] 查看 Hadoop 进程
[size=1em]# jps
[size=1em]

[size=1em](3)计算PI,看Hadoop是否运行的起
[size=1em]Hadoop 运行 jar 包命令
[size=1em]# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.j ar pi 10 10
[size=1em]


[size=1em]10.多节点配置Hadoop
[size=1em](1) 编辑文件
[size=1em]#vi /opt/hadoop/etc/hadoop/slaves
[size=1em] 内容 :
[size=1em]slave1
[size=1em]slave2
[size=1em](2)配置hosts主机文件
[size=1em]#vi /etc/hosts
[size=1em]添加内容
[size=1em]192.168.56.111 slave1
[size=1em]192.168.56.112 slave2

[size=1em](3)虚拟机克隆IP地址
[size=1em]


[size=1em](4)修改克隆主机名
[size=1em]#slave1
[size=1em]NETWORKING=yes
[size=1em]HOSTNAME=slave1

#slave2
[size=1em]NETWORKING=yes
[size=1em]HOSTNAME=slave2

配置文件
[size=1em]#/etc/sysconfig/hostname
[size=1em]修改文件 slave1   

修改文件 slave2

[size=1em](5)配置三台机子免密登陆
[size=1em]ssh-copy-id -i ~/.ssh/id_rsa root@master
[size=1em]ssh-copy-id -i ~/.ssh/id_rsa root@slave1
[size=1em]ssh-copy-id -i ~/.ssh/id_rsa root@slave2




作者: 梦缠绕的时候    时间: 2019-11-5 13:40
有任何问题欢迎在评论区留言
作者: 梦缠绕的时候    时间: 2019-11-5 13:40
或者添加学姐微信
DKA-2018




欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2