这个安装过程经历曲折,遇到了许多坑。 环境:Windows 7 Vm 我用了三台虚拟机 centos 192.168.188.128 hadoop1(作为主服务器) 192.168.188.129 hadoop2 192.168.188.130 hadoop3 如果你们的安装环境好了,接下来我们就开始安装hadoop之旅吧! 1.配置jdk jdk的配置这里不做讲解,百度太多了。 2.下载hadoop 官网下载hadoop,我用的是3.0.3的版本。 3.我的hadoop 安装目录是 /home/user/hadoop 解压出来。 4.修改hosts vi /etc/hosts 输入 192.168.188.128 hadoop1 192.168.188.129 hadoop2 192.168.188.130 hadoop3 保存退出 三台机器都需要。 配置好了之后 可以试试 ping hadoop2 试试 ping hadoop3 。各个机器都可以试试 是否配置好了。 5.配置ssh免密登录。 以上都是准备工作,准备工作做好了之后。 分别在三台机器上运行以下 ssh-keygen -t rsa 一路回车(ENTER)到底 然后在主服务器上生成的id_rsa.pub 发送到从服务器 ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(换成你对应的IP) -p (端口) 两台从服务器都要.如果遇到了需要输入密码,输入密码即可。 完成后, 在主服务器上试试 ssh hadoop2 ssh hadoop3,如果不需要密码就能登录说明配置成功. 注意:配置ssh我遇到的坑:出现了 WARING:REMOTE HOST IDENFIATE HAS CHANGED 这是因为我之前配置的时候 将公钥已经添加到了ssh.pub里面。在ssh.pub里面找到出错对应的IP,将ip和公钥一并删除。然后在运行ssh-copy-id -i ~/.ssh/id_rsa.pub root@IP(换成你对应的IP) -p (端口) 就好了。 6.配置各种文件 进入到 hadoop里面的etc文件夹下 会看到一个hadoop的文件。然后进去 (1)配置core-site.xml fs.defaultFS hdfs://hadoop1:9000
hadoop.tmp.dir /home/usr/hadoop/hadoopwork
下面的那个tmp.dir是临时工作目录,建议最好自己设定。如果是系统默认的,linux会在每次开机之前清空。 所以最好自己设定一个。 (2)配置hdfs-site.xml dfs.replication 2
dfs.namenode.secondary.http-address hadoop3:50090
(3)配置mapred-site.xml mapreduce.framework.name yarn
mapreduce.jobhistory.address hadoop1:10020
mapreduce.jobhistory.webapp.address hadoop1:19888
(4)配置yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle
yarn.resourcemanager.hostname hadoop2
yarn.log-aggregation-enable true
yarn.log-aggregation.retain-seconds 600000
(5)修改hadoop-env.sh 修改 java_home 改为你的jdk安装目录 Java_home在27行 (6)添加slaves文件 在etc/hadoop下面 没有slaves文件需要自己去建立 vi slaves 添加如下内容 hadoop1 hadoop2 hadoop3 (7)进入 hadoop 下面的sbin修改 start-yarn.sh文件 在头部加入 YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root 同样的在stop-yarn.shyexu也需要加入 (8)修改start-dfs.sh和stop-dfs.sh 同样在头部加入 HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root 7.启动 以上就算配置完成。接下来就是启动 ./start-all.sh启动 ./stop-all.sh 停止 至此,hadoop的安装环境完成。以上是根据我的hu回忆写成的,可能多多少少存在着瑕疵,欢迎各位指出。
作者:传智播客云计算大数据培训学院 首发:http://cloud.itcast.cn/
|