我使用的环境是虚拟机安装CENOS7,hadoop 3.0.0。 这些安装包下载好过后。去建一个目录来解压hadoop。 前提条件: 1、安装jdk,配置jdk(Linux下的配置自己查下资料) 2、安装ssh:yum install ssh(先查看安装没,有就不安装了) 3、安装rsync: yum install ssh (先查看安装没,有就不安装了) 前面这些准备好了过后,就开始配置hadoop:hadoop目录我就取个名字方便写HADOOP_PATH(这个就是你自己的hadoop目录) 1、先按照这个命令执行下:
$ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+' $ cat output/*备注:执行完了过后,就是把一些xml文件拷贝到input目录中去了,output中呢有两个文件,就是截图这两个。(可能不执行这些命令也没问题,我没去试,欢迎大家试试哈)。
2、修改HADOOP_PATH/etc/hadoop/core-site.xml,如图:
备注:hadoop.tmp.dir这个目录最好自己建一个。 3、修改HADOOP_PATH/etc/hadoop/hdfs-site.xml
备注:a.中间有个dir也自己建一个,这样重启服务后里面的数据就不会丢失。否则大意的话容易报错,一般就是那个namenode的clusterID与datanode的clusterID不一致。 b.如果关了防火墙就不用管了,没关的话就把50070加入。这个命令的话CENTOS7如下:firewall-cmd --zone=public --add-port=50070/tcp --permanent #永久加入 4、修改HADOOP_PATH/etc/hadoop/yarn-site.xml
5、修改HADOOP_PATH/etc/hadoop/mapred-site.xml
6、ssh免密登录: 按照下面的命令执行 $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys然后再执行 $ ssh localhost 看能登陆不。 7、然后格式化 再配置一下Java路径: 修改HADOOP_PATH/etc/hadoop/hadoop-env.sh(默认是注释了,放开注释把jdk安装目录写好即可)
再进行格式化 $ HADOOP_PATH/bin/hdfs namenode -format 8、格式化如果没报错的话,就执行命令: $ HADOOP_PATH/sbin/start-all.sh,再用jps命令查看结果
如图所示,都有的话就表示启动成功了。 9、然后输入:虚拟机ip/50070去访问(最好是把虚拟机ip固定),访问成功如下图:
【转载】原文地址:https://blog.csdn.net/ch_samuel/article/details/80943858
|