A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 等个馒头 初级黑马   /  2019-9-28 13:46  /  1209 人查看  /  2 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

本帖最后由 等个馒头 于 2019-9-28 19:57 编辑

Hadoop作为一种用于分布式集成数据库的工具,也适应如今大数据处理的·发展需求,作为一个刚刚接触Hadoop的新人,分享一点搭建集群的一些小心得:
1.首先是安装虚拟机,这里比较重要的是关于网络的配置,分为桥接和共享,两种方式,这里我推荐使用共享的方式搭建网络,因为路由器可以提供的IP地址有限,
使用共享方法则不用担心这种情况,虚拟机可以模拟路由分配,但是配置网路要保证处在同一个网段,如192.168.100.100,192.168.100.101,192.168.100.102,
详细情况推荐一篇博客https://blog.csdn.net/codercwm/article/details/51822856,

2.第二步配置相应的环境,如JDK,MYSQL,HADOOP,这些在搭建的时候,最好建立一个专门放置的文件夹,方便查找和使用。
软件的安装步一般为 导入jar包-->解压-->配置文件-->运行.测试,返现问题时先确认相关配置和软件是否全部打开,
也可以查看hadoo中的conf/log来查看问题的原因.看不明白可以将问题复制到百度,查询相关原因.百度能解决大部分的问题.
可以选择建立环境变量,path路径,这样可有方便使用,

配置环境变量语句 vim  /etc/profile
export HADOOP_HOME=/export/servers/hadoop-2.1.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

建立完成后可以在任意文件使用  名称 -version  查看版本来确认自己有没有安装完成 ,如 java -version。
在一切完成后就可以正常使用了
3.hadoop搭建完成后, 登陆50070端口查看,是否能够正常登陆,如果没问题基本就说明没有问题啦.为了方便登陆,可以在电脑window主机上添加hosts文件
c盘-->window-->system32-->drives-->etc-->hosts
注意,修改hosts 文件的时候,要注意先把文件复制出来,修改完成在粘贴回去,就可以正常使用啦.下面是举例
192.168.100.100      node001
192.168.100.101      node002
先分享这些,希望大家努力,一起进步!

2 个回复

正序浏览
只要朝着一个方向努力,一切都会变得得心应手。加油
回复 使用道具 举报
不要等待机会,而是要创造机会。现在我来了,希望我们都可以坚持,早日用知识达到暴富
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马