黑马程序员技术交流社区

标题: 【上海校区】安装 Hadoop 2.9.1 on Windows 10 64 bit [打印本页]
作者: 梦缠绕的时候    时间: 2020-4-24 08:57
标题: 【上海校区】安装 Hadoop 2.9.1 on Windows 10 64 bit
1. Java
C:\Users>java -versionjava version "1.8.0_251"Java(TM) SE Runtime Environment (build 1.8.0_251-b08)Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

2. WinRAR/7-ZIP 3. Hadoop 3. 1 Setup Environmental Variables

添加以下目录到path变量:


3.2 Edit Hadoop Configuration注意：如果你不想自己配置下面 3.2 过程， 除了3.2.3 其它的步骤可以忽略， 那么下载下面链接（bin data etc）文件夹放到你的hadoop目录下覆盖（https://github.com/yjy24/bigdata_learning ）, 然后从3.2.3 开始继续！
3.2.1 新建data 目录和子目录
3.2.2 修改 Hadoop 配置文件[url=][/url]
a) C:\Learning\hadoop\etc\hadoop\core-site.xml<configuration>  <property>    <name>fs.defaultFS</name>    <value>hdfs://localhost:9000</value>  </property></configuration>[url=][/url]


  • 加入如下内容到mapreduce 框架设置文件
[url=][/url]
b)  C:\Learning\hadoop\etc\hadoop\mapred-site.xml<configuration>  <property>    <name>mapreduce.framework.name</name>    <value>yarn</value>  </property></configuration>[url=][/url]


  • 添加namenode 和 datanode 目录设置

[url=][/url]
c) C:\Learning\hadoop\etc\hadoop\hdfs-site.xml<configuration>    <property>    <name>dfs.replication</name>    <value>1</value>  </property>      <property>    <name>dfs.namenode.name.dir</name>    <value>file:///Learning/hadoop/data/namenode</value>  </property>      <property>    <name>dfs.datanode.data.dir</name>    <value>file:///Learning/hadoop/data/datanode</value>  </property></configuration>[url=][/url]


  • 添加如下内容到Yarn配置文件
[url=][/url]
D:\Learning\hadoop\etc\hadoop\yarn-site.xml<configuration>     <property>        <name>yarn.resourcemanager.hostname</name>        <value>0.0.0.0</value>    </property>    <property>        <name>yarn.nodemanager.local-dirs</name>        <value>file:///c:/Learning/hadoop/tmp</value>    </property>  <property>    <name>yarn.nodemanager.aux-services</name>    <value>mapreduce_shuffle</value>  </property>    <property>    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property></configuration>[url=][/url]



e) C:\Learning\hadoop\etc\hadoop\hadoop-env.cmd显性设置JAVA_HOMEset JAVA_HOME=C:\java64


3.2.3 下载配置Windows 环境需要的库文件
  • 2. 把 winutils.exe 等 windows 需要的文件放到 C:\Learning\hadoop\bin 下面。

　　　　下载 https://github.com/yjy24/bigdata_learning 下面的bin 直接覆盖C:\Learning\hadoop\bin。
  • 3. 把里面的 hadoop.dll  拷贝到 C:\Windows\System32 一份

3.3 启动Hadoop
3.3.1 格式化 Hadoop namenode：
[url=][/url]
>hdfs namenode -format Log on scren when run successfully:20/04/19 10:40:13 INFO common.Storage: Storage directory \Learning\hadoop\data\namenode has been successfully formatted.20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Saving image file \Learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 using no compression20/04/19 10:40:13 INFO namenode.FSImageFormatProtobuf: Image file \Learning\hadoop\data\namenode\current\fsimage.ckpt_0000000000000000000 of size 320 bytes saved in 0 seconds .20/04/19 10:40:13 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 020/04/19 10:40:13 INFO namenode.NameNode: SHUTDOWN_MSG:[url=][/url]




3.3.2 启动 Hadoop 所有的服务：
  • 要用管理员身份运行，四个service窗口会打开运行， 包括HDFS 的数据节点 和 Yarn 管理器服务进程
C:\Learning\hadoop\sbin\start-all.cmd   


3.4 Open Hadoop GUI
                                   



作者: 梦缠绕的时候    时间: 2020-4-24 08:58
更多讯息欢迎添加小优：DKA-2018
作者: 梦缠绕的时候    时间: 2020-4-24 08:58
以上部分内容转载自网络



欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) 黑马程序员IT技术论坛 X3.2