黑马程序员技术交流社区

标题: hadoop相关介绍及初步搭建 [打印本页]

作者: hshaly 时间: 2020-1-26 22:10
标题: hadoop相关介绍及初步搭建

今天是2020年1月26日，由于疫情原因，在家学习之余写写总结，自从2019年10月来黑马已经有一段时间了，大数据离线学习也已经学习完成，总结一下离线学习需要搭建的环境。之前已经初步总结了一下zookeeper，现在来总结一下hadoop框架相关知识。

Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目hadoop，到2008年1月，hadoop成为Apache顶级项目。狭义上来说，hadoop就是单独指代hadoop这个软件，主要包括HDFS——分布式文件系统；MapReduce ——分布式计算系统以及Yarn：分布式样集群资源管理，广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件。

现在简要的介绍一下安装Hadoop需要准备的环境搭建工作。首先，需要关闭防火墙，其命令是：serviceiptables stop以及chkconfig iptables off，依次在linux终端执行以上两条命令，其次是需要安装jdk，其版本是jdk1.7版本，以上环境准备之后，把相关压缩包上传，解压，然后就是配置环境变量了。配置环境变量的路径为/etc/profile，这个文件在后续的框架中会陆续用到，非常重要，当前jdk配置为export JAVA_HOME=/export/servers/jdk1.7.0_71以及exportPATH=:$JAVA_HOME/bin:$PATH，配置好之后，一定要记住执行source命令，否则配置无法生效，其中命令为source/etc/profile。以上是hadoop的初步配置。

作者: 柠檬leung不酸 时间: 2020-2-3 17:18
苦难有如乌云，远望去但见墨黑一片，然而身临其下时不过是灰色而已。——里希特

作者: 柠檬leung不酸 时间: 2020-2-6 13:29
前进不必遗憾，若美好，叫做精彩；若糟糕，叫做经历。好好去爱，去生活，每天的太阳都是新的，别辜负了美好时光。

作者: 柠檬leung不酸 时间: 2020-2-8 09:48
打死也不能放弃，穷死也不能叹气，要让笑话你的人成为笑话！

作者: 柠檬leung不酸 时间: 2020-3-12 22:19
故天将降大任于斯人也，必先苦其心志，劳其筋骨，饿其体肤，空乏其身，行拂乱其所为，所以动心忍性，曾益其所不能。

作者: 柠檬leung不酸 时间: 2020-3-29 18:06
选择了，便走下去。

作者: 柠檬leung不酸 时间: 2020-4-17 11:06
选择了，便走下去。

欢迎光临黑马程序员技术交流社区 (http://bbs.itheima.com/)

黑马程序员IT技术论坛 X3.2