A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

一、概述

Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称“CDH”),基于Web的用户管理界面,支持大部分Hadoop组件,包括HDFS、YARN、Hive、 Hbase、Zookeeper、Flume、Impala等,简化了大数据平台的安装、监控和管理。
CDH官方提供了三种安装方式:

第一种方式,要求服务器能连外网,由于CDH等国外的网站容易出现超时连接错误,耗时也较长,且一旦失败重装也很麻烦。
第二种方式,使用Tarballs安装,需要下载很多包,而且需要手动操作安装和配置相关程序。
第三种方式,可实现全离线安装,而且重装十分方便,也有利于后期的集群统一包升级,因此这也是比较推荐的安装方式。
本系列主要详细介绍CDH集群的搭建步骤,而本文则主要介绍CDH软件包本地YUM源的搭建。

二、系统要求

本文基于CentOS7进行部署,Cloudera Manager版本选择5.8.1,CDH版本5.8.0。高版本的CM可以管理低版本的CDH,但是前提是minor version需要一致,否则可能出现兼容性及稳定性风险。若与笔者版本不一,安装包需根据实际下载。


三、配置步骤

1.下载Cloudera Manager相关安装包

其相关安装包的下载路径:
http://archive.cloudera.com/cm5/ ... /5.8.1/RPMS/x86_64/

注:实际最好在自己的yum仓库中将jdk-6u31包替换为所需版本,本例替换为jdk-7u67-linux-x64.rpm

2.下载CDH parcel包

根据服务器的系统版本选择对应的parcel包版本,本例使用CentOS7,对应的parcel包为el7版本,对应下载路径:
https://archive.cloudera.com/cdh5/parcels/5.8.0/


3.创建YUM仓库

1)启动httpd服务

vim /etc/httpd/conf/httpd.conf
1


2)安装createrepo

yum install createrepo
1
3)配置YUM源

将前面下载的CM Server、parcel安装包复制到/opt/www/html指定目录中(CM Server目录位于/opt/www/html/cloudera-manager-5.8.1,CDH目录位于/opt/www/html/cloudera-parcel-5.8.0),做成源,执行createrepo后会在该目录中生成repodata目录。

cd /opt/www/html
createrepo cloudera-manager-5.8.1
1
2

对于cloudera-parcel-5.8.0做类似操作即可。
配置完后,测试浏览器上是否能够访问响应内容。

4)所有需要安装CDH的服务器更新YUM源配置

/etc/yum.repos.d/cloudera-manager-man.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://you-server-ip/cloudera-manager-5.8.1/
enabled = 1
gpgcheck = 0
1
2
3
4
5
/etc/yum.repos.d/cloudera-parcel-man.repo

[cloudera-parcel]
name=Cloudera Parcel
baseurl=http://you-server-ip/cloudera-parcel-5.8.0/
enabled = 1
gpgcheck = 0
1
2
3
4
5
执行以下命令

yum clean metadata
yum makecache
1
2
自此,CDH相关安装包的YUM源已经配置好,为之后的离线安装做好了准备。至于环境的准备及CDH组件的安装,会在接下来的文章中介绍。
---------------------
【转载】
作者:fish的饭票
原文:https://blog.csdn.net/lxbalex/article/details/83043963


3 个回复

倒序浏览

ヾ(◍°∇°◍)ノ゙
回复 使用道具 举报
回复 使用道具 举报
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马