A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

© 不二晨 金牌黑马   /  2018-8-16 09:46  /  1646 人查看  /  2 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文

为什么说是 HDP 而不是 Hadoop 呢?这里其实是 Hortonworks 自己发明的一个词,叫 Hortonworks Data Platform,是包含 Hadoop 在内的一揽子解决方案。

前置要求:

3-4台 CentOS 7 机器,其中一台机器必须安装 Ambari 服务。教程参考centos 7 安装 apache-ambari

安装部件:

如前所述,此次安装会安装如下一系列服务:

服务
版本
说明

HDFS
2.7.3
Apache Hadoop 分布式文件系统

YARN + MapReduce2
2.7.3
Apache Hadoop 下一代 MapReduce(YARN)

Tez
0.7.0
Tez 是运行在 YARN 之上的下一代 Hadoop 查询处理框架

Hive
1.2.1000
支持即席查询与大数据量分析和存储管理服务的数据仓库系统

HBase
1.1.2
非关系型分布式数据库,包括 Phoenix,一个为低延迟应用开发的高性能 sql 扩展

Pig
0.16.0
分析大数据量的脚本平台

Sqoop
1.4.6
在 Apache Hadoop 和 其它结构化的数据存储位置例如关系数据库 之间批量传递数据的工具

Oozie
4.2.0
Apache Hadoop 的工作引擎之一,另一个是 Azkaban。负责工作流的协调和执行。会按照一个可选的 Oozie Web 客户端,依赖因此也会安装 ExtJS 库

Zookeeper
3.4.6
高可用的分布式协调服务

Falcon
0.10.0
数据管理和处理平台

Storm
1.1.0
Apache Hadoop 流处理框架Storm 介绍

Flume
1.5.2
收集,聚合和移动大量流式数据到 HDFS 的分布式服务

Accumulo
1.7.0
高可靠,性能和伸缩性的 Key/Value 存储各种KV工具对比

Ambari Infra
0.1.0
Ambari 管理的部件所使用的核心共享服务

Ambari Metrics
0.1.0
Ambari 集群性能监控工具

Atlas
0.8.0
元数据管理平台

Kafka
1.0.0
高吞吐量的分布式消息系统

Knox
0.12.0
一个 rest 类型的认证系统,可提供单点登录认证

Log Search(未安装)
0.5.0
日志聚合,分析,可视化

SmartSense
1.4.5.2.6.2.2-1
一款不得不装的 Hortonworks 增值服务,集群诊断功能

Spark
1.6.3
快速的大规模数据处理引擎

Spark2
2.3.0

Zeppelin NoteBook
0.7.3
Web 界面的数据分析系统,可以使用 sql 和 scala 等

Druid
0.10.1
快速的列存储分布式系统

Mahout
0.9.0
Apache 开源机器学习算法库,提供协作筛选(CF,推荐算法),聚类(clustering),分类(classification)实现

Slider
0.92.0
部署,管理与监控 YARN 上的应用程序

Superset
0.15.0
Airbnb 的开源可视化的数据平台


【转载】https://blog.csdn.net/yuisyu/article/details/81700092


2 个回复

倒序浏览
奈斯
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马