|
为什么说是 HDP 而不是 Hadoop 呢?这里其实是 Hortonworks 自己发明的一个词,叫 Hortonworks Data Platform,是包含 Hadoop 在内的一揽子解决方案。 前置要求:3-4台 CentOS 7 机器,其中一台机器必须安装 Ambari 服务。教程参考centos 7 安装 apache-ambari。 安装部件:如前所述,此次安装会安装如下一系列服务: 服务 版本 说明
HDFS 2.7.3 Apache Hadoop 分布式文件系统
YARN + MapReduce2 2.7.3 Apache Hadoop 下一代 MapReduce(YARN)
Tez 0.7.0 Tez 是运行在 YARN 之上的下一代 Hadoop 查询处理框架
Hive 1.2.1000 支持即席查询与大数据量分析和存储管理服务的数据仓库系统
HBase 1.1.2 非关系型分布式数据库,包括 Phoenix,一个为低延迟应用开发的高性能 sql 扩展
Pig 0.16.0 分析大数据量的脚本平台
Sqoop 1.4.6 在 Apache Hadoop 和 其它结构化的数据存储位置例如关系数据库 之间批量传递数据的工具
Oozie 4.2.0 Apache Hadoop 的工作引擎之一,另一个是 Azkaban。负责工作流的协调和执行。会按照一个可选的 Oozie Web 客户端,依赖因此也会安装 ExtJS 库
Zookeeper 3.4.6 高可用的分布式协调服务
Falcon 0.10.0 数据管理和处理平台
Storm 1.1.0
Flume 1.5.2 收集,聚合和移动大量流式数据到 HDFS 的分布式服务
Accumulo 1.7.0
Ambari Infra 0.1.0 Ambari 管理的部件所使用的核心共享服务
Ambari Metrics 0.1.0 Ambari 集群性能监控工具
Atlas 0.8.0 元数据管理平台
Kafka 1.0.0 高吞吐量的分布式消息系统
Knox 0.12.0 一个 rest 类型的认证系统,可提供单点登录认证
Log Search(未安装) 0.5.0 日志聚合,分析,可视化
SmartSense 1.4.5.2.6.2.2-1 一款不得不装的 Hortonworks 增值服务,集群诊断功能
Spark 1.6.3 快速的大规模数据处理引擎
Spark2 2.3.0
Zeppelin NoteBook 0.7.3 Web 界面的数据分析系统,可以使用 sql 和 scala 等
Druid 0.10.1 快速的列存储分布式系统
Mahout 0.9.0 Apache 开源机器学习算法库,提供协作筛选(CF,推荐算法),聚类(clustering),分类(classification)实现
Slider 0.92.0 部署,管理与监控 YARN 上的应用程序
Superset 0.15.0 Airbnb 的开源可视化的数据平台
【转载】https://blog.csdn.net/yuisyu/article/details/81700092
|