A股上市公司传智教育(股票代码 003032)旗下技术交流社区北京昌平校区

 找回密码
 加入黑马

QQ登录

只需一步,快速开始

© 瞌睡来 初级黑马   /  2019-9-28 18:36  /  671 人查看  /  1 人回复  /   0 人收藏 转载请遵从CC协议 禁止商业使用本文


一、HADOOP生态圈以及各组成部分的简介
重点组件:
HDFS:分布式文件系统
MAPREDUCE:分布式运算程序开发框架
HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具
HBASE:基于HADOOP的分布式海量数据库
ZOOKEEPER:分布式协调服务基础组件
Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie:工作流调度框架
Sqoop:数据导入导出工具
Flume:日志数据采集框架
二、分布式系统概述
注:由于大数据技术领域的各类技术框架基本上都是分布式系统,因此,理解hadoop、storm、spark等技术框架,都需要具备基本的分布式系统概念
2.1 分布式软件系统(Distributed Software Systems)
² 该软件系统会划分成多个子系统或模块,各自运行在不同的机器上,子系统或模块之间通过网络通信进行协作,实现最终的整体功能
² 比如分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
2.2 分布式软件系统举例:solrcloud
A.       一个solrcloud集群通常有多台solr服务器
B.        每一个solr服务器节点负责存储整个索引库的若干个shard(数据分片)
C.        每一个shard又有多台服务器存放若干个副本互为主备用
D.       索引的建立和查询会在整个集群的各个节点上并发执行
E.        solrcloud集群作为整体对外服务,而其内部细节可对客户端透明
总结:利用多个节点共同协作完成一项或多项具体业务功能的系统就是分布式系统。

1 个回复

倒序浏览
预测未来最好的方法就是去创造未来。
回复 使用道具 举报
您需要登录后才可以回帖 登录 | 加入黑马