黑马程序员技术交流社区
标题: 【郑州校区】spark笔记之DStream [打印本页]
作者: 我是楠楠 时间: 2018-8-10 14:24
标题: 【郑州校区】spark笔记之DStream
本帖最后由 我是楠楠 于 2018-8-10 14:26 编辑
【郑州校区】spark笔记之DStream
3.1 什么是DStreamDiscretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图：
对数据的操作也是按照RDD为单位来进行的
Spark Streaming使用数据源产生的数据流创建DStream，也可以在已有的DStream上使用一些操作来创建新的DStream。
它的工作流程像下面的图所示一样，接受到实时数据后，给数据分批次，然后传给Spark Engine处理最后生成该批次的结果。
传智播客·黑马程序员郑州校区地址
河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层
| 欢迎光临 黑马程序员技术交流社区 (http://bbs.itheima.com/) |
黑马程序员IT技术论坛 X3.2 |
