【郑州校区】spark笔记之Spark Streaming介绍

1.1 Spark Streaming概述
1.1.1什么是Spark Streaming

Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象操作如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外Spark Streaming也能和MLlib（机器学习）以及Graphx完美融合。

1.1.2为什么要学习Spark Streaming

（1）易用

可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。

（2）容错

SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。

（3）易整合到Spark体系

流式处理与批处理和交互式查询相结合。

1.1.3 SparkStreaming与Storm的对比

SparkStreaming	Storm
开发语言：Scala	开发语言：Clojure
编程模型：DStream	编程模型：Spout/Bolt

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出

【郑州校区】spark笔记之Spark Streaming介绍

1.1 Spark Streaming概述
1.1.1什么是Spark Streaming

Spark Streaming类似于Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据源有很多，例如：Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象操作如：map、reduce、join、window等进行运算。而结果也能保存在很多地方，如HDFS，数据库等。另外Spark Streaming也能和MLlib（机器学习）以及Graphx完美融合。

1.1.2为什么要学习Spark Streaming

（1）易用

可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。

（2）容错

SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。

（3）易整合到Spark体系

流式处理与批处理和交互式查询相结合。

1.1.3 SparkStreaming与Storm的对比

SparkStreaming	Storm
开发语言：Scala	开发语言：Clojure
编程模型：DStream	编程模型：Spout/Bolt

传智播客·黑马程序员郑州校区地址

河南省郑州市 高新区长椿路11号大学科技园（西区）东门8号楼三层

联系电话 0371-56061160/61/62

来校路线  地铁一号线梧桐街站A口出