opebet网页版-bet亚洲官网手机版-登录

教育行业A股IPO第一股(股票代码 003032)

全国咨询/投诉热线:400-618-4000

传智教育|传智播客

一样的教育,不一样的品质

全国校区

 

Spark Streaming工作原理是什么?

更新时间:2020年12月28日17时25分 来源:传智教育 浏览次数:

  Spark Streaming支撑从多种数据源获取数据,包括Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP Sockets数据源。当Spark Streaming从数据源获取数据之后,则可以使用诸如map、reduce、join和window等高级函数进行复杂的计算处理,最后将处理的结果存储到分布式文件系统、数据库中,最终利用实时Web仪表板进行展示。Spark Streaming支撑的输入、输出源如图1所示。

图1 Spark Streaming支撑的输入、输出数据源

  为了可以深入的理解Spark Streaming,接下来,通过一张图对Spark Streaming的内部工作原理进行详细讲解,如图2所示。

图2 Spark Streaming工作原理

  在图2中,Spark Streaming先接收实时输入的数据流,并且将数据按照一定的时间间隔分成一批批的数据,每一段数据都转变成Spark中的RDD,接着交由Spark引擎进行处理,最后将处理结果数据输出到外部储存系统。


猜你喜欢:

Spark Streaming框架有什么特点?

Spark生态系统包含哪些组件?【大数据培训】

Spark与Hadoop有哪些区别?【大数据培训】

传智教育大数据培训课程

opebet网页版|bet亚洲官网手机版

XML 地图 | Sitemap 地图