你好,游客 登录
背景:
阅读新闻

干货 | 深入理解 Spark Structured Streaming

[日期:2018-10-12] 来源:sohu  作者:Hadoop技术博文 [字体: ]

本 PPT 资料来自于 2018年05月12日在杭州进行的第六次 Spark & Flink Meetup。会议详情请参加《免费活动 | Spark & Flink Meetup 6 @Hangzhou》文章的介绍。

范文臣 Apache Spark Committer, Spark SQL 开发团队的一员。2013年从浙江大学毕业后,一直在进行分布式系统相关的工作。2014年开始接触 Spark,并成为最活跃的代码贡献者之一。2015年正式加入 Databricks,目前在杭州以远程协作的模式参与 Spark,主要是 SQL 模块的开发。

在 Apache Spark 2.0 中,社区扩展了 Apache Spark 中的 DataFrames 和 Datasets 以处理流式数据。 流式数据集不仅为批量和流式数据提供单一编程抽象,而且还支持基于事件时间的处理,无序/延迟数据,会话以及与非流式数据源和接收器的紧密集成。 本文深入地探讨 Structured Streaming 概念、设计详情、容错处理以及 2.3 加入的连续流。

https://www.iteblog.com/A_Deep_Dive_into_Structured_Streaming.pdf

http://cdn.iteblog.com/A_Deep_Dive_into_Structured_Streaming.pdf

收藏 推荐 打印 | 阅读: