​简介： 本文翻译自大数据技术公司 Databricks 针对数据湖 Delta Lake 的系列技术文章。众所周知，Databricks 主导着开源大数据社区 Apache Spark、Delta

《大数据成神之路》第四个版本更新完毕。我们的口号是：为希望从事大数据开发或者由后端转型为大数据开发的工程师们指出需要学习的知识点和路径。

摘要：今天和大家聊聊Flink双流Join问题。这是一个高频面试点，也是工作中常遇到的一种真实场景。

1. Kafka +Spark Streaming Spark Streaming从Kafka接收数据，转换为Spark Streaming中的数据结构DStream即离散数据流。 当前spark已经不支持该模式。 receiver模式的并行度由spark.streaming.…

Spark Streaming是Spark Core API的一种扩展，它可以用于进行大规模、高吞吐量、容错的实时数据流的处理。它支持从很多种数据源中读取数据，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis或者是TCP Socket。并且能够使用类似高…

Structured Streaming将持续流动的数据看作一张无限进行插入的表，当有查询操作时，它会根据具体代码生成"结果表"，在间隔时间内每有一条数据进来，"结果表"都会被更新。当然Structured Streaming不会真正的将整张表实现，它其实只是读取最新的数据进行…

简要介绍 Structured Streaming 和 Spark Streaming是什么关系呢？ 1.编程模型不同 2.Structured Streaming是 2.x版本新功能，未来会取代Sp

Spark Streaming是Spark核心API的扩展，实现实时数据的可拓展、高吞吐量。本文讲解其架构、作业提交和工作原理，以及DStream的创建、转换和Graph，并通过案例代码展示应用细节。