研究 Spark 内部是怎么运行的，怎么将 Spark 的任务从开始运行到结束的，先从 spark-submit 这个 shell 脚本提交用户程序开始。下面的分析都是基于 spark 2.1.1 版本。 脚本最后调用 exec 执行 "${SPARK_HOME}"/bin/s…

1. 认识Spark 官方介绍：Apache Spark™ is a unified analytics engine for large-scale data processing.（Apache Spark™是一个用于大规模数据处理的统一分析引擎。） Spark是一种快速、…

其实 Spark Streaming 主要就是把算子用用，多敲代码的事儿。我当时觉得这个Spark Streaming好像要提的事情并不多呀，所以就直接跳过了。然后··· 虽然图很简陋，但是能把信息准确地表达就好。 第二行，我们setMaster(local[2])，这里要注意…

4月25-26日，全球首个 Apache 顶级项目在线盛会 Flink Forward 中文精华版重磅开播，聚焦 Alibaba、 Google、AWS、Uber、Netflix、DellEMC、微博、滴滴等各大互联网公司实时计算的经典场景和业务故事，由 Flink 核心贡献者…

1. 初识Flink 1. Flink概述 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded da…

我们知道，大数据的计算模式主要分为批量计算(batch computing)、流式计算(stream computing)、交互计算(interactive computing)、图计算(graph computing)等。其中，流式计算和批量计算是两种主要的大数据计算模式，分…

能力有限，目前还是个学习者的姿态，所以只是记录一下spark计算模块源码的学习过程。在学习的过程中发现上面几个是不错的学习资料，推荐给大家，带*号表示值得优先查看学习的资料。 计算模块这一部分是Spark重点，建议都看。 因为每个资料都各有侧重点，所以可能在看的时候对一些没有细…

Redis 是 开源，内存 中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如 字符串strings， 散列 hashes， 列表 lists， 集合 sets， 有序集合 sorted sets 与范围查询， bitmaps， hyperl…