第一次写技术博客，心情十分紧张，虽然可能没有什么人看，虽然可能写的逻辑不同，虽然可能写的有错误，但，还是决定勇敢的写出来。纪念以下 最开始，阅读源码的目的是想了解一下Spark是如何进行分布式计算的，以及本着对RPC的兴趣，想搞清楚Spark底层是如何进行RPC通讯的。 但是发…

RDD(Resilient Distributed Dataset) 叫着 弹性分布式数据集 ，是Spark 中最基本的抽象，它代表一个不可变、可分区、里面元素可以并行计算的集合。 RDD 具有数据流模型特点：自动容错、位置感知性调度和可伸缩。 RDD 允许用户在执行多个查询时…

求推荐！大家好，我是一条~ 5小时推开Spark的大门，第三小时，带大家做一个大数据入门的经典案例——WordCount。 话不

Apache Spark 是当今最流行的开源大数据处理框架。和人们耳熟能详的 MapReduce 一样，Spark 用于进行分布式、大规模的数据处理，但 Spark 作为 MapReduce 的接任者，提供了更高级的编程接口、更高的性能。除此之外，Spark 不仅能进行常规的批…

这种数据结构同C语言的结构体，内部可以包含不同类型的数据。还是用上面的数据，先创建一个包含struct的DataFrame Spark 最强的功能之一就是定义你自己的函数（UDFs），使得你可以通过Scala、Python或者使用外部的库（libraries）来得到你自己需要的…

parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索

大家好，我是一条~ 5小时推开Spark的大门，正式开始，第一个小时，我们主要学习以下内容： 什么是Spark？ Spa

大家对Spark最大的误解就是其是一种内存技术（in-memorytechnology）。其实不是这样的！没有一个Spark开发者正式说明这个，这是对Spark计算过程的误解。 我们从头开始说明。什么样的技术才能称得上是内存技术？在我看来，就是允许你将数据持久化（ persis…

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…