基于多线程的 web 服务器依赖于多个线程池来为传入的请求分配可用的 CPU 资源，但是这种机制对于开发人员是不可见的，这样可以让开发人员在开发时可以将这些多线程看作是只有一个主线程在工作。可以说，将处理多线程的复杂性隐藏起来，将其抽象成只有一个主线程，在一开始可能会显得比较简…

本系列文章为《Node.js Design Patterns Second Edition》的原文翻译和读书笔记，在GitHub连载更新，同步翻译版链接。 Streams是Node.js最重要的组件和模式之一。 社区中有一句格言“Stream all the things（St…

RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个 RDD 代表一个分区里的数据集 RDD 有两种操作算子： Transformation（转换）：Transformation 属于延迟计算，当一个 RDD 转换成一 个 RDD 时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 Ation（执行）：触发 Spark 作业的运行，真正触发转换算子的计算

RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个 RDD 代表一个分区里的数据集 RDD 有两种操作算子： Transformation（转换）：Transformation 属于延迟计算，当一个 RDD 转换成另一个 RDD 时并没有立即进行转换，仅仅是记住 了数据集的逻辑操作 Ation（执行）：触发 Spark 作业的运行，真正触发转换算子的计算

在这篇文章中，我们 Spark 的其它机器学习 API，名为 Spark ML，如果要用数据流水线来开发大数据应用程序的话，这个是推荐的解决方案。

如果我们想在节点之间共享一份变量，比如一份公共的配置项，该怎么办呢？Spark 为我们提供了两种特定的共享变量，来完成节点间变量的共享。 本文首先简单的介绍 spark 以及 spark streaming 中累加器和广播变量的使用方式，然后重点介绍一下如何更新广播变量。

作者在接触 spark 以及 spark streaming 之后，对 spark 技术的使用的经验积累以及心得体会，在此分享给大家。本文依次从 spark 生态，原理，基本概念，spark streaming 原理及实践，还有 spark 调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个 RDD 代表一个分区里的数据集 RDD 有两种操作算子： Transformation（转换）：Transformation 属于延迟计算，当一个 RDD 转换成另一个 RDD 时并没有立即进行转换，仅仅是记住 了数据集的逻辑操作 Ation（执行）：触发 Spark 作业的运行，真正触发转换算子的计算

经过前面两篇对于 Spark 概念和核心结构的介绍，让我们继续深入了解 Spark：） 本篇讲述了 Spark Streaming 和机器学习，大数据中 Spark 到底做了啥，快来看看吧！