最近一个实时消费者处理任务，在使用 spark streaming 进行实时的数据流处理时，我需要将计算好的数据更新到 hbase 和 mysql 中，所以本文对 spark 操作 hbase 和 mysql 的内容进行总结，并且对自己踩到的一些坑进行记录。

作者在接触 spark 以及 spark streaming 之后，对 spark 技术的使用的经验积累以及心得体会，在此分享给大家。本文依次从 spark 生态，原理，基本概念，spark streaming 原理及实践，还有 spark 调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

一些内存数据结构比其他数据结构来得更高效；如果充分利用 Redis，Spark 运行起来速度更快。

Spark 2.2.0 中文文档

Spark Streaming 的原理说明的文章很多，这里不做介绍。本文主要介绍使用 Kafka 作为数据源的编程模型, 编码实践, 以及一些优化说明。

随着互联网技术的迅速发展，用户对于数据处理的时效性、准确性与稳定性要求越来越高，如何构建一个稳定易用并提供齐备的监控与预警功能的实时计算平台也成了很多公司一个很大的挑战。 自2015年携程实时计算平台搭建以来，经过两年多不断的技术演进，目前实时集群规模已达上百台，平台涵盖各个S…

市场上的许多玩家已经建立了成功的MapReduce工作流程来每天处理以TB计的历史数据。但是谁愿意等待24小时才能获得最新的分析结果？这篇博文将向您介绍旨在利用批处理和流处理方法的Lambda架构。我们将利用Apache Spark（Core，SQL，Streaming），Ap…

Spark 是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark 延续了 Hadoop 的 MapReduce 计算模型，相比之下 Spark 的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时 Spark 也提供了更丰富的计算 API。