Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。 local[*]：启动跟 cpu 数目相同的工作线程数。 安装完成后可以先做一个简单的词频统计例子，感受 spark 的魅力。准备一个词频统计的文件样本 wc.txt，内…

最近一个实时消费者处理任务，在使用 spark streaming 进行实时的数据流处理时，我需要将计算好的数据更新到 hbase 和 mysql 中，所以本文对 spark 操作 hbase 和 mysql 的内容进行总结，并且对自己踩到的一些坑进行记录。

在页面上每次点赞，把这个被点赞的文章id发送到kafka，然后通过sparkstreaming读取kafka里的数据，统计出点赞的数量，更新回mysql中完整案例代码已上传github：https:/

SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：ma…