一、概述 二、Spark Streaming基本原理 1）官方文档对Spark Streaming的原理解读 2）框架执行流程 下面将从更细粒度架构角度看Spark Streaming的执行原理，这里

作者在接触 spark 以及 spark streaming 之后，对 spark 技术的使用的经验积累以及心得体会，在此分享给大家。本文依次从 spark 生态，原理，基本概念，spark streaming 原理及实践，还有 spark 调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

在开源世界里，Apache Storm项目是流处理的先锋。Storm最早由Nathan Marz和创业公司BackType的一个团队开发，后来才被Apache基金会接纳。Storm提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的…

### 概述 canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）。 #### 背景 早

1、Flume基础理论 2、Flume体系结构/核心组件 3、Flume安装及案例 4、Flume实践过程

我正在参加「掘金·启航计划」 我是上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货，欢迎关注。 Sqoop: Hadoop数据传输的利器, 在大数据领域，数据的传输和集成是至关重要的任务之一。

由于最近在整理系统，所以顺便花了点时间入门了一下Storm（前几天花了点时间改了一下，上线以后一堆Bug，于是就果断回滚了。） 这篇文章来讲讲简单Storm的简单使用，没有复杂的东西。看完这篇文章，等到接手Storm的代码的时候你们**『大概』『应该』**能看懂Storm的代码…

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、

聊聊流式计算吧 , 那一段经历于我而言很精彩，很有趣，想把这段经历分享给大家。 1 背景介绍 2014年，我在艺龙旅行网促销团队负责红包系统。 彼时，促销大战如火如荼，优惠券计算服务也成为艺龙促销业务