一、问题引入 - 计算密集型任务 假如现在有个需求，我想要计算 1 亿 个 1~10000 间随机数的平均值，在界面上显示结果，该怎么办? 可能有小伙伴踊跃发言：这还不简单，生成 1 亿 个随机数，算

打包你的第一个Scala程序，并丢到之前创建好的Spark集群上运行。 SBT通过配置清单，打包应用程序。 提交编写好的Scala应用程序，--class主类。 Spark是用Scala编写的，所以这里我采用Scala语言进行编写程序。 当容器里面的界面返回如下信息则说明安装成…

Flume 是一个分布式的高可靠，可扩展的数据采集服务。 Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工” 的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。 认识 Flume 对事件投递的可靠…

在游戏项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式…

戳更多文章：1-Flink入门2-本地环境搭建&构建第一个Flink应用3-DataSetAPI4-DataSteamAPI5-集群部署6-分布式缓存7-重启策略8-Flink中的窗口9-Flink中

王绍翾，花名“大沙”，加州大学圣迭戈分校计算机工程的博士，Apache Flink Commiter。目前在阿里负责Flink平台以及生态的一些工作。 Flink是德国data Artisans创造的，早期Flink主要是做偏批计算的，但是Spark在批处理上已经有一定优势，正…

在《Apache Flink 漫谈系列 - SQL概览》中我对JOIN算子有过简单的介绍，这里我们以具体实例的方式让大家对JOIN算子加深印象。JOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓名，性别)…

为了良好的阅读下面的文档，最好是结合实际的练习。首先需要下载spark,然后安装hdfs，可以下载任意版本的hdfs。 Spark Shell提供给用户一个简单的学习API的方式 以及 快速分析数据的工具。在shell中，既可以使用scala（运行在java虚拟机，因此可以使用…

首先是有赞的实时平台架构。 其次是在调研阶段我们为什么选择了 Flink。在这个部分，主要是 Flink 与 Spark 的 structured streaming 的一些对比和选择 Flink 的原因。 第三个就是比较重点的内容，Flink 在有赞的实践。这其中包括了我们在…