笔者在 Flink 社区群里经常能看到类似这样的疑问。这种情况几乎都不是程序有问题，而是因为 Flink 的 operator chain ——即算子链机制导致的，即提交的...

如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为：推荐系统对于用户的请求产生推荐，用户对推荐结果作出反馈 (购买/点击/离开等等)，推荐系统再根据用户...

为什么要做 Flink 和 Hive 集成的功能呢？最早的初衷是我们希望挖掘 Flink 在批处理方面的能力。众所周知，Flink 在流计算方面已经是成功的引擎了，使用的用...

人类文明的进程奔流不息。 数据增长带来计算能力质的飞跃。 技术发展重新定义产业的价值。 数字时代转型升级的步伐。 算力编织梦想。 推进人类社会跨入愈发智慧的世界。 生生不息...

Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪...

目前流平台通用的架构一般来说包括消息队列、计算引擎和存储三部分，通用架构如下图所示。客户端或者 web 的 log 日志会被采集到消息队列；计算引擎实时计算消息队列的数据；...

从性能和 TTL 两个维度来描述区别。 · RocksDB 场景，MapState 比 ValueState 中存 Map 性能高很多。 · Heap State 场景，两...

随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表...

Flink 是目前最流行的大数据及流式计算框架之一，用户可以使用 Java/Scala/Python 的 DataStream 接口或者标准 SQL 语言来快速实现一个分布...

8月18日，阿里巴巴大数据训练营“九营齐开”正式开营，来自数据计算、数据分析、数据仓库、搜索、机器学习、数据智能等多个领域的技术大佬亲身上阵教学，解读各技术领域基础原理，剖...

我们凌晨一些大的离线任务经常会因为一些原因出现延迟，这种延迟会导致核心报表的产出时间不稳定，有些时候会产出比较早，但是有时候就可能会产出比较晚，业务很难接受。 任务本身要请...

金秋桂花香，正是上海相聚好时节。还记得盛夏降临时我们举办的大数据+AI Meetup第一站吗，虽然疫情当前采用了线上直播的形式，但是我们仍然邀请了来自阿里巴巴、Databr...

Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果...

Apache Hudi 是由 Uber 开发并开源的数据湖框架，它于 2019 年 1 月进入 Apache 孵化器孵化，次年 5 月份顺利毕业晋升为 Apache 顶级项...

大家好，我们是 BTC.com 团队。 2020 年，我们有幸接触到了 Flink 和 PyFlink 生态，从团队自身需求出发，完善了团队内实时计算的任务和需求，搭建了流...

在 Flink 现有的架构设计中，多流 Join 拓扑下单个 Task 失败会导致所有 Task 重新部署，耗时可能会持续几分钟，导致作业的输出断流，这对于线上业务来说是不...

如何选择适合自己业务的流计算引擎？除了比较各自的功能矩阵外，基准测试（benchmark）便是用来评估系统性能的一个重要和常见的方法。 然而在流计算领域，目前还没有一个行业...

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。在一些对延时要求比较高的场景，需要另外...

本文整理自 Apache Flink PMC 伍翀（云邪）直播分享，旨在为具备一定大数据基础、对 Flink 社区发展感兴趣的同学提供参与贡献的一些经验和流程。 作为 Ap...