Flink_China

作者：李辉 在伴鱼发展早期，出现了一系列实时性相关的需求，比如算法工程师期望可以拿到用户的实时特征数据做实时推荐，产品经理希望数据方可以提供实时指标看板做实时运营分析。 这...

汽车指甲基于 Flink + Iceberg 的湖仓一体的架构实践。内容为：一、数据仓库架构升级的背景；二、基于 Iceberg 的湖仓一体架构实践；三、总结与收益；四、后...

作者：余东 一、背景及痛点 1. 背景 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实...

分享嘉宾：张杨，B 站资深开发工程师 一、机器学习实时化 首先讲下机器学习的实时化，主要是分为三部分： 第一是样本的实时化。传统的机器学习，样本全部都是 t+1，也就是说，...

作者：沈磊 一、Flink 的容器化改造和实践 1. 有赞的集群演进历史 2014 年 7 月，第一个 Storm 任务正式上线； 2016 年，引入 Spark Stre...

Apache Pulsar 相对比较新，它于 2017 年加入 Apache 软件基金会，2018 年才从 Apache 软件基金会毕业并成为一个顶级项目。Pulsar 由...

## 一. 背景介绍 本文将介绍如何将 MySQL 中的数据，通过 Binlog + Canal 的形式导入到 Kafka 中，继而被 Flink 消费的案例。 为了能够快...

作者：付典 背景 Python 自定义函数是 PyFlink Table API 中最重要的功能之一，其允许用户在 PyFlink Table API 中使用 Python...

一、微博介绍 本次给大家带来的分享是 Flink 实时计算在微博的应用。微博是中国领先的社交媒体平台，目前的日活跃用户是 2.41 亿，月活跃用户是 5.5 亿，其中移动用...

本文由 bilibili 大数据实时平台负责人郑志升分享，本次分享核心讲解万亿级传输分发架构的落地，以及 AI 领域如何基于 Flink 打造一套完善的预处理实时 Pipe...

本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。...

去年在讲 Flink on Zeppelin 这个项目的未来时我们谈到了对Application 模式的支持，今天就有一个好消息要告诉大家，社区已经实现了这一Feature...

以 Flink 1.12 为例，介绍如何使用 Python 语言，通过 PyFlink API 来开发 Flink 作业。...

唯品会自 2017 年开始基于 k8s 深入打造高性能、稳定、可靠、易用的实时计算平台，支持唯品会内部业务在平时以及大促的平稳运行。本文主要分享 Flink 的容器化实践应...

可变数据的处理一直以来都是大数据系统，尤其是实时系统的一大难点。在调研多种方案后，我们选择了 CDC to Hudi 的数据摄入方案，目前在生产环境可实现分钟级的数据实时性...

本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景...

本文介绍了汽车之家实时计算团队利用 Flink 和 Flink 实时平台构建数据传输 SDK 和传输平台并不断完善的实践经验与总结。...

本文由知乎技术平台负责人孙晓光分享，主要介绍知乎 Flink 数据集成平台建设实践。内容如下： 1. 业务场景 2. 历史设计 3. 全面转向 Flink 后的设计 4. ...

本文主要介绍 BTC.com 团队在实时 OLAP 方面的技术演进过程及生产优化实践，包括业务背景、机遇挑战、架构演进，架构优化和未来展望。...