Ververica

本文整理自闵万里博士在Flink Forward China 2018上的演讲。 城市中,像上图空中小麻雀一样的摄像头遍布各地，地面上的车流川流不息，高德地图等APP通过技术手段采集了越来越多的摄像头、车流的数据。但空中与地面这两条平行的河流，似乎永远没有交汇的时刻。越来越多的…

SQL 最大的优势在于普及率高，用户基数大。和其他编程语言相比，它的入门相对简单。作为一类声明式语言，它允许用户只告诉引擎想要做什么，而无需指定如何做。因此即使是小白用户，也可轻松（讲道理有时候也不太轻松）利用 SQL 表达自己所需的逻辑。SQL 优化器会最大限度帮助你提高效率…

本文主要从以下5个方面来介绍基于Flink Streaming构建统一的数据处理引擎的挑战和实践。 一般公司里面都会有一个比较传统的批处理系统每天去算一些报表，随着越来越多更实时的需求，大家也许会采用 Storm、Flink、Spark 来做流计算，同时又会在边上跑一个批处理，…

1. 概述 下游读数据：从网络上接收到的buffer反序列化成record给op处理。 当job被调度开始运行后，除了算子内部的业务逻辑开销外，整个runtime引擎的运行时开销基本都在shuffle过程，其中涉及了数据序列化、编解码、内存拷贝和网络传输等复杂操作，因此可以说s…

在上一篇入门教程中，我们已经能够快速构建一个基础的Apache Flink（以下简称Flink） 程序了。本文会一步步地带领你实现一个更复杂的 Flink 应用程序：实时热门商品。在开始本文前我们建议你先实践一遍上篇文章，因为本文会沿用上文的my-flink-project项目…

在本文中，我们将从零开始，教您如何构建第一个Apache Flink （以下简称Flink）应用程序。 Flink 可以运行在 Linux, Max OS X, 或者是 Windows 上。为了开发 Flink 应用程序，在本地机器上需要有 Java 8.x 和 maven 环…

Apache Flink作为下一代大数据计算引擎，在迅速发展强大中，其内部架构也在不断优化重构，以适应更多运行时环境和更大计算规模，Flink Improvement Proposals-6重新设计了在各集群管理系统(Standalone/YARN/Kubernetes等)上资…

Apache Flink（以下简称 Flink） 是一个天然支持无限流数据处理的分布式计算框架，在 Flink 中 Window 可以将无限流切分成有限流，是处理有限流的核心组件，现在 Flink 中 Window 可以是时间驱动的（Time Window），也可以是数据驱动的…

在谈生态之前，我们来聊聊什么是生态。生态是指在某个特定领域，以某个组件为核心衍生出来其他多个组件，这些组件可以间接或者直接用到这个核心组件，然后辅助这个核心组件共同完成一个更大或者更特殊的任务。Flink生态圈就是指以Flink为核心的生态圈，Flink属于大数据生态里的计算环…