Flink实战剖析

在实时数仓分层中，Kafka是一种比较常见的中间存储层，而在分布式计算中由于硬件、软件等异常导致的任务重启是一种正常的现象，通过之前的Kafka-Consumer分析得知，...

01 - 前言 软件架构的复杂性通常并不是由功能性需求来决定，而是取决于非功能性需求，例如高性能、高可用、易扩展、易运维、低成本等要求，功能性需求通常是易于实现的，但是为了...

01 - 高内聚、低耦合 高内聚、低耦合是软件设计的常见概念，特别是在软件模块划分中会被常常提起，需要将功能相同的内聚在一起，将职责不同的功能解耦， 比喻说常见的MVC 分...

Flink-Kafka  Connector 是连接kafka 的连接器，负责对接kafka 的读写， 本篇主要介绍kafka consumer 的执行流程与核心设计。 逻...

优化前 大概执行2h,  还未得出结果。 第一次优化 暴力增加join 的并行度， 没有什么优化是比加资源来得更直接。 大概执行2h,  仍未得出结果。 第二次优化 重新分...

join实践: 万亿级数据量任务优化历程 单字段去重 先看一个简单的sql ，pv_id 去重计数 在默认情况下，相同的visit_type 的pv_id 会被分配到同一个...

接下来详细说一下在这几个方面做的一些事情以及如何解决遇到的一些问题与将要做的事情。 首先看一下目前关于Flink使用的整体架构图，任务执行模式选择per-job on ya...

散记系列目录:一、你应该了解的Watermark二、Flink中延时调用设计与实现三、FlinkSQL中可撤回机制解密时间系统系列目录：一、时间系统概述介绍二、Proces...

在上一篇StreamOperator源码简析从源码角度分析了StreamOperator以及其实现类，此篇幅主要分析一下如何自定义一个StreamOperator。 Str...

在并发编程中，我们通常要处理两个问题：线程之前如何通信与线程之间如何同步。 同步是指控制不同线程的操作发生相对顺序的机制，在共享内存并发模型里，同步是显式进行的，程序员必须...