大数据王小皮

如果让你来做一个有状态流式应用的故障恢复，你会如何来做呢？ 单机和多机会遇到什么不同的问题？ Flink Checkpoint 是做什么用的？原理是什么？ 一、什么是 Ch...

单线程下的单例模式： 几个关键点： static 修饰：表名属于类而不是类对象，不会每生成一个新的类对象都新生成一份。并且可以在不创建类对象的情况下直接调用。 为什么构造函...

前面文章我们学习了编译器前端的词法和语法分析工具，本篇我们来看看如何借助 Antlr 工具，快速生成词法和语法分析代码。...

重点： 语法分析的原理 递归下降算法（Recursive Descent Parsing） 上下文无关文法（Context-free Grammar，CFG） 关键点： 左...

带你手工打造词法分析器。 难点： * 如何拆词？如何定义分隔符？ * 匹配的优先级是什么？ 关键点： * 有限自动机 * 元素拆分...

什么是状态？状态有什么作用？ 如果你来设计，对于一个流式服务，如何根据不断输入的数据计算呢？ 又如何做故障恢复呢？ 一、为什么要管理状态 流计算不像批计算，数据是持续流入的...

前一章我们对 Flink 进行了总体的介绍。对 Flink 是什么、能做什么、入门 demo、架构等进行了讲解。 本章我们将学习 Flink 重点概念、核心特性等。...

前面几篇文章带大家了解了 Flink 是什么、能做什么，本篇将带大家了解 Flink 究竟是如何完成这些的，Flink 本身架构是什么样的，让大家先对 Flink 有整体认...

本篇文章将带大家运行 Flink 最简单的程序 WordCount。先实践后理论，对其基本输入输出、编程代码有初步了解，后续篇章再对 Flink 的各种概念和架构进行介绍。...

在后面学习 Flink 相关知识时，会深入源码探究其实现机制。因此，需要现在本地配置好源码阅读环境。 本文搭建环境： Mac M1（Apple Silicon） Java ...

流处理和批处理是什么？ 什么是 Flink？为什么要学习 Flink？ Flink 有什么特点，能做什么？ 本文将为你解答以上问题。...

本文将深入探讨 AM 向 RM 申请并获得 Container 资源后，在 NM 节点上如何启动和清理 Container。将详细分析整个过程的源码实现。...

不要跳过这部分知识，对了解 NodeManager 本地目录结构，和熟悉 Container 启动流程有帮助。...

NodeManager（NM）中的状态机分为三类：Application、Container 和 LocalizedResource，它们均直接或者间接参与维护一个应用程序...

本节开始将对 Yarn 中的 NodeManager 服务进行剖析。 NodeManager 需要在每个计算节点上运行，与 ResourceManager 和 Applic...

本篇将对 Yarn 调度器中的资源抢占方式进行探究。分析当集群资源不足时，占用量资源少的队列，是如何从其他队列中抢夺资源的。我们将深入源码，一步步分析抢夺资源的具体逻辑。...

本篇文章将深入介绍 Yarn 三种调度器。Yarn 本身作为资源管理和调度服务，其中的资源调度模块更是重中之重。下面将介绍 Yarn 中实现的调度器功能，以及内部执行逻辑。...

资源调度器是 YARN 中最核心的组件之一，它是 ResourceManager 中的一个插拔式服务组件，负责整个集群资源的管理和分配。 Yarn 默认提供了三种可用资源调...

本小节介绍应用程序的 ApplicationMaster 在 NodeManager 成功启动并向 ResourceManager 注册后，向 ResourceManage...

本节开始，将对 ResourceManager 中一些常见行为进行分析探究，看某些具体关键的行为，在 RM 中是如何流转的。本节将深入源码探究「启动 Application...