大数据

Checkpoint介绍 Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复到故障

什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。 举例：一个 Flink 作业包含 200 个 Task 节点，其中有 199 个节点可以在很短的时间内完成计

Flink 实现了多种重启策略 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy）

user actions 可以看作是事件流（普通流） patterns 为广播流,把全量数据加载到不同的计算节点。 广播流 Broadcast是一份存储在TaskManager内存中的只读

Flink双流JOIN主要分为两大类 一类是基于原生State的Connect算子操作 另一类是基于窗口的JOIN操作。其中基于窗口的JOIN可细分为window join和interva

1. 先找到超时的subtask序号 图有点问题，因为都是成功没失败的，尴尬了。 借图： 2. 找到对应的机器和任务 方法很多，这里看自己习惯和公司提供的系统。 3. 根据日志排查问题 n

Flink 反压机制 Flink 如何处理反压? Storm 反压机制 Storm反压机制  Storm 在每一个 Bolt 都会有一个监测反压的线程（Backpressure Threa

Flink Web UI 自带的反压监控 —— 直接方式 Flink Web UI 的反压监控提供了 Subtask 级别的反压监控。监控的原理是通过Thread.getStackTrac

什么是反压（backpressure） 反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上