Flink API的相关优化
1. 如何优化Flink的Checkpoint机制？
- 增大Checkpoint间隔：减少对作业吞吐量的影响（如从1分钟调整为5分钟）。
- 使用增量Checkpoint（RocksDB状态后端）：仅上传变化的文件，降低IO压力。
- 调整超时时间：
checkpointTimeout避免因短暂反压导致失败。 - 对齐优化：使用非对齐Checkpoint（
enableUnalignedCheckpoints）避免反压阻塞。 - 调整最小间隔：
minPauseBetweenCheckpoints避免重叠。
2. 如何处理Flink作业中的反压？
- 定位源头：通过Web UI的反压监控或Metrics找到瓶颈算子。
- 增加并行度：提升瓶颈算子的处理能力。
- 优化状态访问：减少RocksDB的随机读写（如使用ValueState代替ListState）。
- 调整网络缓冲区：增加
taskmanager.network.memory.buffers。 - 启用批处理模式：对窗口聚合使用
table.exec.mini-batch.enabled。
3. 如何合理设置并行度？
- 数据量匹配：确保每个TaskManager的Slot资源充足。
- Source并行度：与Kafka分区数对齐。
- 避免过载：通过反压监控动态调整。
- 资源预留：预留部分资源应对突发流量。
4. 如何解决KeyBy后的数据倾斜问题？
- 加盐打散：为Key添加随机前缀，先对前缀进行局部聚合，再按照字段全局聚合。
- 两阶段聚合：先
LocalKeyBy本地预聚合，再全局汇总。 - 自定义分区器：避免热点Key分配到同一分区。
5. 如何优化Flink内存配置？
- 调整托管内存：
taskmanager.memory.managed.fraction增加RocksDB内存。 - 堆外内存优化：减少GC压力，调整
taskmanager.memory.task.heap.size。 - 网络缓冲区：增加
taskmanager.memory.network.fraction提升吞吐量。
6. 如何减少Watermark生成延迟？
- 缩短周期：调整
pipeline.auto-watermark-interval（如200ms）。 - 自定义Watermark策略：在Source生成Watermark，减少传输延迟。
7. 如何避免Flink作业OOM？
- 增大堆外内存：调整
taskmanager.memory.task.off-heap.size。 - 限制状态大小：使用状态TTL自动清理过期数据。
- 关闭Operator Chain：拆分复杂算子链，减少单任务内存压力。
8. 如何优化大状态作业的恢复时间？
- 采用增量Checkpoint：仅恢复增量部分，不需要全部恢复，减少开销。
- 调整RocksDB参数：增大
block.cache和writebuffer.size提升读写性能。 - 并行恢复：使用
state.backend.rocksdb.restore.thread-num增加线程数。
9. 如何调优Flink的网络传输？
- 增加缓冲区数量：
taskmanager.network.memory.buffers-per-channel。 - 启用SSL优化：减少加密带来的性能损耗。
- 压缩传输数据：使用
execution.buffer-timeout和压缩算法（如snappy）。
10. 如何优化Flink的序列化性能？
- 使用Flink自带的序列化器（如
TypeInformation）。 - 注册Kryo序列化：对POJO类调用
env.registerTypeWithKryoSerializer()。 - 避免匿名类：减少序列化时的类元信息开销。
11. 如何优化JsonPojo的获取字段的性能？
- 采用反射缓存MethodHnadle方式：在open阶段或构造函数阶段(需要重写
readObject和writeObject)，利用反射和全类名，提前缓存该类的相关字段，后续直接用MethodHandle.invoke()句柄获取即可 - 升级至Flink2.0之后，采用Variant类型去解析Json某些字段
12. 如何监控Flink作业的背压？
- Web UI反压面板：查看各算子的反压状态，分为蓝色(正常)、红色(busy)、黑色(反压)。
- Metrics指标：监控
outPoolUsage和inPoolUsage的缓冲区使用率。 - 火焰图分析：通过Async Profiler定位CPU热点。
13. 如何优化窗口计算的性能？
- 预聚合：在窗口触发前合并中间结果。
- 滑动窗口优化：复用重叠窗口的中间状态。
- 延迟处理：设置允许的延迟时间（
allowedLateness），减少中间结果输出。
14. 如何避免Flink作业频繁GC？
要确定是什么问题频繁GC，是内存不足还是频繁创建空对象等
- 启用G1垃圾回收器：JVM参数添加
-XX:+UseG1GC。 - 增大堆内存：调整
taskmanager.memory.task.heap.size。 - 减少对象创建：重用对象或使用基本类型数组。
15. 如何实现端到端一致性
分为Source、Flink、Sink三个部分
- Flink端：配置
CheckpointingMode.EXACTLY_ONCE，并且实现两阶段提交Sink的TwoPhaseCommitSinkFunction（如DorisSink）。 - Source端：Source支持重置偏移（如Kafka）。
- Sink端：Sink且业务支持幂等写入（如Doris）
16. 如何动态调整Flink作业的资源配置？
- 响应式扩展：Flink 1.13+支持基于反压的自动扩缩容（需Kubernetes环境）。
- 手动调整：通过REST API动态修改并行度。
- 资源弹性：使用YARN/K8s的弹性资源分配策略。
