如何优化大状态的 Flink 作业?

202 阅读1分钟

分析&回答

  1. 监控checkpoint和state 2个关键指标:
    • subtask checkpoint延迟时间
    • barrier对齐的缓存数量(excatly-once)
  2. 调整checkpoint参数
    • 自定义checkpoint的时间间隔
  3. rocksdb增量checkpoint
  4. rocksdb内存的三种配置
    • block_cache_size:控制内存中的最大未压缩块数
    • write_buffer_size:控制rocksdb中memtable的最大值
    • max_write_buffer_number

反思&扩展


喵呜面试助手: 一站式解决面试问题,你可以搜索微信小程序 [喵呜面试助手] 或关注 [喵呜刷题] -> 面试助手 免费刷题。如有好的面试知识或技巧期待您的共享!