Flink 常用配置

并行度配置

# flink-conf.yaml
parallelism.default=1 #默认为 1

TaskManager 插槽个数

# flink-conf.yaml
taskManager.numberOfTaskSlots=3 #建议与节点的 CPU 数量一致

高可用配置

使用 zookeeper

high-availability: zookeeper
high-availability.zookeeper.quorum: localhost:2181
high-availability.zookeeper.path.root: /flink
high-availability.cluster-id: /cluster_one
high-availability.storageDir: hdfs:///flink/recovery

使用 Yarn，仅设置一个 JobManager 即可，Yarn 会在 JobManager 发生故障时重启他

<!-- yarn-site.xml -->

<property>
  <name>yarn.resourcemanager.am.max-attempts</name>
  <value>4</value>
  <description>最大重试次数</description>
</property>

同时还需要配合 flink-conf.yaml

yarn.application-attempts: 10