FlinkCDC API打包到Flink集群中报错解决

325 阅读1分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

之前学习Flink时在IDEA中运行Flink程序,运行无异常,今天学习FlinkCDC时尝试将完成的API打包到Flink集群中运行:bin/flink run -m sco101:8081 -c com.xinan.gmall.cdc.FlinkCDC01_DS ./gmall1890-cdc-1.0-SNAPSHOT-jar-with-dependencies.jar

运行失败,查看日志报错信息为:

Caused by: java.lang.Exception: Could not perform checkpoint 3 for operator Source: Custom Source -> Sink: Print to Std. Out (1/1)#2.


at org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpoint(StreamTask.java:976)

at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$triggerCheckpointAsync$7(StreamTask.java:936)

at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing

网上查看是flink缺失访问hdfs的jar包,补充包之后在环境配置中导入hadoop。

export HADOOP_CLASSPATH=`hadoop classpath` 

jar包分享在下方

「FlinkJar」等文件 www.aliyundrive.com/s/Uhd8aAxbX… 点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。

重启flink集群,问题得到解决。

image.png