本文已参与「新人创作礼」活动,一起开启掘金创作之路。
之前学习Flink时在IDEA中运行Flink程序,运行无异常,今天学习FlinkCDC时尝试将完成的API打包到Flink集群中运行:bin/flink run -m sco101:8081 -c com.xinan.gmall.cdc.FlinkCDC01_DS ./gmall1890-cdc-1.0-SNAPSHOT-jar-with-dependencies.jar
运行失败,查看日志报错信息为:
Caused by: java.lang.Exception: Could not perform checkpoint 3 for operator Source: Custom Source -> Sink: Print to Std. Out (1/1)#2.
at org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpoint(StreamTask.java:976)
at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$triggerCheckpointAsync$7(StreamTask.java:936)
at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing
网上查看是flink缺失访问hdfs的jar包,补充包之后在环境配置中导入hadoop。
export HADOOP_CLASSPATH=`hadoop classpath`
jar包分享在下方
「FlinkJar」等文件 www.aliyundrive.com/s/Uhd8aAxbX… 点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。
重启flink集群,问题得到解决。