环境
- 准备jdk1.8
- 准备flink安装包
安装
下载安装包地址:flink.apache.org/downloads.h…
下载完成后解压至文件夹内(路径随意,想放哪里放哪里)
orange:flink tal$ tar -xzvf flink-1.12.2-bin-scala_2.12.tgz
...
orange:flink tal$ ls
flink-1.12.2 flink-1.12.2-bin-scala_2.12.tgz
进入flink-1.12.2文件夹,找到conf文件夹下面的配置文件进行修改
c ls
LICENSE README.txt conf lib log plugins
NOTICE bin examples licenses opt
修改配置文件
orange:flink tal$ vim flink-conf.yaml vim conf/flink-conf.yaml
# 开放以下配置
rest.port: 8081
rest.address: 0.0.0.0
# 使用默认jdk1.8,也可以用以下方式指定jdk1.8目录
env.java.home: /opt/java/jdk1.8.0_51
运行
启动,进入bin目录
orange:flink tal$ ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host orange.
Starting taskexecutor daemon on host orange.
然后就可以在浏览器输入:http://localhost:8081/ 查看页面了
提交任务
将编写好的flink程序打成jar包,可以通过命令行的形式上传也可以通过页面上传:
上传好jar包之后,会填写相关配置
- Entry class:就是flink任务的main函数路径
- Parallelism:任务的并行度
- Program Arguments:传入main函数的参数 格式为--key value 或者-key value 中间空格隔开
- Savepoiont Path:Savepoiont保存路径 不填为默认路径 填完之后点击submit提交按钮,之后就可以在左侧Running Jobs下看到该任务了
监控查看
对于已经运行的任务可以在flink dashboard上查看,从Running Jobs中点击列表中的某一个任务:
上方显示任务名,此次执行任务的标识ID,开始时间,执行时长;
中间为执行流程;
下方列表分别为:数据源,状态,接受/发送的数据大小等
这几个table分别代表:
Exceptions中则为任务运行时产生的异常
TimeLine为任务运行的时间线
CheckPonints为任务的容错相关设置如果开启了就会有记录
Configuration则为全局的配置参数,如果用flink的工具类ParamTools将main函数的启动参数设置为全局的话,这里可以查看到这些参数配置
如果想看任务运行的日志,控制台打印输出怎么办,去左侧的JobManager或TaskManager
在这里可以看到整个flink集群的内存使用情况、日志、标准输出、以及线程dump文件
我们想要查看的控制台输出就在Stdout中,运行日志则在logs中,Logs list则是所有的日志,会按日志文件大小分割。