Flink学习笔记(五)——Flink Dashboard

3,460 阅读2分钟

环境

  • 准备jdk1.8
  • 准备flink安装包

安装

下载安装包地址:flink.apache.org/downloads.h…
下载完成后解压至文件夹内(路径随意,想放哪里放哪里)

orange:flink tal$ tar -xzvf flink-1.12.2-bin-scala_2.12.tgz
...
orange:flink tal$ ls
flink-1.12.2			flink-1.12.2-bin-scala_2.12.tgz

进入flink-1.12.2文件夹,找到conf文件夹下面的配置文件进行修改

c ls
LICENSE		README.txt	conf		lib		log		plugins
NOTICE		bin		examples	licenses	opt

修改配置文件

orange:flink tal$ vim flink-conf.yaml vim conf/flink-conf.yaml
# 开放以下配置
rest.port: 8081
rest.address: 0.0.0.0
# 使用默认jdk1.8,也可以用以下方式指定jdk1.8目录
env.java.home: /opt/java/jdk1.8.0_51

运行

启动,进入bin目录

orange:flink tal$ ./start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host orange.
Starting taskexecutor daemon on host orange.

然后就可以在浏览器输入:http://localhost:8081/ 查看页面了

image.png

提交任务

将编写好的flink程序打成jar包,可以通过命令行的形式上传也可以通过页面上传:

image.png 上传好jar包之后,会填写相关配置

image.png

  • Entry class:就是flink任务的main函数路径
  • Parallelism:任务的并行度
  • Program Arguments:传入main函数的参数 格式为--key value 或者-key value 中间空格隔开
  • Savepoiont Path:Savepoiont保存路径 不填为默认路径 填完之后点击submit提交按钮,之后就可以在左侧Running Jobs下看到该任务了

image.png

监控查看

对于已经运行的任务可以在flink dashboard上查看,从Running Jobs中点击列表中的某一个任务:

image.png 上方显示任务名,此次执行任务的标识ID,开始时间,执行时长;

中间为执行流程;

下方列表分别为:数据源,状态,接受/发送的数据大小等

这几个table分别代表:

Exceptions中则为任务运行时产生的异常

TimeLine为任务运行的时间线

CheckPonints为任务的容错相关设置如果开启了就会有记录

Configuration则为全局的配置参数,如果用flink的工具类ParamTools将main函数的启动参数设置为全局的话,这里可以查看到这些参数配置

如果想看任务运行的日志,控制台打印输出怎么办,去左侧的JobManager或TaskManager

image.png

image.png 在这里可以看到整个flink集群的内存使用情况、日志、标准输出、以及线程dump文件

我们想要查看的控制台输出就在Stdout中,运行日志则在logs中,Logs list则是所有的日志,会按日志文件大小分割。