大数据技术AI
Flink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料
91篇原创内容
公众号
Flink 安装配置
解压
tar -zxvf flink-1.12.0-bin-scala_2.11.tgz -C /data
配置flink-conf.yaml
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: hadoop01
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: flink-metrics-duo
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false
metrics.reporter.promgateway.interval: 30 SECONDS
将plugins/flink-metrics-prometheus-1.12.0.jar拷贝到 <flink_home>/lib目录下
Grafana 安装
Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：
1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；
2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；
3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；
4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；
5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；
6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。
解压启动，无需配置
web查看：http://hadoop1:3000,默认用户名和密码：admin
Grafana 集成 Prometheus
设置数据源
地址为Prometheus地址
Grafana 官网找flink模板
搜索flink metrics 模板
手动一个个添加Dashboard比较繁琐，Grafana社区鼓励用户分享Dashboard，通过grafana.com/dashboards网…
Grafana中所有的Dashboard通过JSON进行共享，下载并且导入这些JSON文件，就可以直接使用这些已经定义好的Dashboard
下载flink metrics模板
导入
提交flink作业
查看监控
机群运行情况
flink运行情况
本文使用 文章同步助手 同步
