在linux机器上搭建Prometheus+alertmanager+grafana监控服务

一、环境准备

①Promethus服务器（主节点）；

②被监控服务器( 其他节点 )

③Grafana服务器

二、克隆机器与环境规划

1.Prometheus服务器 172.16.100.174 2.grafana服务器 172.16.100.174 3.node服务器 172.16.100.175

命令行下载：wget "github.com/prometheus/…" 安装普罗米修斯软件： 1、上传到Linux服务器 解压并安装软件 tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt

2、改名： mv /usr/local/prometheus-2.29.1.linux-amd64/ /opt/prometheus

3、启动普罗米修斯软件 进入Prometheus目录
cd /usr/local/prometheus/

启动

./prometheus --config.file="/usr/local/prometheus/prometheus.yml" & #后台运行不占用终端窗口

4、测试9090端口占用情况

ss -utnlp|grep 9090

五、prometheus软件界面(web)

通过浏览器访问 http://172.16.100.174就可以访问到prometheus的主界面（注意防火墙等）

系统默认监控了自己的主机信息，通过http://172.16.100.174:9090/metrics 查看到监控的数据

六、使用prometheus监控远程Linux主机

1、node组件介绍

在远程inux主机(被监控端agent)上安装node_exporter组件(这样普罗米修斯就可以接收到其收集系统)。

2、安装node_ exporter

1）上传软件包到Linux服务器中( Agent被监控端)

2）解压安装node_ exporter组件

[root@agent ~]# tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz

[root@agent ~]# mv node_exporter-1.2.2.linux-amd64 node_exporter

3）里面就一个启动命令node_exporter ,可以直接使用此命令启动

启动node_exporter收集linux主机信息

[root@agent ~]# nohup /usr/local/node_exporter/node_exporter &

4）确认端口(9100)

[root@agent ~]# ss -utnlp|grep 9100

3、让普罗米修斯监控可以拉取node节点信息

在prometheus服务器的配置文件里添加被监控机器的配置段: 

[root@prometheus ~]# vim /usr/local/prometheus/prometheus.yml

上图中的job-name修改名称，这边显示的就是grafana中显示的ip名称，targets标签换成被监控服务器的ip,请注意yml格式

执行以下命令查看配置文件是否正常 ./promtool check config prometheus.yml

因为新增了被监控端的配置，所以需要重启Prometheus

杀进程 pkill prometheus

启动./prometheus --config.file="/opt/prometheus/prometheus.yml" & 

回到web管理界面-》点Status -》点Targets -》可以看到多了一台监控目标

八、Grafana可视化图形工具

1、什么是Grafana

Grafana是一个开源的度量分析和可视化工具,可以通过将采集的数据分析,查询,然后进行可视化的展示

[root@grafana ~]# yum -y install grafana-8.1.2-1.x86_64.rpm #yum安装解决依赖

[root@grafana ~]# systemctl start grafana-server

[root@grafana ~]# systemctl enable grafana-server

3、登录Grafana

http:/172.16.100.174/:3000/ 账号密码都是admin，初次登录后请修改密码

第二步:设置数据源、数据源名称、类型、IP地址、 端口号...

第三步:点击齿轮图标,查看已添加的数据源,然后为添加好的数据源做图形显示

第四步;选择Data Source数据源,选择普罗米修斯

填写好后请点击左下角的test

接下来就可以导入监控模板了

grafana.com/grafana/das… 这里选择自己需要的模板

点import，输入从复制过来的id即可

接下来安装alertmanager实现自己告警 先解压alertmanager，增加推送邮件模板，在alertmanager新建模板文件夹

接下来去Prometheus中添加alertmanager节点

然后新增自定告警模板

一切准备就绪启动alertmanager和重启Prometheus

启动alertmanager /opt/alertmanager/alertmanager --config.file="/opt/alertmanager/alertmanager.yml" &

./prometheus --config.file="/opt/prometheus/prometheus.yml" &