这是我参与2022首次更文挑战的第2天，活动详情查看：[2022首次更文挑战](https://juejin.cn/post/7052884569032392740 "https://juejin.cn/post/7052884569032392740") # 场景假如我现在对一个MQ集群监控，设置告警，有如下两条规则： ```yaml - alert: "RocketMQ，xxx_consumer出现消息积压" expr: sum by(group, topic) (rocketmq_group_diff{group="xxx_consumer",topic="xxx"}) > 1000 for: 1m labels: severity: busi annotations: description: '消费组xxx_consumer消费xxx的消息时出现消息积压，积压量已超过1000' summary: 'RocketMQ, xxx_consumer出现消息积压' - alert: "broker节点挂了" expr: count(rocketmq_broker_disk_ratio{cluster="XXXCluster"}) < 4 for: 0m labels: severity: warning annotations: description: 'broker节点个数少于4个了' summary: 'broker节点挂了' ``` 上面2条规则如下： 1. 规则一：业务组的某个消费组（核心业务），不能出现消息积压，超过1000条就告警通知他们 1. 规则二：我们的MQ集群某个业务挂了，我们自己要及时收到告警现在实际情况是这样，如果规则一告警，必须要及时通知到相对应的业务组的告警的钉钉群里，同时也要通知到我们自己的钉钉群。规则二告警只通知我们自己的群，业务侧不关心。即：有些告警需要同时分发到多个群，有些只发送给某个群。注意上面的严重程度（serverity）配置，注意用这个来区分，规则一是：busi，规则2是：warning。 # 配置示例如下 ## alertmanager的配置 ```yaml global: resolve_timeout: 5m smtp_from: from@email.com smtp_smarthost: smtp.net:port smtp_auth_username: from@email.com smtp_auth_password: PASS smtp_require_tls: false route: receiver: 'email' group_by: ['alertname'] group_wait: 10s group_interval: 10s repeat_interval: 10m routes: - receiver: 'our' group_wait: 10s match_re: severity: warning - receiver: 'other' group_wait: 10s match_re: severity: busi templates: - '*.html' receivers: - name: 'email' email_configs: - to: 'xuxd@email.com' send_resolved: false html: '{{ template "default-monitor.html" . }}' headers: { Subject: "[WARN] 报警邮件" } #邮件主题 - name: 'our' webhook_configs: - url: http://127.0.0.1:8060/dingtalk/our/send - name: 'other' webhook_configs: - url: http://127.0.0.1:8060/dingtalk/our/send - url: http://127.0.0.1:8060/dingtalk/other/send ``` * global:设置默认的邮箱配置，如果没有匹配的接收者就采用邮件通知 * route:除了email这个全局配置的接收者外，下面的routes指定了两个特定的接收者，一个接收者叫“our”，匹配warning级别的；另一个叫“other”，匹配busi级别的，这两个级别在最前面的规则里定义，不是什么特定关键字，就是自己随便定义的一个标记 * receivers:这里指定了上面定义的接收者的配置，email指定邮件发给谁；“our”指定dingtalk的发送url，注意这个uri的末尾，send前用的"our";“other”下面指定了两个url，区别就是url末尾的send前面，一个是“our”，另一个是"other" 下面顺便贴一下我用的邮件模板（文件名：default-monitor.html），模板格式是一个table： ```html {{ define "default-monitor.html" }} {{ range $i, $alert := .Alerts }} {{ end }}

报警名	描述	开始时间
{{ index $alert.Labels "alertname" }}	{{ index $alert.Annotations "description" }}	{{ $alert.StartsAt }}

{{ end }} ``` ## prometheus-webhook-dingtalk配置 ```yaml ## Customizable templates path templates: - /home/user/monitor/alert/prometheus-webhook-dingtalk-1.4.0.linux-amd64/template/template.tmpl ## Targets, previously was known as "profiles" targets: our: url: https://oapi.dingtalk.com/robot/send?access_token=xxxx secret: xxx_secret other: url: https://oapi.dingtalk.com/robot/send?access_token=xxx_other secret: xxx_other_secret ``` targets下有两个，分别是"our"和"other",这里对应上面alertmanager配置的url里的"our"和"other。access_token和secret是钉钉群添加机器小助手生成的。这样配置，如果规则一告警，就是alertmanager的name为other的receiver来发送告警通知，发送到我们的钉钉群和业务侧钉钉群。如果是规则二告警，通过our发送，便只发送到我们的钉钉群。