Prometheus

本篇使用StorageClass来持久化数据，搭建Statefulset的Grafana，并且在Dashboard导入前配置前面已经创建好的Prometheus的集群内部访问地址，同时配置ingress-nginx外部访问。 我的本地环境使用的 sealos 一键部署，主要是为…

为了解决容器的监控问题，Google开发了一款容器监控工具cAdvisor（Container Advisor），它为容器用户提供了对其运行容器的资源使用和性能特征的直观展示。 它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。 cAdvisor可以对节…

警报一直是整个监控系统中的重要组成部分，Prometheus监控系统中，采集与警报是分离的。 Alertmanager ，经过 Alertmanager r对警报的信息处理后，最终通过接收器发送给指定用户，另外在 Alertmanager 中没有通知组的概念，只能自己对软件重新…

前面一直是在Web UI 查看警报信息，现在开始使用接收器与Alertmanager集成，发送警报信息到 Email、企业微信、钉钉机器人，对于警报要求比较高的同学，可以根据下面提到的开源组件 【PrometheusAlert全家桶】 配置飞书、短信、语音电话等警报。 前面已经…

Prometheus把产生的警报发给Alertmanager进行处理时，需要在Prometheus使用的配置文件中添加关联Alertmanager的组件的对应配置信息。 上面的配置中的 alert_relabel_configs是指警报重新标记在发送到Alertmanager之…

手动添加主机IP和端口，然后重载服务让Prometheus发现。 对于一组比较少的服务器的测试环境中，这种手动方式添加配置信息是最简单的方法。但是实际生产环境中，对于成百上千的节点组成的大型集群又或者Kubernetes这样的大型集群，很明显，手动方式捉襟见肘了。 为此，Pro…

上图是官网提供的一个事例系统图，图中的Server是consul服务端高可用集群，Client是consul客户端。Server之间通过局域网或广域网通信实现数据一致性。每个Server或Client都是一个consul agent。 Consul集群间使用了GOSSIP协议通…

本篇使用StorageClass来持久化数据，搭建Statefulset的Prometheus联邦集群，对于数据持久化，方案众多，如Thanos、M3DB、InfluxDB、VictorMetric等，根据自己的需求​进行选择，后面会详细讲解针对数据持久化的具体细节。 部署一个…

静默 Silences 是指让通过设置让警报在指定时间暂时不会发送警报的一种方式。通常静默一般用于解决严重生产故障问题时，因所花费的时间过长，通过静默设置避免接收到过多的无用通知。在已知的例行维护中，为了防止对例行维护的机器发送不必要的警报，可以在 维护期间设置一个时间范围，临…

为了提升Prometheus的服务可靠性，我们会部署两个或多个的Prometheus服务，两个Prometheus具有相同的配置（Job配、告警规则、等），当其中一个Down掉了以后，可以保证Prometheus持续可用。 AlertManager自带警报分组机制，即使不同的P…

通过服务发现的方式，我们可以在不重启Prometheus服务的情况下动态的发现需要监控的Target实例信息。 如上图所示，对于线上环境我们可能会划分为:dev, stage, prod不同的集群。每一个集群运行多个主机节点，每个服务器节点上运行一个Node Exporter实…

namespace。 我的本地环境使用的 sealos 一键部署，主要是为了便于测试。