Prometheus是如何自动发现k8s的服务

Prometheus 通过 kubernetes_sd_configs 配置实现了基于 Kubernetes API 的服务自动发现，以下是详细介绍：

基本原理

Prometheus 的 kubernetes_sd_configs 会定期从 Kubernetes API Server 获取集群中各类资源对象的信息，如服务（Service）、Pod、节点（Node）等，根据这些信息动态生成监控目标列表，从而自动发现 Kubernetes 中需要监控的服务，无需手动更新监控配置，可确保监控系统与 Kubernetes 集群状态保持同步。

具体使用方法与配置信息

• 安装部署 Prometheus ：可在 Kubernetes 集群内部署 Prometheus，通常使用 Prometheus Operator 来简化部署和管理。Operator 提供了自定义资源定义（CRD），如 ServiceMonitor、PodMonitor 等，方便声明式地配置 Prometheus 的监控目标。
• 配置 kubernetes_sd_configs ：在 Prometheus 的配置文件 prometheus.yml 中的 scrape_configs 部分添加 kubernetes_sd_configs 配置。例如：
  • 若要监控 Kubernetes 集群中的所有 Pod，可配置：

scrape_configs:
  - job_name: 'kubernetes-pods'
    kubernetes_sd_configs:
    - role: pod

* 若要监控 Service，可配置：

scrape_configs:
  - job_name: 'kubernetes-service-endpoints'
    kubernetes_sd_configs:
    - role: endpoints

• 设置标签重写和过滤（relabel_configs） ：通过 relabel_configs 对发现的目标进行标签重写和过滤，以满足特定的监控需求。例如，只监控具有特定标签的 Pod，或者将某些标签信息转换为目标的地址、端口等。

企业实战案例

• 微服务监控 ：在某互联网企业的 Kubernetes 集群中运行着大量的微服务应用。通过配置 Prometheus 的 kubernetes_sd_configs，自动发现各个微服务的 Pod 实例，并使用 relabel_configs 过滤出需要监控的服务版本和环境。同时，结合 ServiceMonitor 和自定义的 Annotation，对每个微服务的监控指标进行标准化定义，实现了对整个微服务架构的全面监控，包括请求延迟、错误率、吞吐量等关键指标。一旦某个微服务的指标出现异常，Prometheus 能及时发现并通过 Alertmanager 触发告警，运维人员可以迅速定位问题并进行处理。
• 集群节点监控 ：企业需要监控 Kubernetes 集群中各节点的 CPU、内存、磁盘等资源使用情况。在 Prometheus 配置中启用 kubernetes_sd_configs 并设置 role: node，Prometheus 自动发现集群中的所有节点，并通过 node_exporter 采集节点的硬件指标。通过设置合理的监控阈值和告警规则，当节点资源使用率过高或出现故障时，及时通知运维人员进行扩容或修复操作，确保集群的稳定运行。
• 容器资源监控 ：企业使用 Kubernetes 部署了大量的容器化应用，需要监控容器的资源使用情况。通过配置 kubernetes_sd_configs 并设置 role: pod，Prometheus 自动发现每个 Pod，并从 cAdvisor 获取容器的 CPU、内存、网络等指标。同时，利用 Prometheus 的聚合和计算功能，对容器资源进行汇总和分析，帮助企业优化容器资源分配，提高资源利用率。