在现代信息技术迅猛发展的背景下，"可观测性"（Observability）这一概念频繁出现在技术讨论和IT运维领域。然而，可观测性究竟是什么？我们又在观测些什么呢？
1、可观测性的定义
可观测性最初来源于控制理论（应用数学的一个分支，指使用反馈来影响系统的行为以实现预期的目标），指的是通过系统的外部输出来推断系统内部状态的能力。
可观测性工具的工作原理是通过不断探索性调查的迭代过程，确定系统问题可能出现的位置和原因。它的目标是使我们能够主动地识别任何故障模式，无论是已知的还是未知的。
在IT领域，在分布式系统日益复杂的今天，可观测性成为了确保系统稳定运行的关键。它通过三个主要的数据类型为我们提供了对系统内部状态的深入理解：指标监控、日志、链路追踪。
这三大支柱共同构成了可观测性的基础，让我们能够在问题发生之前预测并定位潜在的错误或故障。
2、可观测性的三大支柱
● 日志（Logging）：揭示系统行为的关键元素，记录了系统运行时的详细事件信息，帮助理解系统的运行状态和发生的事件。
● 指标（Metrics）：可量化系统状态和性能，通过数值形式表现的度量数据，可以对系统的性能和健康状态进行实时监控。
● 追踪（Tracing）：用于监控请求在分布式系统中的流动，帮助定位请求处理过程中的延迟和性能瓶颈 。
（一）日志（Logging）
日志是可观测性的另一个核心组成部分。它记录了系统运行过程中的详细事件信息，为我们提供了丰富的上下文数据。通过日志，我们可以了解到操作系统级别的事件、网络接入层的访问情况、服务运行时的异常信息等关键数据。
日志分析工具如ELK Stack（Elasticsearch, Logstash, Kibana）和Loki，以及商业产品如Splunk和Datadog，它们能够对日志数据进行高效的收集、搜索、分析和可视化，帮助我们快速定位问题并理解系统的运行状况。
（二）指标监控（Metrics）
指标监控是可观测性领域最为重要的支柱之一。它主要处理数字信息，通过量化的方式测量和记录系统的性能。指标监控的优势在于其历史数据存储成本较低，同时具备良好的实时性，以及庞大的生态系统支持。在指标监控的帮助下，我们可以实时地了解系统的健康状态，如CPU使用率、内存占用、网络流量等关键性能指标。
开源产品如Zabbix、Open-Falcon、Prometheus、Nightingale等提供了强大的指标收集和管理能力，它们能够帮助我们构建一个高效且可靠的监控系统。这些工具通常具备数据聚合、告警触发、可视化展示等功能，使得指标监控变得更加直观和易于管理。
（三）链路追踪（Tracing）
随着微服务架构的普及，系统的复杂性大大增加，服务之间的调用关系变得错综复杂。链路追踪技术通过为每个请求生成一个唯一的请求ID，并在服务间的调用过程中传递这个ID，从而追踪请求在系统中的完整路径。这样，我们就可以收集到每个服务处理请求的时间和状态，为问题的排查提供了清晰的线索。
开源产品如Skywalking、Jaeger、Zipkin等提供了分布式链路追踪的解决方案，它们能够帮助我们理解服务之间的依赖关系，识别性能瓶颈和故障点。
（四）结合三大支柱
单独使用指标、日志或链路追踪都能够为系统提供一定程度的可观测性，但将这三者结合起来，我们才能够获得一个全面、深入的系统视图。通过集成这些数据源，我们可以更准确地诊断问题、优化性能，并提高系统的可靠性。
在构建可观测性平台时，我们需要考虑如何有效地收集、存储、分析和展示这些数据。此外，随着技术的发展，如OpenTelemetry逐渐成为行业标准，以及eBPF技术的发展，我们有更多的机会来提升可观测性实践，降低存储成本，提高数据处理的实时性和准确性。
3、可观测性的技术演进
技术的进步推动了可观测性的发展，其中包括：
● OpenTelemetry标准化：逐渐成为云原生可观测性的标准协议，提供了一套完整的数据收集和传输方案 。
● eBPF技术：通过在Linux内核中运行沙盒程序，增强了系统的可观测能力，允许更细粒度的监控和跟踪 。
（一）OpenTelemetry标准化
OpenTelemetry是一个由云原生计算基金会(CNCF)支持的开源项目，它提供了一套完整的可观测性框架，用于数据的插桩、生成、采集和导出。作为行业标准，它得到了40多个可观测性供应商的支持，并被广泛应用于各种库、服务和应用程序中。
OpenTelemetry的核心组件包括：
● Span：表示时间上连续的操作，每个操作或跨进程调用都有一个唯一的标识符。
● Exporters：将捕获的数据发送到远程存储或分析系统。
● Collector：接收和处理从Exporters发送的数据，并支持将数据发送到不同的目标。
OpenTelemetry的标准化促进了不同工具和平台之间的互操作性，允许团队从一个系统中存储和查看数据，然后在另一个系统中进行机器学习模型的训练。此外，OpenTelemetry Collector引入了新的转换语言(OTTL)，增强了处理和转换传入信号的能力。
（二）eBPF技术
eBPF（扩展型Berkeley Packet Filter）是一项革命性的技术，可以在Linux内核中运行沙盒程序，无需更改内核源代码或加载内核模块。eBPF用于安全有效地扩展内核功能，具有高性能和安全性。
eBPF的发展为可观测性领域带来了新的机遇。例如，通过eBPF，可以在不引入额外代理或中间件的情况下，提供高效的观测和监控功能，尤其适合现代云原生环境。此外，eBPF的灵活性和可编程性使其成为大规模运营组织的理想选择，能够满足他们对深入监控和故障排除的需求。
4、可观测性的应用场景
可观测性技术在多个领域都有广泛应用，包括但不限于：
（一）故障排查
● 快速定位与诊断
○ 利用实时监控和自动化告警，运维团队可以迅速获得系统异常的第一时间通知。
○ 通过分析日志、指标和链路追踪数据，快速定位故障发生的位置和可能的原因。
● 根本原因分析（RCA）
○ 应用机器学习算法分析历史数据，预测故障发生的模式和趋势，实现故障的预防性维护。
○ 利用关联分析技术，识别故障之间的依赖关系，从而进行更深层次的问题挖掘。
● 故障模拟与恢复
○ 在安全的环境中模拟故障发生，测试系统的响应和恢复能力。
○ 通过历史故障数据的回放，验证故障恢复流程的有效性，优化应急预案。
（二）性能优化
● 性能监测与评估
○ 持续收集和分析关键性能指标，如响应时间、吞吐量和资源利用率，评估系统性能。
○ 利用基线对比和性能趋势分析，识别性能瓶颈和潜在的优化空间。
● 动态性能调优
○ 根据实时性能数据，动态调整系统配置，如自动扩展资源、负载均衡和请求路由。
○ 应用性能特征分析，识别不同用户行为模式对系统性能的影响，实现个性化的性能优化。
● 容量规划与成本效益分析
○ 结合历史性能数据和业务增长预测，进行容量规划，避免资源过载或浪费。
○ 分析不同性能优化措施的成本效益，确保资源投入与业务价值的最大化。
（三）业务决策支持
● 业务影响分析
○ 将IT性能数据与业务成果直接关联，分析IT问题对业务目标的影响，如销售损失或客户满意度下降。
○ 通过业务影响分析，识别关键业务流程的性能瓶颈，优化业务执行效率。
● 数据驱动的业务洞察
○ 利用用户行为分析和市场趋势数据，提供业务洞察，支持产品创新和市场策略制定。
○ 结合业务和IT数据，进行多维度的业务分析，如客户细分、产品受欢迎度等。
● 风险管理与合规性监控
○ 利用可观测性数据进行风险评估和管理，确保业务操作符合行业标准和法规要求。
通过实时监控和告警机制，快速响应合规性问题，减少潜在的法律和声誉风险。
5、结语
可观测性是了解和监控复杂系统的重要工具。随着技术的发展，特别是在云计算、微服务和容器化等环境中，可观测性的需求和应用将变得更加广泛。通过实施有效的可观测性策略，组织能够更好地控制和优化其IT系统，确保业务连续性和增长。
关于蒙帕
上海蒙帕智能科技股份有限公司聚焦IT运维领域20余年，服务客户超过400多家。
2015年组建研发团队，专注于“智能巡检机器人” 及“智能运维综合管控平台” 的研发，目前已获得“智能运维类”软件著作权40余项，产品发明专利30余项。
在北京、西安、重庆、深圳、广州、沈阳、大连、郑州、武汉、成都、无锡等地均设有分公司及办事处。
