一、背景
随着《个人信息保护法》（PIPL）、《数据安全法》等法规的实施，企业对用户隐私数据的合规管理要求日益严格。在日常运维与开发过程中，系统日志、应用日志、API 请求/响应等数据中可能无意记录了大量个人身份信息（PII），如手机号、身份证号、邮箱地址、IP 地址等。这些信息若未被及时识别和脱敏，不仅存在泄露风险，还可能导致企业面临法律处罚和声誉损失。
传统依赖人工审查或静态规则过滤的方式，难以覆盖动态变化的数据格式和多样的日志来源，且效率低下、易遗漏。因此，亟需一种自动化、可扩展、高精度的敏感数据识别与治理方案。
二、观测云方案：基于敏感数据扫描能力实现数据的安全合规
观测云提供了一套端到端的敏感数据扫描与治理能力，帮助企业高效识别、分类并处理日志中的敏感信息，实现“规则配置—数据脱敏—审计合规”闭环管理。
核心能力
1、智能识别引擎 + 精准脱敏
- 脱敏时机
脱敏操作在数据写入存储引擎前完成，确保原始敏感信息不会落盘，从源头保障安全。
- 脱敏方式
备注： 若选择 MD5 脱敏，原始敏感值将被替换为其 MD5 哈希值。观测云提供 md5() 查询函数，支持在搜索时对明文值进行哈希计算，从而匹配已脱敏的日志内容。参考说明： docs.guance.com/platform-ca…
- 脱敏流程
观测云支持对同一数据源配置多套脱敏规则，对敏感数据实现精准匹配，完成脱敏后进行入库操作。
2、内置 70+ 预定义规则库，开箱即用
内置超过 70 种预定义的敏感数据匹配模式，包含
- 网络和设备信息扫描
- 个人敏感信息扫描
- 海外信用卡扫描
- 密钥和凭证扫描等
详细查看： docs.guance.com/management/…
3、全数据覆盖
支持对所有接入的数据进行脱敏，常用如下：
- 日志（Logs）
- 分布式链路追踪（Traces）
- 指标（Metrics）
- 用户行为监控（RUM）
- 大模型监测数据（LLM）
确保需要被观测的任意类型数据都能按照规则经过数据脱敏。
4、自定义规则灵活扩展
企业可基于业务需求，自定义私有敏感字段（如会员ID、工号、订单号等），并通过可视化界面调试正则规则，快速上线。支持环视正则配置。
环视正则解释： 利用正向/负向环视（lookaround）精准定位敏感字段上下文，避免误脱敏。
配置流程
1、接入数据源：通过观测云 DataKit 或 API 统一接入。 （以下主要以日志接入为例）
- 支持主机/容器内文本文件日志数据接入
- 支持容器标准输出日志接入
- 支持UDP/Socket协议日志推送
- 支持API接口写入日志，如Log Streaming 协议
2、启用敏感数据扫描：在观测云控制台配置“敏感数据扫描”功能，选择需被扫描的数据类型，支持按照规则进行匹配。
3、配置脱敏策略：针对需要脱敏的数据，配置对应的配置规则， 支持在平台页面上进行调试，如下图
三、场景示例： 应用日志中的敏感数据治理
脱敏要求及预期效果
脱敏前（原始日志片段）
2025-08-05 15:25:04,466 10.20.1.11 - header_log - WARNING - bankAccount: 6222029876543210987; cnId: 310115199001011234; cnphoneNo: 13900139000; 这是一条数据脱敏测试日志
脱敏要求：
- IP 地址：使用内置规则，脱敏后四位字符；
- 手机号（cnphoneNo）：全字段 MD5 哈希，匹配规则：(?<=cnphoneNo:\s)\d+(?=;\s)；
- 身份证号（cnId）：保留前3位，其余替换为
*，匹配规则： (?<=cnId:\s\d{3})\d*0-9Xx； - 银行卡号（bankAccount）：保留前4位和后4位，中间脱敏，匹配规则：(?<=bankAccount:\s\d{4})\d*(?=\d{4};\s)。
预期效果：
2025-08-05 15:25:04,466 10.20.1.* - header_log - WARNING - bankAccount: 6222***********0987; cnId: 310***************; cnphoneNo: ffd07e1a0527aaeadd164d4a149a6506; 这是一条数据脱敏测试日志
观测云配置示例
1、ip地址脱敏后四位字符 （内置规则库）
2、手机号，全字段 MD5 哈希，匹配规则：(?<=cnphoneNo:\s)\d+(?=;\s)
3、身份证号 ， 展示前三位，其余脱敏，匹配规则： (?<=cnId:\s\d{3})\d*0-9Xx
4、银行卡号（bankAccount）：保留前4位和后4位，中间脱敏，匹配规则： (?<=bankAccount:\s\d{4})\d*(?=\d{4};\s)
实际在观测云展示效果
原始数据上报效果：
开启脱敏后数据效果：
可以看到数据都按照脱敏规则要求，执行了脱敏，符合脱敏预期。
2025-08-05 15:25:04,466 10.20.1**** - header_log - WARNING - bankAccount: 6222***********0987; cnId: 310***************; cnphoneNo: ffd07e1a0527aaeadd164d4a149a6506; 这是一条数据脱敏测试日志
四、总结
通过观测云的敏感数据扫描与脱敏能力，企业能够以低成本、高效率、高精度的方式，实现对日志中敏感数据的自动化治理。该方案：
- 满足 PIPL、GDPR 等国内外数据合规要求；
- 从数据采集源头阻断敏感信息落盘；
- 支持灵活扩展，适配金融、电商、医疗等多行业场景；
- 提供可视化配置与调试，降低运维门槛。
在数据安全与合规成为企业“必选项”的今天，观测云为企业构建了一道智能、可靠、可审计的日志安全防线。
