Diting Pro数据脱敏中间件系统设计文档

1. 项目目标

1.1 核心目标

开发一款高性能、高可用的数据安全中间件，实现：

• 透明数据脱敏：在不修改业务代码的前提下，自动识别并处理敏感数据
• 动态权限控制：支持多角色差异化访问策略（开发/管理员/普通用户）
• 安全合规存储：满足GDPR等数据隐私法规要求
• 智能查询支持：实现加密数据的模糊查询能力
• 企业级可靠性：达到99.99%可用性，支持集群化部署

1.2 关键指标

指标项	目标值
吞吐量	≥10,000 TPS
平均延迟	<50ms（P99<200ms）
故障恢复时间	<30s
协议兼容性	MySQL 5.6-8.0 全兼容
加密算法支持	AES/SM4/RSA 等

2. 可行性分析

2.1 技术可行性

• 协议解析：基于Netty实现MySQL协议状态机（参考Vitess实现）
• 性能保障：异步NIO模型+连接池管理（Apache Commons Pool2）
• 安全加密：集成Bouncy Castle密码库支持国密算法
• 模糊查询：特征值提取+哈希索引方案（已验证有效性）

2.2 经济可行性

• 节省成本：相比商业方案（如Imperva）节约80%以上授权费用
• 硬件成本：单节点可处理10,000+连接，降低服务器投入
• 维护成本：提供可视化配置界面，降低运维复杂度

2.3 操作可行性

• 无缝接入：通过端口代理实现零代码改造
• 渐进部署：支持灰度发布和AB测试
• 监控集成：提供Prometheus指标端点

2.4 安全合规性

• 通过等保三级技术要求
• 支持密钥生命周期管理
• 提供完整的审计日志

---

3. 技术方案与整体架构

3.1 系统架构

graph TD
    A[客户端] --> B[代理层]
    subgraph 数据脱敏中间件
        B --> C[协议解析引擎]
        C --> D[SQL重写器]
        C --> E[权限控制器]
        D --> F[脱敏执行引擎]
        E --> F
        F --> G[加密服务集群]
        G --> H[密钥管理系统]
    end
    F --> I[MySQL数据库]

3.2 组件说明

组件	功能描述
协议解析引擎	解析MySQL协议包，识别查询类型和结果集结构
SQL重写器	根据脱敏规则修改原始SQL（如字段替换、条件转换）
权限控制器	基于RBAC模型实施字段级访问控制
脱敏执行引擎	动态应用加密/脱敏策略，支持流水线处理模式
加密服务集群	提供硬件加速的加密计算能力，支持密钥轮换
审计日志服务	记录所有敏感数据访问操作

---

4. 详细实现设计

4.1 数据流设计

sequenceDiagram
    participant C as Client
    participant P as Proxy
    participant M as MySQL
    
    C->>P: COM_QUERY(SELECT phone)
    P->>P: 1. 解析协议包
    P->>P: 2. 检查权限策略
    P->>M: 3. 转发修改后的查询
    M-->>P: 4. 返回加密结果集
    P->>P: 5. 动态脱敏处理
    P-->>C: 6. 返回脱敏后数据

4.2 核心模块设计

4.2.1 协议解析引擎

public class MySQLProtocolDecoder extends ByteToMessageDecoder {
    private enum ParseState {
        INIT, HEADER, PAYLOAD
    }
    
    protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) {
        // 实现协议状态机
        while(in.readableBytes() >= 4) {
            int packetLength = in.getUnsignedMediumLE(in.readerIndex());
            if(in.readableBytes() < packetLength + 4) {
                return; // 等待完整数据包
            }
            ByteBuf packet = in.readRetainedSlice(packetLength + 4);
            processPacket(packet);
        }
    }
}

4.2.2 动态脱敏策略

public class MaskingEngine {
    private final MaskingRuleChain ruleChain;
    
    public Object processValue(ColumnMeta meta, Object value, UserContext user) {
        // 分级处理策略
        if(user.isAdmin()) {
            return decryptValue(value); // 管理员解密
        } else if(user.isDeveloper()) {
            return maskSensitiveData(value); // 开发人员脱敏
        }
        return defaultMask(value); // 普通用户
    }
    
    private String maskSensitiveData(String value) {
        return value.replaceAll("(\\d{3})\\d{4}(\\d{4})", "$1****$2");
    }
}

---

5. 关键技术创新

5.1 智能模糊查询

• 三级索引策略：

  graph TD
      A[模糊查询] --> B{查询模式}
      B -->|前缀匹配| C[使用prefix索引]
      B -->|后缀匹配| D[使用suffix索引]
      B -->|中间模糊| E[使用hash索引]
  

• 动态查询重写：

  public class FuzzyQueryRewriter {
      public String rewrite(String originSql) {
          // 将LIKE '%138%0000'转换为前缀后缀组合查询
          return originSql.replaceAll(
              "phone LIKE '%(\d{3}).*(\d{4})%'", 
              "phone_prefix='$1' AND phone_suffix='$2'"
          );
      }
  }
  

5.2 安全增强设计

• 密钥生命周期管理：

  graph LR
      K[密钥生成] --> S[安全存储]
      S --> U[使用中]
      U --> R[轮换]
      R --> A[归档]
      A --> D[安全销毁]
  

• 防SQL注入检测：

  public class SQLInjectionDetector {
      private static final Pattern SQLI_PATTERNS = Pattern.compile(
          "('|;|--|\b(ALTER|DROP)\b)", Pattern.CASE_INSENSITIVE);
      
      public boolean detect(String sql) {
          return SQLI_PATTERNS.matcher(sql).find();
      }
  }
  

6. 风险与应对

风险项	应对措施
协议版本兼容性问题	实现协议自动协商机制，维护版本兼容矩阵
加解密性能瓶颈	启用AES-NI硬件加速，支持FPGA卡卸载
密钥泄露风险	使用HSM硬件存储根密钥，实施密钥分片存储
大结果集内存压力	采用流式处理模式，分块处理结果集