DSH 中心插件:把零散工具串成预置数据流水线|脱敏→清洗→盘点→封装,支持增量+定时自动处理

4 阅读6分钟

标签:DeepSeek Harness DSH Agent 数据治理 流水线 插件开发

前言

玩 DSH(DeepSeek Harness)的同学应该都有一个痛点:套件里已经有脱敏、清洗、资产盘点、打包封装这些独立工具插件,但是每次做数据资产处理,都要手动编排顺序、写胶水脚本、自己维护增量标记、单独配 cron 定时。

  • 顺序错了:先盘点再脱敏,敏感数据直接入库,合规翻车;
  • 没有增量:每次全量扫盘,小文件场景反复跑,浪费算力;
  • 没有统一调度:shell 脚本散落各处,日志分散、失败重试、链路追溯很难做;
  • 没有标准化产出:每一次处理出来的资产包格式不一,下游对接成本高。

于是我开发了这款 DSH 中心编排插件: @liuhange/dsh-data-asset-orchestration。 它不重复造轮子,核心定位就是串联套件内已有工具,提供一条开箱即用的预置数据资产流水线:脱敏 → 清洗 → 盘点 → 封装,原生支持增量识别与定时调度,一次配置、长期自动跑。

一句话定位:不是新的数据处理工具,是 DSH 工具套件的流水线编排器。

一、流水线整体设计思路

链路固定为强依赖顺序,不允许乱序: mask_sensitive_data(脱敏) → clean_data(清洗) → inventory_data(盘点) → package_data_asset(封装)

为什么固定这个顺序?

  1. 先脱敏:PII、手机号、身份证、密钥等敏感字段优先掩码,从源头守住合规边界;
  2. 再清洗:剔除空值、异常行、乱码、重复样本,修复格式;
  3. 然后盘点:统计字段清单、数据量、空值率、敏感标签、文件血缘,生成资产台账;
  4. 最后封装:打包成标准化资产包,附带四份报告(脱敏报告、清洗报告、资产盘点报告、资产清单),方便归档、分发、导入下游 Agent。

两大核心能力:增量处理 + 定时调度

  • 增量:基于文件指纹/修改时间做快照比对,只处理新增、变更文件,跳过未变动资产;
  • 定时:内置 cron 调度配置,依托 DSH 运行时后台轮询触发,不用额外部署 crontab / airflow。

二、插件快速上手:安装与最简配置

1. 安装

dsh plugin add @liuhange/dsh-data-asset-orchestration

依赖说明:需要提前装好套件底层工具插件:dsh-data-masking、dsh-data-cleaner、dsh-data-inventory、dsh-data-packager。

2. 最简流水线配置(DSH workflow json)

{
  "pipeline": "data_asset_std",
  "steps": [
    "mask_sensitive_data",
    "clean_data",
    "inventory_data",
    "package_data_asset"
  ],
  "sourceDir": "./raw_data",
  "outputDir": "./asset_output",
  "incremental": true,
  "snapshotPath": "./.pipeline_snapshot.json",
  "schedule": {
    "enable": true,
    "cronExpression": "0 3 * * *"
  },
  "reportMerge": true
}

参数说明:

  • incremental: true 开启增量;snapshotPath 用来存上一轮指纹快照;
  • schedule.enable=true 开启定时,示例配置:每天凌晨3点自动扫描执行;
  • reportMerge:自动合并四阶段报告,输出一份总资产报告。

3. 手动触发执行

装好插件后,直接在 DSH 会话里一句话触发:

执行标准数据资产流水线

插件会自动读取工作流配置,串行执行四步,中间任意一步失败自动中断、输出失败阶段日志,不会继续往下跑。

三、增量机制怎么实现(重点)

很多自研增量方案只靠文件修改时间,很容易因为复制文件、解压文件导致误判。 本插件采用双校验:

  1. 文件 mtime 修改时间快速初筛;
  2. 对初筛变更文件计算 md5 指纹,和快照文件对比;
  3. 新增文件、md5 变化文件 → 进入流水线;无变化文件直接跳过;
  4. 每一轮执行成功后,自动更新快照;执行失败不更新快照,下一次仍然重试这批文件。

优势:

  • 适合日志、业务导出文档、知识库素材持续入库场景;
  • 超大目录下避免全量扫描,降低资源开销;
  • 快照文件独立,可备份、可清理,清理后自动退化成全量扫描模式。

四、定时调度设计:轻量内嵌,不依赖外部调度器

很多 DSH 用户不想额外部署一套调度平台。 插件内置调度器是挂靠在 DSH 主运行时里面的轻量 cron 解析器:

  • 只负责触发流水线入口,不强制控制执行时长;
  • 支持并发保护:同一个流水线同一时刻只跑一个实例,防止重复加工;
  • 定时任务只扫描源目录,任务本身的重试、超时、日志都由 DSH 原生可观测链路承接;
  • 随时可以关闭 schedule,切回手动按需触发。

适合场景:每日凌晨自动同步业务数据、定时归档知识库、定期合规扫描脱敏。

五、产出物:标准化资产包结构

执行完成后,outputDir 目录结构固定:

asset_output/
├── asset_package.zip       # 最终交付资产包
├── report/
│   ├── mask_report.json    # 脱敏详情:哪些字段被掩码、掩码规则、命中条数
│   ├── clean_report.json   # 清洗详情:删除行数、修复字段、去重统计
│   ├── inventory.json      # 资产台账:字段、类型、空值率、敏感标签、数据量
│   └── summary.md          # 合并总报告(给人阅读)
└── snapshot.json           # 本轮快照,给下一轮增量对比使用

标准化的包结构,方便你对接自有数据中台、向量库导入脚本、合规审计归档。

六、可扩展能力与边界说明

✅ 支持:

  • 开关增量、随时启停定时;
  • 单步调试:配置里可以临时注释掉后面步骤,只跑脱敏+清洗;
  • 自定义脱敏规则集、清洗规则集,向下透传给底层工具插件;
  • 链路日志打入 DSH trace,配合可观测插件追踪每一条数据流转;

❌ 不做:

  • 不重写脱敏、清洗底层逻辑,复用已有插件能力;
  • 不做分布式调度,定位是单机 DSH 环境流水线编排;
  • 不替代专业大数据 ETL,面向 Agent 知识库、中小规模内部数据资产治理。

七、真实落地场景举例

场景1:企业内部知识库自动入库 每天定时扫描文档目录 → 增量识别新增 docx/md → 自动脱敏手机号身份证 → 清洗冗余格式 → 盘点文档元信息 → 打包成资产包,供给 Embedding 脚本入库向量库。

场景2:合规审计自动化 定期跑全量扫描,输出脱敏审计报告,留存每一轮处理记录,满足数据合规留痕。

场景3:外包/外部交付数据集整理 原始数据集丢进目录,一键流水线,自动脱敏脏数据、清理异常、生成资产清单再交付。

八、结语 & 开源地址

DSH “一切皆插件” 的理念很好,但零散工具多了之后,编排、调度、增量、报告这些胶水层工作会大量占用精力。 这个编排插件的目标就是把高频固定链路固化成预置流水线,大家不用反复写 shell、写调度脚本,聚焦在数据规则本身,而不是流程串联。

插件地址: npm:www.npmjs.com/package/@li… DSH 插件市场可直接检索:dsh-data-asset-orchestration

如果你在用 DSH 做数据资产、知识库治理,欢迎试用、提 issue、一起迭代流水线模板。

你们现在在 DSH 里是怎么串多个工具插件?shell 脚本还是自己写 agent 循环?欢迎评论区交流。