标签:
DeepSeek HarnessDSHAgent数据治理流水线插件开发
前言
玩 DSH(DeepSeek Harness)的同学应该都有一个痛点:套件里已经有脱敏、清洗、资产盘点、打包封装这些独立工具插件,但是每次做数据资产处理,都要手动编排顺序、写胶水脚本、自己维护增量标记、单独配 cron 定时。
- 顺序错了:先盘点再脱敏,敏感数据直接入库,合规翻车;
- 没有增量:每次全量扫盘,小文件场景反复跑,浪费算力;
- 没有统一调度:shell 脚本散落各处,日志分散、失败重试、链路追溯很难做;
- 没有标准化产出:每一次处理出来的资产包格式不一,下游对接成本高。
于是我开发了这款 DSH 中心编排插件: @liuhange/dsh-data-asset-orchestration。 它不重复造轮子,核心定位就是串联套件内已有工具,提供一条开箱即用的预置数据资产流水线:脱敏 → 清洗 → 盘点 → 封装,原生支持增量识别与定时调度,一次配置、长期自动跑。
一句话定位:不是新的数据处理工具,是 DSH 工具套件的流水线编排器。
一、流水线整体设计思路
链路固定为强依赖顺序,不允许乱序: mask_sensitive_data(脱敏) → clean_data(清洗) → inventory_data(盘点) → package_data_asset(封装)
为什么固定这个顺序?
- 先脱敏:PII、手机号、身份证、密钥等敏感字段优先掩码,从源头守住合规边界;
- 再清洗:剔除空值、异常行、乱码、重复样本,修复格式;
- 然后盘点:统计字段清单、数据量、空值率、敏感标签、文件血缘,生成资产台账;
- 最后封装:打包成标准化资产包,附带四份报告(脱敏报告、清洗报告、资产盘点报告、资产清单),方便归档、分发、导入下游 Agent。
两大核心能力:增量处理 + 定时调度
- 增量:基于文件指纹/修改时间做快照比对,只处理新增、变更文件,跳过未变动资产;
- 定时:内置 cron 调度配置,依托 DSH 运行时后台轮询触发,不用额外部署 crontab / airflow。
二、插件快速上手:安装与最简配置
1. 安装
dsh plugin add @liuhange/dsh-data-asset-orchestration
依赖说明:需要提前装好套件底层工具插件:dsh-data-masking、dsh-data-cleaner、dsh-data-inventory、dsh-data-packager。
2. 最简流水线配置(DSH workflow json)
{
"pipeline": "data_asset_std",
"steps": [
"mask_sensitive_data",
"clean_data",
"inventory_data",
"package_data_asset"
],
"sourceDir": "./raw_data",
"outputDir": "./asset_output",
"incremental": true,
"snapshotPath": "./.pipeline_snapshot.json",
"schedule": {
"enable": true,
"cronExpression": "0 3 * * *"
},
"reportMerge": true
}
参数说明:
incremental: true开启增量;snapshotPath用来存上一轮指纹快照;schedule.enable=true开启定时,示例配置:每天凌晨3点自动扫描执行;reportMerge:自动合并四阶段报告,输出一份总资产报告。
3. 手动触发执行
装好插件后,直接在 DSH 会话里一句话触发:
执行标准数据资产流水线
插件会自动读取工作流配置,串行执行四步,中间任意一步失败自动中断、输出失败阶段日志,不会继续往下跑。
三、增量机制怎么实现(重点)
很多自研增量方案只靠文件修改时间,很容易因为复制文件、解压文件导致误判。 本插件采用双校验:
- 文件
mtime修改时间快速初筛; - 对初筛变更文件计算 md5 指纹,和快照文件对比;
- 新增文件、md5 变化文件 → 进入流水线;无变化文件直接跳过;
- 每一轮执行成功后,自动更新快照;执行失败不更新快照,下一次仍然重试这批文件。
优势:
- 适合日志、业务导出文档、知识库素材持续入库场景;
- 超大目录下避免全量扫描,降低资源开销;
- 快照文件独立,可备份、可清理,清理后自动退化成全量扫描模式。
四、定时调度设计:轻量内嵌,不依赖外部调度器
很多 DSH 用户不想额外部署一套调度平台。 插件内置调度器是挂靠在 DSH 主运行时里面的轻量 cron 解析器:
- 只负责触发流水线入口,不强制控制执行时长;
- 支持并发保护:同一个流水线同一时刻只跑一个实例,防止重复加工;
- 定时任务只扫描源目录,任务本身的重试、超时、日志都由 DSH 原生可观测链路承接;
- 随时可以关闭 schedule,切回手动按需触发。
适合场景:每日凌晨自动同步业务数据、定时归档知识库、定期合规扫描脱敏。
五、产出物:标准化资产包结构
执行完成后,outputDir 目录结构固定:
asset_output/
├── asset_package.zip # 最终交付资产包
├── report/
│ ├── mask_report.json # 脱敏详情:哪些字段被掩码、掩码规则、命中条数
│ ├── clean_report.json # 清洗详情:删除行数、修复字段、去重统计
│ ├── inventory.json # 资产台账:字段、类型、空值率、敏感标签、数据量
│ └── summary.md # 合并总报告(给人阅读)
└── snapshot.json # 本轮快照,给下一轮增量对比使用
标准化的包结构,方便你对接自有数据中台、向量库导入脚本、合规审计归档。
六、可扩展能力与边界说明
✅ 支持:
- 开关增量、随时启停定时;
- 单步调试:配置里可以临时注释掉后面步骤,只跑脱敏+清洗;
- 自定义脱敏规则集、清洗规则集,向下透传给底层工具插件;
- 链路日志打入 DSH trace,配合可观测插件追踪每一条数据流转;
❌ 不做:
- 不重写脱敏、清洗底层逻辑,复用已有插件能力;
- 不做分布式调度,定位是单机 DSH 环境流水线编排;
- 不替代专业大数据 ETL,面向 Agent 知识库、中小规模内部数据资产治理。
七、真实落地场景举例
场景1:企业内部知识库自动入库 每天定时扫描文档目录 → 增量识别新增 docx/md → 自动脱敏手机号身份证 → 清洗冗余格式 → 盘点文档元信息 → 打包成资产包,供给 Embedding 脚本入库向量库。
场景2:合规审计自动化 定期跑全量扫描,输出脱敏审计报告,留存每一轮处理记录,满足数据合规留痕。
场景3:外包/外部交付数据集整理 原始数据集丢进目录,一键流水线,自动脱敏脏数据、清理异常、生成资产清单再交付。
八、结语 & 开源地址
DSH “一切皆插件” 的理念很好,但零散工具多了之后,编排、调度、增量、报告这些胶水层工作会大量占用精力。 这个编排插件的目标就是把高频固定链路固化成预置流水线,大家不用反复写 shell、写调度脚本,聚焦在数据规则本身,而不是流程串联。
插件地址: npm:www.npmjs.com/package/@li… DSH 插件市场可直接检索:dsh-data-asset-orchestration
如果你在用 DSH 做数据资产、知识库治理,欢迎试用、提 issue、一起迭代流水线模板。
你们现在在 DSH 里是怎么串多个工具插件?shell 脚本还是自己写 agent 循环?欢迎评论区交流。