知识库的内容治理:来源分级、入库扫描与版本管理

4 阅读11分钟

知识库的内容治理:来源分级、入库扫描与版本管理

提示词注入的防护,多数团队做在运行时:检索回来的内容包成数据块、和指令分离、输出前检查。这些前面都聊过。

但有个更上游的问题:如果恶意内容已经进了知识库,那么每次检索都可能把它带出来。运行时防护每次都要拦一遍,成本高、还总有漏网的时候。防线应该往上游挪——在入库之前就把来源管住、把内容扫一遍。

而且知识库的麻烦不只安全这一件。新旧版本并存导致检索随机命中旧文档,同样会让回答悄悄出错。这些都可以归到同一件事里:知识库的内容治理。

一、入库是比运行时更好的拦截点

先看两种防线的差别。

运行时防护是"每次取水都过滤":每次查询都要执行注入检测、数据包裹、输出检查,按请求计费,且每一轮都有漏过的可能。

入库治理是"管水源地":内容进来的时候审一次、扫一遍、标个信任等级,之后所有查询都受益。成本是一次性的,规则可以慢慢迭代。

但两者不能互相替代:

  • 入库拦截管不住运行时注入(用户输入、外部工具返回),那部分还得靠运行时防护。
  • 运行时防护挡不住已经在库里的毒——它每次都忠实地把那段内容检索出来。

所以正确的关系是:入库管"源头",运行时管"过程"。这篇只讲源头。

哦,原来是这样:一条藏在文档里的注入指令,杀伤力不在于它写得多巧妙,在于它会反复地、随机地被检索出来。在入库时拦一次,等于拦住了之后所有次的出口。

二、来源分级:不同来路,不同待遇

治理的第一步不是扫描,是分级。不同来源的内容,信任度和该走的流程完全不同:

来源信任度入库前动作
内部人工编写高常规解析与切分即可
内部系统导出较高检查导出范围与脱敏
用户上传中必须扫描 + 人工或模型抽审
外部抓取(网页、第三方)低白名单来源 + 全量扫描 + 审核确认

这个表背后的逻辑很朴素:内容的风险取决于"谁能往里写"。内部手写的文档,写的人就是同事;外部抓取的网页,写的人是完全不可控的陌生人。

分级还要落成元数据,跟着内容走完全程:source_type、uploader、audit_status。后面扫描结果的信任等级也要挂上去——没有这个标注,后面的隔离和降权都没依据。

graph TD
    A[内容进入] --> B{来源类型}
    B -->|内部人工| C[常规入库]
    B -->|系统导出| D[脱敏检查]
    B -->|用户上传| E[全量扫描 + 抽审]
    B -->|外部抓取| F{是否在白名单来源}
    F -->|否| X[拒绝入库]
    F -->|是| G[全量扫描 + 审核]
    D --> H[标注来源与信任等级]
    C --> H
    E --> H
    G --> H
    H --> I[入库]

三、入库扫描:扫什么

扫描管道通常四类检查,按优先级排:

1. 注入模式。 找指令式文本:让模型忽略规则的内容、伪装成系统提示的片段、藏在外部文档里试图操纵检索后行为的句子。规则可以拦掉明显的那部分(固定的指令短语、模板化的越狱文本),但花样太多,规则拦不全,所以要用小模型再做一层判定——给它一个明确的判断任务:"这段文本是在陈述事实,还是在试图给 AI 下指令?"输出结构化的结论。

2. 敏感信息。 手机号、证件号、银行卡、密钥、内部凭证。这一层和前面讲数据安全时的脱敏是同一套逻辑,只是位置提前到了入库时——在源头替换掉,比在每次检索出口处理便宜得多。

3. 低质内容。 乱码、OCR 产生的碎片、超短无意义的块、大面积重复。这些不是安全问题,但会污染检索——垃圾块占了向量库的位置,还可能在 top_k 里挤掉有用内容。

4. 失效内容。 已经作废的流程、过期版本、标注废弃的文档。严格说这属于版本管理(下一节),但扫描时可以顺手把"文中自称已废弃"的段落标出来。

def scan_block(text, rules, judge):
    """
    对单个内容块做入库前扫描。

    :param text: 待检文本
    :param rules: 规则列表,每项含 pattern 与类别
    :param judge: 模型判定器,判断是否包含指令式内容
    :return: (信任等级, 命中列表)
    """
    hits = []
    for r in rules:
        if r.pattern.search(text):
            hits.append(r.category)

    # 规则未命中时,再用模型判一次指令式内容,降低漏网
    if not any(h == "injection" for h in hits):
        verdict = judge.is_instructional(text)     # 返回 yes / no / unsure
        if verdict == "yes":
            hits.append("injection_model")

    # 乱码与超短内容标记为低质
    if len(text.strip()) < 10 or is_garbled(text):
        hits.append("low_quality")

    level = trust_level(hits)                     # 命中越多,信任越低
    return level, hits

哦,原来是这样:扫描的目标不是"拦住所有恶意内容"——完美的过滤器不存在,而且误杀正常内容的代价很高。现实的目标是把明显的拦住、把拿不准的标出来降级。分级处理比追求一次判对更可行。

四、拿不准的内容:隔离而不是丢弃

扫描结果"可疑但不确定"的内容,直接丢弃有两个问题:误报会损失正常知识;而且丢弃等于没有记录,事后无法复盘误报率。

更好的做法是标记信任等级,降级使用:

信任等级检索行为拼上下文时权限
高(已审核)正常参与检索正常展示可支撑结论
中(未审核)正常检索,排序略降标注"未经审核"可引用,高风险场景需确认
低(扫描命中)降权或默认不召回强标注来源可疑不允许驱动高风险动作

低信任内容不是完全不可用——有时候里面确实有有用信息。降权加标注,让人和模型都知道"这段的来源可疑",比一删了之保留更多信息,也给了后续人工复核的入口。

还有一条要守住:低信任内容不允许驱动高风险动作。哪怕它通过检索进入了上下文,涉及下单、删除、发消息的工具调用也不能依据它执行。这和运行时防护里"外部内容不可信"是同一条原则,只是把边界画在了入库时。

五、版本与时效:新旧并存是最隐蔽的错误源

知识库最常见的故障不是缺内容,而是新旧并存:文档更新了,旧版本没下线,检索时随机命中。用户问现行规则,检索捞到旧版,回答就错了——而且错得毫无痕迹,因为那篇文档看起来"正常得很"。

管理要点:

  • 同 ID 覆盖。同一份文档更新时,用相同 doc_id 覆盖向量与倒排条目,旧版本归档但不在检索范围内。
  • 旧版归档可回滚。新版本出问题时能切回去,所以归档不能删,只是移出检索索引。
  • 生效时间。法规、政策类文档常有"未来生效"的情况。未生效的要么不入库,要么标注生效日期并在检索时过滤。
  • 删除要彻底。下线一份文档,要同时清向量索引、倒排索引、缓存(27 篇提过语义缓存的失效)、以及引用记录(34 篇的引用带版本,就是为了对得上)。任何一处漏了,内容就还活着。
变更类型动作最容易漏的地方
内容更新同 ID 覆盖 + 旧版归档归档版仍留在向量索引里
文档下线四处清除语义缓存里的旧答案
未来生效标注生效日,检索过滤直接入库导致提前生效
批量重建新索引并行,验证后切换旧索引忘了下线,成本翻倍

哦,原来是这样:知识库的检索是无状态的——它只认"库里有什么"。旧版本留在库里一天,就有一天概率被随机命中。这不是概率问题,是确定性的事故源。

六、变更审计与定期复扫

两件收尾的事。

变更审计:每次入库、更新、下线都留记录——谁操作的、什么时候、来源是什么、审核结论是什么。出问题时,能快速回答"这批内容是哪天进来的",也能按批次整批回滚。没有批次概念的知识库,出了问题只能全量重扫。

定期复扫:扫描规则会过时,新的注入手法会出现。存量内容要定期重扫一遍。全量重扫成本高,实际做法是抽样 + 高风险来源优先:用户上传和外部抓取的内容多扫,内部手写的低频抽扫。复扫还附带一个好处——扫描规则的误报率、漏报率能持续被校准。

七、完整流程

graph TD
    A[内容进入] --> B[来源分级 打标]
    B --> C[解析与切分]
    C --> D[入库扫描 注入/敏感/低质/失效]
    D --> E{扫描结论}
    E -->|通过| F[标注信任等级 入库]
    E -->|可疑| G[标注低信任 降权入库]
    E -->|命中明确恶意| X[拒绝并记录]
    F --> H[建索引 向量+倒排]
    G --> H
    H --> I[版本记录与变更审计]
    I --> J[定期复扫 存量内容]
    J --> D

八、来源准入:白名单的维护

外部抓取的准入靠白名单,但白名单本身也需要治理,否则会慢慢腐化。

几个实际的做法:

  • 加白要走流程。谁申请、为什么加、审核人是谁,留记录。随手加白是外部内容失控的主要入口。
  • 定期复审。原来可信的站点会易主、会改版、会被接管。半年复审一次白名单,移除不再活跃或内容方向变化的来源。
  • 按域名而不是按 URL 管理。同一域下的路径会变,按域控制粒度更稳定;确需放宽到路径级的,单独标注。
  • 白名单之外留一个"待审池"。有价值的来源不直接进白名单,先小批量抓取、全量扫描、人工看一轮,没问题再转正。

黑名单的使用要克制:拉黑一个来源容易,但误拉黑的代价是知识缺口,而且没人会发现。黑名单适合放"确认有恶意行为"的来源,普通的低质量来源用降权处理就够了。

哦,原来是这样:白名单不是一份静态清单,是一个需要持续运营的准入机制。它腐化的速度,决定外部内容的风险敞口。

九、常见坑

  • 只做运行时防护,不管入库:毒在库里,每次检索都往出口送。
  • 所有来源一个待遇:外部抓取和内部手写走同样流程,风险和成本都不对。
  • 扫描可疑直接丢弃:误报无法复盘,正常知识白白损失。
  • 低信任内容可以驱动高风险动作:隔离只做了检索层,没做权限层。
  • 更新时旧版本不下线:新旧并存,检索随机命中,错误极隐蔽。
  • 删除不清缓存:内容下线了,语义缓存里的旧答案还在被命中。
  • 没有变更审计:出问题查不到是哪批内容引入的。
  • 扫描规则一次写完不再迭代:新手法出现后管道形同虚设。
  • 未生效文档直接入库:法规提前"生效"。

十、什么时候不用做这么严

纯内部知识库、来源全部是内部同事手写、不接外部内容,那来源分级和注入扫描可以简化:保留版本管理和变更审计(这两样无论如何都该有),扫描部分只做敏感信息和低质内容。

但只要出现这几条之一,治理就要补全:接用户上传、抓取外部网页、知识库面向外部用户输出、多团队共同维护同一库。判断标准还是那句话:谁能往里写、写的人可不可控。

收尾

知识库的内容治理,拆开是四层:来源分级决定信任起点,入库扫描把明显问题拦在门外,信任标注与隔离处理拿不准的部分,版本管理保证库里永远是该在的内容。

它和运行时防护不是二选一,是两道不同的防线:入库管源头,运行时管过程。两者共用同一个原则——外部内容是数据,不是指令,只是这条原则要落实在两个位置上。

最后,版本管理这一层即使不做安全也该做。新旧并存导致的错误答案,比注入攻击更常见,也更难被发现——因为它每次看起来都像一次普通的检索失误。