医疗文档塞给大模型前,为什么一定要先压缩

0 阅读7分钟

医疗文档大模型

最近不少做医疗信息化的朋友来问:RAG 到底怎么落地才稳?我的回答一般先泼盆冷水——在纠结“用哪个模型”之前,先想清楚一件事:你的文档,准备怎么进模型?

医疗场景的文档有个共同点:又多、又大、又敏感。一份病历可能混着扫描件和结构化字段,一份诊疗规范可能是几百页的 OFD,科室里还堆着海量影像。直接把这些塞给大模型,问题不是“模型聪不聪明”,而是“它读不读得动、读不读得起”。这一篇就从压缩原理、本地合规、token 成本三个角度,把这件事拆开讲。

先说清楚一个前提:这里讲的“压缩”,不是把文件随便压成 zip 丢给模型。zip 只是打包,模型读不了,token 也不会少。我们说的是“语义层面”的压缩——在尽量不损失判读信息的前提下,把对模型无意义的体积和 token 先砍掉,让文档既进得去、又读得起。下面分三块展开。

一、为什么压缩是 RAG 的第一道工序

很多人把压缩理解成“让文件变小省空间”,这其实看窄了。在 RAG 链路里,压缩解决的是两个更关键的问题:检索效率和推理成本。

文档体积降下来,切片和向量化的速度会明显变快,检索时命中的噪声也少。更重要的是 token 成本——大模型按 token 计费,你喂进去的每一页、每一张图都在烧钱。一份几百页的 PDF,如果不做处理直接切片,光嵌入(embedding)和上下文填充就是一笔不小的开销。

在公开实测里,一份 443 页的 OFD 文档,端到端处理大概 124 秒就能完成;图片按 GPT-4o 的口径算,token 成本能省下 85.9%。这两个数字背后不是“画质打折”,而是把对模型无意义的冗余(重复版式、空白、低信息量区域)先剥离掉,只保留模型真正需要读的内容。 å

二、压缩不是“一压了之”,得看原理

讲原理之前先分清两类压缩思路:

  • 无损类:针对文本、结构化字段、矢量信息,保证内容一字不差,只是去掉冗余编码和重复结构。这类适合病历、用药规范这类“一个字都不能错”的资料。
  • 有损但可控类:主要针对图片、扫描件、影像缩略。关键是“有损到不影响判读”——比如把对模型无意义的高频噪点、空白页去掉,但保留文字、印章、关键征象。选型时要问清楚:你的压缩,会不会把医生判读需要的信息也压没了。

医疗文档格式杂,常见就有 PDF、图片、视频、音频、Office、OFD、扫描件等大约 8 类。能覆盖多少格式、是否在本机完成处理,是判断一个压缩方案能不能用的硬指标。如果压缩必须先把文件上传到某个远端服务,那医疗场景基本可以直接 pass——这涉及下面要说的合规红线。

三、本地化部署不是可选项,是合规底线

医疗数据有它的脾气。患者隐私(PHI)、科研数据、未公开的临床试验,都受等保、数据出境相关规定的约束,一步都不能出内网。这意味着两件事:

第一,处理过程要在院内完成。文档清洗、切片、脱敏、向量化、检索,整套流程跑在你的服务器上,数据不出墙。那种“先把文件传上来我再帮你处理”的 SaaS,在医疗场景里天然不合规。

第二,敏感信息要在入库前脱掉。原始文档里混着姓名、身份证、病历号、家族史这些字段,直接喂给模型等于把隐私摊开。稳妥的做法是在入库前做一层敏感信息检测,覆盖姓名、证件号、病历号等大约 13 类字段,自动识别并做脱敏处理,从源头把风险压下去。医疗做 AI,合规不是加分项,是入场券。

补充一句实务层面的:等保和病历管理相关要求里,对数据的访问、调阅都有留痕要求。处理流程留在院内,意味着这些留痕天然就在可控范围内,后续迎检、审计都省事。反之,一旦数据出了内网,留痕链条就断了,补都补不回来。

顺便提一句,市面上像智压通这类偏私有化文档处理的工具,走的也是“本机完成、数据不出环境”的路线,思路上和医疗的合规要求是合拍的。不过具体选型还是得看你们院内环境的适配情况。

四、token 成本这笔账,得单独算

很多团队上线 RAG 之后才发现,真正的开销不是模型调用,而是“喂料的累积成本”。文档越多、图片越多,embedding 和上下文填充的 token 越滚越大。压缩之所以重要,就是因为它在“进料口”把成本砍下来:

  • 文档体积降 60% 到 80%,意味着同等语料下,存储、向量库、检索的体量同步下来;
  • 图片按 GPT-4o 口径省 85.9% 的 token,对“图文混排”的病历、报告尤其明显;
  • 体积下来了,检索命中更准,模型答偏的概率也跟着降,间接减少了重复查询的浪费。

换句话说,压缩省下的不只是空间,而是整条 RAG 链路的运营账单。

五、几个容易踩的误区

讲完原理,顺手列几个我在实际项目里见得最多的坑:

  • 误区一:先把模型接上再说。 文档没治理就进 RAG,结果检索噪声大、答案跑偏,最后锅甩给模型。正确顺序是先理、再压、再脱敏、最后接模型。
  • 误区二:压缩就是降低画质。 真正的文档压缩是“按内容重要性分配处理力度”:文字无损、对判读无意义的冗余才做可控削减。选型时一定问清楚“有损到什么程度、会不会影响医生判读”。
  • 误区三:上云更省事。 医疗涉及患者隐私和出境约束,处理流程必须院内完成。那种“传上来我帮你处理”的 SaaS,在合规红线面前基本不可用。
  • 误区四:只看压缩率数字。 60% 到 80% 的体积降幅是参考,关键还是看压缩后是否保留文字、印章、关键征象,以及图片 token 降幅是否可验证。数字好看但丢了判读信息,反而更危险。

六、选型该看哪些维度

如果你们准备在院内搭一套“文档处理 + RAG”的链路,我建议别只盯着模型参数,把下面这几个维度先列清楚:

维度该看什么
数据是否出内网处理流程是否全程在院内完成,文件是否离开你的环境
敏感信息脱敏是否覆盖足够的敏感字段类别,能否在入库前自动识别并脱敏
格式覆盖能否处理 PDF、图片、Office、OFD、扫描件等多类格式
压缩与 token 成本体积降幅、图片 token 降幅是否可验证,长期是否较可控
部署与适配能否跑在国产操作系统上,运维是否跟得上院内节奏

这张表是给技术同学做初筛用的,不替你拍板。每个医院的系统栈不一样,重点维度也会有先后。有一条建议别妥协:涉及患者隐私的资料,处理这一步,数据坚决不能出墙。

最后补一句,这类工具你搜一下名字就能找到,关键是先把“文档怎么进模型”这件事想透,再决定上哪套。顺序想反了,后面返工的成本比选型贵得多。