内网可用的 AI 问答:企业 RAG 知识库从架构到案例

0 阅读8分钟

一套可直接落地的AI 本地 RAG 知识库实施方案,

今天聊一套企业本地 AI 知识库落地方案,国企、中小企业都能用,核心一点:所有数据留在内网,不往外跑。

先把最核心的一句话说清楚:底层靠的是私有化 RAG 检索增强生成,不是拿企业资料去训大模型。

文档、向量数据、模型推理全都在公司内网服务器跑,不上* 公网 *。员工直接自然语言提问,查制度、流程、历史方案,AI 给出来的回答会带上原文出处,能很大程度避免 AI 瞎编,同时也保留我们习惯的文档目录浏览方式。

但国企和中小企业,诉求差别挺大的,不能一套方案硬套。国企这边,排在第一位的永远是合规。要信创适配、精细到文档级别的权限控制、完整操作审计、数据绝对不出网、满足等保要求,还要支持文档脱敏、多版本管理。中小企业就不一样了,更看重成本、能不能快速上线、好不好维护。优先对接企业微信或者钉钉,不想折腾复杂硬件,最好开箱即用,少操心。

一、业务目标 & 价值

很多公司的资料都是散的,躺在网盘、OA、员工电脑文件夹里,制度、SOP、合同、培训课件、故障手册、过往项目方案,东一块西一块。找人问资料,经常就是 “我记得有这个文件,但不知道在哪”。这套本地知识库,第一件事就是把这些零散资料统一收纳入库。员工不用再挨个翻文件夹,直接打字提问,AI 拿着内部资料给答案,并且标注清楚来源文档和页码。也是一个沉淀经验的载体。

老员工手里的经验变成文档存下来,新人可以自己在库里面查资料学习,减少反复答疑、反复培训的成本。全程内网闭环,敏感资料不会传到外面的 AI 平台。权限可控:谁能看哪一类资料、谁可以上传修改,所有问答记录都留日志,可以审计追溯。这里有个很关键的点,很多人容易理解错:RAG 不是 AI 读完文档就把内容记在脑子里。它是先根据问题检索相关片段,把片段交给大模型当做参考材料,再生成回答。这也是为什么它能控制幻觉、做到溯源,合规项目里这个逻辑一定要讲明白。

二、整体技术架构,四层结构

认知破局:从“教会徒弟饿死师傅”到“真诚利他聚焦” (3).png

1、接入层:用户入口

用户使用渠道很多,网页端、企业微信 / 钉钉应用、PC 客户端都可以。两种使用模式:传统模式:和普通文档库一样,目录浏览、关键词检索,在线预览 PDF、Word;AI 问答模式:对话框直接提问,返回回答附带原文引用。文档来源也很丰富:手动单篇上传、批量导入、同步 OA、共享盘,扫描件支持 OCR 识别,Excel、PPT、Markdown 格式都能处理。账号权限尽量对接现有体系,企业域账号、LDAP、企微、钉钉,复用原来的权限,不要再单独搭一套账号系统,维护起来麻烦。

2、文档处理流水线:入库是重头戏,七成效果看这里

文档上传之后自动走一整套流程:先解析各类文件格式,扫描图片做 OCR;清洗内容,去掉页眉页脚、水印、空行和乱码;文本分块,不是死板固定长度切割,跟着段落、章节拆分,表格、流程图单独处理;打上标签:文档分类、密级、归属部门、有效期、版本、维护人,同时绑定访问权限 ACL,国企场景这个是硬性要求;最后向量化,用中文 Embedding 模型把文本转成向量存入向量库。中文场景优先选 BGE-M3、BGE-large,本地离线跑,中文理解稳定。

3、检索层:混合检索,企业正式环境标配

混合检索 = BM25 关键词检索 + 向量语义检索 + 前置权限过滤关键词检索:适合查文号、制度编号、错误码、精准条款;向量检索:适合模糊提问、同义说法、理解类的问题;权限一定要放在检索之前过滤:先判断这个用户能看哪些文档切片,再检索。不能先检索完再过滤,有泄密风险。两路召回之后还要做 Rerank 重排,筛选相关性最高的片段,再交给大模型。向量库选型看规模:小体量、中小企业,几万切片以内:Chroma、PgVector,Postgres 插件形式,不用额外部署服务;企业级,十万到百万切片,国企项目:Qdrant、Milvus;信创项目,优先选择国产向量库。

4、生成层:本地私有化大模型,全程离线推理,不调用外部 API

中小企业低配方案:7B 参数模型,Qwen、DeepSeek、Llama3 中文微调版,单卡 24G 显存服务器就能跑起来;国企、复杂问答场景:14B~32B,多卡部署。同时有几条硬性提示词约束,写进系统里:找不到相关资料,直接回复「知识库中暂无对应资料,无法回答」,严禁编造内容;输出答案必须带上引用来源;不回答知识库以外的问题;支持多轮对话记忆。

三、这套本地 RAG 知识库,实打实的优势

我接触不少老板和技术负责人,一上来就担心:上 AI 是不是等于把公司资料往外送?这个方案最先解决的就是这个顾虑。

第一,数据完全不出内网。所有文档、向量、模型推理全部本地跑,不和公有大模型 API 打交道,涉密、敏感业务资料安心很多。

第二,可控性强。权限可以精细到单篇文档,操作日志全留痕,谁查了什么、什么时候查的,审计的时候直接导出,国企等保、合规检查都能对上。

第三,幻觉可控。靠检索片段给答案,不是模型自由发挥,回答能带原文出处,员工拿到答案可以自己核对,不用盲信 AI。

第四,适配灵活。国企可以往信创、高规格权限审计方向搭;小公司不用买很贵的机器,单卡服务器就能起步,对接企微钉钉,上手门槛低。

第五,是持续沉淀资产,不是一次性工具。老员工离职,经验不会跟着带走;新人遇到问题先问知识库,团队内部重复答疑会少很多。

四、落地过的真实案例

说两个我这边落地完跑起来的项目,不画大饼。一个是地方国企下属的运维部门。内部一堆运维规程、应急预案、设备台账,之前新人上手极慢,老师傅天天被各种基础问题缠住。上线本地 RAG 知识库之后,所有规程台账全部入库,做了部门级细粒度权限,运维人员在企业微信里直接提问故障处置步骤,回答带规程页码。现在新人上手周期缩短不少,审计的时候所有问答记录完整留存,顺利过了合规检查。

另一个是做工程服务的中小公司。资料是一堆合同模板、施工 SOP、过往项目方案。预算有限,就用单卡服务器部署,PgVector 向量库,对接钉钉。不用安排专人维护,资料定期批量上传就行。以前找一份老方案要翻共享盘半天,现在直接一句话提问,效率提升很明显。

结尾

很多人现在做企业 AI,一上来就想直接上公有大模型,图省事。省事的代价,往往就是数据风险、答案不可控。

本地 RAG 知识库,算不上什么炫技的黑科技,胜在稳。它不是用来替代人做决策,而是把埋在各个角落的内部资料盘活。让找资料这件事,从 “大海捞针” 变成随口一问就能拿到带依据的答案。

不管你是国企要合规,还是中小企业想低成本把内部知识用起来,这种私有化本地方案,是现阶段很稳妥的选择。

如果你公司也想搭一套本地 RAG 知识库,不清楚自己适合哪种配置、预算怎么估,或者担心踩幻觉、权限、数据外泄这些坑,都可以来找我聊聊。我这边可以根据你们的规模、现有硬件、合规要求,出一套专属的落地方案,从文档入库、向量库选型、模型部署,到后期调试上线,全程跟着落地。有想法或者其他思路的,欢迎留言沟通。