“我问知识库夜班有没有补贴，它给我讲了一大段加班费怎么算，可我问的根本不是这个。”
上个月，在相城一家电子厂做班组长的老钱跟我吐槽。他们厂的本地知识库是我帮忙搭的，放了员工手册、考勤制度、薪酬说明这些文件，这回它不是没找到，而是找到了一个“看起来很像”的东西，就拿来答了。
我先把那次的检索结果调出来。他们的制度里，加班补贴写得很细，有工作日加班、休息日加班、节假日加班三种算法；夜班补贴却根本没有单独的条款，只在排班说明里有一句“夜班津贴另行通知”。检索的时候，“补贴”“夜间”“加班”这几个词和加班条款高度相似，排在了最前面，模型就顺着加班补贴写了一篇。
我又让老钱帮我收集了一周车间里的提问，一共三百多条，挑出知识库里其实没有直接依据的问题，有四十多条。这四十多条里，只有六条老老实实说了“没找到”，其余的都拿相近的条款凑了答案。
老钱问：“那是不是把相似度门槛调高一点就行？”我说门槛调高了，真正该找到的反而找不到，两头为难。问题不在找不到，而在找到了却不分辨是不是答的同一件事。后来我改了三处。
第一处，回答前加一步判断。检索回来的内容先让模型逐条看一遍：这一段讲的是不是用户问的那件事。“夜班补贴”和“加班补贴”是两件事，判断不通过就不能直接拿来当答案。
第二处，没有直接依据时，换一种说法回答。先明确说“制度文件里没有关于夜班补贴的直接规定”，再说“最接近的是排班说明里这一句，原文如下”，并注明这不是对问题的直接回答，建议找人事确认。不再把相近条款包装成正面答案。
第三处，把这类问题记下来。每次出现“没有直接规定”的回答，自动记到一张表里，每周导出给人事。人事看了以后，该补制度的补制度，该写说明的写说明，补好入库，下次就能直接答。
改完我做了验收。拿那四十多条没有直接依据的问题，再加一百条本来就能答对的老题，一起重跑。改之前，四十多条里有三十多条是拿相近条款硬答的；改之后，全部回答都先说明没有直接规定，并给出了最接近的原文和出处。一百条老题里，九十八条答案不变，两条多了一句“依据条款与问题略有差别”的提示。两周后，人事根据记录表补了三份说明，其中就有夜班津贴的标准。
老钱后来又问了一遍夜班补贴，这次知识库直接引用了新补的说明。
知识库答错，很多时候不是没找到，而是找到了一个差不多的。你们的知识库遇到没有直接依据的问题时，是怎么回答的？欢迎在评论区聊聊。
图：Yudai_photography / Wikimedia Commons / CC BY 4.0；图：FoxyStranger Kawasaki / Wikimedia Commons / CC BY-SA 3.0
关于“直接依据判断”和缺口记录表的做法，我整理在 evafang.com 上。
