幻觉,我们的大模型,是特征提取器,具备感知的能力,本身并不具备判断力。要和人一样,需要做一层逻辑。
Agent,有一定的逻辑层。 想象成现实中工作的员工。
幻觉问题是不能杜绝,但是可以减少。
环境的本质,是需要能判断出回答是正确还是错。
产品,是针对具体行业的。提供的服务是有限的。
开放式回答,是无法杜绝。
本地知识库,只是资料。RAG和模型学的知识不是优先级问题,是把自己的智商和资源进行总结,再给出回答。所以,不管你是否学过相关内容,都能回答精准。
深度学习大模型,是解决感知层的问题。Agent是解决价值最大化问题。是个算法。
大多数 128,256, 大一些 768,1024
性能,本地知识库如果大了,确实是会影响,但是本地知识库是有限的,所以不会特别大。
文本 ----(vocab)---- input_ids ---- embedding model
决定了一个词会映射成多少维的向量(需要训练)--- 词向量
文本生成模型 ---- input_ids 解码 ---- 文本
医疗,科室,常见病症。几千条数据。
RAG lanindex 十万条数据,3060检索响应速度,可以控制在2s以内。lanchain 在5s以内。
document长度的自动化处理
尽量把相应的内容分在一个Node中。