[笔记][大模型学习]22-llama-index实现RAG

48 阅读1分钟

幻觉,我们的大模型,是特征提取器,具备感知的能力,本身并不具备判断力。要和人一样,需要做一层逻辑。

Agent,有一定的逻辑层。 想象成现实中工作的员工。

幻觉问题是不能杜绝,但是可以减少。

环境的本质,是需要能判断出回答是正确还是错。

产品,是针对具体行业的。提供的服务是有限的。

开放式回答,是无法杜绝。

本地知识库,只是资料。RAG和模型学的知识不是优先级问题,是把自己的智商和资源进行总结,再给出回答。所以,不管你是否学过相关内容,都能回答精准。

深度学习大模型,是解决感知层的问题。Agent是解决价值最大化问题。是个算法。

大多数 128,256, 大一些 768,1024

性能,本地知识库如果大了,确实是会影响,但是本地知识库是有限的,所以不会特别大。

文本 ----(vocab)---- input_ids ---- embedding model

决定了一个词会映射成多少维的向量(需要训练)--- 词向量

文本生成模型 ---- input_ids 解码 ---- 文本

医疗,科室,常见病症。几千条数据。

RAG lanindex 十万条数据,3060检索响应速度,可以控制在2s以内。lanchain 在5s以内。

document长度的自动化处理

尽量把相应的内容分在一个Node中。

streamlit 快速构建前端框架