读后感:《构建私有化大模型应用系统:部署、推理与知识库搭建》

0 阅读1分钟

视频讲解:www.douyin.com/user/self?m…

这本书是我在微信读书中无意中看到的,正好帮助我系统梳理了一下企业级大模型应用系统的架构,整本书籍可以说是大模型概述,又相对偏企业级 MAAS 平台搭建。

这本书有五个章节都提到了 RAG 的内容,包括向量数据库,多源数据的管理等,AI Agent 对于模型幻觉的消除最好的方式确实的 RAG,用户有时候不会自己给出详细的上下文,需要 AI Agent 自己去搜寻补全上下文,稠密向量有语义的保留,普遍要搜索的效果更好一些,这部分我未来会单独出一期系统介绍。

image.png

然后我觉得很重要的部分就是推理引擎,企业级应用常用的推理引擎是 VLLM,这个框架我会单独出一期介绍一下,因为在实际的使用过程中经常会发生使用不稳定,并发度小的前缀资源利用率不算很高的问题,一方面熟悉一下技术,也是为了在工作中解决实际的问题。

最后我觉得比较重要的点是模型服务的安全,模型服务的安全有两部分,一部分是模型在训练过程中的安全,另一部分是模型部署后的安全,这本书都有提到,可以说比绝大部分的公司考虑的要周全,如何防范针对大模型服务的攻击,这在后面会单独出一期分享。