chaors

向量数据库-Chroma 基础语法：创建db、添加collection、add_documents RAG+LLM流程(代码) 向量数据库

RAG回顾 回顾一下上次的RAG原理图，上次讲了RAG是怎么分分块的。分块之后存储之前还有重要的一步就是向量化。 向量化 向量检索：根据用户的输入，与向量数据库中存放的文本向量进行相似度计算匹配

为啥需要RAG LLM本质上是一个基于海量数据训练的概率模型。目前其本身存在一定的局限性： 时效性。训练是有成本的，不可能随时更新训练。所以需要RAG来解决这些问题。

LangChain是一个用于构建由 LLM 提供支持的代理和应用程序的框架。LangChain 是⼀个开源框架，它允许开发⼈员将像通义千问、DeepSeek这样的⼤语⾔模型与外部的系统和数据源结合起来

回顾 前面已经用了4篇文章讲了大模型原理，这一篇整体全链路回顾一下。github也供了了一个Transformer可视化的Web页面。在整体理解了Transformer原理后可以打开这个网站看看流程。

Prompt 大模型的“启动密码”。语言模型（LLM）的一段文本输入，用于引导和约束模型的输出。LLM本质上是一个基于海量数据训练的概率模型。Prompt的作用是激活和引导模型内部的相关知识分布

掩码注意力 交叉注意力 Attention(QKV) 🌰回顾 前面几篇分别分享了AI大模型是怎么理解人类词汇和语言的，也分析了大模型为啥每次回答得不一样。那么大模型到底是怎么得出答案的呢？

前置条件 上一篇 入坑大模型微调第一个Hugging Face程序 主要介绍了 Hugging Face及其使用方式。是我们后续做大模型微调训练的基础。不了解的可以再回顾一下。

引出问题 上一篇 我们讲了大模型是怎么理解人类语言的词汇的。今天继续探究一下，AI大模型师怎么把这些词汇串起来理解的。 Transformer 当前的AI大模型基本是基于Transformer框架的，