大模型应用
- 微调
-
功能： 能够让现有的开源大模型理解我们自己的（私有化）数据。
-
特点：需要做模型的二次训练（成本，风险）
-
应用场景：当需要去改变大模型自身特性时，就得用微调（风格），微调本身调整的是大模型的风格，而不是大模型的能力（智商）。另外可以加强大模型对当前私有化数据的理解。
-
- RAG
- 功能： 能够让现有的开源大模型理解我们自己的（私有化）数据。
- 特点：相对微调来讲，成本更低，风险更小。
- 应用场景：事前不训练模型，但需要让模型直接根据我们的数据来进行作答。
- 如果不涉及模型回答风格，仅需模型对当下的私有化数据做出回答，那么就用RAG;如果涉及到大模型回答风格，或者当前模型对私有数据理解不够准确，再用模型微调技术。
Llama index
llamainde是一个用于llm应用程序的数据框架，用于注入，结构化，并访问私有或特定领域数据。
解决数据和大模型的桥梁
llamaindex提供了5大核心工具
- data connectors
- data indexs
- engines
- data agents
- application integrations
大模型幻觉。模型数据的边界问题。
核心概念
llamaindex帮助构建llm驱动，基于个人或私有数据的应用。RAG（Retriveal Augmented Generation）是llamaindex应用的核心概念。
RAG
检索增强生成。利用个人或私有领域数据增强LLM的一种范式。通常包含两个阶段：
- 索引
- 查询
索引阶段
解析成document表现形式。 Node是llamaindex中数据的最小单元。
跟Node划分的粒度有很大关系。
查询阶段
模型大小，模型对问题的理解。知识库的内容。
Node依旧是文本，之后再变成向量。
Node需要根据数据的特点进行结构化划分。
相似度匹配。向量相似度。问题。检索器一般不去动。方法就这么几种。
Agents,最有规划，处理更复杂的任务。
大脑的角色。
lanchain:偏向复杂工作流。 llamaindex：偏向RAG框架。
个性化设置
lolamahub.ai, 找各种文件解析器
