用户844513426565

首先介绍下hello agents项目 ) 项目初心：希望能为社区提供一本从零开始、理论与实战并重的智能体系统构建指南。 项目介绍：Hello-Agents 是 Datawhale 社区的系统性智能体

最简单的agent可以粗略地理解为llm_client+tool_executor，更有效的agent则需要memory模块等其他组件，其中tool_executor要实现的一些方法包括：注册、获取可

LLM训练并行策略全面解析。数据并行、模型并行、张量并行、3D并行。各种并行策略的优缺点以及技术改进方向。

Hello-Agents 是Datawhale社区的系统性智能体学习教程。本文对应hello-agents第一章，智能体的定义、类型，以及一个简易版智能体demo。

Llama_Factory的SFT（LORA）实践。Llama_Factory是一个支持多种模型，覆盖预训练、训练后优化（SFT、DPO等），更支持Lora、QLora等，是个值得学习了解的工具。

不同的训练后优化方法各有优缺点，需要结合具体的资源、需求等来选择。 监督微调SFT通过最大化示例回答的概率来模仿目标响应模式； 直接偏好优化DPO通过对比学习鼓励优质回答/抑制劣质回答； 在线强化学习

两种强化学习： 离线学习（模型只从预先收集的（prompt, response, reward）三元组中学习） 在线学习（模型在实时生成新响应的过程中不断学习）。 在线学习四步： 响应（生成新的响应（

什么是DPO？ DPO/直接偏好优化：直接偏好优化可以被视为一种从正面和负面回复中进行对比学习的方法。 DPO适用于什么阶段？ DPO适用于指令微调大模型（上文提到的基础大模型通过SFT训练之后得到的