大模型论文精读

引言：配对数据的昂贵困境 想象你正在为公司训练一个客服 AI 助手。团队已经收集了 10 万条真实对话数据，每条都有用户的评分（1-5 星）。你满怀期待地准备开始训练，却在查阅 DPO（Direct

引言：Embedding 维度选择的困境 在构建搜索引擎、推荐系统或 RAG（检索增强生成）应用时，我们经常面临一个艰难的权衡： 使用高维 Embedding（如 2048 维）： ✅ 语义信息丰富，

引言：大模型量化是什么？ 随着大语言模型（LLM）规模不断增长，模型推理所需的内存和计算资源成为了限制其应用的主要瓶颈。一个拥有数百亿参数的模型在推理时不仅需要加载模型参数，还需要存储推理过程中生成的

📋 论文概览 随着 AI Agent（智能体）应用的快速发展，大语言模型（LLM）不再仅仅是一次性的对话工具，而是能够进行多轮交互、调用工具、执行代码的智能助手。然而，这种多轮迭代的 Agent 推理

一、痛点：传统残差连接的"平庸陷阱" 1.1 ResNet 的辉煌与困境 2015年，何恺明提出的 ResNet 凭借一个简洁的公式统治了深度学习： 这个"恒等映射 + 残差"的设计让网络可以轻松堆到

2025 年初，DeepSeek 发布了 R1 系列模型。其核心突破在于：通过**强化学习（RL）**而非单纯的模仿学习，让模型自发产生了自我反思、多步验证等高级推理行为。以下是 DeepSeek-R