大语言模型（Large Language Models, LLMs）在过去两年内迅速发展，涌现出一些现象级的模型和产品，如 GPT-4、Gemini、Claude 等，但大多数是闭源的。

0 前言 知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ense

本文将对 response-based、feature-based 和relation-based 这三类基础 KD 算法进行重点介绍，为大家后续的深入研究、交流打下基础。

随着近期ChatGPT的迅速出圈，加速了的大模型时代变革。以Transformer、MOE为代表的大模型，传统的单机单卡训练模式肯定不能满足，这时候我们就需要

人在不断的驱赶下依然还有新的立足之地，这些新领地恰恰是技术延展出来的百年前的纺织工人的后代并不会接着做纺织，他可能是一名铁路工人。

本作者推出全新系列《深入浅出LLM》专栏，分为基础篇、进阶篇、实战篇等，本文为基础篇具体章节如导图所示，分别从大模型模型概念、经典模型、创新点、微调、分布式训练、数据集、RAG、Agent及项目实站！

近两年大模型火出天际；同时，也诞生了大量针对大模型的优化技术。本系列将针对一些常见大模型优化技术进行讲解。

作者介绍 姓名: 水拉 背景: 蚂蚁金服高级技术专家，有丰富的技术经验，从外包到大厂的技术人 公众号: 安琪拉的博客 文章主旨 标题: 花5分钟认识大模型，就5分钟 发布时间: 20

集成学习（Ensemble Learning）是一种通过结合多个单一模型的预测结果，从而提升整体模型性能的机器学习方法。它的核心思想是“集体智慧”，即通过组合多个弱模型（weak learners）生