一、大模型
1、概念：全称大语言模型（Large Language Model, LLM），基于“扩展法则”（Scaling Law），即通过增加模型参数或训练数据，可以提升下游任务的性能，同时具有小模型不具有的“涌现能力”（Emergent Abilities）。
2、如何构建：
- 预训练（Pretraining）
- 有监督微调（Supervised Fine-tuning, SFT）
- 基于人类反馈的强化学习对齐（Reinforcement Learning from Human Feedback, RLHF）
二、源大模型
浪潮信息已经发布了三个大模型：源1.0 ，源2.0 和 源2.0-M32
1、 源1.0 开放了模型API、高质量中文数据集和代码
2、
源2.0 和 源2.0-M32 采用全面开源策略，全系列模型参数和代码均可免费下载使用。
三、跑通第一个Baseline
跟着Datawhale助教在Datawhale 2024 AI夏令营 第四期活动中提供的教程很顺利完成✌
活动链接：Datawhale (linklearner.com)
