用户820393366342

ChatGPT 是第四次产业革命的序幕。 AI 从辅助工具迈向替代部分脑力劳动，改变未来社会结构。。。

ChatGPT的通用性和多任务处理能力打破了 NLP 子任务的界限，使 NLP 工业时代成为可能，并减少对超大规模标注数据的依赖。

通过分析 ChatGPT 的发展历程与核心原理，揭示了数据与算力对模型性能的重要作用。高质量、多样化的数据是 ChatGPT 模型成功的关键。

RLHF是一种结合人工监督与强化学习的训练方法，用以提升模型对人类指令的响应能力。通过 Reward 模型模拟人类反馈，减少人工标注成本，提高训练效率。

强化学习通过智能体与环境的交互，学习如何制定最优策略，以最大化长期奖励。其关键要素包括状态（State）、动作（Action）、策略（Policy）、奖励（Reward）等。

NLP 模型训练的四个阶段：纯监督学习、预训练+微调（Finetune）、小样本学习（In-context Learning）、强化学习（RLHF）。

1.神经网络的训练过程 2.神经网络的输入和输出 3.神经网络的预测推理 4.神经网络的损失函数 5.梯度下降法 6.ChatGPT 的预训练