陈道一

今天介绍的技术来自论文《Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking》...

大家好，我是 刚进入春天还没来得及踏青又开始从早忙到晚的 蛮三刀。去年给大家带来了一篇比较详尽的MacBook M1评测。 然后，今年春节一过，公司决定给大家一人一台Mac...

虽然说专业的人干专业的事情，但是算法工程师对框架原理有一定了解依然是必要的。这里有3个我认为重要的理由： 模型训练中遇到的大多数的问题是算法和工程的混合问题； 算法工程师需...

模型参数量计算 计算过程如下： 模型训练的并行方式分为3种，DP(data parallel) / TP(tensor parallel) / PP(pipline par...

在OpenAI 2018年的一篇论文《An Empirical Model of Large-Batch Training》中就介绍了batch size的选择问题，论文中...

2023-11-29写； 2023-12-06修改：增加适配模型开发流程说明；增加bug解决记录； Deepspeed-Chat是一个优秀且易用的PPO开源实现，实际在使用...

MoE的Scaling law 背景 MoE的scaling law建模出自论文 Unified Scaling Laws for Routed Language Mode...

MoE的主要作用是 **保持相同训练和推理资源的同时，通过增加模型的体积代价来提升模型学习效果**。...

PPO的过程就像所有的强化学习一样，从原始的采样分布出发，不断循环3个步骤：采样、奖励、优化（policy gradient）。结合提前训练好的人类偏好模型得到奖励信号，从...

前言 介绍了一下DeepSpeed的架构，以及部分重点内容的原理。 其实是看DeepSpeed源码时候随便写的一段笔记，没时间整理并且写的很潦草，所以不太想发，但是框架的代...

神经网络的参数是用浮点精度表示的， 浮点精度的标准是IEEE 754 - Wikipedia，以下是一个FP16数值在内存中存储格式。 随着神经网络模型规模越来越大，如何减...

其中ChatGPT plugin可以认为是对行业应用最有影响力的一个技术，也是继ChatGPT发布以来OpenAI发布的最重要的更新，可以简单的理解为OpenAI发布了对应...

数学一定要有直观的意义吗，我认为是的。虽然并不是所有的数学发现都是从实际出发而得来的，但是最终它们一定会用来解决实际的问题。如果没有了这种直观的想象力，那么仅仅从公式推理去...