阿姆姆姆姆姆姆姆

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 课程的 Part I: 被抽象成一块 Hack 器件，Part...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 之前的文章介绍了 Hacker 和汇编语言，如果要让汇编语言运...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 之前的文章里我们介绍了 Register、PC、RAM 和 A...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 我们在之前的文章里，构建了 Register、RAM 和 AL...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 之前的文章里实现了组合逻辑单元和 ALU，我们有了计算的能力。...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 冯诺依曼架构 I(键盘)/O（屏幕） 负责指令的输入和结果的展...

文中提到的所有实现都可以参考：nand2tetris_sol，但是最好还是自己学习课程实现一遍，理解更深刻。 基础逻辑门 基础逻辑门满足一些定律，都可以用真值表证明。 ​...

之前的系列文章：介绍了 RLHF 里用到 Reward Model、PPO 算法。 但是这种传统的 RLHF 算法存在以下问题：流程复杂，需要多个中间模型对超参数很敏感，导...

数据处理 这里和 DeepSpeed-Chat RLHF 阶段代码解读（1） —— 奖励函数阶段 - 掘金 (juejin.cn) 处理基本一致，唯一的区别是输入不是 pr...

在 DeepSpeed-Chat RLHF 阶段代码解读（0） —— 原始 PPO 代码解读 - 掘金 (juejin.cn) 一文中，我们了解了 PPO 的原理和实现。本...

为了理解 DeepSpeed-Chat RLHF 的 RLHF 全部过程，这个系列会分三篇文章分别介绍： 原始 PPO 代码解读RLHF 奖励函数代码解读RLHF PPO ...

这个系列介绍了常用的单智能体强化学习方法，也有些没有写到，比如 SAC，希望以后有时间可以回来补完。还有多智能体算法这个系列没有涉及，希望以后可以有时间谢谢多智能体算法。...

Self-Attention 模型结构 上图架构以 batch_size 为 1，两个时间步的 X 为例子，计算过程如下： 位置编码 根据 self-attention 的...

因为强化学习里面有些状态是图片表示的，需要用 CNN 抽取信息，所以对 CNN 要有基础的了解。 卷积层 原理 1200 万像素，RGB 3通道图片 3600万元素，使用 ...

KL 散度 KL 散度是衡量两种概率模型分布相似性的一种尺度，KL 越大两种概率模型分布相似性越小。 信息量 2022 阿根廷夺冠（没有信息量，因为已经夺冠了） 2026 ...

回顾 深度强化学习（DRL）算法 4 —— Deep Deterministic Policy Gradient (DDPG) - 掘金 (juejin.cn) 文章里提到...

回顾 之前我们在 深度强化学习（DRL）算法 3 —— Deep Q-learning(DQN) - 掘金 (juejin.cn)定义了 DQN 的 Loss 函数： $$...