我是王大你是谁

NLP，算法，大模型 | 宇宙尽头

每天进步一点点，不断提升自己，同时为行业做一点微不足道的贡献，vx：wangyansong_13

获得徽章 27

赞

11.9K

|

搜索文章

复现 LLAMA 模型

本文实现了简单结构的 LLAMA 模型，并且在实现模型结构的过程中，将介绍了涉及到的技术点，欢迎学习交流。

11天前
85
1
评论

深入剖析 deepspeed-chat 中 RLHF 的 PPO 算法代码细节

本文深入剖析 deepspeed-chat 开源项目中关于 RLHF 中的 PPO 算法代码细节，欢迎讨论学习

17天前
89
2
评论

深入剖析 deepspeed-chat 中 RLHF 的 PPO 算法代码细节

深入剖析 deepspeed-chat 中 RLHF 训练 SFT 和 Reward 的代码细节

本文深入剖析了 deepspeed-chat 中 RLHF 训练 SFT 和 Reward 的代码细节。

17天前
82
3
评论

深入剖析 deepspeed-chat 中 RLHF 训练 SFT 和 Reward 的代码细节

算法工程师都需要知道的 GPU 架构原理

现阶段大模型盛行，我们的算力资源极为短缺，为了更好的提升模型性能我们需要了解一些基本的底层显卡原理。

22天前
63
1
评论

算法工程师都需要知道的 GPU 架构原理

大模型量化——对称和非对称量化精讲

本文介绍了使用模型量化的原因，以及两种最常见的量化策略，对称量化和非对称量化，并且介绍了各自的优缺点。

29天前
153
4
3

大模型量化——对称和非对称量化精讲

大模型训练时底层显存占用情况详解

本文借用 FP16 精度的 llama-13B 大模型为例，详细介绍了大模型在训练时候底层的显存的实际占用情况

1月前
153
1
评论

大模型训练时底层显存占用情况详解

使用弱智吧数据全参数指令微调 Qwen2.5-0.5B-Instruct

本文介绍了使用弱智吧数据，全参数指令微调 Qwen2.5-0.5B-Instruct 模型的全过程。

1月前
89
2
评论

使用弱智吧数据全参数指令微调 Qwen2.5-0.5B-Instruct

腾讯最强3D生成模型，详述搭建环境和使用过程

这两天腾讯终于放出了大招了，其中有一款框架，可以直接文生3d模型，或者图片生3d模型，本文详细讲解了如何使用的过程。

1月前
308
6
评论

腾讯最强3D生成模型，详述搭建环境和使用过程

windows 跑通 llama3-8b 中文指令微调、量化、部署

本文介绍了在 windows 上，跑通 llama3-8b 模型的中文指令微调、量化、部署，以及实践过程的细节

1月前
79
1
评论

windows 跑通 llama3-8b 中文指令微调、量化、部署

总结 DQN 、DDPG 、AC、PPO 算法的要点

本文主要是总结了 DQN 、DDPG 、Actor-Critic、PPO 四个常见算法的要点，便于区分它们之间的区别和相同之处。

1月前
70
1
评论

个人成就

2023年度人气作者No.74

优秀创作者

文章被点赞 6,495

文章被阅读 896,993

掘力值 33,051

加入于

2019-07-03