高性能计算网课汇总

大模型相关

斯坦福CS336：大模型从0到1

目录：

1. 概述和tokenization
2. pytorch手把手搭建LLM
3. 详解MOE架构
4. 详解现代LLM基础架构
5. 详解GPU架构、性能优化
6. 手写高性能算子
7. 详解大模型并行化策略
8. 手撕大模型并行训练
9. 详解Scaling Law

总时长大概9-10小时左右。

个人笔记： TODO，后续会慢慢更新