杜子源源

大模型相关 斯坦福CS336：大模型从0到1 目录： 概述和tokenization pytorch手把手搭建LLM 详解MOE架构 详解现代LLM基础架构 详解GPU架构、性能优化 手写高性能算子

CUDA并行计算核心秘籍全揭露！小白也能秒懂，带你轻松驾驭GPU，让你的for循环嵌套原地起飞！从SPMD哲学到<<<>>>，再到GPU代码方言和“函数”身份证，还在等什么？

还在羡慕大佬的GPU加速神操作？NVIDIA CUDA底层逻辑大揭秘！本文让你告别“不明觉厉”，亲手掌控并行计算的钥匙，让显卡为你疯狂输出！入门即高能，不看错过一个亿！

在这一章我们会学习到和并行计算相关的一些基础内容，包括但不限于并行计算架构、并行计算模型以及并行计算的相关算法和工具。学起来！

多核处理器的发展 多核处理器的发展是计算机演进的关键环节。Intel、AMD、IBM 等芯片大厂均推出过多核处理器产品。时至今日，多核乃至众核架构已成为计算机领域的常见配置，深刻影响着计算技术的发展方

CPU架构 一个基本的CPU架构包含5个部分：输入、输出、存储、计算、控制。 摩尔定律指出集成电路每平方英寸的晶体管数量每18个月翻一番。 并行性 并行性是提高性能的关键，在并行性中，主要分为三个部分

高性能计算（HPC）依托并行处理，通过集群和超级计算机加速代码运行，关键在于高效利用节点资源。其中主要包括Full-Stack HPC 和Full-Network HPC。

迭代器，顾名思义，就是帮助我们进行迭代。我们可以先想这么一个事情，假设现在需要从1打印到100，我们正常做法是什么？for循环，但实际上有更方便的写法来帮助我们，还不点进来看看？

常见的统计位数有两种方法，分别是逐位统计，或者转换为字符串求长度，那么还有其他的吗？ 有的兄弟，有的。通过取对数同样可以实现位数统计！还不点进来看看？