高性能计算

大模型相关 斯坦福CS336：大模型从0到1 目录： 概述和tokenization pytorch手把手搭建LLM 详解MOE架构 详解现代LLM基础架构 详解GPU架构、性能优化 手写高性能算子

CUDA并行计算核心秘籍全揭露！小白也能秒懂，带你轻松驾驭GPU，让你的for循环嵌套原地起飞！从SPMD哲学到<<<>>>，再到GPU代码方言和“函数”身份证，还在等什么？

还在羡慕大佬的GPU加速神操作？NVIDIA CUDA底层逻辑大揭秘！本文让你告别“不明觉厉”，亲手掌控并行计算的钥匙，让显卡为你疯狂输出！入门即高能，不看错过一个亿！

在这一章我们会学习到和并行计算相关的一些基础内容，包括但不限于并行计算架构、并行计算模型以及并行计算的相关算法和工具。学起来！

高性能计算（HPC）依托并行处理，通过集群和超级计算机加速代码运行，关键在于高效利用节点资源。其中主要包括Full-Stack HPC 和Full-Network HPC。

CPU架构 一个基本的CPU架构包含5个部分：输入、输出、存储、计算、控制。 摩尔定律指出集成电路每平方英寸的晶体管数量每18个月翻一番。 并行性 并行性是提高性能的关键，在并行性中，主要分为三个部分

多核处理器的发展 多核处理器的发展是计算机演进的关键环节。Intel、AMD、IBM 等芯片大厂均推出过多核处理器产品。时至今日，多核乃至众核架构已成为计算机领域的常见配置，深刻影响着计算技术的发展方