Justbin

基于Torch，测Qwen 3B训练的精度对比。 排查所有的torch.ops，具体会定位到tensor idx 使用工具： https://github.com/hpca...

训推场景Atlas800T A2服务器多机间通信有问题，报错timeout，客户用hccn_tool测试了多机卡间能够互通，但是直接执行"dist.reduce_scatt...

Deepseek2-236B在2T内存的服务器上转全层的权重时会出现内存不够的报错，下面介绍一些可行的改进措施。 以hf2mg为例，下面是对loader_hf.py的一些修...

MindSpeed大模型训练前置知识之大并行加速算法 并行为什么对大模型训练这么重要？ 从chatgpt大模型爆发，尤其因规模定律作用下，大模型展现出涌现能力，AI模型的天...

[toc] 昇腾MindSpeed-LLM全流程实践及踩坑记录 我们都知道大模型训练是一个非常复杂的过程，大模型军备竞赛下如何控制训练成本成为各大模型训练方尤为关注的问题。...