beolus

了解集合通信基础概念及常见的集合通信原语；以及大模型并行策略：包括数据并行、流水并行、张量并行和专家并行。...

传统模型迁移到昇腾设备上出现了性能问题，介绍性能问题的定位方法和解决方案，重点介绍了性能问题的定位定界方法。...

传统模型迁移到昇腾设备上出现了精度问题，介绍精度问题的定位方法和解决方案，重点介绍了精度问题的定位定界方法。...

整体概述 小模型推理方案： ATC转换架构图： ModelZoo-PyTorch指导文档：https://gitee.com/ascend/ModelZoo-PyTorch...

开发者拿到一个裸机环境，如800I A2/800T A2, 或Atlas 800 3000推理服务器（里面插了Iduo卡），需要用户根据OS版本去安装配套的固件驱动、Min...

基于llama-factory的昇腾全流程实践，包括环境的安装、推理部署、微调、动态Lora和对话。...

服务化性能调优，以llama3-8b为例， 讲解调优全流程，包括参数的计算、修改，及参数之间的关联。...

MindIE Torch整体介绍和关键特性介绍。快速上手，基于MindIE Torch开发，支持Python和C++编码规范。...

基于MindIE实现DeepSeek-R1-Distill-Qwen-1.5B的纯模型推理和服务化推理。...

vLLM对接MindIE，使能快速迁移到昇腾设备上，当前MindIE 1.0.0发布版本已支持多种三方框架。...

本文介绍了基于昇腾MindIE+MindFormers的大模型推理解决方案，让更多开发者快速了解及上手昇腾卡的推理。...