今天,Qwen 家族新成员Qwen3正式发布,包含多种模型版本。
模型类型与参数
- MoE模型:
Qwen3-235B-A22B(总参数2350亿,激活参数220亿)和Qwen3-30B-A3B(总参数300亿,激活参数30亿)。 - 密集模型:包括
Qwen3-32B、14B、8B、4B、1.7B、0.6B,均为 Apache 2.0 开源协议。
上下文长度
密集模型中,0.6B、1.7B、4B为32K,8B及以上为128K;MoE 模型均为 128K。
模力方舟上的昇腾算力已为您准备好首批0.6B、8B、30B三款模型,其中30B为 Mixture-of-Experts(MoE)模型,覆盖从轻量部署到高性能推理的多元应用需求,助力开发者轻松拥抱新一代大模型能力。
访问以下链接即可在线体验:ai.gitee.com/serverless-…
全面升级的 Qwen3 模型
基准测试结果
Qwen3-235B-A22B:在ArenaHard(95.6)、AIME’24(85.7)、LiveCodeBench v5(70.7)等测试中,优于DeepSeek-R1、o1、Grok-3等模型,仅在AIME’25(81.5)略低于Gemini-2.5-Pro(86.7)。
-
Qwen3-30B-A3B:在ArenaHard(91.0)、AIME’24(80.4)等测试中,超越QwQ-32B(激活参数为其10倍)。 -
Qwen3-4B:性能可与Qwen2.5-72B-Instruct媲美,如在ArenaHard中为76.6,Qwen2.5-72B-Instruct为81.2。
优势领域
Qwen3 在编码(如CodeForces Elo Rating)、数学(AIME系列)、多语言(MultilF 8 Languages)任务中表现突出。
Qwen3 关键特性
混合思维模式
-
思考模式:适合复杂问题,支持逐步推理,性能随计算预算(token量)提升而线性增长。
-
非思考模式:响应快速,适用于简单任务,可通过参数 enable_thinking 或指令 /no_think / /think 动态切换。
多语言支持
覆盖119种语言和方言,包括印欧语系、汉藏语系、阿拉伯语、日语、韩语等。
增强的代理能力
优化了编码和工具调用能力,推荐搭配Qwen-Agent使用,支持MCP协议和自定义工具集成。
训练与架构
预训练数据
使用36万亿token,是Qwen2.5的2倍,涵盖网页、PDF文档(通过Qwen2.5-VL提取文本),并通过Qwen2.5-Math/Code生成数学和代码合成数据。
训练阶段
-
S1:基于30万亿token、4K上下文,构建基础语言能力。
-
S2:增加STEM、编码等知识密集型数据,新增5万亿token训练。
-
S3:使用长上下文数据,将上下文扩展至32K(最终支持128K)。
架构优化
MoE模型通过稀疏激活降低计算成本,密集模型参数效率更高,如Qwen3-4B性能相当于Qwen2.5-72B。
官方博客:qwenlm.github.io/blog/qwen3/
昇腾加速,释放 MoE 潜能
此次在模力方舟首发的0.6B、8B、30B三款Qwen3模型,均基于细粒度专家调度机制,具备更优的推理效率与更低的推理成本。支持最大 256K 上下文长度,统一推理与非推理模式,灵活应对长文理解、多轮对话、复杂推理与智能 Agent 开发等高阶任务。
为释放Qwen3的强大性能,模力方舟基于昇腾最新发布的vLLM Ascend v0.8.4rc2进行适配。新版vLLM Ascend率先实现Ascend W8A8量化、DeepSeek并行机制适配,并启用PyTorch 2.5.1及Torch.compile图模式特性,在推理性能、兼容性与开发体验上全面升级,为大模型部署提供了更高效、更专业的基础能力。
在线体验 Qwen3
访问以下链接,在线体验 Qwen3 的强大实力:ai.gitee.com/serverless-…
模力方舟的 AI 模型广场提供了行业大模型、文本生成、视觉模型、语音多模态、图像生成与处理、3D生成、文档处理/OCR、视频生成、自动语音识别、语音合成、向量化和重排、代码生成、风控识别十三大类共 781 款各领域的顶尖开源模型的在线体验和 API 使用。通过购买模型资源包,即可通过极低的价格即可尽享众多主流模型。