阿里除夕开源千问3.5：3970亿参数但只激活170亿，大模型部署成本砍半怎么做到的？
当 AI 落地到了“深水区”：到底是模型不够强、算力太昂贵，还是该换条技术路线了？
这两年，大家对大模型已经不再停留在“技术演示多酷炫”，而是越来越现实地问一句：
“为什么每次想用个好模型，显卡先罢工？部署成本降不下来，再强的能力也只能看着？”
尤其是——明明模型参数已经卷到万亿级，真要放进业务里跑起来，推理速度却慢得让人怀疑人生。
答案往往不在某一个“神技”，而是在于模型的底层架构如何平衡能力、效率和成本这三个不可能三角。
而阿里在除夕夜甩出的“王炸”——Qwen3.5，直接在这个三角上做了“暴力”重构：总参数3970亿，但每次推理只激活170亿，性能超越万亿参数的Qwen3-Max模型，部署显存占用降低60%，推理吞吐量最高提升19倍。什么意思呢？相当于你养了一个庞大的专家团队，但每次只需要其中几个人干活——知识储备拉满，算力开销打骨折。
但问题来了：这么强的模型，拿回来怎么用？是继续调 Prompt、搭 RAG，还是直接上微调？今天我们就借着Qwen3.5这把“尺子”，把这个问题彻底捋清楚。
架构层面的“降本增效”，到底是怎么做到的？
Qwen3.5这次最让大家感兴趣的不是参数规模，而是它怎么把成本降下来的。
先说混合注意力机制。传统Transformer有个固有问题：无论信息重不重要，每个词都要跟上下文里所有词算一遍关联，上下文越长计算量越爆炸。Qwen3.5的做法是——关键信息高精度处理，次要信息低成本带过。在256K超长上下文场景下，推理吞吐量直接飙到19倍。这意味着以前处理100份长文档的时间，现在能处理近2000份。
再说极致稀疏MoE。传统模型每次推理必须激活全部参数，参数越多成本越高。Qwen3.5把模型拆成大量专家子网络，每次只激活最相关的170亿参数——3970亿总参数里，激活比例不到5%。大规模参数积累的知识优势被保留，但规模带来的成本负担被卸掉了。
还有原生多Token预测。传统模型逐字输出，串行结构限制推理速度。Qwen3.5在训练阶段就学会联合预测多个未来词，从逐字输出变成批量输出，推理速度接近翻倍。
这背后还有千问团队去年斩获NeurIPS最佳论文的门控技术，被用在了Qwen3.5里。它像智能开关一样实时控制信息流强度，强化有效信号、抑制噪声干扰，保证大规模训练稳定跑下来。
不只是旗舰：三款中型模型，总有一款适合你的“显卡钱包”
2月25日，阿里继续开源了三款中等规模模型。我仔细看了下它们的定位，觉得挺有意思：
Qwen3.5-122B-A10B：总参数1220亿，激活100亿。适合复杂Agent任务，多步工具调用成功率提升明显。如果你的业务需要模型自己规划步骤、调用工具、处理多轮交互，这款是主力。
Qwen3.5-35B-A3B：总参数350亿，激活30亿。中小团队的首选——单卡24G可跑BF16推理，生成速度快。如果你刚起步、想在消费级显卡上跑起来看看效果，从这款入手最合适。基于它的托管模型Qwen3.5-Flash已上线阿里云百炼，每百万Token输入低至0.2元。
Qwen3.5-27B：这是千问3.5家族里唯一的稠密模型。为什么要保留稠密？因为MoE在微调时有个“路由器抖动”问题——数据分布和预训练差异较大时，专家路由可能剧烈变化，导致训练不稳定。而27B的稠密架构，对主流微调框架支持非常成熟，垂直领域团队落地的阻力小得多。而且它支持1M上下文、原生多模态，在视觉推理等榜单上甚至超过了上代旗舰Qwen3-VL。
有了好模型，怎么判断该走哪条路？
回到开头的问题：模型拿回来了，是调 Prompt、搭 RAG，还是直接微调？
我们团队跑过不少项目，总结下来一套“先诊断、后开方”的方法。
第一步：做个“Prompt梯度测试”。别用一个Prompt打天下。设计一个由浅到深的版本阶梯：版本A只定义角色+简短指令；版本B加3-5条“好答案”作示范；版本C加过程引导；版本D加格式约束。在同一批样本上跑一遍，看准确率有没有一路往上走。如果从A到D，正确率能从50%提到80%甚至更高，说明Prompt工程还有空间。但如果你发现无论怎么加示例、怎么拉长指令，指标就是卡住——这说明靠Prompt已经不够了，是时候思考微调。
第二步：确认是“真的不会”，还是“没问到点子上”。有个简单的诊断套路：先问概念，再问实战。比如问“你了解信用卡分期手续费的计算规则吗？”模型能说对——说明知识没缺失。再问“下面是某张信用卡的分期条款，请帮我算出总利息”，结果算错了——问题往往在于任务拆解不够清晰、指令没把约束说具体。这时候优先打磨Prompt，而不是换模型。
第三步：做一轮多模型对比。用同一套指令+同一批样本，在不同模型上跑。如果所有模型都表现挣扎，说明任务定义本身有问题，回去梳理业务；如果强模型能做好、目标基座拉胯，说明存在能力gap——这时候你有两个选择：换更强的基座，或者用强模型当“Teacher”做蒸馏微调。
RAG：让模型“现查现用”的外脑
当你把内网知识库、合同文档接进来，其实就是在做RAG。你可以把RAG想象成一位非常勤奋的外包顾问：它自己不必记住所有东西，但可以随时去翻最新制度、产品手册、历史记录。
它的优势很明显：上手快、更新快、有明确溯源。政策一变，下一次回答就能用到最新内容。但短板也很明显：它始终是个“外人”——能找到哪一条合同条款写了什么，却未必理解你们过去在类似条款上是怎么博弈、怎么决策的。
Qwen3.5的架构创新恰好放大了RAG的优势：256K超长上下文，可以一次性塞进整本手册+几十个案例；推理吞吐量提升19倍，检索后响应依然飞快；用35B-A3B单卡就能跑，硬件成本打骨折。
RAG适合解决“缺知识”和“知识变化快”的问题，让AI变成一个“随时翻档案的外脑”。但要让AI真正带上你公司的“思维方式”，往往还需要别的手段协同。
微调：从“懂行”到“懂你”的那一步
如果说RAG是外部知识的延伸，那微调更像是把你的业务基因烤进模型本身。用成体系的私域数据去“再教育”模型——历史项目报告、复盘文档、标注过的客户案例、标准话术、风格统一的高质量输出。
模型在这个过程中学到的，不只是知识，还有：你们惯用的分析路径、行业特有的专业表达、团队的风险偏好与话语风格。最终得到的是“老员工型AI”：不仅能做“法律问答”，还能“说出你们律所的味道”；不仅能写“财务分析报告”，还能用你团队习惯的结构与逻辑。
Qwen3.5对微调格外友好：27B稠密模型专门为微调优化，训练稳定不易发散；MoE系列也可以用LoRA等轻量方案低成本微调。对于很多对隐私和合规敏感的行业，“训练过程和推理全在本地”也是选择微调的重要原因。
RAG还是微调？关键是AI和业务“绑定到什么程度”
给一个直观的对比视角：
更适合优先用RAG的情况：业务知识更新快、变动频繁；需要明确引用来源；主要诉求是“查得对、找得到”。这时候AI更像一个随时查资料的外部顾问。
更适合考虑微调的情况：希望AI复刻资深员工的决策模式；已有高质量、可复用的历史成果；在乎输出风格统一、团队经验共享。这时候AI不再只是问答工具，而是把专家经验数字化、规模化复制的载体。
RAG和微调不是对立面，而是可叠加的路径：用RAG确保“知识永远是最新的”，用微调把“经验、风格、判断逻辑”烤进模型，再用好的Prompt把两者“调度”起来。
Qwen3.5的丰富型号让这种叠加更灵活：知识密集型任务用35B-A3B + RAG，决策型任务用27B微调，复杂Agent用122B-A10B + 微调。
从“先能用”到“更好用”：为什么要提前准备一条微调路径？
对大多数企业来说，一个健康的迭代节奏可能是：
第1阶段：先跑起来——选定基座（比如Qwen3.5-35B-A3B），用Prompt+RAG搭出Demo，跑一轮真实业务，收集问题样本。
第2阶段：用评估体系看清问题——自动评测脚本，快速定位哪些是知识缺失、哪些是逻辑问题、哪些是风格不统一。
第3阶段：小规模微调试点——把业务方认可的“好答案”转成训练数据，用标准化平台快速试几个版本，确认“确实变好，没有把别的能力搞坏”。
第4阶段：微调日常化——新的项目经验不断沉淀，微调从“一次性大工程”变成“持续迭代的产品能力”。
你不需要一开始就“重度微调”，而是先通过Prompt/RAG看到ROI，一边跑一边积累高质量样本。当数据和需求成熟时，自然开启微调。
也正是在这一步，一套把“评估→数据→训练→回滚”串起来的平台会非常关键。LlamaFactory Online做的就是这件事：帮团队打通全流程，让业务方只需指出什么是“好答案”、哪些是“典型错例”，剩下的交给平台，把这些经验真正变成一个“懂你业务”的模型。
大模型的“下半场”：从拼参数到炼数据
Prompt决定了你“怎么跟模型说话”，RAG让模型“随时查得到你最新的知识”，微调则负责那一步：让模型真正长出你企业的业务习惯和判断逻辑。
在大模型的“下半场”，拼的已经不是谁的参数更多，而是谁能更好地把私域数据的深度，转化为AI的专业度、稳定性和可复制性。
你完全可以从“只用Prompt+RAG”开始，但在设计整体路线图时，不妨提前问自己一句：当我们真的需要一个“像老员工一样的AI”时，是不是已经准备好一条能随时把经验烤进模型的微调路径？
如果你已经走到这一步，其实没必要从零啃代码。LlamaFactory Online已经把这条路铺平：在一个界面里完成数据管理、训练配置、监控评估和版本回滚，支持主流开源大模型，覆盖SFT、DPO等多种微调范式，让团队零基础上手，用数据说话，看一眼微调前后的对比，再决定要不要继续加码。
