一、前言
1.1 报告背景与分析视角 2025 年 9 月 13 日，GOSIM 2025 大会在杭州举办，期间清华大学与中国软件评测中心（CSTC）联合发布《2025 大模型服务性能排行榜》，该报告由清华大学计算机系高性能计算研究所所长、博士生导师翟季冬教授揭晓。这份报告标志着大模型产业评估重心的转变，从单一的模型能力比拼，转向更贴近产业落地需求的服务性能维度。 本次评测覆盖 20 余家主流大模型服务商及数百个模型服务，围绕延迟、吞吐量、可靠性等关键性能指标展开，旨在为开发者、企业用户及科研机构提供客观的性能参考。本文将基于该报告数据，以蓝耘科技元生代 MaaS（模型即服务）平台为分析对象，探讨大模型服务性能的核心特征与行业发展趋势。 1.2 大模型服务性能评估的产业价值 在大模型技术逐步落地的过程中，服务性能直接影响产业应用效果。对用户而言，低延迟能提升交互流畅度，高吞吐量可保障高并发场景下的服务稳定性；对企业来说，性能优异的服务能降低运营成本、提升业务效率；对整个行业而言，统一的性能评估标准有助于推动技术迭代与良性竞争，加速大模型技术从 “可用” 向 “好用” 升级。
二、大模型服务性能核心指标解析
2.1 延迟：决定交互体验的关键维度 延迟指用户从发出请求到接收模型返回结果的时间，在大模型服务中主要细分为两个指标： 首字延迟（Time to First Token, TTFT）：用户提交请求后，接收第一个有效输出 token（字、词或标点）的耗时。该指标直接影响交互即时感，毫秒级的首字延迟能在对话、实时翻译等场景中，让用户获得 “即时响应” 的体验。 生成延迟（Time Per Output Token, TPOT）：模型生成后续每个 token 的平均时间，决定了整体响应内容的输出速度，影响长文本生成、多轮对话等场景的使用感受。 对实时性要求高的应用（如智能客服、实时翻译），首字延迟是核心竞争力之一，直接关系到用户留存与使用意愿。 2.2 吞吐量：衡量高并发处理能力的核心 吞吐量是系统单位时间内处理的数据量，在大模型领域以 “Tokens / 秒” 为单位，反映平台在高并发场景下的服务能力： 对 C 端应用而言，高吞吐量可保障峰值时段（如电商大促客服咨询高峰）的服务稳定性，避免出现响应卡顿或排队现象； 对 B 端业务来说，高吞吐量能提升批量任务处理效率（如文档批量分析、大规模数据标注），降低单位任务的时间成本与算力成本。 2.3 延迟与吞吐量的权衡关系 延迟与吞吐量存在典型的权衡特性：若优先保障低延迟，需将计算资源集中于单一请求，可能降低资源利用率；若侧重提升吞吐量，需通过批处理技术将多个请求打包计算，可能增加单个请求的响应时间。 因此，能否在两者间找到最优平衡，实现 “低延迟” 与 “高吞吐量” 的协同，成为衡量大模型服务商技术实力的重要标准。
三、 延迟对决：蓝耘元生代在“速度”维度的绝对优势
本次《2025大模型服务性能排行榜》的延迟指标评测，无疑是竞争最为激烈的部分。蓝耘元生代MaaS平台在这一关键战场上表现极为亮眼，充分证明了其在大模型推理优化领域的领先水平。
上图精准地展示了蓝耘元生代在多个主流模型上的延迟表现。数据显示，其服务在三款备受关注的模型——DeepSeek-R1-0528、DeepSeek-V3.1、以及Kimi-K2-Instruct的延迟测试中，均稳居行业前三。
1 DeepSeek-V3.1模型：0.79秒首字延迟，问鼎第一
《2025 大模型服务性能排行榜》显示，在延迟评测环节，蓝耘元生代 MaaS 平台在 DeepSeek-R1-0528、DeepSeek-V3.1、Kimi-K2-Instruct 三款主流模型测试中均进入行业前三，展现出稳定的低延迟处理能力。
这张详细的评测图表直观地揭示了蓝耘的领先地位。0.79秒的成绩，意味着用户在发出请求后，不到一秒钟的时间内就能看到模型开始生成回答。这一速度超越了包括七牛云、阿里云百炼、火山方舟在内的多家知名服务提供商，响应效率优势极其显著。DeepSeek模型家族由深度求索（DeepSeek）团队研发，以其卓越的综合能力和高效率著称，特别是V3版本，基于混合专家（MoE）架构，旨在实现性能与效率的平衡。 蓝耘能够在该模型上实现如此低延迟，反映了其对MoE模型架构的深度优化和高效的资源调度能力。
2. Qwen3-235B-A22B模型：0.58秒！斩获全场最佳延迟
该模型为阿里云通义千问系列产品，在国内应用广泛。蓝耘元生代在该模型测试中实现 0.58 秒首字延迟，创下本次评测的全场最佳延迟记录，显著领先于移动云、华为云等同行，反映出其在极限延迟优化上的技术突破。
3. Kimi-K2-Instruct与DeepSeek-R1-0528：稳定位居前列
除了上述两项冠军表现，蓝耘元生代在其他模型的延迟测试中同样表现出色。
- 在Kimi-K2-Instruct模型的测试中，蓝耘取得了第二名的好成绩。Kimi模型由月之暗面（Moonshot AI）公司开发，以其强大的长文本处理能力而闻名。 优秀的延迟表现意味着用户在使用Kimi处理长文档时，也能获得快速的响应。
- 在DeepSeek-R1-0528模型的评测中，蓝耘的延迟表现位列第三，同样处于行业第一梯队。DeepSeek-R1专注于数学、代码和复杂逻辑推理任务，对计算的精确性和速度要求极高。
综合来看，蓝耘元生代在延迟指标上的全面领先并非偶然。这背后是其在大模型推理优化技术上的持续投入与突破。这些技术可能包括但不限于：高效的KV Cache管理机制以减少重复计算、模型量化技术以降低内存占用和带宽需求、以及先进的请求调度算法，确保计算资源在最短时间内被高效利用。
四、 蓝耘元生代 MaaS 平台的吞吐量表现分析
如果说延迟是“快”的体现，那么吞吐量则是“强”的证明。蓝耘元生代MaaS平台在吞吐性能维度的评测中，同样展现了其强大的处理效能。
如图所示，在DeepSeek-R1-0528、DeepSeek-V3.1和Qwen3-235B-A22B三款核心模型的吞吐量测试中，蓝耘元生代全部稳居前三，彰显了其在处理大规模、高并发请求时的卓越能力。
1. DeepSeek-V3.1模型：63.54 Tokens/s，稳居前三
在DeepSeek-V3.1的测试中，蓝耘取得了63.54 Tokens/s的吞吐量成绩，位列第三。这意味着平台每秒钟能够处理超过63个token的生成任务，对于需要处理大量文本生成或分析的业务场景来说，这是一个非常可观的数字。
2. Qwen3-235B-A22B模型：61.29 Tokens/s，排名第二
在Qwen3-235B-A22B模型上，蓝耘的吞吐量达到了61.29 Tokens/s，高居第二。这一成绩再次证明，蓝耘不仅能让大模型跑得“快”，更能让其跑得“稳”且“多”。
3. DeepSeek-R1-0528模型：44.20 Tokens/s，位列第二
在对计算资源要求极高的DeepSeek-R1-0528模型上，蓝耘以44.20 Tokens/s的吞吐量位居第二。这显示出其在复杂推理任务的高并发处理上同样具备深厚的优化功力。
高吞吐量的实现，离不开一系列先进的后端技术支撑。其中，连续批处理（Continuous Batching） 是关键技术之一。 与传统的静态批处理不同，连续批处理允许在GPU处理过程中动态地加入新的请求，极大地提升了GPU的利用率，从而在宏观上提高了整体吞吐量。此外，诸如PagedAttention等显存管理技术，也能有效管理KV Cache，支持更大规模的并发请求。蓝耘在这些测试中的优异表现，正是其综合运用这些前沿技术的成果。
五、 领航背后的基石：蓝耘元生代MaaS平台与智算基础设施
蓝耘元生代在《2025大模型服务性能排行榜》上的卓越表现，并非空中楼阁，而是建立在其坚实的MaaS平台服务能力和底层的智算基础设施之上。
1. “模型即服务”（MaaS）的普惠化进程
随着大模型应用进入“深水区”，“模型即服务”（MaaS）已成为开发者和企业调用AI能力的首选途径。 MaaS的核心价值在于，它将复杂的大模型封装成简单易用的API服务，极大地降低了AI技术的使用门槛。 用户无需投入巨额资金购买和维护昂贵的硬件设备，也无需组建专业的算法团队进行模型的训练和部署，只需通过API调用，即可按需使用最前沿的AI能力，从而将更多精力聚焦于自身的业务创新。
蓝耘元生代MaaS平台正是这一理念的践行者。 它面向从企业级开发者、初创团队到非技术背景的广泛用户群体，提供“开箱即用”的热门AI模型服务。其服务模式高度灵活，主要包括：
- 零代码便捷体验：用户可以通过友好的Web界面直接与各类大模型进行交互，无需编写任何代码即可体验和验证模型能力。
- API快速集成：为开发者提供标准化、高可用的API接口，可以轻松地将强大的AI功能集成到现有的应用程序或业务流程中。
- 私有化部署：针对数据安全和合规性有特殊要求的企业，平台支持私有化部署方案，确保数据和模型始终处于可控范围内。
这种多元化的服务方式，满足了不同用户在数据安全、特定应用场景和成本控制等方面的个性化需求，真正加速了AI技术的普惠化进程。
2. 坚实可靠的“智算基础设施”
MaaS服务的性能表现，最终取决于底层的智算基础设施（Intelligent Computing Infrastructure）。 智算基础设施是专门为AI计算任务设计和优化的数据中心，其核心是 massive GPU clusters. 蓝耘科技从底层算力支撑到上层AI模型应用，构建了一套完整的高性能、低延迟、高可用的智算服务体系。
图11: 蓝耘构建的开放兼容的元生代MaaS服务底座
这个服务底座，是蓝耘元生代能够在性能评测中脱颖而出的根本保障。它不仅提供了澎湃的算力，更重要的是构建了一个开放兼容的生态，能够快速适配和优化各类主流大模型，并通过高效的调度和管理，将算力资源的利用效率最大化。正是这个坚实的底座，为大模型在各种复杂场景下的高效推理应用，源源不断地提供了强有力的支撑。
3. 高性价比的资源与便捷的注册通道
为了让更多用户能体验到其领先的MaaS服务，蓝耘元生代还推出了高性价比的资源包购买方案和便捷的注册通道。
通过购买预付费资源包，用户可以享受更优惠的价格，进一步降低AI应用的成本。同时，平台也提供了开放的注册链接，鼓励广大开发者和创新者加入：
https://console.lanyun.net/#/register?promoterCode=0131
六、结论：技术实力定义服务标杆，蓝耘元生代领航MaaS新时代
6.1 蓝耘元生代 MaaS 平台的性能总结 从《2025 大模型服务性能排行榜》数据来看，蓝耘元生代 MaaS 平台在延迟与吞吐量两大核心指标上表现突出：0.58 秒的全场最佳首字延迟、多模型吞吐量进入行业前三，证明其在大模型推理优化、算力调度、基础设施建设上的技术实力；多元化的 MaaS 服务模式与成本控制方案，体现其技术落地与商业化的平衡能力。 6.2 对大模型服务行业的启示 性能成为核心竞争力：随着大模型能力趋同，服务性能（延迟、吞吐量、可靠性）将成为差异化竞争的关键，推动行业从 “拼模型能力” 向 “拼服务体验” 转型； 技术协同是关键：低延迟与高吞吐量的平衡、底层基础设施与上层模型优化的协同，将成为服务商技术研发的重点方向； 普惠化是趋势：通过 MaaS 模式降低使用门槛、通过资源方案控制成本，有助于推动大模型技术向中小微企业及传统行业渗透，加速产业智能化转型。 未来，随着智算基础设施的完善与推理优化技术的迭代，大模型服务性能将进一步提升，而以性能为核心、以普惠为目标的服务商，有望在行业竞争中占据更有利地位。
