当推理成为人工智能的运营核心,融入每一次用户交互、每一个应用工作流,并渗透至所有由智能体驱动的体验中,Agentic web 需要本地的、分布式的、且对毫秒级性能约束敏感的计算资源。
Akamai 的平台分析显示,仅10-15毫秒的额外延迟就可能增加关键零售流程中的用户放弃率。
为了将推理推向离用户更近的地方,减少对集中式云区域的依赖,Akamai Inference Cloud(Akamai AI 推理云) 应运而生。
什么是 Akamai Inference Cloud(Akamai Al推理云)?
Akamai Inference Cloud (Akamai Al推理云) 将搭载NVIDIA RTX PRO 6000 Blackwell服务器版GPU、 NVIDIA BlueField-3 DPU 和 NVIDIA AI Enterprise 软件的NVIDIA RTX PRO 服务器,与Akamai分布式云计算基础设施及全球超4200个节点的边缘网络进行了深度融合。该平台将AI推理计算部署至贴近用户与设备的位置,重新定义人工智能的应用场景与落地方式。
**Akamai Inference Cloud**
**(Akamai AI 推理云)**
**「三层分布式架构」**
集中式AI工厂——推理计算的基础智能核心
该层级搭载为吞吐量和复杂模型优化的高端 GPU,聚焦算力密集型工作负载,承担大规模模型训练、模型微调工作,同时支撑对精度和算力有极致要求的专项“一次性”推理计算,为下游所有分布式推理环节打造、优化并输出基础智能模型,是整个 AI 推理云的智能底座。
分布式GPU层——推理计算的核心执行层
该执行层是实时推理、智能体化工作流及低延迟敏感型应用的关键支撑。Akamai 在全球网络部署含NVIDIA Blackwell 架构 RTX PRO™ 6000 的 GPU 硬件,通过地理分布式部署将算力落地人口密集区,实现推理工作负载毫秒级响应,有效降延迟、提并发,大幅减少长距离网络传输。
边缘路由与安全层——推理计算的智能管控与安全屏障
该层级在推理硬件接收请求前完成全流程前置处理,验证分类入站请求、过滤威胁与异常行为,智能匹配最优 GPU 节点; 同时处理令牌安全与隐私敏感流量,动态调度跨节点工作负载,确保推理请求可信、高效、安全地分发至分布式 GPU 资源。
Akamai AI 推理云的应用场景
01 8K 沉浸式体育赛事直播
将 Blackwell 架构 GPU 部署在 Akamai 平台上,实现 8K/120FPS+ 原生 4:2:2 色彩保真度的直播链路,减少了现场硬件部署需求,实现了轻量化的"便携直播包"部署,简化了制作流程,并大幅提升了观众体验。
02 直播视频的实时决策
在赛马等竞速赛事中,将推理算力贴近摄像设备分布式部署,可对赛事视频进行逐帧近乎实时分析,并在 35 毫秒内完成目标检测、镜头切换与码率调整,能完美解决赛马等竞速赛事中 GPS 追踪速度慢、精度低的行业痛点,实现赛事实时智能决策。
03 多摄像头实景制作的规模化落地
大型实景电视节目制作中,分布式 GPU 能支撑 300+ 路视频流的并行分割、分析与处理,有效解决了偏远地区多视频流同步处理的难题,而且还能减少本地基础设施投入,提升系统响应速度,全面优化节目制作全流程。
AI 正超越孤立的提示-响应交互模式,演变为持续的嵌入式能力,成为支撑全网所有每用户体验的核心底层技术。Akamai AI 推理云的三层架构,为构建一个 AI 全时在线、全域可达的智能世界奠定了坚实基础。
点击此处,可进一步了解 Akamai AI 推理云。