【上海站】SGLang和ta的朋友们:共探大模型推理新范式

0 阅读2分钟

随着大模型(LLM)应用深入,长文档分析、多轮 Agent 交互等场景对上下文长度的需求爆发式增长。然而,有限的 GPU 和 HBM 显存资源已成为制约推理性能和扩展性的核心瓶颈。如何在保证极致推理速度的同时,显著降低 TCO 并支持无限延伸的上下文,是业界共同面临的挑战。

本次 Meetup 由 SGLang、阿里云数据库 Tair KVCache 、NVIDIA 开发者社区 和千问 APP 基础工程团队联合举办。活动将深度聚焦大模型推理的演进方向,公开 SGLang 的最新发展路线图,深度解密 Tair KVCache 如何通过分层存储和高速网络重构推理架构。同时,我们特邀来自千问 APP、 NVIDIA 的技术专家,分享在构建大规模、高性能推理服务的一线优化实战经验。

📅 3月7日14:00-18:00

📍上海 T·HOUSE 艺术空间(闵行区漕河泾开发区,古美路 1528 弄 7 号楼)

👉🏻报名链接:survey.aliyun.com/apps/zhilia…

👉加入钉钉交流群:109765011301

精彩看点预告

1️⃣ SGLang 独家剧透

SGLang 的现状与未来全景路线

《SGLang 高性能推理:现状与未来路线图全景解析》——SGLang 核心团队成员,鲍科

《SGLang 面向 HybridModel 的优化实践》——SGLang 核心团队成员,张懿

2️⃣ 千问 APP 业务实战

看千问APP的大模型低延迟推理优化实践

《千问APP中大模型低延迟推理优化实践》——阿里千问C端事业部高级技术专家,代俊

《ECHO-面向高并发低延迟推理的投机采样新方法》——阿里千问C端事业部技术专家,胡欣怡

3️⃣ 阿里云存储重构

深度解密阿里云 Tair KVCache 与 NVIDIA、Mooncake 等生态伙伴的技术突破。

《SGLang 与阿里云 Tair KVCache 协同进化》——SGLang Core Developer ,阿里云 Tair KVCache 专家,黄章衡

《Qwen3.5 推理优化实践》——NVIDIA GPU 计算专家团队(DevTech)工程师,李克森

《阿里云 Tair KVCM + Mooncake:全局管理与高性能存储的深度融合》——阿里云 Tair KVCache 专家,王悉宇;阿里云 Mooncake 核心贡献者,马腾

《SGLang 仿真优化: Tair HiSim 与 Dynamo AIConfigurator 的协同实践》——NVIDIA 消费互联网行业技术负责人,徐添豪;阿里云异构研发高级工程师,周海柱

这是一场关于速度、规模与成本的技术深度交流,诚邀每一位关注 LLM 基础设施的开发者参与。除了技术干货,现场参与还可获得定制的开工礼包,快来提前预定席位吧!