TL;DR
- 三条路线已成型：全双工语音（GPT-Live-1，延迟 0.798s、Tau3 成功率 83.6%、$0.05/min）、语音+视频化身（Gemini 3.8 Live，97 语言、异步工具调用、摄像头/屏幕流）、全模态按需感知（Qwen3.8-Omni-Flash，音频成本 -98%、token -45.7% 而准确率 +4.4pt）。
- 级联管线（STT→LLM→TTS）的死穴是 VAD 门控带来的"对讲机效应"；全双工把听与说交给同一模型连续处理，插话/打断才成立。
- 延迟预算先算再选型：首响 < 800ms、打断回馈 < 300ms，是当下生产及格线。
- 高危动作必须有二次确认回环；MCP 2026-07-28 的 MRTR（
resultType: "input_required"）是协议级答案。 - 安全不是配置项：OpenAI 此次事故根因是沙盒 DNS 过滤漏洞，防线被实现细节击穿。
一、架构对比：级联管线 vs 全双工
| 维度 | 级联管线（STT→LLM→TTS） | 全双工单模型 |
|---|---|---|
| 延迟构成 | VAD 判定 + STT + LLM 首 token + TTS 首帧 | 单一音频流往返 |
| 打断体验 | 需等待 VAD 判定，易出现"对讲机效应" | 原生支持插话、backchannel、改口 |
| 推理能力 | 直接复用强 LLM | 通常需委托后端模型（GPT-Live-1 即此设计） |
| 工程复杂度 | 管道编排 + 状态对齐，链路长 | 传输层复杂（WebRTC/WS/SIP），模型侧简单 |
| 适用 | 单向播报、电话 IVR 降级方案 | 实时客服、销售、陪伴、游戏 NPC |
GPT-Live-1 的关键设计：单模型管理实时音频流（听说并行），工具调用与深度推理通过 managed responses / client delegation 交给后端模型（如 GPT-6 Astra）。传输层：浏览器走 WebRTC、服务端音频走 WebSocket、电话走 SIP。计费 $0.05/分钟、按秒计。
延迟参照数据：轮次延迟 1.41s（GPT-Realtime-2.1）→ 0.798s（GPT-Live-1）；Full Duplex Bench v1.5 交互性 80.1%；配对 Astra 后 Tau3 成功率 45.7% → 83.6%。
二、延迟预算表（先把账算清楚）
| 阶段 | 预算 | 说明 |
|---|---|---|
| 上行音频分片 | 20–60 ms | Opus 帧，WebRTC 默认即在此区间 |
| 网络往返 | 50–150 ms | 就近接入；跨洲实时语音基本不可行 |
| 模型首响 | 300–600 ms | 全双工可压到 400ms 级 |
| 首响总计 | < 800 ms | 超过即明显"卡顿感" |
| 打断回馈 | < 300 ms | 用户开口后模型需立刻让出话语权 |
| 工具执行 | 0（异步） | 不得进入主链路，后台执行 + 插话播报 |
三、可运行代码：异步工具调用 + 二次确认
# async_tool_loop.py —— 实时会话中"说话不静默"的最小实现（伪代码骨架）
# 说明：以 WebSocket 音频流为例；模型/工具接口以各厂商最新文档为准
import asyncio, json
class RealtimeSession:
def __init__(self, ws, backend, policy):
self.ws, self.backend, self.policy = ws, backend, policy
self.tasks: set[asyncio.Task] = set()
async def speak(self, text: str):
await self.ws.send(json.dumps({"type": "say", "text": text}))
async def ask_confirm(self, summary: str) -> bool:
"""高危动作二次确认：对应 MCP MRTR 的 input_required 模式"""
await self.ws.send(json.dumps({"type": "confirm", "text": summary}))
resp = json.loads(await self.ws.recv())
return resp.get("confirmed") is True
def spawn(self, coro):
"""后台任务，不阻塞音频流"""
t = asyncio.create_task(coro)
self.tasks.add(t)
t.add_done_callback(self.tasks.discard)
async def on_user_speech(self, transcript: str):
await self.speak("好的，我帮您查一下当前状态。") # 立即回馈，不等待
async def job():
try:
plan = await self.backend.plan(transcript) # 步骤 1：规划
if self.policy.is_high_risk(plan): # 步骤 2：策略判定
if not await self.ask_confirm(plan.summary): # 步骤 3：确认回环
await self.speak("已取消该操作。")
return
result = await self.backend.execute(plan) # 步骤 4：执行
await self.speak(result.summary) # 步骤 5：插话播报
except Exception as e:
await self.speak("抱歉，刚才的操作没有成功，需要重试或人工处理。")
log_incident(transcript, e) # 失败也要留痕
self.spawn(job()) # 关键：spawn 而非 await
三个必须落地的点：① 工具执行一律 spawn，绝不 await 在主链路；② 高风险动作走确认回环（is_high_risk + ask_confirm）；③ 失败路径也要有语音回馈与埋点，不能让对话"卡在半空"。
四、按需感知：视频/音频进上下文前的"抽样器"
Qwen3.8-Omni-Flash 的结论值得直接照搬：让模型决定"看哪段、听哪段"，长视频 token 从 145,736 降到 79,117（-45.7%），准确率 63.4 → 67.8。
工程上可先用一个轻量抽样器兜底（在模型自选之前做粗筛）：
# segment_sampler.py —— 基于转写时间戳做候选片段筛选（示意）
def pick_segments(transcript, keywords, max_seconds=180):
"""
transcript: [{"start": 12.3, "end": 18.9, "text": "..."}] （逐句时间戳）
返回需要送入多模态模型的候选时间段（合并相邻命中句）
"""
hits = [seg for seg in transcript
if any(k.lower() in seg["text"].lower() for k in keywords)]
if not hits:
return []
merged, cur = [], [{**hits[0]}]
for seg in hits[1:]:
if seg["start"] - cur[-1]["end"] <= 5.0: # 5 秒内认为是同一话题
cur[-1]["end"] = seg["end"]
else:
merged.append(cur[-1]); cur.append({**seg})
merged.append(cur[-1])
out, total = [], 0.0
for seg in merged: # 总时长兜底
dur = seg["end"] - seg["start"]
if total + dur > max_seconds:
break
out.append((seg["start"], seg["end"])); total += dur
return out
配合"大脑与嘴巴分离"（实时模型管对话）+ "工具异步化"，三件套即可把实时多模态的单位成本压到可接受区间——考虑到 IDC 预测 Token 消耗 CAGR 4822.6%、算力满足率 2027 年触底 71%，这不是优化，是生存。
五、踩坑记录
- 沙箱安全测的是实现细节。 OpenAI 事件根因是 DNS 过滤漏洞（非设计缺陷）。自测清单应包含：DNS 重绑定、出站代理绕过、凭证外带、文件外传。
- 别把
await写进对话主链路。 任何一次同步等待都会变成用户感知到的静音。 - 音视频处理的 token 估算要用真实数据。 官方自测往往与业务数据不一致（如 Qwen Omni 在视频智能体任务上 36.8 vs Gemini 45.0）。
- 确认回环要前置到策略层。 不要指望模型自觉——用
policy.is_high_risk()这类确定性规则兜底（参考 Meta Muse 的独立安全层审批所有出站请求）。 - MCP 已无状态化。 2026-07-28 规范取消了强制 session，请求自包含，可直接跑在轮询负载均衡后；网关可用
Mcp-Method/Mcp-Name头路由，列表结果带ttlMs/cacheScope缓存提示——旧的会话粘滞方案可以拆了。
六、参考资料
- GPT-Live-1 API 发布说明与基准：thenextgentechinsider.com
- Gemini 3.8 Live with Live Avatar GA：gadgetbond.com / ai.jp.net
- Qwen3.8-Omni-Flash 成本与按需感知数据：今日头条
- Meta Muse 架构（Secure VM / Sentinel / Link by Stripe）：thenextgentechinsider.com
- OpenAI 暂停训练与越界事件：环球时报、每日经济新闻《数智早参》
- MCP 2026-07-28 规范解析：dev.to
- IDC《2026 中国人工智能计算力发展评估报告》报道：中国青年网
