本期编辑：@三水 @鲍勃
01 有话题的技术
1、清华大学与字节跳动提出全双工多模态对话模型 ELLSA 2：同步生成语音、手势与表情，聆听时也能持续反馈
清华大学、字节跳动等研究团队提出全双工多模态对话模型 ELLSA 2，在此前 ELLSA 的基础上，将实时语音交互与面部表情、身体手势生成进一步整合。模型能够在说话时生成匹配语义的动作，也能在停止发声、持续聆听用户时保持非语言反馈，让数字人呈现更连贯的面对面交流行为。
-
同时建模说话与聆听状态： 采用自回归分块生成架构，结合对话模型的聆听状态与语音合成状态，连续生成面部表情及身体动作，避免模型停止说话后角色动作同步中断。
-
根据对话语义选择手势： 提出上下文语义调用与模板引导机制，分别判断何时需要做出语义手势、如何生成具体动作，提升点头、指示及其他动作与对话内容的匹配程度。
-
兼顾语音交互与表情生成效果： 在三项语音问答测试中的 S2S 准确率分别达到 78.0%、47.3% 和 63.6%；实验还显示，联合生成方法在多项面部表情指标上优于级联基线。
-
开放代码、数据与生成模块权重： 项目已提供 ELLSA 2 代码分支、数据集，以及独立手势与表情生成器的权重。需注意，公开模型卡中的权重主要对应独立生成模块，不能直接等同于完整全双工系统的所有权重均已开放。
2、美团联合上海人工智能实验室提出音视频生成评测基准 PRISM-Bench：900 组样本、35 项指标，评估声音质量与声画一致性
美团与上海人工智能实验室研究团队提出 PRISM-Bench，一套面向文本生成音视频（T2AV）的音频诊断评测基准，论文已被 ACM Multimedia 2026 接收。该基准从声音质量、声画对应关系到指令遵循能力，系统评估模型是否能够生成符合场景的声音，而不仅是听起来真实的音频。
-
构建 900 组人工核验样本： 按语音、音乐和环境音三类声音，以及画面内、画面外两种声源位置组织测试，覆盖不同声音类型与视觉场景之间的关联。
-
设计 4 个评测维度、35 项细分指标： 分别考察音视频一致性、音频质量、声音表现力和提示词遵循能力，包括声音是否与画面动作对应、能否准确表现指定事件等。
-
引入多模态大模型辅助评测： 采用真实参考样本与生成结果的盲测对比方式，让 MLLM 充当评审；整体与人类评审的平均一致率超过 70%。
-
揭示现有模型的声画生成短板： 实验发现，当前模型在声音逼真度方面已有明显进展，但生成音乐、同步画面内声源以及遵循复杂音频指令时仍存在不足。团队已提供 Hugging Face 评测榜单入口。
PRISM-Bench：从音质逼真到声画一致，诊断音视频联合生成能力
3、腾讯发布天籁语音大模型 Tenlai 三件套：覆盖 ASR、TTS 与实时同传，中英互译首字延迟约 3–4 秒
10 月 29 日，腾讯在全球数字生态大会上正式发布天籁语音大模型 Tenlai 系列，包括 Tenlai-ASR v1.0、Tenlai-TTS v1.0 和 Tenlai-LiveTranslate v1.0，分别面向语音理解、语音生成和实时跨语言交流。系列模型已应用于腾讯会议、元宝、企业微信等产品，并通过腾讯云向企业和开发者开放服务。
-
ASR 增强多人会议与长音频理解： 支持重叠发言分离、说话人识别，以及结合共享屏幕内容和上下文辅助专业术语转写。腾讯内部评测显示，说话人日志错误率（DER）降至 10% 以下，视觉信息辅助使专业词汇识别召回率相对提升约 30%–40%。
-
TTS 提升自然表达与音色复刻： 支持根据文本语义生成不同情绪、语气及停顿节奏，覆盖中英混读、方言和复杂文本朗读，并可在获得授权后复刻说话人音色，实现跨语言语音生成。
-
实时同传支持中英、中日互译： Tenlai-LiveTranslate v1.0 采用端到端语音翻译架构，边听边生成译文语音，并支持零样本音色复刻。在腾讯会议完整链路的内部测试中，中英互译首字延迟约 3–4 秒。
-
通过腾讯云提供模型服务： Tenlai 系列已对外开放。其中 Tenlai-ASR 和 Tenlai-TTS 已提供 TokenHub API 调用文档，实时同传能力的具体接入方式需以腾讯云对应服务为准。
（@腾讯会议）
4、企业软件公司 ServiceNow 开源 27B 语音推理模型 Apriel Voice：语音直接输入，支持复杂推理与工具调用
企业软件公司 ServiceNow 发布 Apriel Voice 27B Preview，将语音理解能力接入具备推理和工具调用能力的语言模型，让 Agent 能够直接理解用户的语音指令，并生成文字回复或结构化工具调用。模型权重以 MIT 许可证开放，目前仍为预览版本，语音输出需配合外部 TTS 实现。
-
语音输入直接连接推理模型： 采用 Whisper large-v3-turbo 音频编码器，通过可训练的投影模块接入 Gemma 4 26B-A4B 主干，支持语音识别、翻译、语音问答和复杂指令理解，同时保留文本及图像输入能力。
-
支持语音驱动的工具调用： 能够根据口头请求生成结构化 Function Calling，并结合工具执行结果继续处理任务。应用端负责执行工具、管理对话轮次及调用外部 TTS；模型本身并非原生全双工 Speech-to-Speech 系统。
-
公布语音推理与 Agent 评测结果： 官方测试显示，EVA-A 得分 51.27、EVA-X 得分 74.13，τ-Voice 任务成功率为 65.51%，完整语音系统平均响应延迟约 1.91 秒。
-
开放权重与推理部署方案： 支持通过 Transformers 和 vLLM 部署，并提供 OpenAI 兼容接口。模型可处理分块长录音，官方测试在约 30 分钟连续录音上表现较稳定，更长输入的效果仍可能下降。
5、语音识别公司 Soniox 发布 STT v6：新增 Agent 语音回声过滤，60 多种语言支持实时转写与翻译
11 月 3 日，语音识别公司 Soniox 发布 STT v6，新增 Agent Text Input 与 Agent Voice Echo Cancellation 两项能力，让语音识别模型能够结合 AI Agent 正在说的内容理解用户回复，并过滤被麦克风重新拾取的 Agent 声音。新版本同时提升多语言识别、说话人区分及实时翻译能力，现已开放实时流式和异步转写 API。
-
引入 Agent 发言上下文： 开发者可将 Agent 发送给 TTS 的文本同步提供给 STT v6，让模型结合对话双方的内容识别用户的简短回答、人名、数字和专业术语，减少脱离上下文造成的识别错误。
-
新增 Agent 语音回声过滤： 根据 Agent 发言文本识别并过滤扬声器回传的声音，避免语音助手误将自己的回答识别为用户输入。同时持续监听用户讲话，支持用户在 Agent 播报时插话。
-
统一支持 60 多种语言： 在同一模型中提供转写、语言识别、说话人区分、端点检测与实时语音转文字翻译，支持句内语言切换，无需为不同语言单独切换模型。
-
提升会议与专业场景转写效果： 改善多人交叠发言、快速轮次切换，以及日期、金额、计量单位和专业词汇的识别。新版已通过实时流式和异步 API 提供。
02 有亮点的产品
1、苹果向所有开发者开放 Siri AI 预览版：通过 App Intents 接入第三方应用，新增跨操作 Skills 与个人上下文理解
11 月 3 日，苹果宣布面向所有开发者开放 Siri AI Developer Preview，允许第三方应用通过 App Intents 将内容和操作能力直接接入新版 Siri。开发者可以利用 Siri AI 的自然语言理解、屏幕感知和个人上下文能力，让用户通过语音完成应用内任务，并通过新增的 Skills 机制组合多个操作。
-
第三方应用接入 Siri AI： 开发者可以通过 App Intents 暴露自定义操作，让用户用自然语言查询订单、预订餐厅或完成其他应用任务。Siri AI 可结合个人上下文和当前屏幕内容理解请求。
-
新增 Skills 支持跨操作任务： 开发者可以定义由多个 App Intents 组成的复杂流程，让 Siri AI 根据用户指令组合执行。Spotlight 语义索引也扩展支持更多类型的应用实体，不再局限于既有数据结构。
-
苹果原生应用率先提供示例： 日历、邮件、文件、备忘录、照片、Safari 等应用已逐步接入新版能力。用户可以要求 Siri 查找上周去过的咖啡馆，或归档一年多没有打开的文件。
-
开发者预览已开放，正式分发仍待后续： 新能力随 iOS 27.3、iPadOS 27.3、macOS 27.3 和 visionOS 27.3 Beta 提供。苹果计划在未来数月面向用户推出相关体验，并于次年春季开放第三方应用提交。目前 Siri AI 支持英语、法语、日语、韩语等语言，繁体中文等语言将在后续加入。
developer.apple.com/news/?id=gd…
2、AI 视频公司 HeyGen 展示 Grok Bot 语音代拨电话：接入 HeyGen Voice，AI 可用用户克隆音色与他人通话
AI 视频生成公司 HeyGen 展示其语音模型 HeyGen Voice 在 **Grok Bot **电话代理中的应用，让 AI 在代替用户拨打电话时，能够使用与用户本人相似的克隆音色进行交流。**Grok Bot **此前已支持联系个人或商家、提出请求和总结通话，本次展示重点是为电话代理增加个性化语音输出能力。
-
AI 代替用户完成电话沟通： Grok Bot 可根据用户指令拨打电话，与商家或个人交流，记录对方回复并生成通话摘要。官方演示展示了 AI 代拨诊所电话、与工作人员交流的过程。
-
HeyGen Voice 提供个性化音色： HeyGen 宣称其语音模型能够让电话代理使用接近用户本人的声音。HeyGen Voice 本身支持通过最长约 60 秒的录音克隆音色，并提供流式语音生成 API。
-
通话需声明 AI 助手身份： 演示中的电话开场明确告知对方，来电者是代表用户的虚拟助手，且通话正在录音。此次展示尚未详细公布 HeyGen Voice 在 Grok Bot 中的配置方式、支持地区及使用限制。
03 有态度的观点
1、阿里董事会主席：只有开源才能普及 AI
在 11 月 3 日世界互联网大会乌镇峰会开幕式上，阿里巴巴董事会主席蔡崇信表示，开源能降低中小企业研发成本，对小语种和发展中国家尤其有价值。
他认为，开源让更多地区能够参与 AI 发展，并可将模型部署在自己的数据中心。蔡崇信以乌干达的一个非营利组织为例：该组织基于千问开发本地语言模型，已覆盖 68 种非洲语言，帮助当地用户跨越语言门槛。他表示，千问目前已开源超过 470 款模型，全球累计下载量突破 40 亿次，衍生模型超过 33 万个。
他还强调，开放应包括人才、想法、数据与工具的共享。阿里运营的魔搭社区已吸引全球 239 个国家和地区的 3300 万用户，参与者来自中国、美国、印度、东南亚、非洲和拉丁美洲等地区。蔡崇信表示，AI 应用正在工业制造、医疗健康、公共服务、企业办公和科技研发等领域规模化，需求持续增加。中国企业选择开放模型与生态，是希望通过共享让更多人参与进来。
对于下一阶段，他提出的议题包括如何更公平分享智能知识，以及如何共同解决 AI 伦理与治理问题。
( @APPSO)
阅读更多 Voice Agent 学习笔记：了解最懂 AI 语音的头脑都在思考什么
写在最后：
我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创，感兴趣的朋友请通过开发者社区或公众号留言联系，记得报暗号「共创」。
对于任何反馈（包括但不限于内容上、形式上）我们不胜感激、并有小惊喜回馈，例如你希望从日报中看到哪些内容；自己推荐的信源、项目、话题、活动等；或者列举几个你喜欢看、平时常看的内容渠道；内容排版或呈现形式上有哪些可以改进的地方等。
作者提示: 个人观点，仅供参考
