在数字孪生项目中经常融合运用多种技术手段，探索更加丰富的展示效果，语音交互作为新交互形态应运而生。通过集成先进的语音识别、自然语言处理及语音合成技术，支持用户通过自然语言与大屏应用进行沟通，借助人机对话实现交互效果。同时提供移动端服务，能够通过手机远程输入语音，极大提升了可视化大屏的交互效率与智能化水平。内容均来源于 [《数字孪生视觉语言白皮书》]([url](易知微 - 数字孪生仿真渲染引擎与可视化应用)) ，感兴趣的朋友可以点击下载完整版。
当点击某个桥吊设备时，可使用数字人功能进行设备详情的播报：
1. 语音交互大屏
1.1.语音指令实现交互
在 EasyV 最新发布的AI智能体中，提供语音指令功能。利用该功能，能实现“用嘴演示”。结合到港口业务中，即通过启用智能体、设置语音指令，可以直接用语音控制桥吊区抓取集装箱，摆放到对应位置。为了良好的用户体验以及更快响应客户的问题，在EasyV中采用了实时语音识别，将实时捕获的语音片段以二进制的形式发送给服务端识别。
1.2.知识库部署调用
AI智能体支持设定底层信息来源，可以通过 OpenAPI 接入第三方知识库或其他国内主流的AI智能体，学习调用对应知识库提供更加专业、符合业务场景的智慧问答，有效提升智能体的深度理解能力，精准提升问答的专业度。
也可以调用 AI 问答功能，进行数据指标的询问、分析等：
此处应用了一种新兴的技术路径 RAG，即“检索增强生成”。
①RAG = 检索+生成
- 从知识库检索相关信息；
- 将检索到的信息输入语言模型，生成自然语言回答。
②典型流程如下：
- 用户提问：“上个月哪个区域销售额增长最快？”；
- 系统从知识库中检索相关销售报表、趋势分析等文档；
- 将文档片段作为“上下文”提供给大模型；
- 大模型基于上下文生成自然语言回答，并推荐可视化图表。
在EasyV中，底层的知识库应用建立在RagFlow的开源平台之上。知识库作为语音交互大屏背后的重要“知识大脑”，不仅提升了系统的智能化水平，也为个性化服务、精准问答、动态响应提供了基础保障。借助RAG技术与RagFlow这样的平台工具，我们能够更加高效地构建、管理和应用知识库，使其真正服务于语音交互的每一个环节。
RagFlow 是一个基于深度学习与RAG技术的企业级文档解析与问答系统，能够高效处理复杂格式文档并构建可查询的知识库。
1.3.数据集：
全面提升数据归集、数据分析和数据管理的能力，让数据处理与可视化搭建完美解耦。告别繁琐配置，全面降低数据使用门槛，让任何角色都能轻松地深入处理与洞察数据。
EasyV数字孪生可视化平台基于每一个数据集的语义，通过语音交互识别用户查询意图，检索查询的某个或多个数据集，然后通过模型调用，返回数据结果。基于数据集中查询的数据，形成了智慧看数的基础，模型在图表库中匹配的图表最终用于可视化展示。
数据集专注于提供结构化的数据源，用于支持各种数据分析、可视化展示以及智能问答中的具体数据查询需求。数据集是由一系列数据源构成的集合，通常包含细化的指标和维度信息，AI系统基于数据进行深入分析，为用户提供精准的数据查询结果和服务。
1.4.图表智能解析：
EasyV所积累的图表组件库均支持个性化自定义配置，可以满足绝大部分业务场景的使用需求。今年，我们将过往所沉淀的可视化图表深度集成到了智能问答系统中，且每个组件都进行了详细描述，以供大模型更好的理解调用。
①图表推荐与选择：
- 智能推荐算法： 根据查询内容和上下文，结合组件描述信息，AI大模型会推荐最合适的图表类型；
- 用户自定义选项： 提供一定的自定义空间，允许根据个人偏好调整推荐类型与样式。
②数据转化与映射：
- 字段映射： 确定字段对应图表中的哪些元素；
- 数值转换： 如必要，对数值进行适当的数学变换，确保显示准确且易于理解。
③可视化渲染：
- 图表生成： 使系统内置的图表，根据选定的图表和经过处理的数据在对话框内生成图表；
- 交互功能： 区别于服务端生成的静态图表，EasyV可以在前端实时渲染图表，能够实现诸多交互特性，具备更强的用户体验。
2.交互模式详解
2.1.智能问答模式：
l 可通过语音提出数据相关问题；
l 系统自动解析问题语义，调用知识库和数据集进行查询；
l 以图表形式展示查询结果，并通过语音同步播报关键数据以及数据分析；
l 支持多轮对话，逐步细化问题直至获得满意答案。
2.2. 指令模式：
l 可通过语音直接控制大屏界面，例如：“隐藏左侧导航栏”、“下钻到浙江省”、“切换到实时监控视图”；
l 将语音指令解析为具体操作命令，驱动大屏组件进行交互动作；
l 支持组合指令，提高操作效率。
易知微基于多年在数字孪生及数据可视化领域丰富实践，沉淀了诸多经验成果，欢迎大家互相交流学习： 《数字孪生视觉语言白皮书》下载地址：easyv.cloud/references/…
《数字孪生世界白皮书》下载地址：easyv.cloud/references/… 《数字孪生行业方案白皮书》下载地址：easyv.cloud/references/…
