魔珐星云：让AI拥有身体，开启具身智能新纪元前言在人工智能浪潮席卷全球的今天，我们早已习惯与文本、语音形态的AI大模型

前言

在人工智能浪潮席卷全球的今天，我们早已习惯与文本、语音形态的AI大模型互动。然而，这种交互始终隔着一层“屏幕”，缺乏真实世界的临场感和物理维度。我们不禁要问：AI能否拥有“身体”，成为一个看得见、能感知、可行动的“具身智能体”？魔珐科技推出的魔珐星云平台，正是对这一时代命题的响亮回答。它不仅仅是一个3D数字人开发工具，更致力于成为具身智能的基础设施，让AI从“幕后”走向“台前”，真正融入我们的生活。

破局“不可能三角”：魔珐星云的技术内核

在3D数字人领域，长期存在一个“不可能三角”：高质量、低成本、低延时。传统模式下，追求超写实的视觉效果意味着高昂的制作成本和漫长的渲染周期；要实现低成本的快速生成，往往要牺牲视觉质量；而要做到实时交互，则对算力和网络提出了极高要求。魔珐星云的颠覆性在于，它通过两大核心技术引擎，成功打破了这一魔咒。

AI端渲与实时解算技术：让智能“即时响应”

如果说大模型是“灵魂”，那么AI端渲与实时解算技术就是让灵魂在“身体”里流畅运动的“神经网络”。使魔珐星云真正实现了“高质量、低成本、低延时”的统一，为AI具身智能的大规模商业化应用铺平了道路。

让AI“活”起来：低成本、跨端驱动的多模态实时交互引擎

基于文本输入，实时生成 3D 数字人的语音、表情、眼神、手势和身体动作，让任何屏幕、应用、终端都能像真人一样自然表达和交互。

**多模态生成：**文本驱动语义与情绪解析，实时生成语音、表情及动作
**低成本：**AI端渲和解算，无需昂贵 GPU ，百元级芯片可跑
**虚实兼容：**既能驱动 3D 数字人，也能驱动实体人形机器人
**跨端适配：**低延时，支持Web、App等多端部署，100%兼容国产信创

智能视频生成：多模态输入、专业画质与云端渲染一体化

基于文本或 PPT ，一键生成专业级 3D 数字人视频，自动完成场景、灯光、人物表现、3D运镜与包装，让视频创作像写文字一样轻松。

**多模态生成：**基于文本或 PPT ，生成语音、动作、表情、以及运镜
**专业级画质：**场景灯光、角色表现、运镜和包装，效果媲美专业团队
**AI 多形象多风格：**海量超写实角色，匹配各类场景与受众
**灵活适配：**云端渲染，支持各类演播室、角色、语言、横竖屏与分辨率

平台体验：SDK实战驱动路演人员

在技术选型时，我的首要考量并非效果演示，而是集成效率。基于此，我评估了魔珐星云的 JS 与 Android SDK，并最终锁定 JS 版进行初步测试。

先看结果

上手操作

我们前往官方文档找到下面的数字人SDK，然后使用vscode里面的AI工具输入提示词接入SDK自行构造一个demo。

参考开发者文档xingyun3d.com/developers/…

创建实例

首先进行一个SDK核心依赖引入

// sdk/core.ts
import { ref, inject, type App, type Plugin } from 'vue'
import { appState, appStore } from '../stores/app'
import type { AppState } from '../types'
import { avatarService } from '../services/avatar'
import { llmService } from '../services/llm'

引入Vue核心API和类型
引入应用状态管理
引入自定义服务实例

这是组合式API中SDK实例创建

// sdk/composables/useAvatarSDK.ts
export function useAvatarSDK(options: AvatarSDKOptions) {
  // 创建SDK实例
  const sdk = createAvatarSDK(options)
  
  // ... 其他实现代码 ...
  
  return {
    // ... 返回的响应式状态和方法 ...
  }
}

在组合式API中创建SDK实例
包装SDK方法为响应式
返回响应式状态和方法

使用示例：

// demo/AvatarSDKDemo.vue
<script setup lang="ts">
import { ref, reactive } from 'vue'
import { useAvatarSDK } from '../sdk/composables/useAvatarSDK'

// 配置
const config = reactive({
  avatar: {
    appId: '',
    appSecret: ''
  },
  llm: {
    apiKey: ''
  }
})

// 创建SDK实例
const { 
  isConnected, isLoading, isListening, 
  connect, disconnect, sendMessage, sendVoiceMessage 
} = useAvatarSDK({
  avatar: config.avatar,
  llm: config.llm
})
</script>

引入Vue组合式API
引入useAvatarSDK组合式函数
创建配置对象
使用useAvatarSDK创建SDK实例并解构使用

**代码仓：**github.com/Leterhong/x…

这段代码创建了一个语音识别测试页面，包含三个功能区域：

1. SDK加载检查 - 验证必要SDK是否正确加载

2. ASR****配置 - 输入腾讯云语音识别服务的认证信息（App ID、Secret ID、Secret Key）

3. 语音识别测试 - 提供开始/停止语音识别的控制按钮

页面加载了CryptoJS和SpeechRecognizer两个SDK库，用于签名生成和语音识别功能。

<div class="test-section">
    <h3>1. SDK加载检查</h3>
    <button onclick="checkSDKs()" class="btn-primary">检查SDK状态</button>
    <div id="sdk-status" class="status"></div>
</div>
    
<div class="test-section">
    <h3>2. ASR配置</h3>
    <label>App ID:</label>
    <input type="text" id="appId" placeholder="请输入腾讯云ASR App ID">
    
    <label>Secret ID:</label>
    <input type="text" id="secretId" placeholder="请输入Secret ID">
    
    <label>Secret Key:</label>
    <input type="text" id="secretKey" placeholder="请输入Secret Key">
    
    <button onclick="testSignature()" class="btn-primary">测试签名生成</button>
    <div id="signature-status" class="status"></div>
</div>
    
<div class="test-section">
    <h3>3. 语音识别测试</h3>
    <button onclick="startASR()" class="btn-success" id="asr-btn">开始语音识别</button>
    <button onclick="stopASR()" class="btn-danger" id="stop-btn" disabled>停止识别</button>
    
    <div id="asr-status" class="status"></div>
    <div id="result"></div>
</div>
<!-- 加载必要的SDK -->
<script src="/cryptojs.js"></script>
<script src="/speechrecognizer.js"></script>

项目初始化

使用Vite创建一个Vue3 + TypeScript项目：

// 初始化SDK
export async function initSDKs() {
  const loaded = await ensureSDKsLoaded()
  
  if (!loaded) {
    console.error('SDK初始化失败')
    return false
  }
  
  // 设置CryptoJS全局变量（如果使用CDN版本）
  if (!window.CryptoJSTest && window.CryptoJS) {
    window.CryptoJSTest = window.CryptoJS
  }
  
  return true
}

工作流程：

调用ensureSDKsLoaded()：首先调用该函数确保所有SDK加载完成
加载状态检查：如果加载失败，记录错误并返回false
全局变量处理：确保CryptoJS可用（兼容本地和CDN版本）
返回初始化结果：成功返回true，失败返回false

npm i
npm run dev

前端部分可以使用AI工具进行优化，这里的前端页面就是经过优化后的体现，很快，没有什么技术可言，这里给大家介绍一下代码仓里面的详细

### 1. 虚拟人SDK配置
- **应用APP ID**: XmovAvatar SDK的应用ID
- **应用APP Secret**: XmovAvatar SDK的应用密钥

### 2. 语音识别配置（腾讯云ASR）
- **ASR App ID**: 腾讯云语音识别应用ID
- **ASR Secret ID**: 腾讯云访问密钥ID
- **ASR Secret Key**: 腾讯云访问密钥

### 3. 大语言模型配置
- **大模型**: 当前支持 `doubao-1-5-pro-32k-250115`
- **大模型Key**: 对应API的访问密钥

## 🎯 使用指南

1. **配置参数**: 在右侧配置面板中填入所需的API配置信息
2. **建立连接**: 点击"连接"按钮初始化虚拟人SDK
3. **文本交互**: 在文本框中输入内容，点击"发送"进行对话
4. **语音交互**: 点击"语音输入"按钮进行语音对话
5. **查看回复**: 虚拟人会播报AI回复，同时显示字幕

## 🔧 技术栈

- **前端框架**: Vue 3 (Composition API)
- **开发语言**: TypeScript
- **构建工具**: Vite
- **虚拟人SDK**: XmovAvatar
- **语音识别**: 腾讯云ASR
- **大语言模型**: 豆包API (基于OpenAI兼容接口)

## 📦 核心依赖

```json
{
  "vue": "3.5.18",
  "openai": "5.12.2",
  "typescript": "~5.8.3",
  "vite": "7.1.2",
  "@vitejs/plugin-vue": "6.0.1",
  "vue-tsc": "3.0.5"
}
```

然后在浏览器里面打开http://localhost:5173/即可

设置参数

我们回到官网平台，然后点击应用管理——驱动应用——点击创建的应用。

获取密钥

进入之后，点击API密钥，查看数字人实时驱动SDK连接参数 App ID、App Secret

获取ASR

输入语音识别连接参数ASR App ID、ASR Secret ID、ASR Secret Key

下拉选择ASR服务商，本文中以腾讯ASR为例：

需要在ASR服务商（腾讯云ASR：console.cloud.tencent.com/asr）获取连接参数

获取模型API

输入大模型连接参数：大模型 key

文章中连接的是蓝耘MaaS平台的大模型，可以从蓝耘MaaS平台（console.lanyun.net/#/register?…

制作完成

输入文本，点击发送，即可与数字人进行问答或者点击语音识别按钮，说话，识别结束后，数字人即可进行问答。

总结：从“灵魂”到“身体”，共筑具身智能新生态

魔珐星云赋予AI生动的“身体”，以AI端渲技术打破“不可能三角”，解决了“看”与“动”的前台交互难题。蓝耘则构筑了强大的“灵魂”内核，其MaaS、智能体开发及GPU平台，为AI的“想”与“知”提供了从模型、开发到算力的全链路后台支撑。

SDK实战验证了二者的无缝协同：开发者可调用蓝耘的“大脑”模型，轻松驱动魔珐的“身体”进行流畅交互，极大降低开发门槛。在路演等场景中，这种组合不仅能提供稳定表现的数字讲解员，更能凭借强大的AI模型从容应对问答，展现出超越人类的知识储备与反应速度。

这并非简单的平台叠加，而是从“灵魂”到“身体”再到“场景”的完整生态闭环。现在正是开发者和企业登上这艘融合“身体”与“灵魂”航船的最佳时机。点击链接 xingyun3d.com?utm_campaign=daily&utm_source=jixinghuiKoc8探索魔珐星云与蓝耘的联合方案，你手中的应用，或许就是开启下一个交互时代的钥匙。

魔珐星云：让AI拥有身体，开启具身智能新纪元

前言