【征文计划】使用Rokid CXR-M和CXR-S SDK构建智能维修助手

程序猿追
67 阅读6分钟

一、引言：AI眼镜如何重塑工业维修

在传统工业维修现场，工程师常常面临一个尴尬困境：需要同时操作工具、查阅图纸和记录数据，但人类只有两只手。这种频繁的场景切换不仅降低了效率，更增加了出错风险。

Rokid AR眼镜为解决这一痛点提供了完美方案。通过CXR-M SDK（移动端开发套件）和CXR-S SDK（眼镜端开发套件），开发者可以构建能够将数字信息叠加到真实世界的智能应用。想象一下，工程师在维修设备时，操作指引、安全规范和三维图纸直接显示在视野中，双手得以完全解放。

二、实战思路：智能维修助手整体设计

2.1 应用场景与核心痛点

典型场景：

  • 复杂设备检修：大型工业设备的多步骤拆装流程指导
  • 应急故障处理：突发故障时的快速诊断和修复
  • 新手培训指导：经验不足的工程师在专家系统辅助下完成工作

痛点分析：

  • 维修现场双手被工具占用，操作手机或平板极不方便
  • 复杂设备维修流程长，容易遗漏步骤或操作失误
  • 专家资源稀缺，无法亲临每一个现场指导

2.2 技术架构设计

智能维修助手采用手机-眼镜协同架构，充分发挥各自优势：

[眼镜端] ←蓝牙/Wi-Fi→ [手机端] ←网络→ [云服务平台]
     ↓                      ↓                ↓
 显示渲染               复杂计算        数据存储与分析
 图像采集                       AI推理        专家协作
 语音交互                        业务逻辑      知识图谱
  • 眼镜端：负责前端交互——显示AR内容、采集图像和音频、进行基础交互
  • 手机端：作为计算中枢——运行复杂的AI识别模型、处理业务逻辑、管理网络通信
  • 云端：提供数据支持和远程协作能力——存储维修知识库、连接远端专家

这种架构既保证了显示的实时性，又能够处理复杂的计算任务，还实现了数据的持久化与协同。

三、开发准备：认识Rokid CXR SDK家族

3.1 选择合适的SDK

Rokid为开发者提供了两套主要的SDK：

CXR-M SDK：面向手机端的开发套件

  • 优势：可在熟悉的Android环境中开发，无需学习眼镜专用系统
  • 适用场景：手机负责复杂运算，眼镜专注显示和交互的协同应用

网址链接

CXR-S SDK：面向眼镜端的原生开发

  • 优势：充分发挥眼镜本地算力，降低延迟
  • 适用场景：对实时性要求高、计算相对简单的纯眼镜应用

对于智能维修助手，我们推荐使用CXR-M SDK为主的开发方案，因为维修场景中的AI识别和业务逻辑较为复杂，手机处理器能更好地胜任这些任务。

网址链接

3.2 开发环境配置

硬件要求：

  • Rokid AR眼镜设备（如Rokid Max系列）
  • Android手机（Android 9.0或更高版本）
  • 稳定的网络环境

软件要求：

  • Android Studio 4.2+
  • JDK 1.8+
  • Kotlin语言基础
  • CXR-M SDK

3.3 项目依赖配置

我们首先创建一个新的Android项目。在Android Studio中，选择"File" -> "New" -> "New Project"，然后选择"Empty Activity"模板。为项目命名为"RokidTranslationAssistant"，并选择Kotlin作为开发语言。

或者直接使用Rokid 的Demo文件，直接使用git拉取下来

# 或者直接使用Rokid 的Demo文件，直接使用git拉取下来
git clone https://github.com/rokid/RokidMobileSDKAndroidDemo.git

目录结构：

在settings.gradle.kts中添加Rokid Maven仓库：

dependencyResolutionManagement {
    repositoriesMode.set(RepositoriesMode.FAIL_ON_PROJECT_REPOS)
    repositories {
        maven { url = uri("https://maven.rokid.com/repository/maven-public/") }
        google()
        mavenCentral()
    }
}

在模块的build.gradle.kts中添加依赖：

dependencies {
    // Rokid CXR-M SDK
    implementation("com.rokid.cxr:client-m:1.0.1")
    // 网络请求
    implementation("com.squareup.retrofit2:retrofit:2.9.0")
    implementation("com.squareup.retrofit2:converter-gson:2.9.0")
    // 协程
    implementation("org.jetbrains.kotlinx:kotlinx-coroutines-android:1.7.3")
}

权限配置（AndroidManifest.xml）：

<uses-permission android:name="android.permission.BLUETOOTH" />
<uses-permission android:name="android.permission.BLUETOOTH_ADMIN" />
<uses-permission android:name="android.permission.BLUETOOTH_SCAN" />
<uses-permission android:name="android.permission.BLUETOOTH_CONNECT" />
<uses-permission android:name="android.permission.ACCESS_FINE_LOCATION" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.CAMERA" />

四、核心功能实现：构建智能维修助手

4.1 设备连接与初始化

建立手机与眼镜的连接是第一步，我们使用蓝牙作为主要连接方式：

class DeviceConnectionManager(private val context: Context) {
    private var isConnected = false
    
    fun initRokidSDK() {
        RokidCXRManager.init(context) { success, error ->
            if (success) {
                Log.d("RepairAssistant", "SDK初始化成功")
                startBluetoothScan()
            } else {
                Log.e("RepairAssistant", "SDK初始化失败: $error")
            }
        }
    }
    
    private fun startBluetoothScan() {
        val bleScanner = BluetoothAdapter.getDefaultAdapter().bluetoothLeScanner
        val scanCallback = object : ScanCallback() {
            override fun onScanResult(callbackType: Int, result: ScanResult) {
                val device = result.device
                // 通过UUID过滤Rokid设备
                if (result.scanRecord?.serviceUuids?.any { 
                    it.uuid == UUID.fromString("00009100-0000-1000-8000-00805f9b34fb") 
                } == true) {
                    connectToDevice(device)
                }
            }
        }
        bleScanner.startScan(scanCallback)
    }
    
    private fun connectToDevice(device: BluetoothDevice) {
        CxrApi.getInstance().connectDevice(device, object : ConnectResultCallback {
            override fun onConnectResult(result: Boolean, deviceAddress: String?) {
                if (result) {
                    isConnected = true
                    Log.d("RepairAssistant", "眼镜连接成功")
                    initializeRepairScene()
                } else {
                    Log.e("RepairAssistant", "眼镜连接失败")
                }
            }
        })
    }
}

4.2 语音控制集成

语音交互让工程师在双手繁忙时仍能控制应用：

class VoiceInteractionManager(private val context: Context) {
    private lateinit var speechRecognizer: SpeechRecognizer
    
    fun initializeVoiceRecognition() {
        if (!SpeechRecognizer.isRecognitionAvailable(context)) {
            Log.w("RepairAssistant", "语音识别不可用")
            return
        }
        
        speechRecognizer = SpeechRecognizer.createSpeechRecognizer(context)
        speechRecognizer.setRecognitionListener(object : RecognitionListener {
            override fun onReadyForSpeech(params: Bundle?) {
                Log.d("RepairAssistant", "准备接收语音指令")
            }
            
            override fun onResults(results: Bundle?) {
                val matches = results?.getStringArrayList(SpeechRecognizer.RESULTS_RECOGNITION)
                if (!matches.isNullOrEmpty()) {
                    val command = matches[0]
                    handleVoiceCommand(command)
                }
            }
            
            override fun onError(error: Int) {
                Log.e("RepairAssistant", "语音识别错误: $error")
            }
            
            // 其他必要的方法实现...
            override fun onBeginningOfSpeech() {}
            override fun onRmsChanged(rmsdB: Float) {}
            override fun onBufferReceived(buffer: ByteArray?) {}
            override fun onEndOfSpeech() {}
            override fun onPartialResults(partialResults: Bundle?) {}
            override fun onEvent(eventType: Int, params: Bundle?) {}
        })
    }
    
    private fun handleVoiceCommand(command: String) {
        Log.d("RepairAssistant", "处理语音指令: $command")
        
        when {
            command.contains("下一步") -> ARGuidanceManager().moveToNextStep()
            command.contains("上一步") -> ARGuidanceManager().moveToPreviousStep()
            command.contains("重复") -> ARGuidanceManager().showCurrentStep()
            command.contains("拍照") -> takePictureForDocumentation()
            else -> Log.w("RepairAssistant", "未识别的指令: $command")
        }
    }
    
    fun startListening() {
        val intent = Intent(RecognizerIntent.ACTION_RECOGNIZE_SPEECH).apply {
            putExtra(RecognizerIntent.EXTRA_LANGUAGE_MODEL, RecognizerIntent.LANGUAGE_MODEL_FREE_FORM)
            putExtra(RecognizerIntent.EXTRA_MAX_RESULTS, 1)
        }
        speechRecognizer.startListening(intent)
    }
    
    private fun takePictureForDocumentation() {
        // 调用眼镜摄像头拍照，用于维修记录
        Log.d("RepairAssistant", "执行拍照操作")
    }
}

4.3 设备识别与AI工作流

通过手机摄像头和AI模型识别设备，并触发相应维修流程：

class EquipmentRecognitionManager {
    private val deviceDetector = EquipmentDetector() // 假设的设备识别类
    
    fun startEquipmentMonitoring() {
        // 初始化摄像头
        val cameraManager = context.getSystemService(Context.CAMERA_SERVICE) as CameraManager
        val cameraId = cameraManager.cameraIdList[0]
        
        cameraManager.openCamera(cameraId, object : CameraDevice.StateCallback() {
            override fun onOpened(camera: CameraDevice) {
                Log.d("RepairAssistant", "摄像头已开启")
                startPreview(camera)
            }
            
            override fun onDisconnected(camera: CameraDevice) {
                camera.close()
            }
            
            override fun onError(camera: CameraDevice, error: Int) {
                Log.e("RepairAssistant", "摄像头错误: $error")
                camera.close()
            }
        }, null)
    }
    
    private fun startPreview(camera: CameraDevice) {
        // 创建预览会话，为每一帧设置识别回调
        val previewRequestBuilder = camera.createCaptureRequest(
            CameraDevice.TEMPLATE_PREVIEW
        )
        
        // 设置识别回调
        val imageReader = ImageReader.newInstance(1920, 1080, ImageFormat.YUV_420_888, 1)
        imageReader.setOnImageAvailableListener({ reader ->
            val image = reader.acquireLatestImage()
            if (image != null) {
                processImageForRecognition(image)
                image.close()
            }
        }, backgroundHandler)
        
        // 开始预览
        camera.createCaptureSession(listOf(imageReader.surface), 
            object : CameraCaptureSession.StateCallback() {
                override fun onConfigured(session: CameraCaptureSession) {
                    session.setRepeatingRequest(previewRequestBuilder.build(), 
                        null, backgroundHandler)
                }
                
                override fun onConfigureFailed(session: CameraCaptureSession) {
                    Log.e("RepairAssistant", "摄像头会话配置失败")
                }
            }, null)
    }
    
    private fun processImageForRecognition(image: Image) {
        // 使用设备识别模型处理图像
        val recognitionResult = deviceDetector.recognizeEquipment(image)
        
        if (recognitionResult.confidence > 0.8) {
            Log.d("RepairAssistant", "识别到设备: ${recognitionResult.equipmentType}")
            loadRepairProcedure(recognitionResult.equipmentType)
        }
    }
    
    private fun loadRepairProcedure(equipmentType: String) {
        // 根据设备类型加载对应的维修流程
        Log.d("RepairAssistant", "加载设备: $equipmentType 的维修流程")
    }
}

五、AI工作流设计与优化思路

5.1 智能维修决策流程

一个完整的维修AI工作流包含以下环节：

设备识别 → 故障诊断 → 方案生成 → AR指导 → 结果记录
    ↓          ↓          ↓         ↓         ↓
计算机视觉  知识图谱检索  大语言模型  增强现实   数据持久化
  +传感器分析  +历史案例    +专家经验  +语音交互  +经验积累

5.2 终端侧AI与云端的协同

根据高通的技术实践，智能眼镜AI应用可以采用混合计算架构：

  • 终端侧处理：设备识别、语音唤醒、简单标注等实时性要求高的任务
  • 云端协同：复杂故障诊断、知识图谱查询、历史案例匹配等计算密集型任务

这种架构既保证了核心功能的低延迟，又能够处理复杂的AI推理。

5.3 基于RAG的维修知识增强

利用检索增强生成（RAG） 技术，可以为维修助手注入最新的专业知识：

class KnowledgeBaseManager {
    fun queryRepairKnowledge(equipmentType: String, symptoms: String): RepairProcedure {
        // 1. 从本地知识库检索相似案例
        val similarCases = localKnowledgeBase.querySimilarCases(equipmentType, symptoms)
        
        // 2. 如本地无结果，查询云端知识库
        if (similarCases.isEmpty()) {
            return cloudKnowledgeService.queryRepairProcedure(equipmentType, symptoms)
        }
        
        // 3. 结合大语言模型生成定制化维修方案
        return llmService.generateRepairPlan(equipmentType, symptoms, similarCases)
    }
}

六、总结与展望

通过本文的实践，我们成功构建了一个基于Rokid CXR-M SDK的智能维修助手原型。这个应用展示了AI眼镜在工业领域的巨大潜力——不仅仅是显示信息的工具，更是增强人类能力的智能伙伴。

未来拓展方向：

  1. 多模态交互融合：结合手势识别、眼动追踪，创造更自然的交互方式
  2. 知识系统进化：通过持续学习，让维修助手越来越"经验丰富"
  3. 协作网络构建：连接多个眼镜设备，实现团队协同维修
  4. 预测性维护：基于历史数据预测设备故障，变被动维修为主动维护

Rokid CXR SDK降低了AR应用开发的门槛，让开发者能够专注于解决行业实际问题。随着技术的不断成熟，AI眼镜必将在工业、医疗、教育等领域发挥更大价值，真正实现"科技赋能一线"的愿景。

avatar
文章
阅读
粉丝