前言
接触大模型已经很长时间了，至少在去年，从我的使用经验来看，我都觉得大模型一直是一个大号的搜索引擎，除了查查资料，聊聊天以外，也干不了啥事。
但在去年春节随着 OpenClaw 的横空出世，我对大模型的看法就发生了改变。你会突然发现，大模型突然开始能干活了。
然后在整个春节期间，我就开始搜集关于大模型的资料进行学习，了解到 React、RAG、Agent、Vector 等等新的词汇，这时候给我的感觉就是，感觉第四次工业革命要来了。
但正如后面所看到的，OpenClaw 这种多 Agent 系统消耗 Token 的能力太强了，这已经超出一个普通人的承受范围了。
你又想玩大模型，又没钱，咋整呢？
小模型呗，这玩意原理和大模型差不多，随着 llama.cpp 的发布，普通家用电脑也能玩。
一个模型，无论是大模型还是小模型，我觉得能干活的关键有两个：
- 能准确理解用户意图
- 能准确调用工具
离开这两点，无论大模型还是小模型，除了吹牛逼以外就一无是处。
就这样直到今年 4 月，Google 发布了 Gemma 4 系列模型，通过介绍来看，这个系列的模型对硬件要求极低，但能力却很强，多模态支持，而且工具调用能力也很强。
识图的能力也不错，但我觉得离实用还差了点，但对于一个小模型来说，只要能准确理解用户意图，能准确地调用工具就能干活了。
项目起源
通过阅读几个开源的 agent 系统让我对多 agent 系统也有了比较深刻的了解，我就在想，能不能基于 Gemma 4 做点什么。有一次在和父亲的闲聊中，他说隔壁一个老头子摔倒在家，他老伴只隔了半天回去后，老头子因为抢救无效死亡了。其实这种事情这些年我听的越来越多，特别是农村地区，独居老人非常多，甚至有次听说一个老人死在家中半年才被发现。
我一直在想能用现在的科技做点什么。
而 Gemma 4 模型的出现，我发现正好可以利用这个模型解决一下这些问题，因此就有了小蜜陪护机器人这个项目。
设计理念
要做一个能让广大中国老百姓用得起负担得起的机器人，其实不需要这个机器人能跑来跑去，至少得满足下面几点：
| 要求 | 说明 |
|---|---|
| 便宜 | 无论是硬件还是软件，都得便宜，特别是能用于广大农村地区 |
| 容易安装维护 | 操作简单，无需专业知识 |
| 理解用户指令 | 能准确理解用户意图，能准确调用工具 |
| 人体姿态识别 | 能检测人体动作，基于动作做相应处理 |
| 火灾检测能力 | 能检测火灾，并及时报警 |
| 设备操作能力 | 可以很容易地控制各种家用电器 |
系统设计
基于上面这几点，我为小蜜陪护机器人做了下面这些设计：
1. 基于 Windows 系统
从开发角度来说，我有很长时间 Windows 下软件开发的经验，可以很容易地处理各种软件问题；从安装使用角度来看，中国拥有大量使用 Windows 系统的人和相关的硬件，比如 PC、笔记本电脑、台式机等。因此，我选择了 Windows 系统作为小蜜陪护机器人的操作系统。
2. 选用 Gemma 4 模型作为机器人的大脑
如果选用一款大模型作为机器人的大脑，会存在很大的问题：
- 费用问题：大模型是烧 Token 的，这是大多数家庭负担不起的
- 联网问题：必须得联网，对于中国广大的农村地区来说，很多地方不具备这个条件
因此 Gemma 4 这种本地模型是首选。
3. 基于 ESP32-CAM 作为小蜜陪护机器人的眼睛
ESP32-CAM 只是起一个拍照的作用，并不流媒体式地传输视频，ESP32 成本低，更适合在更大范围的使用。
4. 人体姿态检测与异常行为识别
当 ESP32-CAM 拍照传输到小蜜陪护机器人的大脑后，小蜜陪护机器人会用 YOLOv8 系列模型检测图片中人的姿态和物品，然后就可以基于人的姿态做：
- 摔倒检测：检测到人摔倒后及时通知家属
- 晕倒检测：检测到人晕倒后通知家属或打电话到医院
- 长时间站立检测：发现你一个人在家站立很久，就会和你攀谈，放广播电视，提供情感支持
5. 火灾检测能力
通过在家中各个地方放置摄像头，可以实时监控家里状态：
- 电器老化引起的烟火可以在第一时间被发现
- 老年人记性差，煮饭时常忘记关火，小蜜陪护机器人可以通过火灾检测的能力第一时间提醒你
6. 家用电器控制能力
小蜜陪护机器人会通过 WiFi 路由器和家里所有的电器组成一个局域网，通过 ESP32 这种 WiFi 模块控制或获取家用电器的状态：
- 如果老人忘记厨房关火，小蜜陪护机器人一旦检测到指定时间没有关火，就可以自行将火关掉，避免火灾的发生
7. 隐私保护能力
因为小蜜陪护机器人不需要网络也能正常运行，只需要一台家用电脑，若干个摄像头和 WiFi 模块就能独立运行。小蜜陪护机器人会将所有数据存储在本地，不会上传到任何服务器。
8. 扩展能力
我当初做小蜜陪护机器人这个项目时，本来只是想基于 Gemma 4 做一款本地陪护机器人，但我发现这个系统拥有检测人体姿态、物体检测、火灾检测、理解人类语言、调取工具的能力，突然发现它能做的事很多。因此我把系统设计成插件的模式，以便于系统能很好地扩展到其他地方去。
小蜜陪护机器人主要基于 Qt 5.16 开源版本构建而成，选择 Qt 5.16 是为了让这个软件能在更低配置的硬件和系统上运行。
功能列表
| 功能 | 说明 |
|---|---|
| 晕倒检测 | 检测到人晕倒后及时报警或通知家属 |
| 长时间站立检测 | 发现你一个人在家站立很久，就会和你攀谈，放广播电视，提供情感支持 |
| 火灾检测 | 能检测烟雾火灾，并及时报警 |
| 灶台未关火报警 | 如果老人忘记厨房关火，检测到指定时间没有关火，可以自行将火关掉 |
| 记忆能力 | 可以记住用户说过的话，做过的事，后期越用越聪明 |
| 设备操作能力 | 可以很容易地控制各种家用电器 |
| 隐私保护能力 | 所有数据加密存储在本地，不会上传到任何服务器 |
| 语音识别能力 | 可以识别人类语言，根据语言做相应处理 |
| 工具调用能力 | 可以调用外部工具，比如搜索、翻译、播放音乐等 |
| 聊天能力 | 可以和用户进行简单的聊天，比如问问题、回答问题等 |
| 播放广播电视 | 可以播放广播电视，比如新闻、天气、股票等 |
| 定时任务能力 | 可以设置定时任务，比如每天固定时间播放广播电视、提醒或操作家用电器 |
| 扩展能力 | 系统设计成插件的模式，以便于系统能很好地扩展到其他地方去 |
安装说明
下载地址
百度网盘：百度网盘 请输入提取码（提取码：4qsj）
网盘文件说明
| 文件 | 说明 |
|---|---|
| simulator/ | 三个测试文件：camera_simulator.py（模拟摄像头客户端）、camera_simulator_server.py（模拟摄像头服务器）、sim_air_conditioner.py（模拟空调设备） |
| Plugins_weather.zip | 天气插件代码，用于机器人获取实时天气信息 |
| esp32_cam_firmware20260717.7z | ESP32-CAM 固件，可直接烧录到开发板中（烧录教程见摄像头配置文档） |
| gemma-4-E4B-it-qat-UD-Q4_K_XL.gguf | 机器人使用的 Gemma 4 模型文件 |
| kuborobot-20260727.7z | 小蜜陪护机器人软件 |
安装步骤
- 解压
kuborobot-20260727.7z文件 - 将 Gemma 4 模型文件 gemma-4-E4B-it-qat-UD-Q4_K_XL.gguf 放到软件启动目录的 sceneconfigs\models 下
- 运行软件 KuboRobot.exe
软件启动后界面如下：
首次启动，因为需要加载模型，在一些配置比较低的电脑上可能比较缓慢，需要等待一下，当语音播报"你好，我是小蜜，是陪护机器人"后，系统就可以正常使用了，这时你就可以语音和它对话了。
要测试小蜜陪护机器人的摄像头功能，可以通过配置 camera_simulator.py 来测试摄像头功能。
要测试小蜜陪护机器人控制家用电器或者其它在线设备的话，可以通过配置 sim_air_conditioner.py 来测试。
结语
小蜜陪护机器人的初衷是为了解决独居老人的安全问题，但这个系统的潜力远不止于此。随着插件系统的完善，它可以扩展到更多场景。
希望小蜜陪护机器人能真正帮助到有需要的人，用科技守护每一个家庭。
小蜜陪护机器人开发团队
