TencentOS tiny AIoT开发板在智能轮椅中的应用-背景及项目方案

260 阅读9分钟

本文已参与「新人创作礼」活动.一起开启掘金创作之路。

引言****

物联网以及万物互联是智慧城市、智能家居的基础和发展方向,借助物联网、智能硬件和腾讯云对传统轮椅进行改造,能够进一步提升轮椅的智能性和人机交互性能,传统轮椅存在以下不足:1)轮椅作为老年人、残障人士的重要出行工具,医院的轮椅需求量也比较大,但使用时往往需要他人协助来保证安全,在感知、远程控制、人机交互方面存在不足;2)电动轮椅正在成为主流,智能化趋势显现,目前轮椅的研发多集中在中低端市场,对于高端电动轮椅存在研发能力不足、产品缺乏科技含量的问题;3)智能轮椅依靠其在感知、控制和人机交互方面的优势,还可作为智能代步车供各年龄段人士日常使用。

腾讯物联网操作系统(TencentOS tiny)是腾讯面向物联网领域开发的实时操作系统,具有低功耗,低资源占用,模块化,可裁剪等特性,包括以下优点:1)提供了最精简的 RTOS 内核,内核组件可裁剪可配置;2)提供了COAP/MQTT/TLS/DTLS等常用物联网协议栈及组件,方便用户快速接入腾讯云物联网通信IoT Hub;3)方便各种物联网设备快速接入腾讯云,可支撑智慧城市、智能穿戴、车联网等多种行业应用。

本次比赛官方提供了AIoT 开发板,它是腾讯 TencentOS 团队联合恩智浦半导体、厚德物联网设计了高性能 AIoT 评估板,可用于TencentOS tiny基础内核和 AIoT 应用功能体验和评估。因此基于TencentOS tiny AIOT开发板、腾讯云物联网开发平台、腾讯连连小程序和电动轮椅研究了智能轮椅的远程控制和多模感知功能

1)将开发板与腾讯云对接,实现了轮椅上云,并设计了腾讯连连微信/APP小程序;

2)智能轮椅控制:开发了轮椅脚踏板、靠背的升降控制和灯光控制;

3)智能轮椅多模感知:感知自身状态(姿态、定位、速度信息)和外部环境信息(温度、湿度、光照亮度)。进而,用户可以手机控制轮椅脚踏板、座椅靠背的升降,同时也可在小程序上查看轮椅的姿态、定位、速度、温湿度和光强信息。

下图为轮椅实物图,分别为轮椅的侧视图、俯视图、AIOT开发板及外围电路、传感器模组、轮椅正视图和APP小程序

image.png (a)轮椅侧视图                      (b)轮椅俯视图

image.png (c)开发板及外围电路             (d)传感器模组       (e)轮椅正视图

image.png

(f)小程序

项目视频:智能轮椅 - 云+社区 - 腾讯云 (tencent.com)

本项目的开发进一步提升了传统轮椅的交互性能、感知性能和远程控制能力,相信随着研究的深入,会拥有广阔的市场前景,推动轮椅智能化研究的进程。

1、项目背景

1.1 TencentOS tiny AIOT开发板开发板

       本次大赛使用的开发板为TencentOS Tiny AIoT开发套件,可应用于物联网、人工智能等多种领域的开发,内置TencentOS Tiny开源物联网操作系统,例程等学习资料众多,对于初学者非常友好。

       开发板主要有以下特性:

1、核心板采用的RT1062处理器属于i.MX RT 系列 MCU,是由 NXP 推出的跨界处理器,跨界是指该系列MCU的定位既非传统的微控制器、也非传统的微处理器,i.MX RT 系列 MCU 则综合了两者的优势,既具备高频率(最高主频600M)、高处理性能,也具备中断响应迅速、实时性高的特点。

2、1M RAM 16M SDRAM  64MB qspi flash 128MB spi flash

3、板载Type-C接口CMSIS DAP仿真器。

4、板载PCIE接口,可扩展4G类物联网模组。

5、板载物联网俱乐部WAN Interface接口,可支持NB-IoT、WiFi、4G cat1、LoRa等模组。

6、板载物联网俱乐部E53 Interface接口,可扩展全系E53传感器。

7、板载标准24P DVP摄像头接口,可支持最高500万像素摄像头。

8、板载RGB显示接口,可转换HDMI输出。

9、板载高性能音频解码芯片,可做语音识别测试。

10、预留SD卡、用户按键、SPI Flash。

image.png

1.1 开发板实物图

1.2 智能轮椅介绍

近几年来,智慧城市、物联网技术发展迅速,相关的感知硬件也得以快速发展,通过应用摄像头、毫米波雷达、超声波雷达、激光雷达等智能硬件,设备也变得更加智能,人机交互性能得到了进一步的提高。

image.png 图1.2 智能传感器及其应用

当前人口老龄化问题日益严重,在全球人口中残疾人患者约占15%,其中约有2.85 亿例视力受损或失明患者,轮椅成为了满足其日常出行的必要工具,但传统轮椅不具备智能控制、物体感知、自主导航等功能,人机交互性能也不足。相比传统轮椅,智能轮椅上安装了测距、雷达、摄像头等传感器,感知性能更强;同时借助云技术,可以通过手机主动调整轮椅的姿态、运动状态等功能,是轮椅的未来发展方向。

如下图为传统轮椅和智能轮椅:

image.png

图1.3 传统轮椅和智能轮椅

2、项目设计

2.1 项目架构设计

项目开展了轮椅远程控制轮椅多模感知轮椅上云微信 /APP 小程序设计四个方面的研究,以实现以下功能:

1、开发板移植TencentOS tiny物联网操作系统,用于系统任务调度、接入腾讯云等;

2、通过将开发板与腾讯云对接,实现了轮椅上云,并设计腾讯连连微信/APP小程序

3、智能轮椅控制:开发了轮椅脚踏板、靠背的升降控制和灯光控制;

4、智能轮椅多模感知:自身状态(姿态、定位、速度)的和外部环境(温度、湿度、灯光亮度);

为实现上述功能,项目设计了如图2.1所示的架构,主要包括以下几部分:

(1)远程端:包括腾讯云平台和腾讯连连微信小程序,在小程序上可以控制轮椅脚踏板、靠背的升降和灯光的开关,还可查看轮椅的姿态角、定位、速度信息,以及温度、湿度和光照强度信息;

(2)主控层,采用AIOT开发套件,用于向LED灯珠和2个电机驱动板发送控制指令、获取传感器采集的感知数据,另外板载了WIFI模块,用于对接腾讯云;

(3)收发层,搭建传感器与主控制板的通信链路;

(4)感知层,采集姿态角、定位、速度、温度、湿度和光照强度数据;

(5)驱动层:包括电机驱动模块和LED灯珠,用于驱动脚踏板和靠背上的四个电动推杆、控制LED灯珠的亮灭;

另外,系统还配备了电源模块,产生24V电源,为系统供电。

image.png

图2.1 智能轮椅架构

AIOT开发板上板载了E53接口,包括IIC、SPI、串口以及普通IO口等,可以外接自己的传感器,在使用时利用恩智浦的MCUXpresso IDE生成对应的驱动程序即可进行开发。轮椅的控制和感知采用了E53接口,结构如图2.2所示,其中E53引出的GPIO1-4用于控制驱动板和LED灯珠;E53的串口外接了数据采集板,数据采集板获取到姿态角、定位、速度和温湿度信息后通过串口发送到AIOT开发板;E53的IIC接口用于采集BH1750光照传感器的亮度信息。

image.png

图2.2 E53接口

2.2 轮椅实物及电路模块

2.3 作品创新点

       本作品的研究主要有以下创新点

(1)项目结合TencentOS tinyAIOT开发板、腾讯云平台和腾讯连连小程序,创新研究了轮椅的远程控制、多模感知和人机交互技术,实现了物联网轮椅的设计,是对传统轮椅的智能化提升;

(2)现有轮椅的脚踏板和靠背控制多采用遥控器,需要随身携带,通过本作品,仅需一个手机即可完成控制和轮椅状态监控工作。

2.4 作品商业价值分析

(1)研发角度:

从传统轮椅企业发展的情况来看,当前轮椅的研究多数聚焦于中低端轮椅市场,在高端电动轮椅、运动轮椅以及智能轮椅上的研发能力不足,产品缺乏科技含量。

另外本项目来源于国家重点研发计划项目,相关研究是对中高端轮椅市场的补充,有助于推动智能轮椅的发展。

(2)老年人、残障使用者角度:

轮椅可作为老年人、残障人士日常生活的重要工具,但轮椅市场的需求还远远未得到满足。根据国家辅具研究中心的数据显示,我国轮椅的实际适配比例仅为10%左右。

另外,老人的需求也在加快升级,传统轮椅在功能和设计上也存在许多痛点,难以跟上用户日渐升级的需求,伴随着新一代智能代步车的出现,传统轮椅将迎来一场巨大的变局。轮椅市场面临重塑,技术的升级则打开了轮椅的想象空间。

image.png

图2.3 轮椅需求量(资料来源:中国老龄协会IBISWord前瞻产业研究院)

(3)医院轮椅需求大:

医院对智能轮椅的需求,随着人口老龄化程度的加深以及我国康复医学的发展,结合中国医疗卫生机构康复医学科门急诊人次10.2%的复合增长速度,预计医院对轮椅的需求也将保持10%的复合增长速度。预计到2026年,我国医院对轮椅的需求量将达到136.4 万辆左右。

image.png

图2.4 医院轮椅需求量(资料来源:中国老龄协会IBISWord前瞻产业研究院)