题目： 医疗保健中以可穿戴传感器模态为中心的人体活动识别研究综述

参考文献： Wang Y, Cang S, Yu H. A survey on wearable sensor modality centred human activity recognition in health care[J]. Expert Systems with Applications, 2019, 137: 167-190.

关键词： 人体活动识别(human activity recognition,HAR)、健康医疗、可穿戴传感器

该论文侧重于基于可穿戴传感器的人体识别(Wearable Sensor-based HAR, WSHAR),按照人体活动识别的步骤(传感器、活动、数据预处理、特征学习和分类等)进行综述，涉及HAR步骤中的各项技术；该综述可以为可能在HAR中的系统设计或方法选择方面陷入困境的新研究人员提供有力的线索，并填补了HAR中没有包括传统和深度学习方法的全面调查的空白。

摘要

(背景) 预期寿命增加加上出生率下降，导致人口结构老龄化。衰老导致的变化，如身体或认知能力下降，可能会影响人们的生活质量，导致受伤、心理健康或缺乏体育活动。基于传感器的人类活动识别（human actiity recognition,HAR）是支持老年人日常生活的最有前途的辅助技术之一，在以人为中心的应用中具有巨大潜力。

最近,HAR的调查要么只关注深度学习方法，要么关注一种特定的传感器模式。这项调查旨在为HAR的新人和研究人员提供更全面的介绍。

(文章结构) 我们首先介绍HAR中最先进的传感器模态。我们将从传感器、活动、数据预处理(data pre-processing)、特征学习和分类（包括传统方法和深度学习方法） 等方面，深入研究以可穿戴传感器模态为中心的HAR的每一步所涉及的技术。

在特征学习部分，我们关注手工提取的特征和使用深度网络自动学习的特征。我们还介绍了基于环境传感器(ambient sensor)的HAR，包括基于摄像头的系统，以及将可穿戴传感器和环境传感器相结合的系统。最后，我们确定了HAR中的相应挑战，以提出进一步改进HAR的研究问题。

引言

(通过人口报告引入背景) 在全球范围内，60岁或以上的人口增长速度更快。世界人口报告预测，出生时的预期寿命将从2010-15年的71岁上升到2045-50年的77岁。大多数社会面临着确保其卫生系统准备好适应人口变化的问题。(针对该问题的应对措施) 一些措施，如开发具有医疗和辅助技术的新系统，以提供长期护理或创造适合老年人的环境，一直在探索维持或改善老年人的生活质量。

近年来，随着传感器、无线通信和机器学习技术的进步，我们见证了辅助技术（assistive technologies）在促进独立、积极和健康的衰老方面的发展。在这些技术中，基于传感器的人体活动识别（HAR）成为帮助老年人日常生活的最有前途的解决方案之一。

HAR通过对受试者的行为和现实环境中的环境条件的一系列观察来学习活动，这些观察已在以人为中心的应用中进行了探索，例如：辅助生活、互动游戏、体育活动监测、社会物理互动、工厂工人监控等。

关于HAR的早期研究可以追溯到Abowd、Dey、Orr和Brotherton（1998）的工作。研究人员最初专注于视频和图像中的活动识别，但后来考虑到日常生活，他们开始探索通过使用可穿戴和环境传感器来跟踪人类行为。过去几十年中HAR的发展促使研究人员以不同的方式在更现实的环境下提高HAR的识别性能和实用性。

HAR过程很复杂，大致遵循以下五个步骤: 1) 选择合适的传感器并部署到人体或环境中，以捕捉用户的行为或用户执行活动时环境的变化；2) 基于特定任务从部署的传感器收集和预处理数据；3) 从传感器数据中提取有用的特征以供以后分类；4) 使用适当的机器学习算法训练分类模型以推断活动；5) 测试学习模型以给出决策和绩效报告。上述每一步都涉及大量可用的技术和方法，也有相应的研究问题需要解决。HAR中涉及的技术 可以涵盖传感技术、无线网络通信、数据预处理、特征学习、特征降维、分类或回归技术等。

根据HAR中部署的传感器，现有HAR系统可大致分为三种模式：基于环境传感器的HAR（Ambient Sensor-based HAR, ASHAR）、基于传感器的可穿戴HAR（Wearable Sensor-based HAR, WSHAR） 和 基于混合传感器的HAR（Hybrid Sensory-based HAR, HSHAR）。

ASHAR系统从固定在环境中或附着在某些特定物体（如墙壁、门、水壶、地板等）上的传感器推断人类活动，环境传感器可包括光传感器、簧片开关传感器、射频识别（Radio Frequency Identification, RFID）、无源红外（passive infrared,PIR）、温度、流量传感器、压力传感器等。ASHAR传感器模式不太显眼，因为没有部署人体传感器，而通常以灵活性差和在家中部署复杂传感器为代价。ASHAR在传感器部署的有限区域工作。此外，当用户不接触附接有环境传感器的物体或不进入安装在环境中的传感器的功能区域时，使用纯正常环境传感器的系统在某些情况下可能无法工作。

固定传感器部署的ASHAR的替代方案是WSHAR，它通过使用机器学习算法从可穿戴传感器中挖掘信息数据来识别人类活动。当佩戴者移动时，WSHAR可以在相对较大的空间中工作。目前，智能手机、智能手表、智能服装和其他专门设计的设备是在HAR中嵌入可穿戴技术的主流产品。通常，在多个身体部位（例如，头部、手腕、腰部、腿部和脚部）放置更多传感器可以有助于提高WSHAR的性能和鲁棒性。 然而，在身体上部署复杂传感器的多传感器可能会导致更高的成本、实际部署困难，以及老年用户尤其是那些能够独立生活的用户的困扰。同时，纯WSHAR系统也有一些局限性，这些局限性可能导致对某些具有类似传感器衍生属性的活动（如刷牙和吃饭）的识别不太准确。

ASHAR和WSHAR各有优缺点。 研究表明，组合不同的传感器模态可以提高识别精度。 例如，Logan Healey、Philipose、Tapia和Intille（2007）、Stikic、Huynh、Van Laerhoven和Schiele（2008）通过将可穿戴传感器与红外传感器相结合，提高了活动识别性能。Roy、Misra和Cook（2016）在多居民环境中使用环境和移动数据进行日常活动检测。初步结果可以达到70%左右，这远远高于仅使用基于智能手机的加速度计得出的结果。很明显，传感器模态的组合可以捕获关于人类活动的丰富信息，从而提高HAR的性能。

然而，与单个传感器模态相比，HSHAR可能增加HAR系统的成本和复杂性。HSHAR还需要来自不同传感器模态的数据融合和传感同步。

(总结) 在三种传感器模式中，WSHAR因其成本低、日常使用灵活和性能令人满意而备受关注，并在辅助生活中实现了巨大的应用，如步态分析、康复、跌倒检测、运动评估、日常活动分析等。

(论文结构) 然后，这项调查将重点放在WSHAR，同时也关注ASHAR和HSHAR。HAR中的最新调查要么侧重于深度学习方法，要么仅关注每种传感器模态。该调查侧重于基于可穿戴传感器的HAR，并关注其他传感器模态。具体来说，我们从传感器、活动、数据预处理、特征学习和分类等方面详细介绍了基于可穿戴传感器的HAR的每个步骤所涉及的技术。手工提取和自动学习的特征都在特征学习部分进行了研究。该调查可以为可能在HAR中的系统设计或方法选择方面陷入困境的新研究人员提供有力的线索，并填补了HAR中没有包括传统和深度学习方法的全面调查的空白。测量管线如图1所示。论文的其余部分组织如下。第2节重点介绍基于可穿戴传感器的HAR。第2节有七个子节，在每个子节中，讨论了所审查方法的描述、优势和限制。第3节介绍了基于环境传感器的HAR，包括基于相机的HAR和结合了两种或三种传感器模态的混合感知HAR。第4节介绍了HAR在医疗保健中的绩效评估和应用。第5节总结了调查，并提出了HAR中的一些研究挑战，以供进一步研究。