以下这篇题为《基于深度学习的小鼠3D行为表型与多目标追踪系统》介绍。
研究概述
研究旨在开发一套基于深度学习和3D点云技术的自动化系统，用于无创、长期、自动化地分析小鼠的个体和社会行为。该系统特别应用于研究地塞米松诱导的肌肉萎缩小鼠与正常小鼠的行为差异。
一、 研究背景与难点
背景：小鼠行为是其生理和心理状态的重要反映，广泛应用于疾病和药物研究。传统人工观察方法主观、耗时且难以长期进行。
2D技术的局限：当前主流基于2D视频的分析方法（如DeepLabCut、SLEAP）无法准确捕捉三维行为（如 rearing 直立、climbing 攀爬、jumping 跳跃），而这些行为对评估小鼠运动能力和焦虑状态至关重要。
身份追踪难题：在多鼠实验中，由于小鼠的交叉、重叠等行为，避免无标记小鼠的身份切换（ID switch） 非常困难。
肌肉萎缩研究的痛点：传统肌肉萎缩研究需要解剖小鼠，测量肌肉重量和纤维横截面积，具有侵入性且会导致动物死亡。现有的行为学方法（如跑轮、抓力测试）需要小鼠被动训练。
系统与方法
研究团队设计了一套完整的3D行为表型分析流程，其核心技术框架如下图所示：
数据采集与硬件平台
成像系统：使用两个Azure Kinect深度相机（基于飞行时间原理ToF），以65°角对称安装于鼠笼上方，直接对笼内空间成像，避免了隔板造成的点云失真。
鼠笼设计：一个270mm x 270mm x 300mm的透明PPSU塑料笼，顶部有通风孔和相机开口，侧壁有可拆卸的水瓶和食盒，底部有抽屉放置垫料。
数据同步：通过3.5mm音频线连接两台相机，实现15FPS的同步采集，图像分辨率为1920x1080。
3D 点云预处理
流程包括：
点云构建：利用Open3D库将RGB和深度图像融合生成初始3D点云。
裁剪与去噪：裁剪环境点云，并使用统计离群值去除（SOR）滤波器（neighbors=50, std_ratio=1.5）去除噪声。
点云配准与旋转：基于特征点匹配合并两个相机的点云，然后使用RANSAC算法提取地面点云，并计算旋转矩阵，使点云的Z轴垂直于地面，便于后续分析。
小鼠检测与 3D 追踪
检测：将点云投影到水平面生成RGB图，使用YOLOv7模型检测小鼠（不包含尾巴）。其精确度（Precision）、召回率（Recall）和mAP50均超过99.5%，优于YOLOv5和RT-DETR模型。
追踪：
核心算法：3D 卡尔曼滤波（Kalman Filter） + 3D匈牙利算法（Hungarian Algorithm） 。
创新匹配准则：使用EIoU（考虑中心点距离、长宽高变化）而非传统的IoU或GIoU进行匹配，更适合可变形的物体（小鼠）。
改进的ID匹配机制：限制了最大ID数量，并对未匹配的ID和检测框进行二次欧氏距离匹配，有效解决了ID切换和数量溢出问题。
完全重叠处理：当一只小鼠被另一只完全遮挡时，系统将未匹配的ID标记为“不确定轨迹”，并使用Kalman滤波的预测框暂时更新，待小鼠重现后再进行体积比对和重新关联。
性能：在10万帧连续图像中，ID切换仅发生3次，其MOTA、IDF1等指标均显著优于OC-SORT和ByteTrack等传统算法。
个体小鼠与身体部位分割
分割模型：采用Stratified Transformer模型，其采用分层式Key采样和上下文相对位置编码，能高效处理大规模点云。
分割任务：
个体分割：从环境中分割出单只小鼠的点云。
部位分割：将小鼠点云精确分割为头部（head）、背部（back）、臀部（buttock）和尾巴（tail） 四个部分。
特征点提取
从分割后的部位中，提取了11个关键特征点（如CHP头部中心、CBP背部中心、NP鼻尖、ETPT尾尖、MCTP尾巴最大曲率点等）。提取方法结合了计算质心、边界检测、聚类算法（用于找颈点和腰点）以及针对尾巴的拉普拉斯 算法 （Laplacian）提取骨骼点和贪婪算法测量长度。
行为分析
基于特征点、轨迹和速度信息，定义并提取了20种行为：
个体行为：分为瞬时行为（如 jumping, rearing）和持续行为（如 standing, running）。
社会行为：基于两只小鼠的相对位置和速度（如 chasing 追逐、gathering 聚集）。
体积测量：当小鼠移动缓慢且身体舒展时，计算其最小凸包体积，该体积与手动测量的体重高度相关（R² = 0.9726）。
尾巴姿态：分为弯曲（bending）、伸直（straight）、抬起（raising） 三类，并自动测量尾巴长度（最大绝对误差仅0.4mm）。
实验结果
系统精度验证
| 指标/模型 | 性能结果 | 对比 |
|---|---|---|
| YOLOv7检测 | Precision: 99.76%, Recall: 99.53%, mAP50: 99.75% | 优于YOLOv5和RT-DETR |
| 3D追踪 (Ours) | MOTA: 95.9%, IDF1: 97.3%, IDs: 2 (在1500帧测试集中) | 显著优于OC-SORT和ByteTrack |
| 点云分割 (ST) | 个体分割准确率: 95.80%, mIoU: 91.90% | 优于PointNet++ (94.05%, 89.66%) |
| 部位分割准确率: 93.60%, mIoU: 85.90% | 优于PointNet++ (89.59%, 82.69%) | |
| 体积预测 | 与体重的决定系数 R² = 0.9726 | 非常准确 |
| 尾巴长度测量 | 最大绝对误差 0.4mm | 非常准确 |
肌肉萎缩小鼠的行为差异
通过对地塞米松诱导（DEX）和对照组（CON）小鼠的分析，发现肌肉萎缩小鼠的活动能力显著下降：
运动能力下降：总移动距离、速度、跳跃次数显著减少。
探索行为减少：站立探索（squat standing）、探索时间显著减少。
静止时间增加：休息（resting）时间和次数显著增加。
摄食行为改变：虽然进食次数无差异，但总进食时间显著缩短（因进食需站立，而DEX小鼠站立能力弱）。饮水时间和次数也减少。
姿势改变：身体伸展（stretching）时间显著减少，弯曲（bending）和蜷缩（curling up）时间增加。
讨论与结论
四、 讨论与结论
技术优势：本研究成功将深度学习（YOLOv7, Stratified Transformer）与3D点云处理传统算法结合，解决了多鼠场景下的身份追踪和精细行为解析两大难题。
应用价值：证明自发行为可作为评估小鼠肌肉萎缩的重要指标，为药物筛选、营养学和神经科学研究提供了一种非侵入性、无需训练的长期观察方案。
局限性与展望：
当前系统对黑色小鼠的点云采集存在偏差（因黑色吸光），在完全黑暗环境下无法使用（缺乏颜色信息）。
多鼠实验中尚未分割尾巴，因重叠时难度大且影响检测框精度。
算法计算成本较高（处理一帧点云需4.58秒），未来需优化效率。
可扩展应用于其他动物（猴、兔、牛、猪），但需调整实验场景和相机配置。
