风电叶片的结构健康监测通常依赖贴在叶片表面的传感器或人工标记物，但给正在运行的大型风机贴传感器既危险又耗时，严重制约了监测的规模化应用。
能否直接用无人机拍摄旋转叶片视频，从中提取运行轨迹、间距变化和振动频率？兰州理工大学团队提出了一套"检测→跟踪→监测"的完整方案：改进 YOLOv5（SE 注意力 + 冻结迁移学习）检测叶尖、叶根、最大弦长处三个关键部位，DeepSORT 跨帧编码跟踪区分三片外观相似的叶片，再通过轮毂定点运动补偿将像素坐标转换为物理坐标。实验室缩比风机测试中叶片间距监测误差在 5mm 以内；西部风电场两台 2MW 风机现场验证表明，该方法可准确提取旋转叶片轨迹，频率识别误差不超过 2%。
论文标题：Large-scale wind turbine blade operational condition monitoring based on UAV and improved YOLOv5 deep learning model
作者： Wanrun Li, Wenhai Zhao, Yongfeng Du
机构： 兰州理工大学 防震减灾研究所 / 甘肃省隔震减震国际研究基地 / 西部土木工程防灾减灾研究中心
期刊： Mechanical Systems and Signal Processing
DOI： doi.org/10.1016/j.y…
一、运行中的风机叶片为什么难以监测？
风电叶片在运行中承受风载荷、重力和离心力的共同作用，长期服役后可能出现疲劳损伤、刚度退化等问题。准确监测叶片的运行状态对保障风机安全至关重要。
现有监测方法主要面临三类困难：
1.1 接触式传感器的局限
传统方法在叶片表面安装加速度计、应变片等传感器。但接触式传感器存在布线困难、信号传输不稳定、恶劣环境下易失效等问题，且安装和更换需要专业人员高空作业，成本高、风险大。
1.2 视觉方法对人工标记物的依赖
近年来，数字图像相关（DIC）、立体摄影测量等视觉方法被用于风机叶片监测。但这些方法普遍依赖贴在叶片上的人工标记物来进行识别和追踪。给已安装的大型风机叶片贴标既耗时又危险，严重限制了方法的实际推广。
1.3 运行状态监测的空白
已有的视觉方法大多聚焦于叶片表面损伤检测（静态巡检），而对运行状态下叶片的动态特性监测——包括运行轨迹、叶片间距变化、振动频率等——研究较少。论文指出，重力对大型叶片运行的影响在此前的研究中也被大量忽视。
本文的出发点是：利用深度学习直接从无人机视频中识别和跟踪旋转叶片的关键部位，无需任何人工标记物，实现运行状态下的远程、低成本、多点位监测。
二、怎么做：检测→跟踪→监测的完整技术链路
论文提出的方案分为三个阶段：深度学习检测、多目标跟踪、运行状态指标提取。
图片来源于原论文
2.1 改进 YOLOv5：SE 注意力 + 迁移学习冻结训练
论文以 YOLOv5 为基础模型，进行了两项改进：
（1）SE 注意力机制嵌入 Backbone
在 Backbone 网络中嵌入 SE（Squeeze-and-Excitation）注意力模块。SE 模块通过全局平均池化压缩空间信息，再用两层全连接网络学习通道间的依赖关系，对不同通道的特征响应进行自适应加权。这使模型能够将更多计算资源分配给与叶片目标相关的重要通道特征，同时抑制背景干扰。
（2）迁移学习 + 冻结训练策略
风机叶片训练数据稀缺且相似度高。论文采用在 YOLOv5m 上预训练的权重作为初始化，将其迁移到叶片检测任务。同时，为避免数据不足导致过拟合，训练时冻结卷积层，仅训练全连接层。这一策略在保持特征提取能力的同时减少了负样本生成，提升了训练速度并降低了 GPU 占用。
改进后的模型命名为 SE_Tfreeze_YOLOv5。模型监测叶片上的三类关键部位：叶尖（blade tip） 、叶片最大弦长处（blade maximum） 和 叶根（blade root） 。
2.2 DeepSORT 多目标跟踪：区分三片"长得一样"的叶片
风机的三片叶片外观高度相似，仅靠单帧检测无法区分哪个检测框属于哪片叶片。论文引入 DeepSORT 算法解决这一问题：
- 卡尔曼滤波：在八维状态空间（包围框中心、宽高比、高度及其变化率）中预测目标下一帧位置；
- 匹配级联 + IOU 匹配：利用卷积神经网络提取目标外观特征，结合运动信息和外观特征进行深度关联匹配；
- 编码与追踪：为每个检测目标分配唯一 ID，跨帧持续追踪，实现对三片叶片的精确区分。
这样，每一帧视频中每个叶片关键部位的分类和坐标都可以被准确输出。
2.3 无人机运动补偿与像素-物理坐标转换
无人机在悬停拍摄时会因风力产生位移漂移，直接从视频中提取的叶片轨迹会受到无人机自身运动的污染。论文提出了基于轮毂定点的空间位移漂移补偿方法：
- 以风机轮毂作为固定参考点，每帧计算叶尖相对于轮毂的相对位移，消除无人机运动引入的漂移；
- 利用叶尖到轮毂的已知物理距离 L（即叶片长度）和图像中对应像素距离 l的比值，构建自适应缩放因子 S = L / l；
- 逐帧动态计算 S，将像素坐标转换为物理坐标，消除无人机前后移动（Z 方向）造成的尺度变化。
2.4 三项运行状态监测指标
在获得物理坐标后的叶片轨迹数据上，论文提取三项监测指标：
| 指标 | 含义 | 分析方法 |
|---|---|---|
| 运行轨迹 | 叶片各关键部位的实际运动路径 | 位移补偿后的坐标曲线 |
| 相邻叶片间距 | 任意两片叶尖之间的实时距离 | 时域距离曲线，观察正弦波动规律 |
| 时频域信息 | 叶片振动的频率成分 | 位移分量时间历程 + FFT 频谱分析 |
论文从力学角度推导了叶片在风载荷、重力和离心力共同作用下的运动方程（公式 3-13），证明了叶片间距的正弦波动规律与理论预期一致。
图片来源于原论文
三、算法验证：SE_Tfreeze_YOLOv5 性能如何？
3.1 数据集
论文使用基于物理的图形模型（PBGMs）结合实际拍摄图像和数据增强，构建了 8000 张风机叶片训练数据集。训练集与验证集比例为 8:2，batch size 为 4，训练 300 个 epoch。硬件为 NVIDIA 3060（12GB 显存）+ Intel i5 CPU。
3.2 训练性能对比
论文对比了三个模型变体和两个外部基线：
| 模型 | 训练时间(h) | mAP₀.₅ | mAP₀.₅:₀.₉₅ |
|---|---|---|---|
| YOLOv5（原始） | 71.37 | 0.877 | 0.487 |
| SE_YOLOv5（+SE注意力） | 76.04 | 0.876 | 0.473 |
| Faster R-CNN | 85.62 | 0.846 | 0.451 |
| YOLOv8 | 72.39 | 0.858 | 0.468 |
| SE_Tfreeze_YOLOv5 | 65.24 | 0.896 | 0.489 |
关键发现：
- SE_Tfreeze_YOLOv5 的 mAP₀.₅ 达到 0.896，比原始 YOLOv5 提升 +1.9%，比 YOLOv8 提升 +3.8% ；
- 训练时间 65.24 小时，比原始 YOLOv5 快 8.13%；
- 精度达到 90.4%，召回率 88.8%；
- 单独加 SE 注意力（SE_YOLOv5）反而在验证集后期出现 loss 上升，说明注意力过度聚焦可能导致次优结果；而结合迁移学习冻结训练后，模型在训练和验证集上均保持稳定优势。
3.3 实际检测与跟踪效果
在真实风机图像上的检测对比显示：YOLOv5 和 SE_YOLOv5 在部分场景下漏检叶尖，而 SE_Tfreeze_YOLOv5 能够准确检测所有目标，无遗漏。
结合 DeepSORT 后，模型可在视频连续帧中对三片外观相似的叶片进行稳定编码跟踪——无 DeepSORT 时仅能区分不同类别（叶尖/叶根/最大弦长），加入 DeepSORT 后每个目标被分配唯一 ID，实现跨帧精确追踪。
四、实验室缩比风机与真实风电场验证
4.1 实验室设置
论文搭建了缩比风机实验平台：叶片长 1.4 m、塔筒高 2.4 m，由 1500W 变频电机驱动，转速可调 0~50 rpm。使用 DJI Phantom 4 Pro无人机以 60 fps 悬停拍摄。
4.2 叶片轨迹提取
以 25 rpm 转速为例，论文展示了运动补偿前后的轨迹差异：
-
补偿前：原始轨迹受无人机漂移影响，叶根轨迹无法收敛到单点，三段轨迹整体向右下偏移；
-
补偿后：以叶根为定点补偿后，叶尖轨迹呈现近乎完美的轴对称圆形，半径与叶片长度匹配。
图片来源于原论文
4.3 叶片间距监测精度
以叶片 1 的叶尖-最大弦长间距为基准，监测叶片 2 和叶片 3 的同一间距，持续 60 秒（25 rpm）：
| 指标 | 叶片 2 | 叶片 3 |
|---|---|---|
| RMSE | 1.41 mm | 1.63 mm |
| 最大绝对误差 | < 5 mm | < 5 mm |
| 误差标准差 STD | 1.95 | 1.62 |
误差分布近似正态，均值接近 0（-0.04 和 0.12），表明无系统性偏差。
4.4 叶片间距的正弦波动规律
在 10、20、30 rpm 三种转速下，相邻叶片的叶尖间距均呈现正弦波动：
- 波动周期等于单片叶片旋转一周的时间（10 rpm: ~10.20s, 20 rpm: ~5.01s, 30 rpm: ~3.32s）；
- 波峰出现在两片叶片的离心力方向与重力方向一致时（叶片间距最大）；波谷出现在离心力与重力反向时（叶片间距最小）；
- 转速越高，正弦周期越短、波动幅度越大——这是因为离心力随转速增加而增大，导致叶片刚度附加效应增强。
这一正弦规律与论文第 2.3 节力学推导的理论预期一致。
图片来源于原论文
4.5 时频域分析
论文通过 FFT 提取叶片振动频率，主要发现：
- 三片叶片在相同转速下的一阶、二阶频率高度一致，表明仅分析单片叶片即可推断整台风机的运行状态；
- 振动频率随转速线性增加：一阶频率从 10 rpm 时 ~0.10 Hz 增至 30 rpm 时 ~0.31 Hz；
- 位移分量法与位移时间历程法提取的前两阶频率误差不超过 1.6%，交叉验证了方法的可靠性；
- 转速超过 40 rpm 时，目标检测的置信度因背景复杂度和帧率限制明显下降——但论文指出实际工程中风机转速通常低于 30 rpm，因此方案满足实际应用需求。
4.6 真实风电场验证
论文在中国西部某风电场对两台 2MW 风机进行了现场监测：
| 参数 | 风机 1 | 风机 2 |
|---|---|---|
| 塔筒高度 | 75 m | 80 m |
| 叶片长度 | 51 m | 53 m |
| 叶尖标记 | 无标记 | 红色标记 |
| 风速环境 | 4 m/s（三级） | 10 m/s（五级） |
| 无人机飞行高度 | 75 m | 80 m |
| 单圈旋转时间 | 5.27 s | 4.21 s |
图片来源于原论文
关键结果：
- 轨迹提取：无论叶尖是否有标记，补偿后均能提取平滑的运行轨迹。风机 2 在高风速下无人机漂移较大，但轮毂定点补偿有效消除了漂移影响；
- 叶片间距：两台风机的叶片间距均呈稳定正弦波动，与实验室结果规律一致；
- 时频分析：可清晰识别低阶振动频率，风机 2 因转速更高，低阶频率更明显。
五、总结与思考
论文贡献
本文提出了一套从检测到跟踪到状态监测的完整技术链路：SE_Tfreeze_YOLOv5 负责叶片关键部位检测（mAP 0.896），DeepSORT 实现三片相似叶片的跨帧编码跟踪，基于轮毂定点的运动补偿和自适应缩放因子完成像素到物理坐标的转换，最终提取运行轨迹、叶片间距和时频域信息三项监测指标。实验室测试中间距监测误差在 5mm 以内，西部风电场两台 2MW 风机的现场验证表明方法在实际工况下可行。
几点思考
1. "不停机监测"的实际价值
与我们此前解读的中山大学+中国电建方案（停机后巡检叶片表面缺陷）不同，本文关注的是风机运行状态下的动态特性监测。这两类需求是互补的：停机巡检用于发现表面裂纹、腐蚀等已有缺陷，运行状态监测则用于评估叶片刚度退化、振动异常等渐进性故障。当前行业中，不停机巡检已有商业化落地案例——部分企业通过高帧率相机和远距离拍摄实现旋转叶片的表面缺陷采集，这表明"不停机"这一方向正从学术研究走向产业应用。本文在此基础上进一步扩展到动态特性监测，是对不停机场景技术能力的延伸。
2. 从实验室到风电场的落差
论文在实验室缩比风机（1.4m 叶片、25rpm、2.4m 悬停距离）上给出了详细的定量精度验证（RMSE、误差分布等），但在真实风电场（5153m 叶片、7580m 距离）部分仅展示了轨迹和间距曲线的定性分析，未提供与实验室同等精度的定量指标。这一差距可能与现场缺乏独立参考测量手段有关，是该领域普遍面临的验证难题。
3. 方法的适用边界
论文明确指出转速超过 40 rpm 时检测性能下降，但实际风机转速通常低于 30 rpm，因此不构成实际限制。更值得关注的局限是：当叶尖缺乏明显视觉特征时（如风机 1 无标记），背景干扰可能导致跟踪框尺度不一致，影响轨迹精度。论文建议未来可通过提高帧率/分辨率、引入前景-背景分离机制、采用旋转框检测等方式改进。
4. 远程视觉监测的经济性优势
论文的核心卖点之一是"远程、低成本、多点位"——相比接触式传感器的安装维护成本和人工标记物的高空作业风险，基于无人机视觉的方案在规模化部署上有明显的经济性优势。论文指出，运行状态监测有助于实施早期主动维修策略，降低叶片维护成本，这为方法的推广提供了经济层面的支撑。
