一、研究背景
在视觉检测与分割网络的特征增强、上采样恢复阶段,传统注意力模块存在诸多短板:普通 ECA 通道注意力仅采用单平均池化,无法同时捕获全局极值与均值通道响应;传统空间注意力仅简单拼接均值最大值后单卷积输出,感受野受限,难以区分复杂背景与前景;通道、空间注意力固定权重叠加,无法自适应平衡二者贡献;缺少残差旁路易造成深层特征退化,上采样阶段直接插值易丢失精细纹理。 针对通道表征提取不充分、空间前景定位弱、双注意力融合固定权重、上采样细节丢失、网络梯度退化等问题,设计双融合混合像素注意力模块 BFHPA,融合双池化 ECA 通道注意力、双流空间注意力,引入可学习参数动态平衡两类注意力,搭配膨胀卷积拓宽感受野与残差旁路,结合 PixelShuffle 高效上采样完成特征精细化重建。
二、双融合混合像素注意力模块BFHPA原理与结构
BFHPA 核心逻辑为双通道注意力自适应加权融合 + 残差增强高效上采样重建,分为四层核心机制:
-
双池化 ECA 通道注意力机制:同时使用全局平均池化 + 全局最大池化聚合通道全局信息,一维卷积自适应生成通道权重,兼顾全局平均语义与极值显著目标通道响应,精准筛选有效特征通道;
-
均值 - 最大值双流空间注意力机制:沿通道维度提取均值、最大空间热力图拼接融合,通过膨胀卷积扩大感受野,生成像素级空间掩码,压制杂乱背景像素、凸显目标区域;
-
自适应平衡双注意力融合:设置可学习参数 α、β 动态调整通道注意力特征与空间注意力特征占比,适配不同场景(小目标 / 大目标 / 密集遮挡)下通道、空间信息的需求差异;
-
膨胀卷积特征提纯 + 残差上采样重建:膨胀卷积扩大感受野融合上下文,PixelShuffle 无损高效上采样恢复分辨率,残差支路保留原始底层信息,缓解上采样细节丢失与梯度消失问题。
BFHPA 由四大子单元串联构成,输入单尺度特征图,输出 2 倍分辨率的细化特征,内部结构分层如下:
-
双池化 ECA 通道注意力子模块(ECAChannelAtt):并行自适应平均 / 最大池化聚合全局通道信息,一维卷积自适应生成通道注意力掩码,对原始特征做通道加权筛选;
-
双流空间注意力子模块(DualSpatialAtt):通道维度提取均值、最大值空间图拼接,3×3 膨胀卷积融合全局空间上下文,输出像素级空间门控,过滤背景噪声;
-
自适应融合与上下文提纯单元:可学习 α、β 加权融合通道增强特征、空间增强特征,3×3 膨胀卷积拓宽感受野、提取长距离上下文特征;
-
残差式上采样输出单元:主分支通过 PixelShuffle 完成 2 倍上采样,1×1/3×3 卷积调整输出通道;残差支路同步上采样对齐维度,主分支与残差逐元素相加,保留原始特征细节,避免深层信息丢失。
三、BFHPA嵌入目标检测网络的核心优势
通用目标检测场景下,BFHPA 依靠双池化 ECA 通道注意力同时捕捉全局均值与极值通道特征,强化小目标、遮挡物体的通道响应,双流空间注意力生成精细化像素掩码抑制杂乱背景干扰,可学习权重动态适配不同尺度目标对通道、空间信息的依赖程度;膨胀卷积拓宽感受野捕获远距离上下文关联,搭配 PixelShuffle 无损上采样恢复高分辨率特征,残差旁路防止梯度退化,大幅缓解检测网络上采样阶段微小目标轮廓丢失、相似类别特征混淆问题,在高密度、低光照、复杂航拍实景中降低漏检、误检,整体轻量化结构不会带来显著算力损耗,适配各类单 / 双阶段检测模型的特征增强与上采样环节。
四、BFHPA应用于图像分割任务的优势
面向语义分割、实例分割等稠密像素预测任务时,BFHPA 的双流空间注意力能够精准区分前景目标与背景像素,优化细小地物、狭长物体的分割边缘,双池化 ECA 通道注意力放大不同类别地物的通道特征差异,减少光谱 / 纹理相近类别像素混淆;膨胀卷积融合大范围上下文信息缓解分割孔洞、边缘锯齿问题,PixelShuffle 高效上采样完整还原细节纹理,残差连接保留底层原始特征,避免深层网络连续下采样 - 上采样造成的特征失真,有效提升全图像素分类精度与交并比,适配遥感、航拍大范围稠密分割场景。
五、代码与配套视频教程
5.1 仓库地址
YOLO11 改进完整代码:github.com/tgf123/YOLO…
YOLO12 改进完整代码:github.com/tgf123/YOLO…
YOLO26 完整改进工程:github.com/tgf123/YOLO…
DEIM改进完整代码:YOLOv8_improve/DEIM.md at master · tgf123/YOLOv8_improve · GitHub
5.2 B 站视频讲解资源
YOLO11/12/26/DEIM/RTDETR:双融合混合像素注意力模块BFHPA(自研),双注意力自适应加权,残差上采样重建精细特征_哔哩哔哩_bilibili
YOLOv11 原理+代码 详细剖析_哔哩哔哩_bilibili
DEIM:超越 YOLO,快准双绝!DEIM:让 DETR 告别慢收敛,开启实时检测新纪元_哔哩哔哩_bilibili
六、代码项目介绍
YOLO11改进介绍和代码
如下图所示,左边是代码,右边是教程,直接运行train.py,无需添加模块
YOLO12改进介绍和代码
如下图所示,左边是代码,右边是教程,直接运行train.py,无需添加模块
YOLO26改进介绍和代码
如下图所示,左边是代码,右边是教程,直接运行train.py,无需添加模块
DEIM改进介绍和代码
如下图所示,根据群里的视频教程添加直接运行代码