深度注意力SMOTE:一种可学习插值因子的数据增强方法,应用于燃气轮机的不平衡异常检测

0 阅读1分钟

燃气轮机在长期服役过程中积累的多通道时序数据往往呈现出极度不平衡的特性,正常运行数据占据主导,而故障或异常样本极少,且初期退化数据与正常状态存在严重的重叠现象。为了解决这一问题,科研人员发表了题为《Deep attention SMOTE: Data augmentation with a learnable interpolation factor for imbalanced anomaly detection of gas turbines》的研究论文。

该论文设计了一种基于自注意力机制与编码器-解码器架构的深度注意力过采样算法(DA-SMOTE-ED),并将其整合到由聚类下采样、特征解耦与端到端分类构成的混合重采样框架中,以改善极度不平衡和类别重叠场景下的异常检测性能。

传统欠采样容易丢弃大量包含有用信息的正常数据,而常规过采样直接在原始重叠区域进行线性插值则极易引入噪声样本。

针对这一矛盾,该框架首先在数据预处理阶段采用基于聚类中心提取的下采样方法,将海量的正常样本划分为若干相似簇群,并提取各簇的中心代表作为代表性正常样本。

这一处理在保留正常状态主要分布特性的同时,初步压缩了正常与异常类别之间的数量差距,为后续的高质量合成样本生成提供了均衡的前置条件。

在完成初步聚类下采样后,样本被输入至基于多头自注意力机制的编码器网络中,被映射到具有更高类别可分性的低维潜在特征空间中。

该编码器利用多头注意力捕获多维性能参数之间复杂且非线性的动态时序关联,并通过重构损失与三元组中心损失联合约束训练。

在这种表征学习机制下,同类样本在潜在空间中相互聚集,异类样本彼此推离,收缩了原始特征空间中正常与异常样本相互交织的危险重叠区域,使得样本生成可以在结构更清晰的解耦空间内进行。

在潜在特征空间内部,论文构建的DA-SMOTE单元通过注意力机制自适应生成插值系数,取代了传统SMOTE算法中随机选取插值因子的方式。

该注意力模块由降维线性层、激活函数、升维线性层及输出层组成,能够根据异常样本与其近邻样本对的局部空间拓扑关系,动态输出有针对性的插值权重。

在三元组中心损失的持续优化下,合成的少数类样本在训练过程中会主动向异常类的聚集中心移动,同时远离多数类分布中心,从而避免新样本落入易引起误判的多数类边界区域。

完成潜在空间的特征合成后,生成的异常特征向量通过解码器网络被重构映射回原始物理特征空间,并与此前的欠采样正常样本及原始异常样本共同组成类别均衡的训练集。

然后,整体数据被送入由多层Transformer编码层构成的自注意力分类网络(SANet)进行状态判别。SANet利用其全局注意力机制自适应调整对各特征通道与时序步长的权重分配,输出样本属于正常或异常状态的后验概率,完成对待测设备运行状态的在线推断。

该框架在处理二分类异常检测的基础上,还可以通过重构损失与多中心三元组损失的扩展形式推广至多类别的故障定位与识别任务中,使各个具体故障类别在潜在空间内均形成紧凑的独立聚类。

该方法通过将注意力机制与时序编码网络融入重采样流程,构建了一种兼顾信息完整性与低噪声风险的数据增强路径,同时也为后续结合物理机理先验生成高质量设备监测数据提供了通用架构参考。

来源文献:

Deep attention SMOTE: Data augmentation with a learnable interpolation factor for imbalanced anomaly detection of gas turbines[J]. Computers in Industry, 2023, 151: 103972.

www.sciencedirect.com/science/art…