异常检测10

74 阅读3分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第10天,点击查看活动详情

Hello,非常感谢你的关注~ 我是机器学习与风控,一名末流985的本硕,无顶会、无大厂核心部门实习,拥有多个比赛的竞赛经历,秋招刷了leetcode500题,在秋招提前批中收获字节跳动,腾讯,阿里,美团等大厂offer,最终选择入职字节风控,从事与黑产对抗的工作。我会定期分享我的春招、秋招亲身求职体验;算法岗日常工作;数据挖掘比赛,经典图模型等日常学习等有料也有趣的内容~秋招到了,欢迎各位私信找我内推! 虽然将深度学习当作特征抽取工具提取出特征后用作聚类分析检测已经取得

良好效果,但在没有后续任务指导的情况下训练模型对特征降维,会在降维过程

中丢失聚类分析的关键信息,使得后续任务的结果陷入局部最优解。因此,[52] 采

用了一种联合训练的方法,即将残差分析的损失与聚类分析的损失联合起来,构

造一个统一的损失函数去同时优化参数。[48] 首次将这种联合优化方式用于图上的异常检测,所提模型如图2.7所示,在模型左半部分,首先从结构和属性的角度

提取特征,在获得节点在结构和属性上的隐层表示后,拼接其隐层特征后用于高

斯密度估计,最后将特征重构的损失和密度估计的损失进行联合训练,位于高斯

分布边缘的节点将具有较高的异常分数。在最近的工作中,Ding 等人[53] 提出的模型AEGIS 利用同质性来检测异常。

同质性是指连接在一起的节点理应具有相似的模式,因此,AEGIS 通过捕捉本节

点和周围节点的不同能够检测异常。AEGIS 模型结构如图2.9所示,编码器和解码

器部分由图差分编码网络(graph differentiation networks) 组成,在每一层图差分编

码网络中,h(t)

i = σ

W1h(l−1)

i +

P

j∈Ni

αijW2Δ(l−1)

ij

,其中hi 是节点的表示向量,

Δ(l−1)

ij 是节点i 的表示向量和节点j 的表示向量的差值,W1 和W2 是可学习的参数

矩阵,αij 是节点i 和j 之间的注意力系数。在图差分编码的基础上利用重构损失的

方法训练模型获得节点的异常分数。由于之前的文章通常无法解决归纳式学习的

问题,也就是这些模型只有重新训练才能针对新到来的节点识别异常,因此针对

新到来的异常往往无法正确识别。AEGIS 采用生成对抗网络的想法,通过联合训练

的方式让生成器产生一些潜在的异常点,让判别器去识别节点的异常分数。在训

练出一个良好的判别器后,当新的节点到来时可以直接利用判别器得到异常分数,

因此该模型也能够很好的解决归纳式学习问题。 无监督的深度学习异常节点检测虽然取得了显著的成功,但是无监督的异常

检测方法大都采用了自编码器作为基本结构,而自编码器的目标是学习低维节点

嵌入,不直接针对异常检测,使得该类方法针对异常检测任务的内在驱动性不足,

无法较好的衡量异常节点检测的原因。对上述现象的观察促使我们进行了第三章

的工作。

image.png