异常检测5

239 阅读3分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第21天,点击查看活动详情 

Hello,非常感谢你的关注~ 我是机器学习与风控,一名末流985的本硕,无顶会、无大厂核心部门实习,拥有多个比赛的竞赛经历,秋招刷了leetcode500题,在秋招提前批中收获字节跳动,腾讯,阿里,美团等大厂offer,最终选择入职字节风控,从事与黑产对抗的工作。我会定期分享我的春招、秋招亲身求职体验;算法岗日常工作;数据挖掘比赛,经典图模型等日常学习等有料也有趣的内容~秋招到了,欢迎各位私信找我内推!!!部门缺少开发,算法等岗位验证缺人。

\

Action Sequence Augmentation for Early Graph-based Anomaly Detection

动机:现有的方法都是在 有了一些用户行为后做的检测。当观察的数据很少时候,无法检测。 本文就是提前做一些边的预测(next)然后反过来继续迭代的异常检测。

\

2个模块。

异常检测+序列增强(扩充图)

Multi-Stage Self-Supervised Learning for Graph

Convolutional Networks on Graphs with Few Labeled Nodes

找top的 做为标签,

icde21 EnsemFDet: An Ensemble Approach to Fraud Detection based on Bipartite Graph

京东场景采样后检测异常。具体没看。

最后使用继承学习方法进行投票。

sigir20 workshop Alleviating the Inconsistency Problem of Applying Graph Neural Network to Fraud Detection

有代码 评论数据集

  1. for the context inconsistency, we propose to combine the context embeddings with node features; (2) for the feature inconsistency, we design a consistency score to filter the inconsistent neighbors and generate corresponding sampling probability; (3) for the relation inconsistency, we learn the relation attention weights associated with the sampled nodes.

现有的方法忽略了图神经网络异常检测模型中的三大不一致性问题:

类别不平衡和伪装问题!

上下文不一致:上下文的不一致。异常节点和周围的正常节点相邻,造成聚合后的表示相近! 在原始特征上拼接一个可训练的特征。

属性不一致:异常总数量少的。相邻的节点特征不一致。2个review节点相连,但是评论的是不同的产品,属性差距很大,导致gnn无法提取出有效信息! 简单的gnn不行! 设计一个度量方法来计算特征间的一致性, 首先用一个阈值过滤掉太低的,然后每个邻居节点有一个归一化的采样概率 ) 可以借鉴:过滤低的,并且做一次增强。 gnn只关注局部的,这种全局属性相似做增强可以关注全局的。

关系的不一致性:假定一个 评论是异常的 那么通过共同用户相连的另一个评论的异常性更大! 注意力机制

图上的异常检测旨在发现模式与大多数参考节点明显不同的节点,但是,现有

方法都忽略了图结构和节点属性之间复杂的跨模态交互。在[7] 中,作者提出了一

个通过双自动编码器(AnomalyDAE)进行异常检测的深度联合表示学习框架,该

框架捕获了图结构和节点属性之间的跨模态交互,以实现高质量的嵌入。如图2.8所

示,AnomalyDAE 由结构自编码器和属性自编码器组成,以共同学习潜在空间中的

节点嵌入和属性嵌入。该框架在结构编码器中通过采用注意力机制,来学习不同

邻居的重要性,以有效捕获结构模式,这在异常检测中扮演着重要作用。此外,通

过将节点嵌入和属性嵌入两者作为属性解码器的输入,在重建节点属性的过程中

学习结构和节点属性之间的跨模态交互作用。最后,可以通过从结构和属性两个

角度测量节点的重构误差来检测异常。

image.png