本文由【云老大】 TG@yunlaoda360 撰写
基于GCN-LSTM的异常检测算法
- 算法原理：该算法联合提取云计算服务器的空间特征与时间特征，首先通过图卷积神经网络学习云计算服务器之间的空间信息，然后利用长短期记忆神经网络学习云计算服务器的时间序列信息，使用两者共同建立可重构时间序列重构模型，最后根据重构值和真实值的偏差，使用COPOD来训练误差并定义异常结果。
- 优势：该方法为一种无监督算法，使用时无需额外的超参数优化，同时可以体现一定的解释性。
BigQuery ML
- 监督学习模型：如果用户有标记的数据，可以使用
ML.PREDICT函数与以下模型进行异常检测：线性回归、增强树、随机森林、深度神经网络（DNN）、宽与深模型、AutoML模型。 - 无监督学习模型：如果用户不确定什么是异常数据，或者没有标记的数据来训练模型，可以使用
ML.DETECT_ANOMALIES函数，它支持多种模型类型，包括ARIMA_PLUS、ARIMA_PLUS_XREG、K-means、Autoencoder和PCA，分别适用于时间序列和独立同分布随机变量等不同类型的数据。
Apigee
- 自动模型训练：Apigee会自动从API数据中训练模型，以建立API代理的预期行为，无需用户进行模型训练。Apigee需要至少六小时的API数据来训练模型，以提高模型的准确性。
- 异常事件记录：在运行时，Apigee异常检测会将当前API代理的行为与模型预测的行为进行比较，确定特定操作指标是否超出预测值，并自动在异常事件仪表板中记录事件，包括受影响的指标和严重程度等信息。
数据流机器学习异常检测开源项目
- 项目介绍：该项目利用Pub/Sub、Dataflow、BigQuery ML以及Cloud DLP来实现实时识别网络流量和金融交易中的异常行为。
- 技术架构：依托于高度灵活的Cloud Dataflow，利用强大的Beam SDK进行复杂的数据流操作，集成BQ ML来训练K-Means模型，自动化完成数据的归一化，能够处理每秒高达25万条消息的极端负载。
