日志异常检测系统

依据如图流程构建一个日志异常检测系统。 我们通过分布式集群，进行日志数据的采集，存储，处理，通过对日志的解析，训练相应的模型进行日志的异常检测，并通过构建知识图谱，用于数据的可视化分析。

日志数据是一种半结构化的数据，它是由特定的代码生成的。其实可以理解为“print”语句。在我们进行print的时候，我们一般会包含常量和变量。日志的模板解析就是这个过程的倒推方式。由日志推出你的“pr

Flume采集 针对做hdfs日志的异常检测，首先获取日志或者怎么拿到自己想要的数据关键。 由于我们只针对hdfs日志的数据块进行异常检测，也就是我们只针对在block数据块上的操作进行异常检测，所以