提到双十一人人都会想到天猫霸气的实时大屏。说起实时大屏,都会想到最典型的流式计算架构:
- 数据采集:将来自各源头数据实时采集
- 中间存储:利用类Kafka Queue进行生产系统和消费系统解耦
- 实时计算:环节中最重要环节,订阅实时数据,通过计算规则对窗口中数据进行运算
- 结果存储:计算结果数据存入SQL和NoSQL
- 可视化:通过API调用结果数据进行展示
在阿里集团内,有大量成熟的产品可以完成此类工作,一般可供选型的产品如下:
除这种方案外,今天给大家介绍一种新的方法:通过日志服务(LOG,原SLS)查询分析LogSearch/Analytics API 直接对接DataV进行大屏展示。
我有几张阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。
2017年9月日志服务(原SLS)加强日志实时分析功能(LogSearch/Analytics),可以使用查询+SQL92语法对日志进行实时分析。在结果分析可视化上,除了使用自带Dashboard外,还支持Grafana、Tableua(JDBC)等对接方式
两种方式差别
计算一般根据数据量、实时性和业务需求会分为两种方式:实时计算(流计算)、离线计算(数据仓库+离线计算),日志服务(原SLS)对实时采集数据提供两种方式对接。
除此之外,对于数据量偏大,对实时性有要求的日志分析场景,我们提供实时索引LogHub中数据机制,之后可通过LogSearch/Anlaytics直接进行查询分析。这种方法好处是什么:
- 快速:API传入Query立马拿到结果,无需等待和预计算结果
- 实时:日志产生到反馈大屏99.9%情况下1秒内
- 动态:无论修改统计方法、补数据能立马刷新结果,不需要等待重新计算
当然没有一个计算系统是万能的,这种方式限制如下:
- 数据量:单次计算数据量在百亿以下,超过需要限定时间段
- 计算灵活度:目前计算限于SQL92语法,不支持自定义UDF