阿里云国际站SLS:阿里云SLS如何优化企业的日志检索和展示?

79 阅读3分钟

一、优化日志检索

(一)增加 Shard 数量或开启 SQL 独享版

增加 Shard 可以提升读写能力,但只对新写入的数据生效。Shard 表示计算资源,Shard 越多,计算越快,需要保证平均每个 Shard 扫描的数据不多于 5000 万条。此外,SQL 独享版支持更多的分析操作并发数和更多的扫描数据量,能够更好地满足大规模数据处理的需求。

TG:@yunlaoda360

(二)缩减查询的时间范围和数据量

时间范围越大,查询越慢,适当缩短查询的时间范围可以更快地完成计算。同时,数据量越大,查询越慢,尽量减少查询的数据量,避免一次性查询过多数据,导致查询速度变慢。

(三)多次重复查询

当查询不精确时,可以尝试多次重复查询。每次查询时,底层加速机制会充分利用已有的结果进行分析,使结果更加精确。

(四)优化索引配置

创建全文索引和字段索引,字段索引的优先级高于全文索引。合理配置索引可以提高查询效率。例如,仅对关键字段设置索引,如果原始日志中包含了大量字段信息,其中只有部分字段用于查询与分析,则只需为这部分字段建立索引。此外,关闭日志聚类功能也可以降低索引流量费用,因为开启日志聚类功能后,索引总流量会增加。

jimeng-2025-08-01-5377-创建一个具有未来科技感的云服务器服务宣传图。主视觉是发光的白云和阿里云相间的服务....jpeg

(五)使用 Processor 插件机制

iLogtail 和 LoongCollector 提供了强大的 Processor 插件机制,允许在 Agent 端对采集到的日志进行预处理和过滤,从而在数据发送前就丢弃掉不需要的日志条目。这样可以减少无效数据的传输和存储,提高检索效率。

(六)利用高性能 SPL 日志查询模式

阿里云 SLS 推出了高性能 SPL 日志查询模式,从计算架构、执行引擎、IO 效率等多个方面对 SPL 查询进行了重大优化。计算下推,并行化加速,将 where 条件的计算下推到各个 shard 所在的存储节点上处理,减少了存储节点和计算节点之间的数据传输、网络序列化开销。向量化计算,多级火箭加速,进一步提升了每个 shard 上的处理能力。控制台交互升级,展示过滤后结果的直方图,使得查询结果更加直观。API 调用简化,统一的 offset 语义,简化了 API 调用方式。

二、优化日志展示

(一)直方图和原始日志功能

在查询 / 分析页面,直方图可以展示日志的分布情况,双击绿色数据块可以查看更细时间粒度的日志分布。原始日志页面支持日志详情的多种展示格式,如表格、原始和 JSON 格式,并提供上下文查询、LiveTail 等功能。

(二)字段分析功能

SLS 具备字段分析功能,专注于对 text、long 和 double 类型字段的统计分析,提供字段的基本分布情况、各种统计指标以及 TOP5 的时间序列图。

(三)显示字段和索引字段设置

在显示字段区域,可以收藏视图和设置字段别名;在索引字段区域,可以查看字段的分析情况和统计信息。

(四)日志展示格式优化

通过 Logtail 配置,可以解决日志展示单一导致排查困难的问题。例如,设置 “BeginLineCheckLength”、“SourceKey” 和 “BeginLineRegex” 等参数,以优化日志的展示格式