linux grep 查看大日志文件

3,484 阅读2分钟

这是我参与更文挑战的第7天,活动详情查看:更文挑战

如果❤️我的文章有帮助,欢迎点赞、关注。这是对我继续技术创作最大的鼓励。

linux grep 查看大日志文件

场景

今天隔离还在继续,在家办公。忽然下午午工作群里发来一个 mysql 机器io/负载上升的预警,异常发生在 15:45 ~ 16:00 之间。为了事后为了查明原因,需要翻看慢查询日志 slow.log 才发现日志 8G 多... 故事就这样开始了 图片描述

怎么办呢。第一个想到的就是常用 grep 匹配关键字

grep 关键字

grep 常用于 关键字 匹配文件文本信息。
但关键字从哪里来呢,可以命令 head slow3306_9110.log 查看下检索文件的内容结构 图片描述

因为异常发生在 15:45 ~ 16:00 之间,我就可以这样写

grep -n 'Time: 210607 15:[45-59]' slow3306_9110.log

时间 15:4515:59 之间内容,但这样匹配只能看到时间,这明显不是我们想要的 图片描述

grep 显示匹配行附近内容

  • A -> After
  • B -> Before
  • C -> Context 举个例子:

grep -A5 'Time: 210607 15:[45-59]' slow3306_9110.log

就能把匹配 Time: 210607 行的下面 5 行也显示出来。 图片描述

grep 多关键字搜索

但这时我们有会发现,Query_time: 0.925375 查询时间有大有小。我现在在查故障明细是只想看 查询消耗时间大的

所以这里就需要用到 grep 多关键字搜索

匹配多个关键字(且)

管道符连接 多个条件 实现关键字 且关系 匹配:

grep -A5 'Time: 210607 15:[45-59]' slow3306_9110.log | grep 'Query_time: (\d[2-5])'

同一行同时满足两个条件(TimeQuery_time)才能够匹配。

不过这里也必须说明:因为上图内容格式中,Time 和 Query_time 不在同一列,所以上诉命令只是这个演示。实际只能匹配 同一行同时满足两个条件 内容

grep -E 匹配多个关键字(或)

grep -E "word1|word2|word3" file.txt

匹配文件中 同一行包含 word1、word2、word3 之一

总结

总结下来。

  • 由于多行无法同时命中 时间 15:45 至 15:59查询时间在 2~5位整数之间
  • 另外由于文件太大,grep 一次就能跑个 3、4 分钟实际体验并不好