找出nginx请求日志中某个url请求总次数排名前十的ip地址

256 阅读3分钟

答案如下:

# 利用linux自带命令:sort、awk、grep、head、uniq组合得出相应的答案

awk '{print $1}' | grep 'www.xxxx.com'  access.log | sort | uniq -c | sort -nr -k1 | head -n 10  

命令说明

  1. awk命令说明 AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。之所以叫 AWK 是因为其取了三位创 始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。 语法如下:

    awk [选项参数] 'script' var=value file(s)
    或
    awk [选项参数] -f scriptfile var=value file(s)
    

    基本用法 test.log

    1 hello world!
    2 php mysql
    3 java javascript
    4 golang c
    

    用法一:

    awk '{[pattern] action}' {filenames}   # 行匹配语句 awk '' 只能用单引号
    

    示例:

    # 每行按照tab或者空格分割,输出文本中的1、2项
    $ awk '{print $1 $2}' test.log
    # 输出
    1 hello
    2 php
    3 java
    4 golang
    

    用法二:

    # -F相当于内置变量FS, 指定分割字符
    awk -F{分隔符}
    

    示例:

    # 使用分隔符
    awk -F: '{print $1 $2}' test.log
    # 输出
    1 hello
    2 php
    3 java
    4 golang
    

    还有一些其他用法,比如设置变量,在awk -v后面跟变量名并且赋值,然后输出,比如:

    awk -va=1 '{print $1,$1+a}' test .log
    
    awk -va=1 -vb=3 '{print $1,$1+a,$b}' test.log
    

    还有awk脚本的方式等等,后面两种不常用,如果想了解可以自行查找资料学习,这里主要说明第一种和第二种用法。

  2. grep命令说明 在linux中grep命令用于查找文件中符合条件的字符串,通常搭配ps -ef | grep 'xxxx' xxx.log等命令配合使用。 语法:

    grep [-abcEFGhHilLnqrsvVwxy][-A<显示列数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]
    

    具体参数信息可以通过grep --help命令查看 这里列举几种常用的用法

    # 查看符合条件的日志条目
    grep -n '2019-10-24 00:01:11' *.log
    # 在当前目录下第一级文件夹中寻找包含指定字符串的文件
    grep "main" /.in
    # 利用正则表达式匹配文件内容所在的行
    grep –e "正则表达式" 文件名
    # 查找时不区分大小写
    grep –i "被查找的字符串" 文件名
    # 从根目录开始查找所有扩展名为 .log 的文本文件,并找出包含 "ERROR" 的行
    find / -type f -name "*.log" | xargs grep "ERROR"
    # 从当前目录开始查找所有扩展名为 .in 的文本文件,并找出包含 "thermcontact" 的行
    find . -name "*.in" | xargs grep "thermcontact"
    # 还有很多使用方式可以自行查找
    
  3. uniq命令说明 Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。uniq 可检查 文本文件中重复出现的行列。 语法:

    uniq [-cdu][-f<栏位>][-s<字符位置>][-w<字符位置>][--help][--version][输入文件][输出文件]
    # 参数详情查看
    uniq --help
    

    示例:

    # 文件test.txt中第1、4、7、9行为相同行,使用uniq命令可以删除重复行
    uniq test.txt
    # 检查文件并删除文件中重复出现的行,并在行首显示该行重复出现的次数
    uniq -c test.txt
    # 当重复行不是连续并且不相邻的时候uniq不起作用,这是后可以搭配sort命令一起使用
    sort test.txt | uniq
    
  4. sort命令说明 Linux sort命令用于将文本文件内容加以排序。sort可针对文本文件的内容,以行为单位来排序。 语法:

    sort [-bcdfimMnr][-o<输出文件>][-t<分隔字符>][+<起始栏位>-<结束栏位>][--help][--verison][文件]
    # 参数详情查看
    sort --help
    

    示例

    # 使用sort命令以默认的式对文件的行进行排序
    sort test.txt
    
  5. head命令说明 head 命令可用于查看文件的开头部分的内容,有一个常用的参数 -n 用于显示行数,默认为 10,即显示 10 行的内容。 语法

    head [参数] [文件]  
    # 参数详情查看
    head --help
    

    示例

    # 显示日志文件前10行
    head access.log
    # 显示日志文件开头前5行
    head -n 5 access.log
    # 显示文件前20个字节
    head -c 20 access.log
    
    喜欢作者的可以关注作者!后期会有更多的内容推出!也可以关注作者CSDN文章链接!

    blog.csdn.net/u014586999/…