ELK搭建(十):搭建redis运行指标监控平台

882 阅读5分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第5天,点击查看活动详情

0. 引言

Redis作为基于内存的非关系型数据库,常常被应用于热点数据缓存,它很大程度上为我们关系性数据库提供了性能补充。保证redis的高可用,对应整个应用程序的运行至关重要,一个直观的监控redis运行情况的数据看板可以为我们实时了解redis运行情况提供极大的便利。

话不多说,开始我们今天的监控平台搭建之旅吧 在这里插入图片描述

1. 下载

我们的平台是基于elasticsearch+kibana来实现的,也就是我们常说的ELK体系。我们采用Metricbeat插件来采集监控redis的运行数据。

当然我们这里为了保证搭建的便捷性,并没有使用到Logstash,如果大家有需要的话可以把Metricbeat采集到的数据输出到Logstash

首先关于ELK的搭建就不再累述了,不清楚的同学可以看看往期博客: ELK搭建(一):实现分布式微服务日志监控

因为我的ELK环境是7.13.0的,所以我们需要下载对应版本、对应系统的Metricbeat Metricbeat官方下载地址 在这里插入图片描述

2. Metricbeat介绍

metricbeat是elstic官方推出的一款轻量型的采集器,属于beats系列中专门用于各种系统和服务统计的beat。不仅可以统计docker等数据,也可以统计redis、nginx、服务器cpu、内存、磁盘等服务的相关指标。

metricbeat定时从服务器中通过抓包的方式获取对应指标数据,然后发送到elasticsearch或者logstash中

metricbeat由两个部分组成:

  • 1、module 所谓module就是针对不同的服务进行采集的模块,比如系统服务就是system module。metricbeat中支持的module有几十种,包括但不仅限于:ActiveMQ module,Apache module,Docker module,HTTP module等,具体可以metricbeat官方文档中的modules部分查看
  • 2、metricset 采集的内容,以redis module为例,支持三种指标集: (1)info:通过redis info指令来查询redis的相关运行数据,包括但不仅限于服务器运行的环境参数、客户端相关信息、 服务器运行内存统计数据、持久化信息、 通用数据统计、主从复制相关信息、CPU使用情况 (2)key:redis key相关指标 (3)keyspace:redis keyspace相关指标信息,也是通过info指令获取。要使用这个指标集的话需要提前在redis中开启键空间通知keyspace,但这个会额外消耗内存,还是那句话:Use it when you really need

更多关于指标集的介绍可以查看官方文档

3. 安装Metricbeat

1、将安装包上传到服务器上,可以使用FTP软件或者以下指令上传

scp metricbeat-7.13.0-linux-arm64.tar.gz root@192.168.244.18:/var/local 

2、解压压缩包

tar -zxvf metricbeat-7.13.0-linux-arm64.tar.gz 

3、修改配置文件metricbeat.yml中的连接信息

vim metricbeat.yml

修改内容

setup.template.settings:
# 因为我这里es是单节点,所以设置主分片数为1,副本分片数为0.否则会报黄
  index.number_of_shards: 1
  index.number_of_replicas: 0
output.elasticsearch:
# 你的es所在服务器ip
  hosts: ["192.168.244.11:9200"]
  username: "elastic"
  password: "elastic"
setup.kibana:
# kibana所在服务器ip
  host: "192.168.244.11:5601"

4、启动docker模块,metricbeat会根据modules.d/docker.yml中的配置项来获取系统数据

./metricbeat modules enable redis

5、配置要采集的内容,修改modules.d/redis.yml配置文件

vim modules.d/redis.yml 

配置文件内容,这里我们将info,keyspace指标集都开启,具体可根据自己的需要进行配置

这里我们没有开启key指标集,我们将在最后单独讲解

- module: redis
  metricsets:
    - info
    - keyspace
#    - key
  period: 10s

  # Redis hosts
  hosts: ["127.0.0.1:6379"]

  # Network type to be used for redis connection. Default: tcp
  #network: tcp

  # Max number of concurrent connections. Default: 10
  #maxconn: 10

  # Redis AUTH password. Empty by default.
  #password: foobared

6、加载kibana仪表盘,如果之前已经设置过就不用再执行了

./metricbeat setup

在这里插入图片描述 7、启动metricbeat(如果上述的指令没有自动退出的话,就新开个窗口执行,不要退出上述指令窗口)

./metricbeat -e

在这里插入图片描述

8、在kibana的discover窗口中查询metricbeat-*索引模式,能够查询到redis相关字段数据表明配置成功 在这里插入图片描述

9、kibana中点击Dashboard,进入仪表盘,输入redis,选择Overview ECS看板点击进入 在这里插入图片描述

10、右上角的数据默认是过去1小时,如果查询没有数据的话,调整下时间范围 在这里插入图片描述 这里keyspaces看板没有数据,是因为我们redis中没有开启keyspace,这个我们会在后面开启给大家演示。

4. key指标集

key指标集是redis键相关的指标,要开启这个指标集的话,需要我们额外配置键的匹配模式,如下所示,我们开启了监听user_开头的key。limit限制了监听20个key

- module: redis
  metricsets:
    - key
  key.patterns:
    - pattern: 'user_*'
      limit: 20

重启metricbeat,我们再添加、修改、删除几条user_* key,增加一些数据 在这里插入图片描述

key指标集使用了一个单独的数据看板,进入dashboard,输入redis,进入Keys ECS 在这里插入图片描述 可以查看到key相关的数据 在这里插入图片描述

5. redis开启keyspace通知

登陆redis

redis-cli

执行指令,如下设置会监听所有的键,这里仅作测试,具体大家根据自己的需求来设置

config set notify-keyspace-events KEA

监听所有键

psubscribe '__key*__:*'

在这里插入图片描述 在另外一个窗口登陆redis,添加一个键值

set user_test 111

会发现之前的窗口输出了新增的键 在这里插入图片描述 开启完成后,再次查看看板,会发现keysapces中已经有数据了(注意,如果仅仅是开启订阅,而没有添加key进去,也不会产生数据) 在这里插入图片描述

至此,我们针对redis的指标监控就全部结束了,动手操作试试吧