什么是RESP

RESP是REdis Serialization Protocol的简称,也就是专门为redis设计的一套序列化协议. 这个协议其实在redis的1.2版本时就已经出现了,但是到了redis2.0才最终成为redis通讯协议的标准

这个序列化协议听起来很高大上, 但实际上就是一个文本协议.根据官方的说法, 这个协议是基于以下几点(而妥协)设计的:

 1. 实现简单.可以减低客户端出现bug的机率
 2. 解析速度快.由于RESP能知道返回数据的固定长度,所以不用像json那样扫描整个payload去解析, 所以它的性能是能跟解析二进制数据的性能相媲美的.
 3. 可读性好.

为啥要理解RESP

其实RESP是个很简单的东西,不用一天就能吃透. 但是我对它的认识一直都停留在一个很模糊的状态, 之前只知道它返回的不同的类型是以不同的符号开始的,具体是什么没有仔细去深究.

直到前几天遇到一个bug, 调试redis客户端的时候发现对redis的返回内容特别陌生. 今天在看AOF文件时又遇到了它,才突然悟到:书到用时方恨少啊

于是就有这一篇博客.

总结来说,RESP的应用场景有:

1. 开发定制化的客户端. RESP设计成简单的文本协议, 一大原因就是为了降低各种语言开发客户端的复杂度
2. 理解RESP方便我们分析AOF文件,了解redis的内部设计
3. 平时通过抓包软件,可以帮助快速定位redis的相关问题
4. 在没有redis-cli的情况下, 方便开发调试redis命令

RESP详解

数据类型

一般来说,RESP只需要序列化三种数组即可: 字符串, 整数, 数组. 而在实际场景中, RESP又把字符串细化成了simple string, error string和bulk string三种.

所以RESP一共涉及到5种数据类型:

   1. simple string. 简单的字符串
   2. error. 就是表示这是一个错误(异常)情况
   3. integer 表示这是一个整数
   4. bulk string. 表示是长字符串,但是必须小于512M.
   5. arrays. 表示这是一个数组,数组元素可以是上面的任意一种类型,也可以是一个数组

像一些高级语言用int long等来表示不同数据类型一样, RESP也有它自己标识不同数据类型的"语法", 就是用第一个字节的符号来表示不同的数据类型:

simple string 的第一个字节是个"+"(加号), 后面接着的是字符串的内容, 最后以CRLF(\r\n)结尾.例如:

"+OK\r\n"

error. error其实和string是类似的, 但是RESP为了能让不同客户端把这种error和正常的返回结果区分开来对待 (例如redis返回error的话,就抛出异常),特意多设计了这个数据类型. error类型的第一个字节是"-"(减号), 后面接着的是错误的信息, 最后以CRLF(\r\n)结尾,例如:

"-ERR unknown command 'foobar'\r\n"

integer 类型的第一个字节是":"(冒号), 后面接着的是整数,最后以CRLF(\r\n)结尾, 例如:

 ":1000\r\n"

bulk string. 本质上也是字符串.跟普通字符串区分开来, 它的第一个字节是"$"(美元符号),紧接着是一个整数,表示字符串的字节数,字节数后面接一个CRLF. CRLF后面是字符串的内容, 最后以一个CRLF结尾. 例如:

"$0\r\n"   --$后面的0表示这是一个空字符串

"$-1\r\n"  -- $后面的-1表示这是一个null字符串,Null Bulk String要求客户端返回空对象,而不能简单地返回个空字符串


"$6\r\nABCDEF\r\n"  -- ABCDEF是6个字节,所以$后面是6

arrays的第一个字节是"*"(星号), 紧接着后面是一个数字,表示这个数组的长度,数字后面是一个CRLF. 需要注意的是这个CRLF之后才是数组的真正内容, 而且数组内容可以是任意类型, 包括arrays和bulk string, 每个元素也要以CRLF结尾. 最后以CRLF(\r\n)结尾. 举例:

"*0\r\n"   --*后面的0表示表示空的数组

"*-1\r\n"  --*后面的-1表示表示是null数组

"*5\r\n     -- *5表示这是一个拥有5个元素的数组
+bar\r\n    -- 第1个元素是简单的字符串
-unknown command\r\n      -- 第2个元素是个异常
:3\r\n      -- 第3个元素是个整数
$3\r\n      -- 第4个元素是长度为3个字节的长字符串foo
foo\r\n     -- 第4个元素的内容
*3\r\n      -- 第5个元素又是个数组
:1\r\n      -- 第5个元素数组的第1元素
:2\r\n      -- 第5个元素数组的第2元素
:3\r\n      -- 第5个元素数组的第3元素
"

request-response模型

一般来说,redis客户端和服务端交互都是通过以下两个步骤:

 1. redis发送一个命令到服务端, 然后阻塞在socket.read()方法, 等待服务端的返回
 2. 服务端收到一个命令, 处理完成后将数据发送回去给客户端

这个就被称为request/reponse模型. redis的大部分命令都是使用这种模型进行通讯, 除了两种情况:

  1. pipeline模式. 在pipeline模式下, 客户端可能会把多个命令收集在一起, 然后一并发送给服务端, 最后等待服务端把所有命令的执行响应一并发送回来
  2. pub/sub, 发布订阅模式下, redis客户端只需要发送一次订阅命令

RESP协议的request/response模型可以总结为以下两个步骤

 1. 客户端发送命令, 一般组装成bulk string的数组
 2. 服务端处理命令, 根据不同的命令,可能返回不同的数据类型

例如命令"set test1 1" 一般被序列化成

*3\r\n$3\r\nset\r\n$5\r\ntest1\r\n$1\r\n1\r\n


-- 为了方便理解, 每个CRLF我们给它换一下行
*3\r\n        -- 这个命令包含3个(bulk)字符串
$3\r\n        -- 第一个bulk string有3个字节
set\r\n       -- 第一个bulk string是set
$5\r\n        -- 第二个bulk string有5个字节
test1\r\n     -- 第二个bulk string是test1
$1\r\n        -- 第三个bulk string有1个字节
1\r\n         -- 第三个bulk string是1

它的返回是:

+OK\r\n --一个简单的字符串

再例如命令"get test1":

   *2\r\n$3\r\nget\r\n$5\r\ntest1\r\n
即:
*2\r\n     -- 这个命令是2个bulk字符串的数组
$3\r\n     -- 第一个bulk字符串有3个字节:  get
get\r\n
$5\r\n     -- 第二个bulk字符串有5个字节: test1
test1\r\n

这个命令的返回是:

$1\r\n   -- 只有一个字节的bulk string
1\r\n

再来看一个错误的命令"get ", 这里我们get的命令故意不传参数

request:

*1\r\n
$3\r\n
get\r\n

response(跟我们在redis-cli里面获取的提示是一样的):

-ERR wrong number of arguments for 'get' command\r\n

测试和验证

了解了RESP是什么之后, 我们通常都会想动手验证一下,它实际的运行是否跟理论一致. 这个时候有两种方法.

telnet方式

当我们手上没有redis-cli的时候, 有时候我们想调试redis命令就显得比较麻烦. 这点redis做得比较人性化, 当它发现它收到的数据不是以"*"开头时, 它就会尝试解析这个字符串, 把它当做一个命令来处理, 然后返回对应的RESP格式的响应.

来看一下用telnet执行我们上面测试的3个命令:

lhh-Mac:~ lhh$ telnet localhost 6379
Trying ::1...
Connected to localhost.
Escape character is '^]'.

set test1 1
+OK

get test1
$1
1

get 
-ERR wrong number of arguments for 'get' command

quit
+OK

可以看到,每个命令返回的都是RESP格式(\r\n不可见,体现为换行).

当然, 你也可以发送RESP格式的命令, 但是要在本文编辑器里面把\r\n换成换行符, 再复制过去,不然会报错.

下面例如例子中, 我执行的命令是"get test1",RESP格式就是"*2\r\n$3get\r\n$5\r\ntets1".

返回的数据是"1", RESP格式就是"$1\r\n1\r\n"

由于telnet窗口的原因, request和response是连着的, 注意区分

使用telnet执行RESP格式的"get test1":

lhh-Mac:~ lhh$ telnet localhost 6379
Trying ::1...
Connected to localhost.
Escape character is '^]'.

*2
$3
get
$5
test1
$1
1

socket方式

在手上没有写代码的条件时, 使用telnet确实很方便,当编辑起来不方便.当如果用IDE的话, 我们还是有更好的方式的, 就是写代码来测试验证.

毕竟"talk is cheap, show me the code"嘛.

redis是基于tcp通讯的, 所以简单使用socket就好, 代码如下:


  public static void main(String[] args) throws IOException {
      Socket socket = new Socket("localhost", 6379);
      OutputStream outputStream = socket.getOutputStream();
      BufferedReader bufferedReader
              = new BufferedReader(new InputStreamReader(socket.getInputStream()));
      outputStream.write("*2\r\n$3\r\nget\r\n$5\r\ntest1\r\n".getBytes());
      int num = 0;
      char ch;
      while((num=bufferedReader.read()) != -1){
          ch = (char)num;
          System.out.print(ch);
      }
      socket.close();
  }

参考 https://redis.io/topics/protocol