redis通讯协议(RESP )是什么
什么是RESP
RESP是REdis Serialization Protocol的简称,也就是专门为redis设计的一套序列化协议. 这个协议其实在redis的1.2版本时就已经出现了,但是到了redis2.0才最终成为redis通讯协议的标准
这个序列化协议听起来很高大上, 但实际上就是一个文本协议.根据官方的说法, 这个协议是基于以下几点(而妥协)设计的:
1. 实现简单.可以减低客户端出现bug的机率
2. 解析速度快.由于RESP能知道返回数据的固定长度,所以不用像json那样扫描整个payload去解析, 所以它的性能是能跟解析二进制数据的性能相媲美的.
3. 可读性好.
为啥要理解RESP
其实RESP是个很简单的东西,不用一天就能吃透. 但是我对它的认识一直都停留在一个很模糊的状态, 之前只知道它返回的不同的类型是以不同的符号开始的,具体是什么没有仔细去深究.
直到前几天遇到一个bug, 调试redis客户端的时候发现对redis的返回内容特别陌生. 今天在看AOF文件时又遇到了它,才突然悟到:书到用时方恨少啊
于是就有这一篇博客.
总结来说,RESP的应用场景有:
1. 开发定制化的客户端. RESP设计成简单的文本协议, 一大原因就是为了降低各种语言开发客户端的复杂度
2. 理解RESP方便我们分析AOF文件,了解redis的内部设计
3. 平时通过抓包软件,可以帮助快速定位redis的相关问题
4. 在没有redis-cli的情况下, 方便开发调试redis命令
RESP详解
数据类型
一般来说,RESP只需要序列化三种数组即可: 字符串, 整数, 数组. 而在实际场景中, RESP又把字符串细化成了simple string, error string和bulk string三种.
所以RESP一共涉及到5种数据类型:
1. simple string. 简单的字符串
2. error. 就是表示这是一个错误(异常)情况
3. integer 表示这是一个整数
4. bulk string. 表示是长字符串,但是必须小于512M.
5. arrays. 表示这是一个数组,数组元素可以是上面的任意一种类型,也可以是一个数组
像一些高级语言用int long等来表示不同数据类型一样, RESP也有它自己标识不同数据类型的"语法", 就是用第一个字节的符号来表示不同的数据类型:
- simple string 的第一个字节是个"+"(加号), 后面接着的是字符串的内容, 最后以CRLF(\r\n)结尾.例如:
"+OK\r\n"
- error. error其实和string是类似的, 但是RESP为了能让不同客户端把这种error和正常的返回结果区分开来对待 (例如redis返回error的话,就抛出异常),特意多设计了这个数据类型. error类型的第一个字节是"-"(减号), 后面接着的是错误的信息, 最后以CRLF(\r\n)结尾,例如:
"-ERR unknown command 'foobar'\r\n"
- integer 类型的第一个字节是":"(冒号), 后面接着的是整数,最后以CRLF(\r\n)结尾, 例如:
":1000\r\n"
- bulk string. 本质上也是字符串.跟普通字符串区分开来, 它的第一个字节是"$"(美元符号),紧接着是一个整数,表示字符串的字节数,字节数后面接一个CRLF. CRLF后面是字符串的内容, 最后以一个CRLF结尾. 例如:
"$0\r\n" --$后面的0表示这是一个空字符串
"$-1\r\n" -- $后面的-1表示这是一个null字符串,Null Bulk String要求客户端返回空对象,而不能简单地返回个空字符串
"$6\r\nABCDEF\r\n" -- ABCDEF是6个字节,所以$后面是6
- arrays的第一个字节是"*"(星号), 紧接着后面是一个数字,表示这个数组的长度,数字后面是一个CRLF. 需要注意的是这个CRLF之后才是数组的真正内容, 而且数组内容可以是任意类型, 包括arrays和bulk string, 每个元素也要以CRLF结尾. 最后以CRLF(\r\n)结尾. 举例:
"*0\r\n" --*后面的0表示表示空的数组
"*-1\r\n" --*后面的-1表示表示是null数组
"*5\r\n -- *5表示这是一个拥有5个元素的数组
+bar\r\n -- 第1个元素是简单的字符串
-unknown command\r\n -- 第2个元素是个异常
:3\r\n -- 第3个元素是个整数
$3\r\n -- 第4个元素是长度为3个字节的长字符串foo
foo\r\n -- 第4个元素的内容
*3\r\n -- 第5个元素又是个数组
:1\r\n -- 第5个元素数组的第1元素
:2\r\n -- 第5个元素数组的第2元素
:3\r\n -- 第5个元素数组的第3元素
"
request-response模型
一般来说,redis客户端和服务端交互都是通过以下两个步骤:
1. redis发送一个命令到服务端, 然后阻塞在socket.read()方法, 等待服务端的返回
2. 服务端收到一个命令, 处理完成后将数据发送回去给客户端
这个就被称为request/reponse模型. redis的大部分命令都是使用这种模型进行通讯, 除了两种情况:
1. pipeline模式. 在pipeline模式下, 客户端可能会把多个命令收集在一起, 然后一并发送给服务端, 最后等待服务端把所有命令的执行响应一并发送回来
2. pub/sub, 发布订阅模式下, redis客户端只需要发送一次订阅命令
RESP协议的request/response模型可以总结为以下两个步骤
1. 客户端发送命令, 一般组装成bulk string的数组
2. 服务端处理命令, 根据不同的命令,可能返回不同的数据类型
例如命令"set test1 1" 一般被序列化成
*3\r\n$3\r\nset\r\n$5\r\ntest1\r\n$1\r\n1\r\n
-- 为了方便理解, 每个CRLF我们给它换一下行
*3\r\n -- 这个命令包含3个(bulk)字符串
$3\r\n -- 第一个bulk string有3个字节
set\r\n -- 第一个bulk string是set
$5\r\n -- 第二个bulk string有5个字节
test1\r\n -- 第二个bulk string是test1
$1\r\n -- 第三个bulk string有1个字节
1\r\n -- 第三个bulk string是1
它的返回是:
+OK\r\n --一个简单的字符串
再例如命令"get test1":
*2\r\n$3\r\nget\r\n$5\r\ntest1\r\n
即:
*2\r\n -- 这个命令是2个bulk字符串的数组
$3\r\n -- 第一个bulk字符串有3个字节: get
get\r\n
$5\r\n -- 第二个bulk字符串有5个字节: test1
test1\r\n
这个命令的返回是:
$1\r\n -- 只有一个字节的bulk string
1\r\n
再来看一个错误的命令"get ", 这里我们get的命令故意不传参数
request:
*1\r\n
$3\r\n
get\r\n
response(跟我们在redis-cli里面获取的提示是一样的):
-ERR wrong number of arguments for 'get' command\r\n
测试和验证
了解了RESP是什么之后, 我们通常都会想动手验证一下,它实际的运行是否跟理论一致. 这个时候有两种方法.
telnet方式
当我们手上没有redis-cli的时候, 有时候我们想调试redis命令就显得比较麻烦. 这点redis做得比较人性化, 当它发现它收到的数据不是以"*"开头时, 它就会尝试解析这个字符串, 把它当做一个命令来处理, 然后返回对应的RESP格式的响应.
来看一下用telnet执行我们上面测试的3个命令:
lhh-Mac:~ lhh$ telnet localhost 6379
Trying ::1...
Connected to localhost.
Escape character is '^]'.
set test1 1
+OK
get test1
$1
1
get
-ERR wrong number of arguments for 'get' command
quit
+OK
可以看到,每个命令返回的都是RESP格式(\r\n不可见,体现为换行).
当然, 你也可以发送RESP格式的命令, 但是要在本文编辑器里面把\r\n换成换行符, 再复制过去,不然会报错.
下面例如例子中, 我执行的命令是"get test1",RESP格式就是"*2\r\n$3get\r\n$5\r\ntets1".
返回的数据是"1", RESP格式就是"$1\r\n1\r\n"
由于telnet窗口的原因, request和response是连着的, 注意区分
使用telnet执行RESP格式的"get test1":
lhh-Mac:~ lhh$ telnet localhost 6379
Trying ::1...
Connected to localhost.
Escape character is '^]'.
*2
$3
get
$5
test1
$1
1
socket方式
在手上没有写代码的条件时, 使用telnet确实很方便,当编辑起来不方便.当如果用IDE的话, 我们还是有更好的方式的, 就是写代码来测试验证.
毕竟"talk is cheap, show me the code"嘛.
redis是基于tcp通讯的, 所以简单使用socket就好, 代码如下:
public static void main(String[] args) throws IOException {
Socket socket = new Socket("localhost", 6379);
OutputStream outputStream = socket.getOutputStream();
BufferedReader bufferedReader
= new BufferedReader(new InputStreamReader(socket.getInputStream()));
outputStream.write("*2\r\n$3\r\nget\r\n$5\r\ntest1\r\n".getBytes());
int num = 0;
char ch;
while((num=bufferedReader.read()) != -1){
ch = (char)num;
System.out.print(ch);
}
socket.close();
}