【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式
概念
主从复制,是指将一台Redis服务器的数据复制到其他的Redis服务器。前者称为主节点(Master/Leader),后者称为从节点(Slave/Follwer)。在主从模式中,数据的复制是单向的,只能从主节点到从节点;Master以写为主,Slave以读为主。
默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。
主从复制的作用
主从复制的作用主要包括:
1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
2、故障恢复:当主节点出现问题时,可以从从节点提供服务,实现快速的故障恢复,实际上是一种服务冗余。
3、负载均衡:在主从复制的基础上,配置读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
4、高可用(集群)基石:除了上述作用外,主从复制还有哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的(宕机),原因如下:
1、从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;
2、从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有内存用作Redis存储内存;一般来说,单台Redis最大使用内存不应该超过20G。
电商网站的商品,一般都是一次上传,无数次浏览的,说专业点也就是“多读少写”。
对于这种场景,我们可以使用以下这种架构:
主从复制,读写分离!80%的情况下都是在进行读操作!减缓服务器压力,架构中经常使用!最低配置,一主二从(后面哨兵模式也是需要最少三台)。
只要在公司中,主从复制就是必须要使用的,因为在真实项目中不可能单机使用Redis!
环境配置
只配置从库,不用配置从库!
127.0.0.1:6379> info replication # 查看当前库的信息
# Replication
role:master # 角色 Master
connected_slaves:0 # 没有从机
master_replid:39467e79320af4a0a77b344fe8f2c146ef0ba406
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
复制3个配置文件,然后修改对应的配置信息!
1、端口
2、pid 名字
3、log 文件名字
4、dump.rdb 名字
修改完毕之后,启动我们的3个Redis服务器,可以通过进程信息查看!
一主二从
默认情况下,每台Redis服务器都是主节点。我们一般情况下只用配置从机就可以了!
# 在从机中查看
127.0.0.1:6380> auth 123456
OK
127.0.0.1:6380> slaveof 127.0.0.1 6379 # slave host 6379 找谁当自己的主机
OK
127.0.0.1:6380> info replication
# Replication
role:slave # 当前角色是从机
master_host:127.0.0.1 # 可以看到主机的信息
master_port:6379
master_link_status:up # 主机链接状态:开启
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:280
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:280
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:280
# 在主机中查看
127.0.0.1:6380> auth 123456 # 先认证密码
OK
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2 # 多了从机的配置
slave0:ip=127.0.0.1,port=6380,state=online,offset=476,lag=0
slave1:ip=127.0.0.1,port=6381,state=online,offset=476,lag=1
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:476
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:476
如果两个都配置完了,就是有来两个从机的。
真实的主从配置应该在配置文件中配置,这样的话是永久的,我们这里使用的是命令,是暂时的(除非使用 config 命令 rewrite)!
**==注意:==**如果redis设置了密码,那么进行主从复制时会显示master_link_status:down
,可以在salve
的配置文件里指定(配主不配从):在#### REPLICATION ####
(可以用/REPLICATION快速查找,:nohl取消黄色显示)下面的两个属性即可:
# 切换主从节点命令
replication no one
# 配置主从复制主节点
replicaof 127.0.0.1 6379
# 配置主节点redis登录密码
masterauth 123456
配置完成后重启redis即可。
或者
直接用命令行操作redis**.conf
文件
# 配置主节点密码
config set masterauth abc
# 配置从节点密码(主从节点密码必须保持一致)
config set requirepass abc
# 重写配置文件(下次连接生效)
config rewrite
细节
主机可以写,从机不能写只能读!主机中的所有信息和数据,都会自动被从机保存!
主机写:
127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set k1 v1 # 往主机里写入一个值k1
OK
从机只能读:
127.0.0.1:6381> keys *
(empty array)
127.0.0.1:6381> keys * # 从机自动同步主机的内容
1) "k1"
127.0.0.1:6381> get k1
"v1"
127.0.0.1:6381> set k2 v2
(error) READONLY You can't write against a read only replica. # 系统提示从机不能写入内容
测试1:主机宕机恢复
测试1:主机宕机恢复后,从机是否能重新获取到主机写的数据
主机宕机之后,master_link_status:down
主机状态为down
,但
从机仍然为从节点(没有配置哨兵模式前,不会自动选举、投票出新的主节点),但是从机仍然能够读取之前同步的值
# 主节点:
127.0.0.1:6379> SHUTDOWN # 模拟宕机情景
not connected> exit
[root@iZwz97gjh27h6busjtqk4jZ redis]#
# 从节点;
127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:down # 主节点链接状态为关闭
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:3412
master_link_down_since_seconds:50
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3412
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:3412
127.0.0.1:6380> get k1 # 成功读取到之前同步主节点的键的值
"v1"
主机重新连接后,从机还是能正常同步主机的数据(只不过在主机宕机的时候只能等待主机恢复才能进行数据的写操作)
# 主机:
[root@iZwz97gjh27h6busjtqk4jZ redis]# /usr/local/bin/redis/redis-server redis-conf/redis79.conf # 主机重新连接
[root@iZwz97gjh27h6busjtqk4jZ redis]# /usr/local/bin/redis/redis-cli -p 6379
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> ping
PONG
127.0.0.1:6379> set k2 v2 # 设置一个新的值
OK
# 从机
127.0.0.1:6380> get k2 # 成功读取到新键的的值
"v2"
测试结果:主机宕机恢复后,从机仍然能读取到数据,但主机宕机期间从机不能获取主机新的数据
测试2:从机宕机恢复
测试2:从机宕机恢复后,从机是否能重新获取到主机写的数据
# 从节点:
127.0.0.1:6381> SHUTDOWN # 从节点模拟宕机
not connected> exit
[root@iZwz97gjh27h6busjtqk4jZ redis]#
# 主节点:
127.0.0.1:6379> info replication # 主节点查看状态信息
# Replication
role:master
connected_slaves:1 # 当前只有一台从机连接
slave0:ip=127.0.0.1,port=6380,state=online,offset=1368,lag=0
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1368
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1368
情况一:如果是使用命令行(不是config set 到配置文件中的)来配置的主从,这个时候如果重启了,就会变回主机(默认配置文件没有修改,因此配置是临时的)!
情况二:修改了配置文件,重启从机还是能够读取到主机新设置的键的值
# 主机:
127.0.0.1:6379> set k3 v3 # 设置新的键(k3)的值
OK
127.0.0.1:6379> get k3
"v3"
# 从机:
127.0.0.1:6381> auth 123456 # 鉴权
OK
127.0.0.1:6381> get k3 # 成功读取到主机新设置的k3的值
"v3"
127.0.0.1:6381> keys *
1) "k1"
2) "k3"
3) "k2"
测试结果:从机宕机恢复后,仍然能读取到主机的数据(重启配置文件即重新连接,并自动同步);在此期间,宕机的主机不能读取到主机新的数据。
复制原理
Slave 启动成功连接到一个 master 后会发送一个**==sync==**(同步)命令
Master 接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令;在后台进程执行完毕之后,master将传送整个数据文集到 salve,并完成一个完全同步。
==全量复制==(一次同步):Slave服务在接收到数据库文件后,将其存盘并加载到内存中。
==增量复制==(继续同步):Master 继续将新的所有收集到的修改命令依次传给 salve,完成同步
测试3:链式主从复制
测试3:主节点与从节点呈链式分布(层层链路),即一台服务器既当从节点又当从节点
但是只要是重新连接master,一次完全同步(全量复制)将会被自动执行
# 从机6381:
127.0.0.1:6381> slaveof 127.0.0.1 6380 # 更换主节点,即设置6381端口的服务器主节点为6380的服务器
OK
127.0.0.1:6381> info replication # 查看新的主从节点信息
# Replication
role:slave # 角色为从机
master_host:127.0.0.1
master_port:6380 # 主机更换为了6380
master_link_status:up
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:7081
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7081
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1313
repl_backlog_histlen:5769
# 主机:
127.0.0.1:6379> info replication
# Replication
role:master # 角色为主机
connected_slaves:1 # 一台已连接的从机
slave0:ip=127.0.0.1,port=6380,state=online,offset=7109,lag=1
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7109
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:7109
# 从机6380:
127.0.0.1:6380> info replication
# Replication
role:slave # 主角色仍然为从节点
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:2
master_sync_in_progress:0
slave_repl_offset:7347
slave_priority:100
slave_read_only:1
connected_slaves:1 # 但是有一个已连接的从节点
slave0:ip=127.0.0.1,port=6381,state=online,offset=7347,lag=1
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7347
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:7347
# 主节点
127.0.0.1:6379> set k6 v6 # 设置值
OK
# 从节点
127.0.0.1:6380> get k6 # 读取值
"v6"
127.0.0.1:6380> set k5 v5 # 不能进行数据的写入
(error) READONLY You can't write against a read only replica.
优点:采用分级同步,减轻了主节点的压力;这里的链式垂直拆分,与 LVS 与 HAProxy架构的思想类似。
缺点:二级从节点宕机后,后面的所有从节点都无法读取到数据;多重同步,会造成数据存储缓慢,因此不适合设置过长的同步链。因此,仅供测试使用。
因为6380服务器的 role 仍然是slave,因此还是不能进行数据的写操作,只能读取数据(即使6379主节点服务器宕机后,6380服务器还是从机,不能进行数据的写入)。这个时候也能完成主从复制,好像是减轻了主节点的压力,实际上也是依靠主节点进行数据的同步。
手动切换主从节点
这种情况下是用于原主节点宕机,当前业务数据无法写入的情况(没有配置哨兵模式)
如果没有主节点了,这个时候能不能选举一个主节点出来呢?手动实现(sentinel 自动选举)
如果主机断开了连接,我们可以使用slaveof no one
让自己变成主机,其他节点就可以手动连接到最新的这个主节点!
127.0.0.1:6379> auth 123456
127.0.0.1:6379> slaveof no one # 将从机切换为主机,单向的
OK
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:24017e01ba7ddb7c86604bb455d322995d6209cf
master_replid2:27f3e03c4e0fbdc66a0814842dae024ed4c99deb
master_repl_offset:0
second_repl_offset:1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
这个时候如果原来的主节点修复并恢复了连接,当前的主节点依然是通过选举出来的主节点而不是原来的主节点!
总结
1、主机可以读写,从机只能读;
2、当两个服务器均为主节点时,一个主节点不能拿到另一个主节点的数据;
3、只要主机变成了某一个主机的从机,数据就会立即同步回来。
欢迎点赞关注评论,感谢观看ヾ(◍°∇°◍)ノ゙
转载自:https://juejin.cn/post/7133249458359238693