likes
comments
collection
share

【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式

作者站长头像
站长
· 阅读数 39

概念

主从复制,是指将一台Redis服务器的数据复制到其他的Redis服务器。前者称为主节点(Master/Leader),后者称为从节点(Slave/Follwer)。在主从模式中,数据的复制是单向的,只能从主节点到从节点;Master以写为主,Slave以读为主。

默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

主从复制的作用

主从复制的作用主要包括

1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

2、故障恢复:当主节点出现问题时,可以从从节点提供服务,实现快速的故障恢复,实际上是一种服务冗余。

3、负载均衡:在主从复制的基础上,配置读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

4、高可用(集群)基石:除了上述作用外,主从复制还有哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

一般来说,要将Redis运用于工程项目中,只使用一台Redis是万万不能的(宕机),原因如下:

1、从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大;

2、从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有内存用作Redis存储内存;一般来说,单台Redis最大使用内存不应该超过20G。

电商网站的商品,一般都是一次上传,无数次浏览的,说专业点也就是“多读少写”。

对于这种场景,我们可以使用以下这种架构:

【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式

主从复制,读写分离!80%的情况下都是在进行读操作!减缓服务器压力,架构中经常使用!最低配置,一主二从(后面哨兵模式也是需要最少三台)。

只要在公司中,主从复制就是必须要使用的,因为在真实项目中不可能单机使用Redis!

环境配置

只配置从库,不用配置从库!

127.0.0.1:6379> info replication    # 查看当前库的信息
# Replication
role:master # 角色 Master
connected_slaves:0  # 没有从机
master_replid:39467e79320af4a0a77b344fe8f2c146ef0ba406
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

复制3个配置文件,然后修改对应的配置信息!

1、端口

2、pid 名字

3、log 文件名字

4、dump.rdb 名字

修改完毕之后,启动我们的3个Redis服务器,可以通过进程信息查看!

【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式

一主二从

默认情况下,每台Redis服务器都是主节点。我们一般情况下只用配置从机就可以了!

# 在从机中查看
127.0.0.1:6380> auth 123456
OK
127.0.0.1:6380> slaveof 127.0.0.1 6379  # slave host 6379 找谁当自己的主机
OK
127.0.0.1:6380> info replication
# Replication
role:slave  # 当前角色是从机
master_host:127.0.0.1   # 可以看到主机的信息
master_port:6379
master_link_status:up   # 主机链接状态:开启
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:280
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:280
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:280# 在主机中查看
127.0.0.1:6380> auth 123456 # 先认证密码
OK
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2  # 多了从机的配置
slave0:ip=127.0.0.1,port=6380,state=online,offset=476,lag=0
slave1:ip=127.0.0.1,port=6381,state=online,offset=476,lag=1
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:476
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:476

如果两个都配置完了,就是有来两个从机的。

真实的主从配置应该在配置文件中配置,这样的话是永久的,我们这里使用的是命令,是暂时的(除非使用 config 命令 rewrite)!

**==注意:==**如果redis设置了密码,那么进行主从复制时会显示master_link_status:down,可以在salve的配置文件里指定(配主不配从):在#### REPLICATION ####(可以用/REPLICATION快速查找,:nohl取消黄色显示)下面的两个属性即可:

# 切换主从节点命令
replication no one

# 配置主从复制主节点
replicaof 127.0.0.1 6379
# 配置主节点redis登录密码
masterauth 123456

【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式

配置完成后重启redis即可。

或者

直接用命令行操作redis**.conf文件

# 配置主节点密码
config set masterauth abc
# 配置从节点密码(主从节点密码必须保持一致)
config set requirepass abc
# 重写配置文件(下次连接生效)
config rewrite

细节

主机可以写,从机不能写只能读!主机中的所有信息和数据,都会自动被从机保存!

主机写:

127.0.0.1:6379> keys *
(empty array)
127.0.0.1:6379> set k1 v1   # 往主机里写入一个值k1
OK

从机只能读:

127.0.0.1:6381> keys *
(empty array)
127.0.0.1:6381> keys *  # 从机自动同步主机的内容
1) "k1"
127.0.0.1:6381> get k1
"v1"
127.0.0.1:6381> set k2 v2
(error) READONLY You can't write against a read only replica.   # 系统提示从机不能写入内容

测试1:主机宕机恢复

测试1:主机宕机恢复后,从机是否能重新获取到主机写的数据

主机宕机之后,master_link_status:down主机状态为down,但

从机仍然为从节点(没有配置哨兵模式前,不会自动选举、投票出新的主节点),但是从机仍然能够读取之前同步的值

# 主节点:
127.0.0.1:6379> SHUTDOWN    # 模拟宕机情景
not connected> exit
[root@iZwz97gjh27h6busjtqk4jZ redis]# # 从节点;
127.0.0.1:6380> info replication
# Replication
role:slave
master_host:127.0.0.1
master_port:6379
master_link_status:down # 主节点链接状态为关闭
master_last_io_seconds_ago:-1
master_sync_in_progress:0
slave_repl_offset:3412
master_link_down_since_seconds:50
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1a4e6e6874602fdfaba2939073741176c486ec08
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:3412
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:3412
127.0.0.1:6380> get k1  # 成功读取到之前同步主节点的键的值
"v1"

主机重新连接后,从机还是能正常同步主机的数据(只不过在主机宕机的时候只能等待主机恢复才能进行数据的写操作)

# 主机:
[root@iZwz97gjh27h6busjtqk4jZ redis]# /usr/local/bin/redis/redis-server redis-conf/redis79.conf # 主机重新连接
[root@iZwz97gjh27h6busjtqk4jZ redis]# /usr/local/bin/redis/redis-cli -p 6379
127.0.0.1:6379> auth 123456
OK
127.0.0.1:6379> ping 
PONG
127.0.0.1:6379> set k2 v2   # 设置一个新的值
OK# 从机
127.0.0.1:6380> get k2  # 成功读取到新键的的值
"v2"

测试结果:主机宕机恢复后,从机仍然能读取到数据,但主机宕机期间从机不能获取主机新的数据

测试2:从机宕机恢复

测试2:从机宕机恢复后,从机是否能重新获取到主机写的数据

# 从节点:
127.0.0.1:6381> SHUTDOWN    # 从节点模拟宕机
not connected> exit
[root@iZwz97gjh27h6busjtqk4jZ redis]# # 主节点:
127.0.0.1:6379> info replication    # 主节点查看状态信息
# Replication
role:master
connected_slaves:1  # 当前只有一台从机连接
slave0:ip=127.0.0.1,port=6380,state=online,offset=1368,lag=0
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:1368
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:1368

情况一:如果是使用命令行(不是config set 到配置文件中的)来配置的主从,这个时候如果重启了,就会变回主机(默认配置文件没有修改,因此配置是临时的)!

情况二:修改了配置文件,重启从机还是能够读取到主机新设置的键的值

# 主机:
127.0.0.1:6379> set k3 v3   # 设置新的键(k3)的值
OK
127.0.0.1:6379> get k3
"v3"# 从机:
127.0.0.1:6381> auth 123456 # 鉴权
OK
127.0.0.1:6381> get k3  # 成功读取到主机新设置的k3的值
"v3"
127.0.0.1:6381> keys *
1) "k1"
2) "k3"
3) "k2"

测试结果:从机宕机恢复后,仍然能读取到主机的数据(重启配置文件即重新连接,并自动同步);在此期间,宕机的主机不能读取到主机新的数据。

复制原理

Slave 启动成功连接到一个 master 后会发送一个**==sync==**(同步)命令

Master 接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集的命令;在后台进程执行完毕之后,master将传送整个数据文集到 salve,并完成一个完全同步。

==全量复制==(一次同步):Slave服务在接收到数据库文件后,将其存盘并加载到内存中。

==增量复制==(继续同步):Master 继续将新的所有收集到的修改命令依次传给 salve,完成同步

测试3:链式主从复制

测试3:主节点与从节点呈链式分布(层层链路),即一台服务器既当从节点又当从节点

但是只要是重新连接master,一次完全同步(全量复制)将会被自动执行

【进阶篇】Redis深入理解与实践指南(十)之Redis高可用之主从复制模式

# 从机6381:
127.0.0.1:6381> slaveof 127.0.0.1 6380  # 更换主节点,即设置6381端口的服务器主节点为6380的服务器
OK
127.0.0.1:6381> info replication # 查看新的主从节点信息
# Replication
role:slave  # 角色为从机
master_host:127.0.0.1
master_port:6380    # 主机更换为了6380
master_link_status:up
master_last_io_seconds_ago:9
master_sync_in_progress:0
slave_repl_offset:7081
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7081
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1313
repl_backlog_histlen:5769# 主机:
127.0.0.1:6379> info replication
# Replication
role:master # 角色为主机
connected_slaves:1  # 一台已连接的从机
slave0:ip=127.0.0.1,port=6380,state=online,offset=7109,lag=1
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7109
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:7109# 从机6380:
127.0.0.1:6380> info replication
# Replication
role:slave  # 主角色仍然为从节点
master_host:127.0.0.1
master_port:6379
master_link_status:up
master_last_io_seconds_ago:2
master_sync_in_progress:0
slave_repl_offset:7347
slave_priority:100
slave_read_only:1
connected_slaves:1  # 但是有一个已连接的从节点
slave0:ip=127.0.0.1,port=6381,state=online,offset=7347,lag=1
master_replid:8bcb717135a5ac9ea44cc1e8a6af54413d12287a
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:7347
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:7347
# 主节点
127.0.0.1:6379> set k6 v6   # 设置值
OK# 从节点
127.0.0.1:6380> get k6  # 读取值
"v6"
127.0.0.1:6380> set k5 v5   # 不能进行数据的写入
(error) READONLY You can't write against a read only replica.

优点:采用分级同步,减轻了主节点的压力;这里的链式垂直拆分,与 LVS 与 HAProxy架构的思想类似。

缺点:二级从节点宕机后,后面的所有从节点都无法读取到数据;多重同步,会造成数据存储缓慢,因此不适合设置过长的同步链。因此,仅供测试使用。

因为6380服务器的 role 仍然是slave,因此还是不能进行数据的写操作,只能读取数据(即使6379主节点服务器宕机后,6380服务器还是从机,不能进行数据的写入)。这个时候也能完成主从复制,好像是减轻了主节点的压力,实际上也是依靠主节点进行数据的同步。

手动切换主从节点

这种情况下是用于原主节点宕机,当前业务数据无法写入的情况(没有配置哨兵模式)

如果没有主节点了,这个时候能不能选举一个主节点出来呢?手动实现(sentinel 自动选举)

如果主机断开了连接,我们可以使用slaveof no one让自己变成主机,其他节点就可以手动连接到最新的这个主节点!

127.0.0.1:6379> auth 123456
127.0.0.1:6379> slaveof no one  # 将从机切换为主机,单向的
OK
127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:24017e01ba7ddb7c86604bb455d322995d6209cf
master_replid2:27f3e03c4e0fbdc66a0814842dae024ed4c99deb
master_repl_offset:0
second_repl_offset:1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

这个时候如果原来的主节点修复并恢复了连接,当前的主节点依然是通过选举出来的主节点而不是原来的主节点!

总结

1、主机可以读写,从机只能读;

2、当两个服务器均为主节点时,一个主节点不能拿到另一个主节点的数据;

3、只要主机变成了某一个主机的从机,数据就会立即同步回来。

欢迎点赞关注评论,感谢观看ヾ(◍°∇°◍)ノ゙

转载自:https://juejin.cn/post/7133249458359238693
评论
请登录