likes
comments
collection
share

MySQL高可用MHA配置与故障切换示例

作者站长头像
站长
· 阅读数 24

一、什么是MHA？

  • MHA (Master High Availability) 是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。
  • MHA的出现就是解决MySQL单点的问题。
  • MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。
  • MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。

二、MHA的组成

  • MHA Node (数据节点)

    • MHA Node运行在每台MySQL 服务器上。

  • MHA Manager (管理节点)

    • MHA Manager可以单独部署在一台独立的机器上，管理多个master-slave 集群:也可以部署在一台slave节点上。
    • MHA Manager会定时探测集群中的master 节点。当master出现故障时，它可以自动将最新数据的slave 提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。

三、MHA的特点

MySQL高可用MHA配置与故障切换示例

  • 自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
  • 使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
  • 目前MHA支持一主多从架构， 最少三台服务，即一主两从

三、MHA的工作流程

  • MHA由MHA Node组件（数据节点）与MHA Manager（管理节点）组成；

  • MHA Node安装在我们每一台MySQL服务器上，MHA Manager部署在一台独立的主机上；

  • MHA Manager主机负责定时探测集群中master节点（主节点服务器）的运行状态;

  • 如果master节点出现故障，MHA Manager会自动将拥有最新数据的slave节点（从节点服务器）提升权重为master，除了提升为master节点的所有slave节点都将重新对接，指向新的master节点，形成一个新的主从复制架构。

四、搭建MHA准备

4.1 搭建MHA思路

  • 所有节点服务器都需要先做主从复制，所有MySQL节点都要配置二进制日志和中继日志，做主从复制授权和MHA用户授权
  • 所有节点安装MHA Node组件，Manager节点还要再安装MHA Manager组件
  • 在Manager节点上准备故障切换脚本和manager服务配置文件
  • 在master节点上配置VIP ，再manager节点上使用MHA脚本测试SSH连接情况和主从复制连接情况
  • 使用masterha_manager脚本启动manager服务，检查状态
  • 模拟master故障切换
    • 主库失效
    • 备选主库称为主库
    • 原故障主库恢复重新加入到MHA成为从库

4.2 实验准备

节点服务器主机名IP地址安装工具及服务
MHA manager 服务器manager192.168.142.50MHA node 和 manager 组件
Master 服务器mysql1192.168.142.60MHA node 组件
Slave1 服务器mysql2192.168.142.70MHA node 组件
Slave2 服务器mysql3192.168.142.80MHA node 组件

五、MHA搭建示例

5.1 MHA中4台主机的主机名修改与时间同步

#主节点master服务器
hostnamectl set-hostname mysql1
su
# 修改主机名并切换
ntpdate ntp.aliyun.com      # 设置时间同步对接在线源

# 修改Slave1、Slave2两台从节点服务器的主机名并切换
Slave1：
hostnamectl set-hostname mysql2
su
ntpdate ntp.aliyun.com # 设置时间同步对接在线源

Slave2：
hostnamectl set-hostname mysql3
su
ntpdate ntp.aliyun.com # 设置时间同步对接在线源

# Manager服务器时间同步
hostnamectl set-hostname manager
su
ntpdate ntp.aliyun.com # 设置时间同步对接在线源

5.2 主从复制三台主机的配置

① 配置 MHA Master节点服务器（主数据库节点服务器）

主数据库节点服务器：192.168.142.60

# master节点主配置文件新增内容
vim /etc/my.cnf
[mysqld]
server-id = 1
log_bin = mysql-bin
log_slave_updates = true
binlog_format = mixed
relay-log = relay-log-bin     #考虑到后续的故障切换，增加Slave的中继日志参数
relay-log-index = slave-relay-bin.index  #中继日志索引文件

#上方配置完成后重启MySQL
systemctl restart mysqld

ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/
# 将上方两个可执行文件放入/usr/sbin目录下，该两条命令用于故障切换

MySQL高可用MHA配置与故障切换示例

② 配置Slave1、Slave2节点服务器（从数据库节点服务器）

# Slave1、Slave2节点服务器配置文件配置
vim /etc/my.cof

# Slave1服务器：
server-id = 2             # 需要进行区分，一主二从的三台服务器id需要不一致
log_bin = mysql-bin
log_slave_updates = true
binlog_format = mixed
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

#上方配置完成后重启MySQL
systemctl restart mysqld
#设置软链接
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

# Slave2服务器：
server-id = 3
log_bin = mysql-bin
log_slave_updates = true
binlog_format = mixed
relay-log = relay-log-bin
relay-log-index = slave-relay-bin.index

#上方配置完成后重启MySQL
systemctl restart mysqld
#设置软链接
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

MySQL高可用MHA配置与故障切换示例

MySQL高可用MHA配置与故障切换示例

5.3 主从复制

① 主从复制主机授权

主节点服务器、Slave1、Slave2两台从节点服务器共同配置项：

#主从复制的授权从192.168.142.0网段登录的主机
grant replication slave on *.* to 'myslave'@'192.168.142.%' identified by '123456';

#给mha做授权，从192.168.142.0网段上登录的主机
grant all privileges on *.* to 'mha'@'192.168.142.%' identified by 'abc123';

#防止从库通过主机名进行登录主库，造成无法登录，所以再添加主机名项授权
grant all privileges on *.* to 'mha'@'mysql1' identified by 'abc123';
grant all privileges on *.* to 'mha'@'mysql2' identified by 'abc123';
grant all privileges on *.* to 'mha'@'mysql3' identified by 'abc123';
flush privileges;

② 在 Master 节点查看二进制文件和同步点

show master status;    # 查看偏移量

MySQL高可用MHA配置与故障切换示例

③ 在 Slave1，Slave2进行同步主节点操作

change master to master_host='192.168.142.60',master_user='myslave',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=1905; 
# 在 Slave1、Slave2 节点执行同步操作
start slave;

#在 Slave1、Slave2 节点查看数据同步结果
show slave status\G		
#确保 IO 和 SQL 线程都是 Yes，代表同步正常。
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

#两个从库必须设置为只读模式
set global read_only=1;

④ 验证主从复制是否生效

主节点服务器添加表数据：

create database test;
use test;
create table test;
insert into test values(1,'zhangsan');
insert into test values(2,'lisi');

MySQL高可用MHA配置与故障切换示例

Slave1，Slave2查询是否有新数据：

MySQL高可用MHA配置与故障切换示例

MySQL高可用MHA配置与故障切换示例

5.4 MHA 搭建及故障切换模拟

① 安装 MHA 软件依赖环境

# 所有服务器上都安装 MHA 依赖的环境，首先安装 epel 源
# 该依赖环境包需要使用在线源安装，需要将本地仓库文件移至其他目录，同时将之前放在其他目录的镜像文件移回到/etc/yum.repos.d下
yum install epel-release --nogpgcheck -y

MySQL高可用MHA配置与故障切换示例

yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

② 安装node组件

  • 对于每个操作系统版本不一样，这里 CentOS7.4 必须选择 0.57 版本。
  • 在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。
  • 软件包版本：

    • node组件包（四台主机都需要安装）：mha4mysql-node-0.57.tar.gz

    • manager组件包（仅manager主机安装）：mha4mysql-manager-0.57.tar.gz

      cd /opt tar zxvf mha4mysql-node-0.57.tar.gz cd mha4mysql-node-0.57 perl Makefile.PL make && make install

      #node 组件安装后也会在/usr/local/bin 下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：

      save_binary_logs #保存和复制 master 的二进制日志 apply_diff_relay_logs #识别差异的中继日志事件并将其差异的事件应用于其他的 slave filter_mysqlbinlog #去除不必要的 ROLLBACK 事件（MHA 已不再使用这个工具） purge_relay_logs #清除中继日志（不会阻塞 SQL 线程）

③ 在 MHA manager 节点上安装 manager 组件

cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install

#manager 组件安装后在/usr/local/bin 下面会生成几个工具，主要包括以下几个：

masterha_check_ssh               #检查 MHA 的 SSH 配置状况
masterha_check_repl              #检查 MySQL 复制状况
masterha_manger                  #启动 manager的脚本
masterha_check_status            #检测当前 MHA 运行状态
masterha_master_monitor          #检测 master 是否宕机
masterha_master_switch           #控制故障转移（自动或者手动）
masterha_conf_host               #添加或删除配置的 server 信息
masterha_stop                    #关闭manager

④ 在所有服务器上配置无密码认证

1）在 manager 节点上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa 	#一路按回车键
#分别对三台主机进行导入
ssh-copy-id 192.168.142.60
ssh-copy-id 192.168.142.70
ssh-copy-id 192.168.142.80

MySQL高可用MHA配置与故障切换示例

MySQL高可用MHA配置与故障切换示例

2）在 mysql1 上配置到数据库节点 mysql2 和 mysql3 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.142.70
ssh-copy-id 192.168.142.80

3）在 mysql2 上配置到数据库节点 mysql1 和 mysql3 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.142.60
ssh-copy-id 192.168.142.80

4）在 mysql3 上配置到数据库节点 mysql1 和 mysql2 的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.142.60
ssh-copy-id 192.168.142.70

⑤ 配置Manager节点服务器

1）在 manager 节点上复制相关脚本到/usr/local/bin 目录
cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin

#拷贝后会有四个执行文件
master_ip_failover  		#自动切换时 VIP 管理的脚本
master_ip_online_change 	        #在线切换时 vip 的管理
power_manager 			#故障发生后关闭主机的脚本
send_report 			#因故障切换后发送报警的脚本

MySQL高可用MHA配置与故障切换示例

复制上述的自动切换时 VIP 管理的脚本到 /usr/local/bin 目录，这里使用master_ip_failover脚本来管理 VIP 和故障切换
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

MySQL高可用MHA配置与故障切换示例

3）修改内容如下：（删除原有内容，直接复制并修改vip相关参数。可在拷贝前输入 :set paste 解决vim粘贴乱序问题）
vim /usr/local/bin/master_ip_failover   
#上方该脚本是使用perl语言编写的脚本，我们将脚本内所有内容删除进行重新编写

# 编写内容如下，复制后在vim编辑器中输入:set paste
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
#############################添加内容部分#########################################
my $vip = '192.168.142.200';       #虚拟VIP地址设定
my $brdc = '192.168.142.255';
my $ifdev = 'ens33';
my $key = '1';
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";
my $exit_code = 0;

#下方注释项为通过IP命令生成网卡和IP地址，并通过IP命令删除对应IP地址，与上方内容选择其中一种即可
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
##################################################################################
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {

my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {

my $exit_code = 10;
eval {
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
&usage();
exit 1;
}
}
sub start_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
## A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

#上方配置结束后，保存并退出

4）创建 MHA 软件目录并拷贝配置文件，这里使用app1.cnf配置文件来管理 mysql 节点服务器
mkdir /etc/masterha     #准备一个masterha目录

cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
# 将manager服务的配置文件zpp1.cnf复制到准备好的文件目录中

vim /etc/masterha/app1.cnf    #删除原有内容，直接复制并修改节点服务器的IP地址
[server default]
manager_log=/var/log/masterha/app1/manager.log     # manager日志
manager_workdir=/var/log/masterha/app1             # manager工作目录
master_binlog_dir=/usr/local/mysql/data            # master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便MHA能找到
master_ip_failover_script=/usr/local/bin/master_ip_failover #设置自动failover时候的切换脚本，也就是上面的那个脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change  #设置手动切换时候的切换脚本
user=mha                  #设置mysql用户
password=abc123           #设置mysql用户的密码，这个密码是前文中创建监控用户的那个密码
ping_interval=1           #设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp       #设置远端mysql在发生切换时binlog的保存位置
repl_password=123456      #设置复制用户的密码
repl_user=myslave         #设置复制用户的用户
report_script=/usr/local/send_report　　　　　#设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.142.70 -s 192.168.142.80                #指定检查的从服务器IP地址
shutdown_script=""        #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用）
ssh_user=root             #设置ssh的登录用户名


[server1]                 #主节点主机地址及端口号
hostname=192.168.142.60
port=3306

[server2]                 #从节点主机1地址及端口号
candidate_master=1        #将从节点服务器1作为候选master
check_repl_delay=0
hostname=192.168.142.70
port=3306

[server3]                 #从节点主机2地址及端口号
hostname=192.168.142.80
port=3306

⑥ 开启虚拟IP并测试

#第一次配置需要在 Master 节点上手动
ifconfig ens33:1 192.168.142.200/24

MySQL高可用MHA配置与故障切换示例

⑦ 测试ssh无密码认证

在 manager 节点上测试 ssh 无密码认证，如果正常最后会输出 successfully，如下所示:

masterha_check_status --conf=/etc/masterha/app1.cnf   #测试命令
Thu Nov 10 18:49:08 2022 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Thu Nov 10 18:49:08 2022 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Thu Nov 10 18:49:08 2022 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Thu Nov 10 18:49:08 2022 - [info] Starting SSH connection tests..
Thu Nov 10 18:49:09 2022 - [debug]
Thu Nov 10 18:49:08 2022 - [debug]  Connecting via SSH from root@192.168.142.60(192.168.142.60:22) to root@192.168.142.70(192.168.142.70:22)..
Thu Nov 10 18:49:08 2022 - [debug]   ok.
Thu Nov 10 18:49:08 2022 - [debug]  Connecting via SSH from root@192.168.142.60(192.168.142.60:22) to root@192.168.142.80(192.168.142.80:22)..
Thu Nov 10 18:49:08 2022 - [debug]   ok.
Thu Nov 10 18:49:09 2022 - [debug]
Thu Nov 10 18:49:08 2022 - [debug]  Connecting via SSH from root@192.168.142.70(192.168.142.70:22) to root@192.168.142.60(192.168.142.60:22)..
Thu Nov 10 18:49:08 2022 - [debug]   ok.
Thu Nov 10 18:49:08 2022 - [debug]  Connecting via SSH from root@192.168.142.70(192.168.142.70:22) to root@192.168.142.80(192.168.142.80:22)..
Thu Nov 10 18:49:09 2022 - [debug]   ok.
Thu Nov 10 18:49:10 2022 - [debug]
Thu Nov 10 18:49:09 2022 - [debug]  Connecting via SSH from root@192.168.142.80(192.168.142.80:22) to root@192.168.142.60(192.168.142.60:22)..
Thu Nov 10 18:49:09 2022 - [debug]   ok.
Thu Nov 10 18:49:09 2022 - [debug]  Connecting via SSH from root@192.168.142.80(192.168.142.80:22) to root@192.168.142.70(192.168.142.70:22)..
Thu Nov 10 18:49:09 2022 - [debug]   ok.
Thu Nov 10 18:49:10 2022 - [info] All SSH connection tests passed successfully.

MySQL高可用MHA配置与故障切换示例

⑧ 测试主从连接情况

在 manager 节点上测试 mysql 主从连接情况，最后出现 MySQL Replication Health is OK 字样说明正常。如下所示:

Checking the Status of the script.. OK
Thu Nov 10 18:43:50 2022 - [info]  OK.
Thu Nov 10 18:43:50 2022 - [warning] shutdown_script is not defined.
Thu Nov 10 18:43:50 2022 - [info] Got exit code 0 (Not master dead).

MySQL Replication Health is OK.

MySQL高可用MHA配置与故障切换示例

⑨ 在 manager 节点上启动 MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
#以上命令参数如下
--conf=/etc/masterha/app1.cnf #指定配置文件位置  
--remove_dead_master_conf     #该参数代表当发生主从切换后，老的主库的 ip 将会从配置文件中移除。
--manger_log                  #日志存放位置。
--ignore_last_failover
#在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在 app1.failover.complete 日志文件中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换， 除非在第一次切换后删除该文件，为了方便，这里设置为--ignore_last_failover。
& 即使用&后台运行程序：结果会输出到终端；使用Ctrl+C发送SIGINT信号，程序免疫；关闭session发送SIGHUP信号，程序关闭。
#使用nohup运行程序：结果默认会输出到nohup.out；使用Ctrl+C发送SIGINT信号，程序关闭；关闭session发送SIGHUP信号，程序免疫。
#使用nohup和&配合来启动程序nohup ./test &：同时免疫SIGINT和SIGHUP信号。

#若要关闭 manager 服务，可以使用如下命令。
masterha_stop --conf=/etc/masterha/app1.cnf

⑩ 查看 MHA 状态

masterha_check_status --conf=/etc/masterha/app1.cnf
#查看当前mater状态可以查看VIP所在位置，即当前为主节点的主机
cat /var/log/masterha/app1/manager.log | grep "current master"
#该命令也同样可以过滤master节点的效果

MySQL高可用MHA配置与故障切换示例

MySQL高可用MHA配置与故障切换示例

⑪ 故障模拟

#在 manager 节点上监控观察日志记录
tail -f /var/log/masterha/app1/manager.log

MySQL高可用MHA配置与故障切换示例

#在 Master 节点 Mysql1 上停止mysql服务
systemctl stop mysqld
pkill -9 mysql

MySQL高可用MHA配置与故障切换示例

#正常自动切换一次后，MHA 进程会退出。HMA 会自动修改 app1.cnf 文件内容，会将宕机的 mysql1 节点删除。查看 mysql2 是否接管 VIP

MySQL高可用MHA配置与故障切换示例

MySQL高可用MHA配置与故障切换示例

  • 查看manager节点服务器上的appl.cnf文件内容

MySQL高可用MHA配置与故障切换示例

5.5 故障切换备选主库的算法

  1. 一般判断从库的是从（position/GTID）判断优劣，数据有差异，最接近于master的slave，成为备选主。
  2. 数据一致的情况下，按照配置文件顺序，选择备选主库。
  3. 设定有权重（candidate_master=1），按照权重强制指定备选主。
    • 默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。
    • 如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。