Keeplived 高可用

Keepalived 高可用

keepalived

https://www.keepalived.org/

解决单点故障
故障自动转移
实现高可用机制
基于VRRP协议，虚拟路由冗余协议，解决内网单机故障的协议，构建多个路由的Master、backup，虚拟IP地址。

keepalived双机主备

@图1 nginx 双击主备

安装

去官网(https://www.keepalived.org/)下载源代码编译安装。

./configure --prefix=/usr/local/keepalived --sysconf=/etc
执行make编译。
执行sudo make install 完成安装。

把keepalived安装为服务，在Ubuntu中，编译之后会默认安装为系统服务

[Unit]
Description=LVS and VRRP High Availability Monitor
After=network-online.target syslog.target 
Wants=network-online.target 

[Service]
Type=forking
PIDFile=/run/keepalived.pid
KillMode=process
EnvironmentFile=-/etc/sysconfig/keepalived
ExecStart=/usr/local/keepalived/sbin/keepalived $KEEPALIVED_OPTIONS
ExecReload=/bin/kill -HUP $MAINPID

[Install]
WantedBy=multi-user.target

配置

首先是配置主节点

! Configuration File for keepalived

global_defs {
#配置需要通知的邮件信息
   #notification_email {
     #[email protected]
     #[email protected]
     #[email protected]
   #}
   #notification_email_from [email protected]
   #smtp_server 192.168.200.1
   #smtp_connect_timeout 30
   #vrrp_skip_check_adv_addr
   #vrrp_strict
   #vrrp_garp_interval 0
   #vrrp_gna_interval 0
#路由id: 当前安装keepalived节点主机的标识符,全局唯一
   router_id keep_server_1
}

#计算机节点
vrrp_instance VI_1 {
    #表示的状态，如果是主节点就是MASTER，如果是备用节点就是BACKUP
    state MASTER
    #绑定的网卡，ip address 查看网卡的名字
    interface ens33
    #保证主备节点一致
    virtual_router_id 51
    #优先级/权重，用于MASTER节点不可用之后，重新选择MASTER节点，优先级高的可以成为MASTER
    priority 100
    #主备之间的心跳间隔，默认1s
    advert_int 1
    #认证授权的密码，防止非法节点的进入
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    #配置的虚拟ip地址
    virtual_ipaddress {
        #默认的掩码是32位，这里最好指定掩码和绑定的接口，否则通过访问虚拟ip可能访问不到服务
        192.168.2.23/24 dev ens33 label ens33:1
    }
}

配置完成后用sudo systemctl start keepalived.service启动这个服务。我们可以用**ip address**查看keepalived生成的虚拟ip地址。 Alt text

备用节点配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24


global_defs {
#路由id: 当前安装keepalived节点主机的标识符,全局唯一
   router_id keep_server_2
}

#计算机节点
vrrp_instance VI_1 {
    #设置state为BACKUP
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
#
    virtual_ipaddress {
        #这里和主节点是一致的，主备一致的情况下，这个ip是在主节点所在的机器上的
        #主节点宕机后，备用节点上升为主节点，这个ip会浮动到这个备用节点上面
        192.168.2.23/24 dev ens33 label ens33:1
    }
}

上述的配置是属于抢占式的，master节点宕机后，backup节点接管成为新的master，master恢复后，又会抢占backup节点，重新成为master节点，这样就会有一次主备切换，我们可以把它们配置为非抢占式的。非抢占式需要将两个节点都配置为**BACKUP**，设置不同的优先级，优先级高的设置nopreempt解决异常恢复的时候再次抢占的问题。

keepalived自动重启nginx，实现nginx高可用

定时检测nginx，如果nginx不可用，尝试重启nginx，否则关闭keepalived，实现ip浮动到备用节点上面。

编写定时检测nginx是否可用的脚本如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
#判断nginx是否宕机
if [ $A -eq 0 ];then
    #尝试重启nginx
    /usr/sbin/nginx
    sleep 3
    #等待3秒后，重新检测，如果还没有启动成功，则停止keepalived，使其自动切换备用节点
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
        killall keepalived
    fi
fi

然后需要在**keepalived**的配置文件中配置vrrp_script

1
2
3
4
5
6
7
8


vrrp_script check_nginx_alive{
    script "/etc/keepalived/check_nginx.sh"
    #每隔两秒运行上面的脚本
    interval 2 
    #脚本运行成功，则升级权重+10
    #如果是负的值，则表示如果运行失败，降权-10
    weight 10
}

在vrrp_instance中新增监控脚本

1
2
3


track_script {
    check_nginx_alive   # 追踪 nginx 脚本
}

keepalived双主热备

双主热备需要配置两个虚拟ip，互为主备，通过DNS轮训的方式，解析到不同的主机。 Alt text 互为主备机器1的配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44


global_defs {
   router_id keep_server_1
}

vrrp_script check_nginx_alive{
    script "/etc/keepalived/check_nginx.sh"
    interval 2 
    weight 10
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    track_script {
        check_nginx_alive
    }
    virtual_ipaddress {
        192.168.2.30/24 dev ens33 label ens33:1
    }
}

vrrp_instance VI_2 {
    state BACKUP
    interface ens33
    virtual_router_id 52
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }

    virtual_ipaddress {
        192.168.2.31/24 dev ens33 label ens33:1
    }
}

互为主备机器2配置

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34


global_defs {
   router_id keep_server_2
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 80
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.2.30/24 dev ens33 label ens33:1
    }
}

vrrp_instance VI_2 {
    state MASTER
    interface ens33
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.2.31/24 dev ens33 label ens33:1
    }
}

Keepalived + LVS

需要在Keepalived的配置文件/etc/keepalived/keepalived.conf中配置virtual_server

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45


#配置集群地址访问的IP和端口
virtual_server 192.168.2.100 80 {
    #健康检查的时间
    delay_loop 6
    #配置负载均衡的算法，默认的是轮询
    lb_algo rr
    #LVS模式，这里应该使用DR模式 NAT|DR|TUN
    lb_kind DR
    #设置会话持久化的时间
    persistence_timeout 5
    #协议 -t
    protocol TCP
    #设置真实服务器
    real_server 192.168.2.25 80 {
        #轮询的默认的权重
        weight 1
        #设置健康检查
        TCP_CHECK {
            #检查80端口
            connect_port 80
            #超时时间 2s
            connect_timeout 2
            #重试次数
            nv_get_retry 2
            #间隔时间
            deley_before_retry 3
        }

    }

    real_server 192.168.2.26 80 {
        weight 1
        TCP_CHECK {
            #检查80端口
            connect_port 80
            #超时时间 2s
            connect_timeout 2
            #重试次数
            nv_get_retry 2
            #间隔时间
            deley_before_retry 3
        }
    }
}