LVS+Keepalived 实现高可用负载均衡集群

随着网站业务量的增长，网站的服务器

压力越来越大？需要负载均衡方案！商业的硬件如 F5 ，Array又太贵，你们又是创业型互联公司如何有效节约

成本，节省不必要的浪费？同时还需要实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？有！我们利用LVS+Keepalivd

基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

一．LVS+Keepalived 介绍

LVS

LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本 1998 年5 月由章文嵩博士成立，是中国国内最早出现的自

由软件项目之一。目前有三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR） Keepalvied

Keepalived 采用VRRP（Virtual Router Redundancy Protocal，虚拟路由冗余协议）热备份协议，以软件的形式实现Linux服务器的多机热备功能 主要用来

提供fAIlover（故障转移），和健康状态检查（Health Checking）功能，判断调度器（LoadBalance）主机

、Backup主机、RealServer主机的可用性，及时

隔离并替换为新的服务器，当故障主机恢复后将其重新加入集群。

Keepalvied 官网：http://www.keepalived.org

热备组:通过共用的虚拟ip地址向外提供服务，同时只能有一个主机向外提供服务，其他处于冗余状态，当主出现故障时，根据优先级决定替换顺序，VIP漂移

二. IP 信息列表：

名称 IP LVS-DR-Master 192.168.200.201 LVS-DR-BACKUP 192.168.200.202 LVS-DR-VIP 192.168.200.254 WEB1-Realserver 192.168.200.203 WEB2-Realserver 192.168.200.204

三. LVS-DR-Master/LVS-DR-BACKUP 安装 LVS和 Keepalvied软件包

yum -y install ipvsadm kernel-devel openssl-devel

注：一定要与当前的运行的内核一致，因为 /usr/src/kernels目录下可有多个内核。否则在编译 keepalived 时会出错，从而不能继续进行安装外，还会使keepalived 启动后功能失效

tar xf keepalived-1.2.2.tar.gz cd keepalived-1.2.2 ./configure–prefix=/ –with-kernel-dir=/usr/src/kernels/2.6.18-194.el5-i686 make && make install chkconfig –add keepalived chkconfig keepalived on chkconfig –list keepalived service keepalived start|stop #做成系统启动服务方便管理.

四. 配置 LVS实现负载均衡

1． LVS-DR-Master 配置

设置网卡IP地址 vim /etc/sysconfig/network-scripts/ifcfg-eth0 # Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]DEVICE=eth0 BOOTPROTO=none ONBOOT=yes HWADDR=00:0c:29:9e:34:af NETMASK=255.255.255.0iPadDR=192.168.200.201 TYPE=Ethernet service network restart

配置Keepalived

cd /etc/keepalived cp keepalived.conf keepalived.conf.bak vim keepalived.conf ———————————————————————————————- ! Configuration Fileforkeepalived global_defs { notification_email { crushlinux@163.com#设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警,需要开启本机的sendmail服务} notification_email_from root@example.com#设置邮件的发送地址 smtp_server 127.0.0.1 #设置smtp服务器地址 smtp_connect_timeout 30 #设置连接 smtp 服务器超时时间 router_id LVS_MASTER #运行 Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息 } vrrp_instance VI_1 { #vrrp实例定义部分 state MASTER #指定 Keepalived 的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器。备份服务器上将 MASTER 改为 BACKUP。 interface eth0 #指定 HA监测网络的接口 virtual_router_id 51虚拟路由标识，这个标识是一个数字，并且同一个 vrrp 实例使用唯一的标识，即同一个 vrrp_instance下，MASTER 和 BACKUP必须是一致的。（0–255） priority 100 #定义优先级，数字越大，优先级越高，在一个 vrrp_instance下，MASTER的优先级必须大于 BACKUP 的优先级。备份服务上将 100 改为 50 advert_int 1 #设定MASTER 与 BACKUP负载均衡器之间同步检查的时间间隔，单位是秒 authentication { #设定验证类型和密码 auth_type PASS #设置验证类型，主要有 PASS和 AH 两种 auth_pass 1111 #设置验证密码，在一个 vrrp_instance下，MASTER 与 BACKUP必须使用相同的密码才能正常通信。 } virtual_ipaddress { #设置虚拟 IP地址，可以设置多个虚拟IP地址，每行一个 192.168.200.254 } } #虚拟服务器定义部分 virtual_server 192.168.200.254 80 { #设置虚拟服务器，需要指定虚拟 ip 地址和服务端口，ip 与 端口之间用空格隔开。 delay_loop 6 #设置健康检查时间，单位是秒 lb_algo rr #设置负载调度算法，这里设置为 rr，即轮询算法，rr|wrr|lc|wlc|lblc|sh|dh lb_kind DR #设置 LVS实现负载均衡的机制，可以有 NAT、TUN 和 DR三个模式可选。 protocol TCP #指定转发协议类型，有 tcp和 udp 两种 real_server 192.168.200.203 80 { #配置服务节点 1，需要指定 real server 的真实IP地址和端口，ip 与端口之间用空格隔开。 weight 1 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的 权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源 TCP_CHECK { #realserve 的状态检测设置部分，单位是秒connect_timeout10 #10秒无响应超时 nb_get_retry 3 #重试次数 delay_before_retry 3 #重试间隔 connect_port 80 #测试连接的端口 } } real_server192.168.200.204 80 { weight 1 TCP_CHECK { connect_timeout 10nb_get_retry3 delay_before_retry 3 connect_port 80 } } }

Master配置

! Configuration File forkeepalived global_defs { notification_email { crushlinux@163.com } notification_email_from root@example.com smtp_server 127.0.0.1 smtp_connect_timeout 30router_id LVS_MASTER } vrrp_instance VI_1 { state MASTERinterface eth0 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111} virtual_ipaddress {192.168.200.254 } } virtual_server 192.168.200.254 80{ delay_loop6 lb_algo wrr lb_kind DR protocol TCP real_server 192.168.200.20380 { weight 1 TCP_CHECK { connect_timeout 10 nb_get_retry 3 delay_before_retry 3connect_port80 } } real_server 192.168.200.204 80 { weight 1TCP_CHECK { connect_timeout10 nb_get_retry 3 delay_before_retry 3 connect_port 80} } } service keepalived restart chkconfig keepalived on

2． LVS-DR-backup 配置

设置网卡IP地址vim /etc/sysconfig/network-scripts/ifcfg-eth0# Advanced Micro Devices [AMD] 79c970 [PCnet32 LANCE]DEVICE=eth0 BOOTPROTO=none ONBOOT=yes HWADDR=00:0c:29:b0:58:2e NETMASK=255.255.255.0 IPADDR=192.168.200.202 TYPE=Ethernet service network restart

配置Keepalived

cd /etc/keepalived cp keepalived.conf keepalived.conf.bak vim keepalived.conf ! Configuration Filefor keepalived global_defs { notification_email { crushlinux@163.com } notification_email_from root@example.com smtp_server 127.0.0.1 smtp_connect_timeout30 router_id LVS_MASTER } vrrp_instance VI_1 { state BACKUP interface eth0 virtual_router_id 51 priority 50 advert_int 1 authentication { auth_type PASS auth_pass1111 } virtual_ipaddress { 192.168.200.254 } } virtual_server 192.168.200.254 80 { delay_loop 6lb_algo wrr lb_kind DR protocol TCP real_server192.168.200.203 80 { weight 1 TCP_CHECK { connect_timeout 10 nb_get_retry 3delay_before_retry3 connect_port 80 } } real_server 192.168.200.204 80 { weight 1TCP_CHECK { connect_timeout10 nb_get_retry 3 delay_before_retry 3 connect_port 80} } } service keepalived restart chkconfig keepalived on

五. 配置Realserver

提供应用的 RealServer1 和 RealServer2 不需要安装任何IPVS软件，只需要设置在开机后自动运行以下脚本

在 RealServer1 上的设置

[root@web1 ~]# vim realserver.sh #!/bin/bash SNS_VIP=192.168.200.254 . /etc/rc.d/init.d/functions case “$1“ in start) ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP /sbin/route add -host $SNS_VIP dev lo:0 echo “1”>/proc/sys/net/ipv4/conf/lo/arp_ignoreecho “2” >/proc/sys/net/ipv4/conf/lo/arp_announce echo “1”>/proc/sys/net/ipv4/conf/all/arp_ignoreecho “2”>/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1echo “RealServer Start OK” ;; stop) ifconfig lo:0 down route del $SNS_VIP>/dev/null 2>&1echo “0” >/proc/sys/net/ipv4/conf/lo/arp_ignore echo “0”>/proc/sys/net/ipv4/conf/lo/arp_announceecho “0” >/proc/sys/net/ipv4/conf/all/arp_ignore echo “0”>/proc/sys/net/ipv4/conf/all/arp_announceecho “RealServer Stoped” ;; *) echo “Usage: $0 {start|stop}” exit 1 esac exit0 [root@web1 ~]# chmod +x realserver.sh [root@web1 ~]# ./realserver.sh start yum -y install httpd echo “realserver1”> /var/www/html/index.html //在 RealServer1 添加测试页 servcie httpd restart //重启 web服务器

在 RealServer2 上的设置

[root@web2 ~]# vim realserver.sh #!/bin/bash SNS_VIP=192.168.200.254 . /etc/rc.d/init.d/functions case “$1“ in start) ifconfig lo:0 $SNS_VIP netmask 255.255.255.255 broadcast $SNS_VIP/sbin/route add -host$SNS_VIP dev lo:0 echo “1” >/proc/sys/net/ipv4/conf/lo/arp_ignore echo “2”>/proc/sys/net/ipv4/conf/lo/arp_announceecho “1” >/proc/sys/net/ipv4/conf/all/arp_ignore echo “2”>/proc/sys/net/ipv4/conf/all/arp_announce sysctl -p >/dev/null 2>&1echo “RealServer Start OK”;; stop) ifconfig lo:0 down route del$SNS_VIP >/dev/null 2>&1 echo “0”>/proc/sys/net/ipv4/conf/lo/arp_ignoreecho “0” >/proc/sys/net/ipv4/conf/lo/arp_announce echo “0” >/proc/sys/net/ipv4/conf/all/arp_ignore echo “0” >/proc/sys/net/ipv4/conf/all/arp_announce echo “RealServer Stoped” ;; *) echo “Usage: $0{start|stop}” exit 1 esac exit 0 [root@web2 ~]# chmod +x realserver.sh [root@web2 ~]# ./realserver.sh start yum -y install httpd echo “realserver2”> /var/www/html/index.html //在 RealServer1 添加测试页 servcie httpd restart //重启 web服务器

五. 测试

启动 keepalived 服务

分别在主、备均衡服务器上启动 keepalived 服务，启动命令为：service keepalivedstart

tail -f /var/log/messages

确定 realserver1 和 realserver2 服务器的 httpd服务启动，页面能正常访问

打开浏览器，输入http://192.168.200.254将分别看到不同的页面。

查看测试

ipvsadm -L –n

测试 HA功能

断掉 LVS-Master 的 eth0 的网络连接或者关闭系统模拟故障发生。

在 LVS-Slave 中观察日志，大约应在 30 秒内 LVS-Slave 接管 LVS-Master 的资源启动 LVS

服务。主均衡服务器恢复正常后，必须能够从备份均衡服务器接管资源。 tail-f /var/log/messages //当 LVS-Master 发生故障后 Nov7 06:05:27www Keepalived_vrrp: VRRP_Instance(VI_1) Entering MASTER STATE Nov7 06:05:27www Keepalived_vrrp: VRRP_Instance(VI_1) setting protocol VIPs. Nov7 06:05:27 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254 Nov 7 06:05:32 www Keepalived_vrrp: VRRP_Instance(VI_1) Sending gratuitous ARPs on eth0 for 192.168.200.254 Nov 7 06:06:59 www avahi-daemon[3296]: Invalid legacy unicast query packet. Nov 7 06:06:59 www last message repeated 2 times Nov 7 06:07:00 www avahi-daemon[3296]: Received response from host192.168.200.1 with invalid source port 59083 on interface eth0.0 Nov 7 06:07:01www Keepalived_vrrp: VRRP_Instance(VI_1) Received higher prio advert Nov7 06:07:01www Keepalived_vrrp: VRRP_Instance(VI_1) Entering BACKUP STATE

1、 vip(virtual ip)。直接路由模式的vip必须跟服务器对外提供服务的ip地址在同一个网段，并且lvs 负载均衡器和其他所有提供相同功能的服务器都使用这个vip.

2、 vip被绑定在环回接口lo0:0上，其广播地址是其本身，子网掩码是255.255.255.255。这与标准的网络地址设置有很大的不同。采用这种可变长掩码方式把网段划分成只含一个主机地址的目的是避免ip地址冲突。

3、 echo “1”,echo “2” 这段的作用是抑制arp广播。如果不做arp抑制，将会有众多的机器向其他宣称：”嗨!我在这里呢!”，这样就乱套了。

抢占模式

非抢占模式 nopreempt