***** Keepalived+lvs *****
集群的高可用与负载均衡：
1.资料简介
LVS 和 keepalived 介绍：
● LVS：Linux Virtual Server 是 Linux 虚拟服务器，可以把多台服务器虚拟为一个虚拟
IP ，同时实现各种负载均衡算法
● Keepalived：keepalived 可以实现服务的高可用或热备，用来防止单点故障的问题；
而 Keepalived 的核心 VRRP 协议，VRRP 协议主要实现了在路由器或三层交换机处的冗
余；Keepalived 就是使用 VRRP 协议来实现高可用的。 Keepalived 是基于 LVS ，并
与 LVS 高度融合的，监控 LVS 下所有真实服务器健康状态，并通过检查健康状态动态调
整 LVS 的复杂均衡转发权重和规则。同时 keepalived 具备热备功能。
2.方案设计原理
1. keepalived 的设计目标是构建高可用的 LVS 负载均衡群集，可以调用 ipvsadm 工具来
创建虚拟服务器，管理服务器池，而不仅仅用来做双机热备。
使用 keepalived 构建 LVS 群集更加简便易用，主要优势体现在：
对 LVS 负载调度器实现热备切换，提高可用性；
对服务器池中的节点进行健康检查，自动移除失效节点，恢复后再重新加入。
2. 在基于 LVS+Keepalived 实现的 LVS 群集结构中，至少包括两台热备的负载调度器，
两台以上的节点服务器，本例将以 DR 模式 的 LVS 群集为基础，增加一台从负载调度器，
使用 Keepalived 来实现主、从调度器的热备，从而构建建有负载均衡、高可用两种能力的
LVS 网站群集 平台。
3. 通过 LVS+Keepalived 构建的 LVS 集群，LVS 负载均衡用户请求到后端 tomcat 服务
器，Keepalived 的作用是 检测 web 服务器的状态，如果有一台 web 服务器死机，或工
作出现故障，Keepalived 将检测到，并将有故障的 web 服务器从系统中剔除，当 web 服
务器工作正常后 Keepalived 自动将 web 服务器加入到服务器群中，这些工作全部自动完
成，不需要人工干涉，需要人工做的只是修复故障的 web 服 务器。
4. LVS+DR 模式中，只支持 IP 的转发，不支持端口转发，也就是说在 keepalived.conf 的
virtual_server 和 real_server 的配置节点中端口必须一样。
实验结构总览：
本次实验基于 DR 负载均衡模式，设置了一个 VIP（Virtual IP）为 172.25.7.100，用户只需
要访问这个 IP 地址即可获得网页服务。其中，负载均衡主机为 172.25.7.1，备机为
172.25.7.4。Web 服务器 A 为 172.25.7.2，Web 服务器 B 为 172.25.7.3。 服务器 IP 分配:
服务器: ip 地址
Load Balancer: 172.25.7.1
Backup: 172.25.7.4
webA Server 1: 172.25.7.2
webB Server 2: 172.25.7.3
Vip 172.25.7.100
环境配置：
四台虚拟机，两台主备机为 1G 内存，两台后端服务器 512M 内存。
关闭 iptables 和 selinux，开启 web 服务器的 http 服务，
3.主备机上的 keepalivd 软件包安装与配置：
# yum install ipvsadm kernel-devel openssl-devel gcc make -y
# tar zxf keepalived-1.3.5.tar.gz
# cd keepalived-1.3.5
# ./configure --prefix=/usr/local/keepalived --with-init=SYSV
# make && make install
# ln -s /usr/local/keepalived/sbin/keepalived /sbin/
# ln -s /usr/local/keepalived/etc/keepalived/ /etc/
# ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# ln -s /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
# chmod +x /usr/local/keepalived/etc/rc.d/init.d/keepalived
编辑 keepalived 配置文件：
# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost #接收警报的 email 地址,可以添加多个
}
notification_email_from keepalived@server1 #设置邮件的发送地址，备机用
server4
smtp_server 172.25.7.1 #设置 smtp server 地址，备机用它的 ip
smtp_connect_timeout 30 #设置连接 smtp 服务器超时时间
router_id LVS_DEVEL #load balancer 的标识 ID,用于 email 警报
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER #备机改为 BACKUP,此状态是由 priority 的值来决定的,当前
priority 的值小于备机的值,那么将会失去 MASTER 状态
interface eth0 #HA 监测网络接口
virtual_router_id 70 #主、备机的 virtual_router_id 必须相同
priority 100 #主机的优先级,备份机改为 50
advert_int 1 #主备之间的通告间隔秒数
authentication { #主备切换时的验证
auth_type PASS #设置验证类型,主要有 PASS 和 AH 两种
auth_pass 1111 #设置验证密码,在一个 vrrp_instance 下,MASTER
与 BACKUP 必须使用相同的密码才能正常通信
}
virtual_ipaddress { #HA 虚拟 ip,无人使用的 ip 地址，可加多个，每行一个
172.25.7.100
}
}
virtual_server 172.25.7.100 80 { #定义虚拟服务器
delay_loop 6 # 设置健康检查时间，单位是秒 查询 realserver 状态
lb_algo rr #lvs 调度算法,这里使用轮叫
lb_kind DR #设置 LVS 实现负载的机制，有 NAT、TUN、DR 三个模式
# persistence_timeout 50 #会话保持时间,单位是秒,这个选项对于动态网页是非常
有用的,为集群系统中 session 共享提供了一个很好的解决方案。有了这个会话保持功能, 用户的请求会被一直分发到某个服务节点,直到超过这个会话保持时间。需要注意的是,这个
会话保持时间,是最大无响应超时时间,也就是说用户在操作动态页面时,如果在 50 秒内没
有执行任何操作,那么接下来的操作会被分发到另外节点,但是如果一直在操作动态页面,则
不受 50 秒的时间限制。
protocol TCP #指定转发协议类型检查 realserver 状态,有 tcp 和 udp 两种，
real_server 172.25.7.2 80 { #配置服务节点
weight 1 #配置服务节点的权值,数字越大权值越高,设置权值的大小
可以为不同性能的服务器分配不同的负载,可以对性能高的服务器设置较高的权值,而对性
能较低的服务器设置相对较低的权值,这样就合理的利用和分配了系统资源
TCP_CHECK { #realserve 的状态检测设置部分,单位是秒
connect_timeout 3 #3 秒无响应超时
nb_get_retry 3 #故障重试秒数
delay_before_retry 3 #重试延迟
}
}
real_server 172.25.7.3 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
注：备机的 keepalived 配置文件只改动红色字体部分!
配置备机服务器：
从负载服务器与主负载服务器大致相同，只是在 keepalived 的配置文件中需要改以下两
处：
（1）将 state 由 MASTER 改为 BACKUP
（2）将 priority 由 100 改为 50
# /etc/init.d/keepalived start 开启 keepalived
# chkconfig keepalived on 开机自启动
# iptables -F 启动时关闭并刷新防火墙配置(当前 keepalived 版本需要刷新)
查看系统日志
因为在启动 keepalived 是使用了选项 –D , 这将详细的打印日志消息
# tail -f /var/log/messages
Web 服务器配置：
分别在 realserver 上执行以下命令：
# ip addr add 172.25.7.100/32 dev eth0 ##对 vip 进行绑定
写一个 http 测试页面以便访问时辨别两个服务器
# echo '<h1>server3-www.westos.org</h1>' > /var/www/html/index.html 在 server3 上
# echo 'server2' > /var/www/html/index.html 在 server2 上
# service httpd start 开启 http 服务
4.验证测试：
###在主备机上
# ip addr 查看虚拟 ip 添加
在客户端访问虚拟 IP 172.25.7.100，看是否可以访问。每次刷新，应该会换一个 real server。
访问数次后，通过 ipvsadm 观察 lvs 状态。
# ipvsadm -ln 查看 lvs 连接
用外部服务器访问：
# arp -an |grep 100 ##查看哪个主机正在服务
1. 高可用测试:停止主机上的 keepalived 服务,看备机是否接管。keepalived 当主机重
启时立刻接管回来。
2. 负载均衡测试:访问 172.25.7.100,看到页面在两个 web 上切换表示成功!你
也可以通过 ipvsadm -Lnc 查看详细连接情况!
3. 故障切换测试:任意关闭 realserver 上的 httpd 服务,Keepalived 监控模块是否能
及时发现,然后屏蔽故障节点,同时将服务转移到正常节点来执行。
当 server2 的 httpd 停止时，Keepalived 只检测到 server3
当 server2 和 3 的 httpd 都停止时转移到本机上。
5.故障分析：
1).当访问 172.25.7.100 访问不到时，先查看日志,看启动时有无错误，有时重启或刷
新时，防火墙限制了访问。
2).在主机上查看 lvs 连接，当访问 vip 时连接如果增加了，当访问不到，可
能是 realserver 端没有加 vip,也可能 lvs 不是 DR 模式。
在主备机上给 keepalived 新增加 ftp 服务：
给配置文件后追加 21 端口服务：
# vim /etc/keepalived/keepalived.conf
virtual_server 172.25.7.100 21 {
delay_loop 6
lb_algo rr
lb_kind DR
# persistence_timeout 50
protocol TCP
real_server 172.25.7.2 21 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 172.25.7.3 21 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
后端服务器安装 ftp 服务并启动服务：
# service vsftpd start
查看 lvs 连接：不使用会话保持
测试：通过 lftp 不能正常访问
当启动会话时：
测试：能够正常使用 lftp 访问 172.25.7.100 但使用 lftp 不轮询 |
楼主
标题置顶
标题高亮
