安装keepalived+nginx
操作系统为CentOS7,两台lvs,两台web服务器
ip服务备注192.168.255.130lvs+keepalivedlb01192.168.255.140lvs+keepalivedlb02192.168.255.111nginxweb01192.168.255.112nginxweb02192.168.255.200
虚拟ip
访问流程图如下：
从上图可以看出，用户访问虚拟ip 192.168.255.200,即使Master节点故障，Slave节点也可以提供转发服务
Master机器负责将用户的请求转发到后端web节点，可以设置算法指定转发方式，通过配置keepalived保证了转发机器的高可用性
组件的安装
两台lb节点都需要安装配置keepalived与ipvsadm
keepavlied保证故障切换
ipvsadm管理负载均衡数据
安装ipvsadm
yum install -y ipvsadm安装后就可以配置lvs集群，首先在Master节点绑定虚拟ip 192.168.255.200
ifconfig ens33:0 192.168.255.200 netmask 255.255.255.255 broadcast 192.168.255.200 up此处在ens33设备上绑定了一个虚拟设备ens:33，同时设置了一个虚拟IP是192.168.255.200，也就是上面我们规划的IP地址，然后指定广播地址也为192.168.255.200，需要特别注意的是，这里的子网掩码为255.255.255.255
然后给设备ens:33指定一条路由，执行如下指令：
route add -net 0.0.0.0 gw 192.168.255.2
route del -net 0.0.0.0 gw 192.168.255.200
route del -net 192.168.255.200 netmask 255.255.255.0 gw 192.168.255.200 dev ens33:0
ip -f inet addr add 192.168.255.200/32 dev ens33:0
ip -f inet addr delete 192.168.255.200/32 dev ens33:0启动系统数据转发功能，将系统当作路由器使用
echo "1" >>/proc/sys/net/ipv4/ip_forward参数1表示开启转发，0表示禁止转发，NAT模式下，必须开启，DR模式下非必须
载入sysctl配置文件
sysctl -p配置ipvs
ipvsadm -C
ipvsadm -A -t 192.168.255.200:80 -s wrr
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 1
ipvsadmipvsadm -C 表示清除LB内核虚拟服务器所有记录
ipvsadm -A 表示增加新的虚拟ip记录，虚拟ip为192.168.255.200
ipvsadm -a 表示在虚拟ip的基础上添加真实ip，指定lvs的工作方式为路由模式
重启LVS服务
ipvsadm状态如下
安装 keepalived
yum install -y keepalived配置keepalived
vim /etc/keepalived/keepalived.conf配置解释：
! Configuration File for keepalived
global_defs {
notification_email {
acassen@firewall.loc#设置报警邮件地址，可以设置多个，每行一个。
failover@firewall.loc#需开启本机的sendmail服务
sysadmin@firewall.loc
}
notification_email_from a.c@firewall.loc #设置邮件的发送地址
smtp_server 127.0.0.1 #设置smtp server地址
smtp_connect_timeout 30#设置连接smtp server的超时时间
router_id LVS_DEVEL#表示运行keepalived服务器的一个标识。发邮件时显示在邮件主题的信息
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_instance VI_1 {
state MASTER#指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
interface ens33#指定HA监测网络的接口
virtual_router_id 51 #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
priority 100 #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
advert_int 1#设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication { #设置验证类型和密码
auth_type PASS#设置验证类型，主要有PASS和AH两种
auth_pass 1111#设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress {#设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
192.168.255.200
}
}
virtual_server 192.168.255.200 80 {#设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开
delay_loop 6 #设置运行情况检查时间，单位是秒
lb_algo rr#设置负载调度算法，这里设置为rr，即轮询算法
lb_kind NAT#设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选
persistence_timeout 50#会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话的保持时间。需要注意的是，这个会话保持时间是最大无响应超时时间，也就是说，用户在操作动态页面时，如果50秒内没有执行任何操作。那么接下来的操作会被分发到另外的节点，但是如果用户一直在操作动态页面，则不受50秒的时间限制
protocol TCP指定转发协议类型，有TCP和UDP两种
real_server 192.168.255.111 80 {#配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开
weight 1#配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器，分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
SSL_GET {
url {
path /
digest ff20ad2481f97b1754ef3e12ecd3a9cc
}
url {
path /mrtg/
digest 9b3a0c85a887a256d6939da88aabd8cd
}
connect_timeout 3#表示3秒无响应超时
nb_get_retry 3#表示重试次数
delay_before_retry 3#表示重试间隔
}
}
real_server 192.168.255.112 80 {#配置服务节点1，需要指定real server的真实IP地址和端口，IP与端口之间用空格隔开
weight 1#配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值大小可以为不同性能的服务器，分配不同的负载，可以为性能高的服务器设置较高的权值，而为性能较低的服务器设置相对较低的权值，这样才能合理地利用和分配系统资源
SSL_GET {
url {
path /
digest ff20ad2481f97b1754ef3e12ecd3a9cc
}
url {
path /mrtg/
digest 9b3a0c85a887a256d6939da88aabd8cd
}
connect_timeout 3#表示3秒无响应超时
nb_get_retry 3#表示重试次数
delay_before_retry 3#表示重试间隔
}
}
}
配置实例如下
! Configuration File for keepalived
global_defs {
router_id LVS_DEVEL
}
vrrp_script check_ng {
script "/root/check_keepalived.sh"
interval 2
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.255.200
}
track_script {
check_ng
}
}
virtual_server 192.168.255.200 80 {
delay_loop 6
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
real_server 192.168.255.111 80 {
weight 1
SSL_GET {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.255.112 80 {
weight 1
SSL_GET {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
配置脚本/root/check_keepalived.sh
#!/bin/bash
if [ `ps -C keepalived --no-header | wc -l ` -lt 3 ] ;then
pkill keepalived
echo `date '+%Y-%m-%d %T'` "已kill keepalived" >> /root/keepalived.log
fi
exit 0为防止中文出现字符集问题，需要在vim设置
set fileencodings=utf-8,gbk,ucs-bom,cp936使用dos2unix转换windows与linux系统文件中的差异
yum install -y dos2unix
dos2unix keepalived.confkeepalived.conf配置文件需要保持格式，即将参数与大括号({)保持一个空格
对于Slave节点，只需要将state设置为BACKUP,将priority改为50
web服务器配置
安装nginx
yum install -y nginx net-tools注意，为区别web01,web02,在不同的页面中返回数据不同
分别在web01,web02输入不同的内容
web01
echo 1 > /usr/share/nginx/html/index.htmlweb02
echo 2 > /usr/share/nginx/html/index.html配置lo网口
配置网络，执行web.sh
#!/bin/bash
#description: Config realserver
VIP=192.168.255.200
/etc/rc.d/init.d/functions
case "$1" in
start)
/sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
;;
stop)
/sbin/ifconfig lo:0 down
/sbin/route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped"
;;
*)
echo "Usage: $0 {start|stop}"
exit 1
esac
exit 0执行脚本
sh web.sh start查看web01的lo网卡，已经包含了192.168.255.200这个ip
启动keepalived
service keepalived start查看lvs状态
ipvsadm -L测试高可用
删除lb01的虚拟ip
ip addr del 192.168.255.200/24 dev ens33:0添加lb02的虚拟ip
ip addr add 192.168.255.200/24 dev ens33:0向内网广播
arping -I ens33 -c 1 -U 192.168.255.200lvs节点健康检查
脚本1有输出信息，可以在测试环境下运行，脚本2简洁有力，没有输出信息，调试完成后，可用于生产环境
脚本1可以写入定时任务，脚本2做为后台进程运行
脚本1
#!/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
ip01='192.168.255.111'
ip02='192.168.255.112'
vip='192.168.255.200'
port=80
arping -I ens33 -c 1 -U ${vip}
web01() {
curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" $ip01
}
web02() {
curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" $ip02
}
ipvs_web01=$(ipvsadm -Ln | grep $ip01 | wc -l)
ipvs_web02=$(ipvsadm -Ln | grep $ip02 | wc -l)
checknum=1
checkloop=4
if [ $(web01) -eq 200 ]; then
if [ $ipvs_web01 -eq 0 ]; then
ipvsadm -a -t $vip:$port -r $ip01:$port -g -w 1
if [ $? -eq 0 ]; then
echo `date '+%Y-%m-%d %T' ` "$ip01上线"
fi
else
echo `date '+%Y-%m-%d %T' ` "$ip01正常"
fi
else
if [ $ipvs_web01 -eq 1 ]; then
while [ $checknum -le $checkloop ]; do
if [ $(web01) -eq 200 ]; then
break
else
let checknum++
fi
if [ $checknum -eq 3 ]; then
ipvsadm -d -t $vip:$port -r $ip01:$port
if [ $? -eq 0 ]; then
echo `date '+%Y-%m-%d %T' ` "$ip01下线"
fi
fi
sleep 1
done
fi
fi
if [ $(web02) -eq 200 ]; then
if [ $ipvs_web02 -eq 0 ]; then
ipvsadm -a -t $vip:$port -r $ip02:$port -g -w 1
if [ $? -eq 0 ]; then
echo `date '+%Y-%m-%d %T' ` "$ip02上线"
fi
else
echo `date '+%Y-%m-%d %T' ` "$ip02正常"
fi
else
if [ $ipvs_web02 -eq 1 ]; then
while [ $checknum -le $checkloop ]; do
if [ $(web02) -eq 200 ]; then
break
else
let checknum++
fi
if [ $checknum -eq 3 ]; then
ipvsadm -d -t $vip:$port -r $ip02:$port
if [ $? -eq 0 ]; then
echo `date '+%Y-%m-%d %T' ` "$ip02下线"
fi
fi
sleep 1
done
fi
fi
脚本2
#!/bin/bash
VIP='192.168.255.200'
PORT=80
RIP=('192.168.255.111' '192.168.255.112')
log=/root/lvs_check2.log
while true
do
for ((i=0;i<`echo ${#RIP[*]}`;i++))
do
code=`curl -I -m 10 -o /dev/null -s -w %{http_code} http://${RIP[$i]}`
if [ $code -ne 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -eq 1 ]
then ipvsadm -d -t $VIP:$PORT -r ${RIP[$i]}:$PORT
echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 已下线" >> ${log}
elif [ $code -eq 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -lt 1 ]
then ipvsadm -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT
echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 已上线" >> ${log}
elif [ $code -eq 200 -a $(ipvsadm -Ln|grep ${RIP[$i]}|wc -l) -eq 1 ]
then
echo `date '+%Y-%m-%d %T' ` ${RIP[$i]}" 正常" >> ${log}
fi
done
sleep 5
done配置定时任务(脚本1)
创建脚本文本/root/lvs_check.sh,并将脚本1内容写入到文件中，添加执行权限
chmod +x /root/lvs_check.sh编辑定时任务
* * * * * /root/lvs_check.sh &>>/root/lvs_check.log 2>&1监控文件
如果文件中有关于web01,web02信息，则表明定时任务运行成功
tail -f /root/lvs_check.log如下图，下图是将web01关闭后显示的内容，只有web02正常运行。图片中ARPING的三行内容是广播命令的输出，即每一分钟发送一次广播，以防止MAC丢失
以进程形式运行(脚本2)
注意，使用脚本2时，需要清除脚本1的定时任务
创建脚本文本/root/lvs_check2.sh,并将脚本2内容写入到文件中，添加执行权限
chmod +x /root/lvs_check2.sh执行脚本
sh /root/lvs_check2.sh &查看后台脚本进程
ps -ef | grep [l]vs_check2关闭后台脚本进程
kill `ps -ef | grep [l]vs_check2 | awk '{print $2}'`监控日志文件
tail -f /root/lvs_check2.log问题总结
请求vip超时
#检查backup机器是否配置了ipvsadm模块
ifconfig ens33:0 192.168.255.200 netmask 255.255.255.255 broadcast 192.168.255.200 up端口访问超时
#再重新配置ipvsadm模块
ipvsadm -C
ipvsadm -A -t 192.168.255.200:80 -s rr
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 2
ipvsadm
#先重启keepalived模块
service keepalived restart清除arp记录
windows下
arp -dlinux下
arping -I ens33 -c 1 -U 192.168.255.200测试vip漂移
主节点关闭keepavlied
service keepalived stop在备节点检查是否有vip
ip a | grep inet访问vip节点
curl 192.168.255.200恢复主节点
重新配置lvs规则
ipvsadm -C
ipvsadm -A -t 192.168.255.200:80 -s rr
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.111:80 -g -w 1
ipvsadm -a -t 192.168.255.200:80 -r 192.168.255.112:80 -g -w 2
ipvsadm在主节点，重启keepalived
service keepalived start访问vip节点
curl 192.168.255.200
本文暂时没有评论，来添加一个吧(●'◡'●)