实操keepalived(高可用)+Nginx(四层代理+七层代理),实现高可用、负载均衡以及动静分离

一 vrrp技术

VRRP 相关术语

VRRP能够在不改变组网的情况下,将多台路由器虚拟成一个虚拟路由器,i通过配置虚拟路由器的IP地址为默认网关,实现网关的备份。
协议版本: VRRPv2 (常用) 和VRRPv3:0
VRRPv2仅适用于IPv4网络,VRRPv3适用于IPv4和IPv6两种网络
VRRP协议报文:
其目的IP地址是224.0.0.18,目的MAC地址是只有一种报文: Advertisement报文;01-00-5e-00-00-12,协议号是112.

  • 虚拟路由器:Virtual Router 不是真实存在 ,虚构出来的

  • 虚拟路由器标识:VRID(0-255),唯一标识虚拟路由器

  • VIP:Virtual IP 192.168.91.100 路由1 路由2

  • VMAC:Virutal MAC (00-00-5e-00-01-VRID)

  • 物理路由器:

  • master:主设备

  • backup:备用设备

  • priority:优先级

状态机:决定什么时间是主,什么时间是备

    心跳线:  1s
虚拟路由器的主备 是由priority:优先级决定的

1.2 VRRP相关技术

通告:心跳,优先级等;周期性

工作方式:抢占式,非抢占式,延迟抢占模式,

安全认证:

  • 无认证

  • 简单字符认证:预共享密钥

  • MD5

工作模式:

  • 主/备:单虚拟路径器

  • 主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)

#通告:
是宣告自己的主权,不要妄想抢班夺权,不停的向外

#抢占式:
主服务器宕机,过了一段时间修好了,再把主权抢过来

#非抢占式:
主服务器宕机,过了一段时间修好了,原来的主就作为备了

#延迟抢占:
主修好后,等待一定的时间(300s)后再次成为主

#抢占式好还是非抢占式好?

#安全认证:
如没有安全认证,不在集群中的keeplive服务器设置超高的优先级,会造成事故

#主/主:主/备(虚拟路由器1),备/主(虚拟路由器2)见下图:
环境:
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主,服务器2为备,那么虚拟IP1就飘在服务器1上,真正工作的只有服务器1
第二台虚拟路由器中服务器2为主,服务器1为备,那么虚拟IP2就飘在服务器2上,真正工作的只有服务器2

优点:

#提高了资源利用率:
这样主,备服务器同时干活,可以同时运行两个项目
#同样有备份功能:
如果服务器1坏了,服务器2 将同时拥有虚拟IP1和虚拟IP2

缺点:

虽然有备份冗余功能但是对机器的性能要求非常高,当其中一台出现故障,本来一台运行一个任务,现在所有的业务全部压在了一台上,有十分大的风险

二 keepalived工具介绍


专为LVS和HA设计的一款健康检查工具支持故障自动切换 (Failover)支持节点健康状态检查(Health checking)判断 LVS 负载调度器、节点服务器的可用性,当 master 主机出现故障及时切换到backup 节点保证业务正常,当 master故障主机恢复后将其重新加入群集并目业务重新切换回 master 节点。

官网:http://keepalived.org/

lvs 调度   虚拟ip     手动配置

keepalived    会lvs

ipvsadm

功能:

  • 基于vrrp协议完成地址流动

  • 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

  • 为ipvs集群的各RS做健康状态检测

  • 基于脚本调用接口完成脚本中定义的功能,进而影响集群事务,以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档:

https://keepalived.org/doc/

http://keepalived.org/documentation.html
用户空间核心组件:
  1. vrrp stack:VIP消息通告 虚拟ip

  2. checkers:监测real server(简单来说 就是监控后端真实服务器的服务)是否存活

  3. system call:实现 vrrp 协议状态转换时调用脚本的功能

  4. SMTP:邮件组件(报警邮件)

  5. IPVS wrapper:生成IPVS规则(直接生成ipvsadm)

  6. ***link Reflector:网络接口(将虚拟地址ip(vip)地址飘动)

WatchDog:监控进程(整个架构是否有问题)
  • 控制组件:提供keepalived.conf 的解析器,完成Keepalived配置

  • IO复用器:针对网络目的而优化的自己的线程抽象

  • 内存管理组件:为某些通用的内存管理功能(例如分配,重新分配,发布等)提供访问权限

注意:keeplive可以配合ngnix等软件,反向代理

2.3安装keepalive

yum install keepalived -y

2.4 Keepalived 相关文件

  • 软件包名:keepalived

  • 主程序文件:/usr/sbin/keepalived

  • 主配置文件:/etc/keepalived/keepalived.conf

  • 配置文件示例:/usr/share/doc/keepalived/

  • Unit File:/lib/systemd/system/keepalived.service

  • Unit File的环境配置文件:

  • /etc/sysconfig/keepalived CentOS

2.4.1配置组成

/etc/keepalived/keepalived.conf 配置组成

  • GLOBAL CONFIGURATION

Global definitions(全局配置):定义邮件配置,route_id,vrrp配置,组播地址 等

  • VRRP CONFIGURATION

VRRP instance(s):定义vrrp协议中的每个vrrp虚拟路由器的规则,基本信息

  • LVS CONFIGURATION(lvs调度服务器的规则设置)

Virtual server group(s)

Virtual server(s):LVS集群的VS和RS

2.4.2全局配置
#/etc/keepalived/keepalived.conf 
global_defs {
 notification_email {
 root@localhost
 #keepalived 发生故障切换时邮件发送的目标邮箱,可以按行区分写多个
 root@localhost
  360601212@qq.*** 
 }
 notification_email_from keepalived@localhost  
 #发邮件的地址
 smtp_server 127.0.0.1     
 #邮件服务器地址
 smtp_connect_timeout 30   
 #邮件服务器连接timeout
 router_id R1
 #每个keepalived主机唯一标识,建议使用当前主机名,但多节点重名不影响
 vrrp_skip_check_adv_addr  
 #对所有通告报文都检查,会比较消耗性能,启用此配置后,如果收到的通告报文和上一个报文是同一个路由器,则跳过检查,默认值为全检查
vrrp_strict 
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址,开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则,默认导致VIP无法访问,建议不加此项配置。
 vrrp_garp_interval 0 
 #gratuitous ARP messages 免费ARP报文发送延迟,0表示不延迟
 vrrp_gna_interval 0 
 #unsolicited NA messages (不请自来)消息发送延迟
 vrrp_mcast_group4 224.0.0.18 
 #指定组播IP地址范围:224.0.0.0到239.255.255.255,默认值:224.0.0.18 
 vrrp_iptables        
 #此项和vrrp_strict同时开启时,则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

地址分类:

自定义组播,一般都有规划,不能瞎配
主和备要一样
A类:1-126
B   128-191
C   192-223
D   224-239
E   240-


#修改组播
默认keepalived主机之间利用多播相互通告消息,会造成网络拥塞,可以替换成单播,减少网络流量
注意:启用 vrrp_strict 时,不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP,建议设置为专用于对应心跳线网络的地址,而非使用业务网络

第二种:官网:http://keepalived.org/

 

五 实际操作:LVS + Keepalived 高可用群集

主:11-4;备:11-7

后端服务器:11-4;11-11

①关闭防火墙防护

 

 

用户空间核心组件:
1.vrrp stack:VIP消息通告虚拟ip
2.checkers:监测real server (简单来说就是监控后端真实服务器的服务)是否存活3.system call:实现vrrp 协议状态转换时调用脚本的功能
4.SMTP:邮件组件(报警邮件)
5.IPVS wrapper: 生成IPVS规则 (直接生成ipvsadm)

②[root@mcb-11-4 keepalived]# vim keepalived.conf

[root@mcb-11-7 keepalived]#  vim keepalived.conf

③ 对后端服务器进行配置

④两台真机开启长连接

⑤去浏览器访问一下  

非抢占模式
抢迟抢占

[root@mcb-11-4 keepalived]# vim keepalived.conf 

延迟抢占

六 实操:单播多播地址

修改多播:
单播
通知脚本

前言:主备切换肯定有大的事故

#!/bin/bash
#
contact='1839088509@qq.***'
notify() {
 mailsubject="$(hostname) to be $1, vip floating"
 mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"
 echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)
 notify master
 ;;
backup)
 notify backup
 ;;
fault)
 notify fault
 ;;
*)
 echo "Usage: $(basename $0) {master|backup|fault}"
 exit 1
 ;;
esac

 去邮箱看结果

日志功能

开启单独日志功能

[root@mcb-11-4 opt]# vim /etc/rsyslog.conf 

[root@mcb-11-4 opt]# ls /data/
ls: 无法访问/data/: 没有那个文件或目录
[root@mcb-11-4 opt]# mkdir /data
[root@mcb-11-4 opt]# ls /data/

脑裂解释

什么是脑裂?
在高可用(HA)系统中,当联系2个节点的“心跳线”断开时,本来为一整体、动作协调的HA系统,
就分裂成为2个独立的个体。
由于相互失去了联系,都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样,争抢“共享
资源”、争起“应用服务”,就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了;或者两边
“服务”都起来了,但同时读写“共享存储”,导致数据损坏


都有哪些原因导致脑裂?
高可用服务器对之间心跳线链路发生故障,导致无法正常通信。
因心跳线坏了(包括断了,老化)。
因网卡及相关驱动坏了,ip配置及冲突问题(网卡直连)
因心跳线间连接的设备故障(网卡及交换机)
高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
高可用服务器上心跳网卡地址等信息配置不正确,导致发送心跳失败
其他服务配置不当等原因,如心跳方式不同,心跳广插冲突、软件Bug等。
多组keepalive服务器造成   组播冲突    1.换组播地址   2.改成单播          
默认: 
单播:
组播: 
广播:
A   1 -127
B   128-191
C   192-223
D   224-239          224.0.0.18    


20. 如何解决keepalived脑裂问题?
在实际生产环境中,我们从以下方面防止脑裂:
#同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路,这样一条线路断了,另外一条还是好的,依然能传送心跳消息
#当检查脑裂时强行关闭一个心跳节点(这个功能需要特殊设备支持,如stonith、fence)相当于备节点接收不到心跳消息,通过单独的线路发送关机命令关闭主节点的电源

rsyslog   分割日志

#做好对脑裂的监控报警解决常见方案:
如果开启防火墙,一定要让心跳消息通过,一般通过允许IP段的形式解决
可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余
开发检测程序通过监控软件检测脑裂



keepalived      lvs      负载均衡  反向代理
lvs   高可用
后端服务器的 健康性检查问题


正向代理作用:    加快访问速度     可以绕过防火墙
代理的客户端
我要访问   google       正向代理服务器             google 服务器



反向代理:   负载均衡     优化资源    
代理的服务端的

客户端 不需要知道服务端到底是什么样子的,只要能访问就行


keepalived  脑裂
vrrp  协议  心跳线收不到

脑裂项目,只能停留在实验室里很难进入企业

七 keepalived解决nginx的高可用

利用脚本解决(VRRP Script )是否启用nginx

keepalived利用 VRRP Script 技术,可以调用外部的辅助脚本进行资源监控,并根据监控的结果实现优先动态调整,从而实现其它应用的高可用性功能

参考配置文件:

/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

VRRP Script 配置

分两步实现:

  • 定义脚本

vrrp_script:自定义资源监控脚本,vrrp实例根据脚本返回值,公共定义,可被多个实例调用,定义在vrrp实例之外的独立配置块,一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常,则触发对MASTER节点的权重减至低于SLAVE节点,从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {
 script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时,会触发下面OPTIONS执行
 OPTIONS 
}

调用脚本

track_script:调用vrrp_script定义的脚本去监控资源,定义在VRRP实例之内,调用事先定义的vrrp_script


track_script {
 SCRIPT_NAME_1
 SCRIPT_NAME_2
}

此时同样能检测11-5 11-4文本信息 

 

把主机负载均衡脚本烤到备机去 

 

编辑文本 

 

把主机文件再烤到备机

 

浏览器检测一下

 

若主机nginx关掉,备用就是主机了 

此时两台真机就无法显示了

 

去备用机检测192.168.11.188又回来了

两台真机仍能检测出来文本内容 

转载请说明出处内容投诉
CSS教程_站长资源网 » 实操keepalived(高可用)+Nginx(四层代理+七层代理),实现高可用、负载均衡以及动静分离

发表评论

欢迎 访客 发表评论

一个令你着迷的主题!

查看演示 官网购买