FastDFS蛋疼的集群和负载均衡(六)之Nginx高可用集群

###Interesting things

接着上一篇。

###What did you do today

Keepalived是一个高性能的服务器高可用解决方案，Keepalived主要防止服务器单点故障的发生问题，可以通过Nginx的配合实现web服务端的高可用。

还记得我们空出来的192.168.12.77和192.168.12.88吗？这2台设备就是用来配置nginx的集群和高可用。我们可以虚拟出来一个192.168.12.XX，外界请求访问虚拟ip而不是真正的Nginx。
那什么是高可用呢？

高可用是指同一时间提供服务的只有一台设备，主服务器挂掉后，备用服务器便开始提供服务。

老操作, yum install pcre、yum install pcre-devel、yum install zlib、yum install zlib-devel、yum install openssl、openssl-devel(openssl 现在我可能还用不上)为什么要安装这些？我前几篇博客没有讲，现在来讲讲。

nginx的http模块使用pcre来解析正则表达式 pcre-devel是使用pcre开发的一个二次库，nginx也需要。 zlib提供了很多种压缩的方式，nginx使用zlib对http包的内容进行gzip nginx支持https，所以需要安装openssl库。

下载keepalived-1.2.18.tar.gz
把keepalived-1.2.18.tar.gz拷贝到/usr/local/software/目录下
解压keepalived-1.2.18.tar.gz到/usr/local/，命令:tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
进入/usr/local/keepalived-1.2.18/,进行配置检查。命令：./configure --prefix=/usr/local/keepalived
老操作编译安装，make && make install
创建/etc/keepalived目录，我们需要把keepalived做成一个服务，这样可以开机自行启动。
进入/usr/local/keepalived/etc/keepalived/，将keepalived.conf拷贝到/etc/keepalived/目录下。
进入/usr/local/keepalived/etc/rc.d/init.d/目录下，将keepalived拷贝到/etc/init.d/目录下
进入/usr/local/keepalived/etc/sysconfig目录下，将keepalived拷贝到/etc/sysconfig/目录下。
创建第一个软链接，ln -s /usr/local/keepalived/sbin/keepalived /usr/sbin/
设置为keepalived开机启动，chkconfig keepalived on
开启keepalived服务, service keepalived start.
现在192.168.12.77修改/etc/keepalived/keepalived.conf文件。修改后的配置内容如下：

! Configuration File for keepalived
        global_defs {
                 router_id nginx_cx_7_no_1
        }

        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2
                weight -20
        }

        vrrp_instance VI_1 {
        }

        vrrp_instance VI_1 {
                state MASTER
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.77
                priority 100
                nopreempt
                advert_int 1

                authentication {
                        auth_type PASS
                        auth_pass 1111
                }

                track_script {
                        chk_nginx
                }

                virtual_ipaddress {
                        192.168.12.111
                }
        }

下面我们就具体的讲讲配置内容。 1.global_defs代表配置中的主机名，我就把192.168.12.77设置为nginx_cx_7_no_1把，所以router_id的值为nginx_cx_7_no_1

global_defs { router_id nginx1 }

2.每隔2s去执行/etc/keepalived/nginx_check.sh脚本，这一项检查从开始便一直进行，interval表示间隔时间，weight -20代表脚本执行成功后192.168.12.77这个节点的优先级降低20. vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 } 3.state MASTER表示该节点角色为master，interface eth0表示设备的网卡是eth0，virtual_router_id 77是取自当前设备的ip也就是192.168.12.77的后两位。mcast_src_ip 192.168.12.7指定当前设备的ip，priority 100代表优先级是100，优先级在keepalived实现高可用方面超级重要。keepalived是根据优先级来选择当前提供服务的设备。

我们这里用192.168.12.77指A设备，用192.168.12.88指B设备。假设A设备的优先级是100，B设备的优先级是90，那么keepalived服务器一开始去检查优先级，发现A设备的优先级很高，于是让A设备当大哥，让它去提供服务。当A设备的nginx挂了后，由于nginx_check脚本每2秒执行一次，发现A设备没有nginx进程后，先会尝试重新启动nginx，如果重新启动还是不行，这就很皮了！然后大发雷霆，就会杀掉所有的keepalived进程。然后回调给keepalived服务器，告知大哥的nginx挂掉了。keepalived服务器得知后，会把A设备的优先级减20，从而A设备的优先级为80。这样下次keepalived来检查优先级时，B设备的优先级比A设备搞，那么B设备就可以对外提供服务。美滋滋，这就实现了高可用。 5.这段配置，2个节点要一样，表示它们属于一个组，keepalived会同一组中去做检查并保持高可用。

authentication { auth_type PASS auth_pass 1111 }

6.track_script里面的chk_nginx要与前面定义的定时执行脚本名(vrrp_script chk_nginx { } )保持一致。 7. 自己定义对外提供服务的虚拟ip。

virtual_ipaddress { 192.168.12.111 }

接着我们也修改192.168.12.88的keepalived.conf的内容。如下文所示：

        global_defs {  
                 router_id nginx_cx_8_no_2
        }         
        vrrp_script chk_nginx {
                script "/etc/keepalived/nginx_check.sh"
                interval 2  
                weight -20  
        }       
        
        vrrp_instance VI_1 {
                state BACKUP
                interface eth0
                virtual_router_id 77
                mcast_src_ip 192.168.12.88
                priority 90  
                nopreempt    
                advert_int 1
                
                authentication {
                        auth_type PASS
                        auth_pass 1111
                }       
                
                track_script {
                        chk_nginx
                }       

                virtual_ipaddress {
                        192.168.12.111
                }
        }

我们发现192.168.12.88的keepalived的router_id 是nginx_cx_8_no_2，state是BACKUP(备用)，priority是90。这些和192.168.12.77是不一样的。这里要注意的是virtual_router_id必须要保持一致。
192.168.12.77和192.168.12.88设备中我们还没有配置nginx，我们需要解压编译安装nginx。
解压nginx-1.6.2.tar.gz到/usr/local/
进入/usr/local/nginx-1.6.2/目录，输入 ./configure --prefix=/usr/local/nginx进行验证nginx 。
输入make && make install 编译安装nginx

*在/etc/keepalived/目录下，创建nginx_check.sh，命令:touch nginx_check.sh，然后写入以下脚本：

A=`ps -C nginx --no-header |wc -l`  
if [ $A -eq 0 ];then  
    /usr/local/nginx/sbin/nginx  
    sleep 2  
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then  
        killall keepalived  
    fi  
fi

老操作，在iptables添加80端口策略，命令：-A INPUT -p tcp -m state --state NEW -m tcp --dport 80 -j ACCEPT，然后重启防火墙，让策略生效。
为了区分欢迎页是哪个节点下的欢迎页，我先修改192.168.12.77的欢迎页。我们进入/usr/local/nginx/html/目录下，修改index.html，如图所示。
同样的，在192.168.12.88设备中修改nginx的html目录下的index.html.
启动192.168.12.77和192.168.12.88的nginx。
访问192.168.12.77
访问192.168.12.88
然后我们启动192.168.12.77、192.168.12.88的keepalived，service keepalived start
启动keepalived后，我们发现两个节点输入ip a，发现都可以看到共同的虚拟ip 192.168.12.111。可是这是不合理的，正确情况下只有master角色的节点上才有虚拟ip
造成这个原因的是防火墙，我们可以试着把2个节点的防火墙都关闭，命令是：service iptables stop.
关闭之后，我们再在2个节点输入ip a命令。发现只有master有虚拟ip，而backup没有虚拟ip。这才是正确的。我们可以禁止iptables开机启动。命令：chkconfig iptables off.
我们用虚拟ip(192.168.12.111)去访问。我们发现启动的是192.168.12.77设备的nginx，里面它的优先级是100，而192.168.12.88设备的nginx优先级是90.
我们可以演示一下keepalived的高可用，我们把192.168.12.77的keepalived服务关闭，看keepalived服务器会不会自动切换到192.168.12.88的nginx为我们提供服务。
我们再来访问192.168.12.111.此时我们发现是192.168.12.88的nginx为我们提供服务。
我们再把192.168.12.77(master)的keepalived服务打开。
我们再次访问192.168.12.111.我又发现又切换到nginx master，也就是192.168.12.77
我们可以重启192.168.12.77和192.168.12.88。
我们使用service keepalived status查看keepalived服务是否自动启动。结果证明自动启动了，美滋滋。
我们之前不是说过了吗？nginx_check.sh脚本每隔2s就会检测是否存在nginx进程，如果该节点的nginx进程为0，会尝试重启nginx，如果重启失败的话，则抹杀keepalived进程。我们可以用192.168.12.77做一个测试。
先关闭nginx,命令：/usr/local/nginx/sbin/nginx -s stop。很糟糕的事情发生了，出现了一个错误" [error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)". 很简单，这说明在/usr/local/nginx/logs/目录下面，缺少nginx.pid文件。

我们只需要输入命令"/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf"即可生成nginx.pid.
然后再次输入命令 /usr/local/nginx/sbin/nginx -s stop，就可以关闭nginx了，啦啦啦。
接着我们进入/usr/local/nginx/conf/目录下面，修改nginx.conf文件，添加一个小错误，比如添加"cmazxiaoma is handsome"
保存nginx.conf后，重新启动nginx，肯定会报错。美滋滋。
最后我们查看keepalived进程，发现尼玛还有keepalived进程。
我第一反应想到会不会是nginx_check.sh脚本写错了呢？我进入/etc/keepalived/目录，输入命令"sh nginx_check.sh"，发现抛出“killall 未知的命令”。
我摸了摸脑袋发现，我的虚拟机都是精简把，没有安装psmisc.那么我们就安装它把。yum install psmisc.
安装完毕，我们再查看keepalived进程。发现keepalived进程还是存在的。
我觉得nginx_check.sh没有问题，我怀疑它没有得到执行。那么我们就自己执行nginx_check.sh。执行结果如下：
我们再次查看keepalived进程，发现keepalived进程都被抹杀了。这证明我的直觉没有问题，nginx_check没有得到执行。
我又有一个大胆的想法，会不会是后台执行nginx_check,sh脚本时，没有权限。
我们输入nohup /etc/keepalived/nginx_check.sh，提示我们没有权限。
权限不够，怎么办？加呗！使用chmod 777 nginx_check.sh，使其他程序能够对nginx_check.sh进行读、写、执行。
我们查看keepavlied进程，发现已被nginx_check.sh所抹杀。