搭建Keepalived + Nginx + Tomcat的高可用負(fù)載均衡架構(gòu)

一.概述

初期的互聯(lián)網(wǎng)企業(yè)由于業(yè)務(wù)量較小，所以一般單機(jī)部署，實(shí)現(xiàn)單點(diǎn)訪問(wèn)即可滿足業(yè)務(wù)的需求，這也是最簡(jiǎn)單的部署方式，但是隨著業(yè)務(wù)的不斷擴(kuò)大，系統(tǒng)的訪問(wèn)量逐漸的上升，單機(jī)部署的模式已無(wú)法承載現(xiàn)有的業(yè)務(wù)量，需要進(jìn)行服務(wù)集群化部署，本文主要介紹服務(wù)端Tomcat多實(shí)例部署，以及如何保證web服務(wù)的高可用方案。

  • Nginx 是一個(gè)高性能的 HTTP反向代理服務(wù)器
    Keepalived 是一個(gè)基于VRRP協(xié)議來(lái)實(shí)現(xiàn)的LVS服務(wù)高可用方案，可以利用其來(lái)避免服務(wù)的單點(diǎn)故障
    Tomcat 是一個(gè)免費(fèi)的開(kāi)放源代碼的Web 應(yīng)用服務(wù)器，屬于輕量級(jí)應(yīng)用服務(wù)器。

二. Nginx的高可用負(fù)載均衡架構(gòu)

如下圖：為典型的Tomcat服務(wù)多實(shí)例部署的架構(gòu)圖


image.png

  • （1）用戶通過(guò)域名請(qǐng)求到DNS，由DNS解析域名后返回對(duì)應(yīng)的IP地址，該IP及為Keepalived映射服務(wù)器的虛擬IP

  • （2）通過(guò)該虛擬IP訪問(wèn)到對(duì)應(yīng)的負(fù)載均衡器（Nginx），這里Nginx部署兩個(gè)，然后通過(guò)Keepalived來(lái)保證NG的高可用，正常情況下由Keepalived-M將虛擬IP映射轉(zhuǎn)發(fā)至Nginx-M，如果Nginx-M出現(xiàn)故障，此時(shí)Keepalived會(huì)切換至Keepalived-S開(kāi)始工作，從而保證了NG的單點(diǎn)故障問(wèn)題。

  • （3）通過(guò)Nginx負(fù)載均衡器，將請(qǐng)求路由到對(duì)應(yīng)的Tomcat服務(wù)。

三. 搭建Keepalived + Nginx + Tomcat的高可用負(fù)載均衡架構(gòu)

  1. 需要準(zhǔn)備的軟件

  • （1）apache-tomcat-8.5.16.tar.gz

  • （2）nginx-1.12.2.tar.gz

  • （3）keepalived-1.3.9.tar.gz

  1. 服務(wù)器準(zhǔn)備
    兩臺(tái)服務(wù)器如：192.168.10.11，192.168.10.12

  2. 安裝需要的依賴包

$ yum -y install gcc gcc-c++ automake pcre pcre-devel zlib zlib-devel open openssl-devel
  1. 安裝
    4.1 安裝Tomcat
    （1）分別在兩臺(tái)服務(wù)器中安裝Tomcat，解壓apache-tomcat-8.5.16.tar.gz及可完成安裝。

4.2 安裝Nginx

  • （1）解壓安裝包：tar -zxvf nginx-1.12.2.tar.gz

  • （2）進(jìn)入到nginx-1.12.2目錄：cd nginx-1.12.2

  • （3）編譯：

$ ./configure --with-http_stub_status_module --with-http_ssl_module  --prefix=/usr/local/nginx

$  sudo make && sudo make install

4.3 安裝Keepalived

  • （1）解壓安裝包：tar -zxvf keepalived-1.3.9.tar.gz

  • （2）進(jìn)入到keepalived-1.3.9目錄：cd keepalived-1.3.9

  • （3）執(zhí)行編譯：

$ ./configure --prefix=/usr/local/keepalived --sysconf=/etc

$  sudo make && sudo make install

5 配置
5.1 分別配置兩臺(tái)服務(wù)器的Nginx

  • （1）分別修改兩臺(tái)服務(wù)器nginx配置文件，vi /usr/local/nginx/conf/nginx.conf

  • （2）內(nèi)容如下：

#nginx進(jìn)程數(shù)
worker_processes  1;

#單個(gè)進(jìn)程最大連接數(shù)
events {
    worker_connections  1024;
}

#http服務(wù)器配置
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    #長(zhǎng)連接超時(shí)時(shí)間，單位是秒
    keepalive_timeout  65;
    #upstream負(fù)載均衡配置，配置路由到tomcat的服務(wù)地址以及權(quán)重
    upstream localhost{
       server 192.168.10.11:8080 weight=2;
       server 192.168.10.12:8080 weight=2;
    }
    
    #虛擬主機(jī)的配置
    server {
        #監(jiān)聽(tīng)端口
        listen       80;
         #域名可以有多個(gè)，用空格隔開(kāi)
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
            #nginx跟后端服務(wù)器連接超時(shí)時(shí)間(代理連接超時(shí))
            proxy_connect_timeout 3;
            #后端服務(wù)器數(shù)據(jù)回傳時(shí)間(代理發(fā)送超時(shí))
            proxy_send_timeout 30;
            #連接成功后，后端服務(wù)器響應(yīng)時(shí)間(代理接收超時(shí))
            proxy_read_timeout 30;
            proxy_pass http://localhost;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

5.2 主Keepalived配置

  • （1）修改11服務(wù)器的keepalived配置文件，vi /etc/keepalived/keepalived.conf

  • （2）內(nèi)容如下：

! Configuration File for keepalived
#全局配置
global_defs {
   #keepalived切換的時(shí)候，發(fā)消息到指定的email，可配置多個(gè)email
   notification_email {
     feinik1@foxmail.com
     feinik2@foxmail.com
   }
   #通知郵件從哪個(gè)地址發(fā)出
   notification_email_from feinik@foxmail.com
   #通知郵件的smtp地址
   smtp_server smtp.exmail.qq.com
   #連接smtp服務(wù)器的超時(shí)時(shí)間，單位秒
   smtp_connect_timeout 30
   #Keepalived的機(jī)器標(biāo)識(shí)，一個(gè)網(wǎng)絡(luò)內(nèi)保持唯一
   router_id nginx-master
}

#執(zhí)行腳本配置
vrrp_script chk_nginx {
    #腳本所在路徑
    script "/home/project/keepalived/check_nginx.sh"
    #腳本執(zhí)行間隔時(shí)間，秒
    interval 2
    #優(yōu)先級(jí)
    weight 2
}
#keepalived實(shí)例配置
vrrp_instance VI_1 {
    #指定實(shí)例的初始狀態(tài)，MASTER或BACKUP兩種狀態(tài)，并且需要大寫(xiě)
    state MASTER
    #實(shí)例綁定的網(wǎng)卡
    interface ens33
    #虛擬路由標(biāo)識(shí)，是一個(gè)數(shù)字，整個(gè)VRRP內(nèi)唯一，如果keepalived配置了主備，需要相同
    virtual_router_id 51
    #優(yōu)先級(jí)，數(shù)值愈大，優(yōu)先級(jí)越高
    priority 100
    #MASTER與BACKUP之間同步檢查的時(shí)間間隔，單位為秒
    advert_int 1
    #通信驗(yàn)證
    authentication {
        auth_type PASS
        auth_pass feinik
    }
    #追蹤外圍腳本
    track_script {
        #這里配置vrrp_script的名稱
        chk_nginx
    }
    #虛擬ip配置，可配置多個(gè)
    virtual_ipaddress {
        192.168.10.200
    }
}

5.3 備Keepalived配置

  • （1）修改12服務(wù)器的keepalived配置文件，vi /etc/keepalived/keepalived.conf

  • （2）內(nèi)容如下：

! Configuration File for keepalived
#全局配置
global_defs {
   #keepalived切換的時(shí)候，發(fā)消息到指定的email，可配置多個(gè)email
   notification_email {
     feinik1@foxmail.com
     feinik2@foxmail.com
   }
   #通知郵件從哪個(gè)地址發(fā)出
   notification_email_from feinik@foxmail.com
   #通知郵件的smtp地址
   smtp_server smtp.exmail.qq.com
   #連接smtp服務(wù)器的超時(shí)時(shí)間，單位秒
   smtp_connect_timeout 30
   #Keepalived的機(jī)器標(biāo)識(shí)，一個(gè)網(wǎng)絡(luò)內(nèi)保持唯一
   router_id nginx-master
}

#執(zhí)行腳本配置
vrrp_script chk_nginx {
    #腳本所在路徑
    script "/home/project/keepalived/check_nginx.sh"
    #腳本執(zhí)行間隔時(shí)間，秒
    interval 2
    #優(yōu)先級(jí)
    weight 2
}
#keepalived實(shí)例配置
vrrp_instance VI_1 {
    #指定實(shí)例的初始狀態(tài)，MASTER或BACKUP兩種狀態(tài)，并且需要大寫(xiě)
    state BACKUP
    #實(shí)例綁定的網(wǎng)卡
    interface ens33
    #虛擬路由標(biāo)識(shí)，是一個(gè)數(shù)字，整個(gè)VRRP內(nèi)唯一，如果keepalived配置了主備，需要相同
    virtual_router_id 51
    #優(yōu)先級(jí)，數(shù)值愈大，優(yōu)先級(jí)越高
    priority 99
    #MASTER與BACKUP之間同步檢查的時(shí)間間隔，單位為秒
    advert_int 1
    #通信驗(yàn)證
    authentication {
        auth_type PASS
        auth_pass feinik
    }
    #追蹤外圍腳本
    track_script {
        #這里配置vrrp_script的名稱
        chk_nginx
    }
    #虛擬ip配置，可配置多個(gè)
    virtual_ipaddress {
        192.168.10.200
    }
}

5.4 Nginx狀態(tài)檢查腳本創(chuàng)建

  • （1）新建Nginx的狀態(tài)檢查腳本：check_nginx.sh

  • （2）內(nèi)容如下：

#!/bin/sh
NGINX=/usr/common/nginx/sbin/nginx
PORT=80
nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
    $NGINX -s stop
    #這里再次嘗試啟動(dòng)NG
    $NGINX
    sleep 5
    nmap localhost -p $PORT | grep "$PORT/tcp open"
    [ $? -ne 0 ] && cd /usr/common/keepalived/sbin && pkill keepalived
    echo "stoped"
fi

4 運(yùn)行測(cè)試

  • （1）為了更直觀的查看到keepalived切換的效果，將11服務(wù)器中的nginx的upstream服務(wù)只配置11的tomcat服務(wù)地址，12服務(wù)器中的upstream服務(wù)只配置12的tomcat服務(wù)地址，這樣只需要觀察將11服務(wù)器中的nginx關(guān)閉看使用虛擬ip是否可以訪問(wèn)到12服務(wù)器的tomcat。

  • （2）分別啟動(dòng)兩個(gè)服務(wù)器中的tomcat、nginx、keepalived，訪問(wèn)虛擬ip：192.168.10.200，可以查看到訪問(wèn)的是主keepalived服務(wù)器的tomcat


    image.png

  • （3）關(guān)閉11服務(wù)器的nginx，nginx -s stop，再次訪問(wèn)虛擬ip，如下：說(shuō)明主keepalived通過(guò)配置的腳本檢測(cè)到了本服務(wù)的nginx服務(wù)掛掉了，所以立馬切換至了備的keepalived，這時(shí)12服務(wù)器的keepalived升為了主，所以就訪問(wèn)到了12服務(wù)器的tomcat。


    image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容