Nginxkeepalivedheartbeat雙機熱備份配置手冊

1、文檔可自由編輯打印Nginx+keepalived+heartbeatNginx+keepalived+heartbeat 雙機熱備份配置手雙機熱備份配置手冊冊文檔可自由編輯打印正文目錄正文目錄1 雙機熱備簡介.42 雙機熱備安裝與配置.52.1 安裝環(huán)境和軟件版本說明.52.2 系統(tǒng)安裝.52.3 JDK 環(huán)境安裝配置.52.4 MYSQL 安裝配置.72.4.1 基本安裝配置.72.4.2 數(shù)據(jù)庫雙機互備.72.5 反向代理服務器 NGINX 的安裝配置.92.6 KEEPALIVED 安裝配置.132.7 HEARTBEAT 的安裝配置.152.8 APACHE-TOMCAT 安裝配置.

2、173 CENTOS 下安裝配置的改動 .193.1 NGINX.193.2 KEEPALIVED.213.3 HEARTBEAT.243.4 添加 SHELL 腳本 .26文檔可自由編輯打印1 雙機熱備簡介雙機熱備及負載均衡配置圖如下所示主服務器真實IP：7Keepalived綁定虛擬IP：1（權(quán)值較高）nginxApache-tomcatHeartbeat綁定虛擬IP：5Mysql（Master/Slave）從服務器真實IP：8Keepalived綁定虛擬IP：1（權(quán)值較低）ngi

3、nxApache-tomcatheartbeat綁定虛擬IP：5（同時只有1個）Mysql(Slave/Master)兩數(shù)據(jù)庫相互備份外部訪問端口：1:8888文檔可自由編輯打印2 雙機熱備安裝與配置2.1 安裝環(huán)境和軟件版本說明系統(tǒng)：Linux Ubuntu 10.10JDK 環(huán)境：jdk-6u31-linux-i586方向代理服務器 Nginx：nginx-0.7.67探測服務器狀態(tài)軟件 Keepalived：keepalived-1.1.17Web 服務器：Apache-tomcat：apache-tomcat-6.0.35數(shù)據(jù)庫 MySQL:

4、mysql-5.1.612.2 系統(tǒng)安裝2.3 JDK 環(huán)境安裝配置1 、安裝 jdk 程序最新版本 jdk: jdk-6u31-linux-i586.bin進入 usr 目錄： cd /usr在當前目錄創(chuàng)建目錄 java ： mkdir java將 jdk 安裝文件復制到 java 目錄下：cp /usr/software/ jdk-6u31-linux-i586.bin /usr/java給安裝程序賦予權(quán)限：chmod +x jdk-6u31-linux-i586.bin執(zhí)行安裝命令：./ jdk-6u31-linux-i586.bin安裝成功后，在 java 目錄下會出現(xiàn) jdk1.6.

5、0_31 的目錄。2 、配置環(huán)境變量：編輯/etc/profile 文件： vi /etc/profile按 I 鍵進入編輯狀態(tài)在適當位置配置以下內(nèi)容：文檔可自由編輯打印export JAVA_HOME=/usr/java/jdk1.6.0_31export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jarexport PATH=$PATH:$JAVA_HOME/bin完成配置后，按 ESC 鍵，然后輸入:wq 保存并退出(:

6、q! 退出不保存)3 、使配置文件生效：source /etc/profile運行 java -version,會有下面的提示：程序“java”已包含在下列軟件包中：* gcj-4.4-jre-headless* gcj-4.5-jre-headless* openjdk-6-jre-headless請嘗試：sudo apt-get install 執(zhí)行下面兩個命令，安裝 java 到系統(tǒng)中sudo update-alternatives -install /usr/bin/java java /usr/java/jdk1.6.0_31/bin/java 300sudo update-alte

7、rnatives -install /usr/bin/javac javac /usr/java/jdk1.6.0_31/bin/javac 300設置默認的 JDKsudo update-alternatives -config java4 、再查看 java 版本：java version ，顯示版本信息則表示安裝正確如下圖：5 、注意事項：文檔可自由編輯打印如果安裝完之后，jdk 版本不是當前所安裝的，則需先卸載之前 linux 自帶的版本。2.4 MySQL 安裝配置先按照 2.7 前幾步配置 hostname 和 hosts 文件。2.4.1 基本安裝配置1、啟用自動安裝 mysql

8、：apt-get install mysql-server2、設置 root 密碼，如 12343、進入 mysql u root p4、建立數(shù)據(jù)庫 pmdb：CREATE DATABASE pmdb;5、將之前導出的 pmdb 數(shù)據(jù)文件導入：mysqlpmdb.sql;6、退出 mysql，修改配置文件/etc/mysql/f 在 mysqld 字段中加入下面內(nèi)容：7、注意!(MYSQL 不區(qū)分表名大小寫)lower_case_table_names=1default-character-set=utf8 (數(shù)據(jù)庫缺省以 utf8 存儲) init_connect=SET NAMES utf

9、8 （設定連接 mysql 數(shù)據(jù)庫時使用 utf8 編碼，以讓 mysql 數(shù)據(jù)庫為 utf8 運行）2.4.2 數(shù)據(jù)庫雙機互備1、設置主服務器 A。配置 my.conf 文件，在 mysqld 中加入如下內(nèi)容：#master#server-id=1log-bin=mysql-binbinlog-do-db=pmdb文檔可自由編輯打印將 bind-address 所在行注釋掉（訪問 IP 限定，默認是均可以訪問）然后重啟 mysql 服務。2、將主數(shù)據(jù)庫新建一個外部訪問用戶并賦予權(quán)限GRANT REPLICATION SLAVE ON *.* TO backup% IDENTIFIED BY

10、1234;賦予 root（或其他用戶）遠程登錄的權(quán)限（用于 tomcat 訪問）GRANT ALL ON *.* to backup% IDENTIFIED BY 1234;3、鎖定數(shù)據(jù)庫；FLUSH TABLES WITH READ LOCK;4、導出數(shù)據(jù)庫數(shù)據(jù)；3、查看主數(shù)據(jù)庫狀態(tài)記錄 File 和 Position 項目的值，以后要用的。4、設置從服務器 B#slave#master-host=8 #主數(shù)據(jù)庫 IP(另一臺機器的實際 IP)master-port=3306master-user=backupmaster-password=1234master-con

11、nect-retry=20report-host=7replicate-do-db=pmdbreplicate-rewrite-db=pmdb-pmdb #主數(shù)據(jù)庫名-從數(shù)據(jù)庫名文檔可自由編輯打印5、把從主數(shù)據(jù)庫服務器備份出來的數(shù)據(jù)庫導入到從服務器中6、設置從服務器參數(shù)mysql CHANGE MASTER TO- MASTER_HOST=master_host_name, /主服務器的 IP 地址- MASTER_USER=replication_user_name, /同步數(shù)據(jù)庫的用戶- MASTER_PASSWORD=replication_password, /同

12、步數(shù)據(jù)庫的密碼- MASTER_LOG_FILE=recorded_log_, /主服務器二進制日志的文件名(前面要求記住的參數(shù))- MASTER_LOG_POS=recorded_log_position; /日志文件的開始位置(前面要求記住的參數(shù))e.啟動同步數(shù)據(jù)庫的線程mysql slave start;查看數(shù)據(jù)庫的同步情況吧。如果能夠成功同步那就恭喜了！查看主從服務器的狀態(tài)mysql SHOW PROCESSLISTG /可以查看 mysql 的進程看看是否有監(jiān)聽的進程。如 mysql2 上查看到監(jiān)聽 的的進程。7、將 B 設為主服務器，A 為從服務器，按上面步驟重新設置。8、測試改變

13、 A 服務器中數(shù)據(jù)庫 pmdb 中數(shù)據(jù)，查看 B 中的變化；再修改 B，查看 A 中數(shù)據(jù)的變化。2.5 反向代理服務器 nginx 的安裝配置兩臺主機均安裝以下步驟配置文檔可自由編輯打印1、安裝 Nginx 所需 pcre 庫（注意：安裝前需要已安裝 gcc-c+包）wget tar -zxvf pcre-8.10.tar.gzcd pcre-8.10./configuremakemake install2、安裝 Nginx自動安裝：sudo apt-get install nginx啟動服務，在瀏覽器中輸入 ,若顯示 Nginx 歡迎界面，則安裝成功安裝完后直接訪問可能會提示 403（Ubu

14、ntu 系統(tǒng)會提示） ，這時修改 /etc/nginx/sites-enabled/default，將location / root /var/www;index index.html index.htm;改為location / root /var/;index index.html index.htm; 即可。3、配置編輯配置文件 /etc/nginx/nginx.conf user ;文檔可自由編輯打印worker_processes 2;error_log /var/log/nginx/error.log;pid /var/run/nginx.pid;worker_rlimit_no;

15、events use epoll; worker_connections 2048; # multi_accept on;http include /etc/nginx/mime.types; default_type application/octet-stream; access_log /var/log/nginx/access.log; sendfile on; #tcp_nopush on; #keepalive_timeout 0; keepalive_timeout 65; tcp_nodelay on; #gzip on; gzip_disable MSIE 1-6.(?!.*

16、SV1);文檔可自由編輯打印 include /etc/nginx/conf.d/*.conf; include /etc/nginx/sites-enabled/*; upstream localhost server 0:8080 weight=1; server 9:8080 weight=1; ip_hash; #在沒有做共享 session 的情況下 ip_hash 可以解決 session問題 server listen 8888; server_name localhost; location / root html/solr; pro

17、xy_pass ; include proxy.conf; error_page 500 502 503 504 /50 x.html; location = /50 x.html root html; 其中 proxy.conf 文件為：proxy_redirect off;proxy_set_header Host $http_host;文檔可自由編輯打印proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;client_max_body_siz

18、e 10m;client_body_buffer_size 128k;proxy_connect_timeout 300;proxy_send_timeout 300;proxy_read_timeout 300;proxy_buffer_size 4k;proxy_buffers 4 32k;proxy_busy_buffers_size 64k;proxy_temp_ 64k;4、重啟 nginx： service nginx restart2.6 Keepalived 安裝配置1、自動安裝：sudo apt-get install keepalived2、按照如下內(nèi)容編輯配置文件：/et

19、c/keepalived/keepalived.confvrrp_script chk_nginx script sh /root/scripts/monitor_nginx.sh #監(jiān)控和啟動 nginx 進程腳本interval 2 #檢查間隔weight 2vrrp_instance VI_1 state MASTER#從是 BACKUPinterface eth0virtual_router_id 51文檔可自由編輯打印mcast_src_ip 7priority 105 #主比從數(shù)值大advert_int 3#smtp_alertauthentication a

20、uth_type PASSauth_pass 1234track_script chk_nginxvirtual_ipaddress 13、添加啟動和判斷 nginx 正常工作的腳本。在新建文件/root/scripts/monitor_nginx.sh ，內(nèi)容如下#!/bin/bashB=ps -ef | grep nginx: master process| grep -v grepecho $Bif -z $B then /etc/init.d/nginx start sleep 5文檔可自由編輯打印 B=ps -ef | grep nginx: master pr

21、ocess| grep -v grep if -z $B then killall keepalived fifi4、重啟 keepalived： service keepalived restart2.7 Heartbeat 的安裝配置主從機器安裝步驟相同。1、讓內(nèi)核支持 IPVS首先，我們必須讓 和 兩臺服務器的內(nèi)核支持 IPVS(IP Virtual Server)。通過 IPVS，我們可以在 Linux 內(nèi)核級別上實現(xiàn)傳輸層的負載均衡。執(zhí)行下面的命令：2、然后，我們還需要修改/etc/modules，添加這些模塊，以便系統(tǒng)在重新啟動時能夠自動加載它們。執(zhí)行下面的命令：sudo nano

22、 /etc/modules在文件末尾，添加下列內(nèi)容：文檔可自由編輯打印3、此外，我們還需要啟用內(nèi)核的包轉(zhuǎn)發(fā)功能，執(zhí)行下面的命令：sudo nano /etc/sysctl.conf將 net.ipv4.ip_forward 所在行的注釋去掉。文件保存后，運行命令使之立即生效：sudo sysctl p4、安裝 heartbeat 前，我們要先調(diào)節(jié)負載均衡節(jié)點上的/etc/hosts 文件sudo nano /etc/hosts localhost7 mysql-lb1 #mysql-lb1 為主機名稱，在/etc/hostname 中配置192.168.

23、2.51 mysql-lb25、啟動自動安裝：apt-get install heartbeat6、在/etc/heartbeat/目錄下新建文件 ha.cf，并編輯：loglogfacility local0#keepalive 2deadtime 5#warntime 10#initdead 10#udpport 694bcast eth0文檔可自由編輯打印auto_failback offnode mysql-lb1node mysql-lb2respawn hacluster /usr/lib/heartbeat/ipfailapiauth ipfail gid=haclient ui

24、d=hacluster7、在/etc/heartbeat/目錄下新建文件 haresources，并編輯：mysql-lb1 5/24/eth08、在/etc/heartbeat/目錄下新建文件 haresources，并編輯：auth 3#1 crc#2 sha1 HI!3 md5 Hello!9、重啟 heartbeat，service heartbeat restart10、輸入 ip a ，查看綁定的虛擬 IP 是否綁定，如下圖(5)2.8 Apache-tomcat 安裝配置兩臺機器配置基本相同1、下載軟件壓縮包：apache-tomcat

25、-6.0.35.tar.gz2、在/usr/目錄下新建文件夾 tomcat/，并進入此文件夾3、將壓縮包解壓：tar zxvf apache-tomcat-6.0.35.tar.gz 4、將 mysql 驅(qū)動文件 mysql-connector-java-5.1.13-bin.jar 放入 lib/文件夾下5、修改配置文件內(nèi)容：壓縮文件夾中/conf/content.xml文檔可自由編輯打印在標簽中添加如下內(nèi)容： 6、將 web 服務導出文件 pmweb.war 放入 webapps/文件夾下7、啟動服務器 sh bin/start.sh文檔可自由編輯打印3 CentOS 下安裝配置的改動Ce

26、ntOS 下使用的是手動安裝軟件，遇到較多問題。3.1 Nginx1、首先安裝 Nginx 所需 pcre 庫安裝前確認已安裝 c 和 c+編譯工具（如 gcc、gcc-c+）wget tar -zxvf pcre-8.10.tar.gzcd pcre-8.10./configuremakemake install2、安裝 openssl-develYum install openssl-devel3、安裝 nginxgroupadd wwwuseradd -g tar zxvf nginx-0.8.52.tar.gzcd nginx-0.8.52/./configure -user= -pr

27、efix=/usr/local/nginx -with-http_stub_status_module -with-http_ssl_modulemakemake install4、配置修改配置文件/usr/local/nginx/conf/nginx.conf，添加下面內(nèi)容到 http 中：upstream tomcats 文檔可自由編輯打印 server 0:8080 weight=1; #tomcat 服務器 server 9:8080 weight=1; ip_hash; #在沒有做共享 session 的情況下 ip_hash 可以解決 s

28、ession問題 server listen 8888; server_name tomcats; location / root html/solr; proxy_pass http:/ tomcats; include proxy.conf; error_page 500 502 503 504 /50 x.html; location = /50 x.html root html; 5、配置文件目錄下添加 proxy.conf 文件，內(nèi)容如下：proxy_redirect off;proxy_set_header Host $http_host;proxy_set_header X-Re

29、al-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;client_max_body_size 10m;client_body_buffer_size 128k;proxy_connect_timeout 300;文檔可自由編輯打印proxy_send_timeout 300;proxy_read_timeout 300;proxy_buffer_size 4k;proxy_buffers 4 32k;proxy_busy_buffers_size 64k;proxy_temp_ 64k;6

30、、測試配置文件/usr/local/nginx/sbin/nginx t如果出現(xiàn)以下情況/usr/local/nginx/sbin/nginx: error while loading shared libraries: libpcre.so.1: cannot open shared object file: No such directory解決辦法：sudo ln -s /usr/local/lib/libpcre.so.1 /usr/lib/libpcre.so.1如下圖表示配置文件沒有錯誤7、啟動 nginx/usr/local/nginx/sbin/nginx8、注意防火墻可以導致

31、無法訪問3.2 Keepalived1、首先下載所需要的軟件wget wget 2.安裝 popt文檔可自由編輯打印安裝前確認已安裝 gcc編譯 keepalived 時需要 popt，否則會報以下錯誤：configure: error: Popt libraries is requiredtar -zxvf popt-1.16.tar.gzcd popt-1.16./configuremakemake install3、安裝 openssl 等 keepalived 依賴軟件yum install ipvsadmyum install kernel kernel-develyum insta

32、ll openssl-devel4.安裝 keepalivedtar -zxvf keepalived-1.1.19.tar.gzcd keepalived-1.1.19./configure -prefix=/usr/local/keepalived -mandir=/usr/local/share/man/ -with-kernel-dir=/usr/src/kernels/2.6.32-220.7.1.el6.i686/makemake install5.配置! Configuration keepalivedglobal_defs notification_email 文檔可自由編輯打

33、印 notification_email_from smtp_server smtp_connect_timeout 30 router_id pmsbackupstatic_ipaddress /24 brd + dev eth0 scope globalvrrp_instance VI_1 state MASTER interface eth0 dont_track_primary virtual_router_id 51 priority 100 advert_int 1 authentication auth_type PASS auth_pa

34、ss 1111 virtual_ipaddress 44/24 dev eth0 文檔可自由編輯打印3.3 Heartbeat1、安裝 cluster glue安裝 heartbeat 之前需要安裝 glue。yum install autoconf automake libtool glib2-devel libxml2-devel bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel make wget（紅色標記處也需要安裝）groupadd haclientuseradd -g haclient h

35、aclustercd /tmpwget tar xjf glue-1.0.9.tar.bz2cd Reusable-Cluster-Components-glue-glue-1.0.9./autogen.sh./configure -prefix=/usr/local/heartbeat LIBS=/lib/libuuid.so.1（64 位系統(tǒng)上是LIBS=/lib64/libuuid.so.1）make & make install安裝過程中會在 INTERNET 中校驗一些 xml 文件，會耗費大量時間，要耐心等待。如果報錯可能是網(wǎng)絡引起，多試幾次就行(yum install d

36、ocbook-dtds docbook-style-xsl 安裝這兩個包之后解決 )。2、安裝 Resource Agentscd /tmpwget -no-check-certificate tar xzf v3.9.2cd ClusterLabs-resource-agents-b735277/./autogen.sh文檔可自由編輯打印./configure -prefix=/usr/local/heartbeat CFLAGS=-I/usr/local/heartbeat/include LDFLAGS=-L/usr/local/heartbeat/lib LIBS=/lib/libuu

37、id.so.1（64 位系統(tǒng)上是 LIBS=/lib64/libuuid.so.1）ln -s /usr/local/heartbeat/lib/* /lib/ (64 位系統(tǒng)是 ln -s /usr/local/heartbeat/lib/* /lib64/ 解決 libplumb.so.2 等包找不到的問題，./configure 的時候會產(chǎn)生一些需要的包)make & make install3、安裝 Heartbeatcd /tmpwget tar xjf 7e3a82377fa8.tar.bz2cd Heartbeat-3-0-7e3a82377fa8/./bootstrap

38、./configure -prefix=/usr/local/heartbeat CFLAGS=-I/usr/local/heartbeat/include LDFLAGS=-L/usr/local/heartbeat/lib LIBS=/lib64/libuuid.so.1vim /usr/local/heartbeat/include/heartbeat/glue_config.h刪除最后一行：#define HA_HBCONF_DIR “/usr/local/heartbeat/etc/ha.d/” （解決glue_config.h:99:1: error: HA_HBCONF_DIR

39、redefined 錯誤）make & make installcp doc/ha.cf /usr/local/heartbeat/etc/ha.d/cp doc/haresources /usr/local/heartbeat/etc/ha.d/cp doc/authkeys /usr/local/heartbeat/etc/ha.d/cp heartbeat/init.d/heartbeat /etc/rc.d/init.d/chkconfig -add heartbeatchkconfig heartbeat onchmod 600 /usr/local/heartbeat/et

40、c/ha.d/authkeys文檔可自由編輯打印sed -i s#/usr/lib/ocf#/usr/local/heartbeat/usr/lib/ocf#g /usr/local/heartbeat/etc/ha.d/shellfuncssed -i s#/usr/lib/ocf#/usr/local/heartbeat/usr/lib/ocf#g /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/ocf-shellfuncssed -i s#/usr/lib/ocf#/usr/local/heartbeat/usr/lib/ocf#g /usr

41、/local/heartbeat/etc/ha.d/resource.d/hto-mapfuncs（上面三條是用新的路徑替換默認路徑，將/usr/lib/ocf 替換為/usr/local/heartbeat/usr/lib/ocf）4、配置同 2.73.4 添加 shell 腳本1、新建文件/usr/local/heartbeat/myslq_monitor.sh2、添加如下內(nèi)容：#!/bin/shcat /var/log/mysql_ha.log elseecho $TIMESTAMP$DB1IP nginx is running,but ha is down,start ha now /

42、var/log/mysql_ha.log/etc/rc.d/init.d/heartbeat start if $HAPORT = 694 ;thenecho $TIMESTAMP$DB1IP ha start successful,nginx and ha all running. /var/log/mysql_ha.logelseecho $TIMESTAMP$DB1IP ha is down,let (DB2IP) to take over nginx,please start ha now! /var/log/mysql_ha.log文檔可自由編輯打印#mail -s mysql an

43、d ha warning!server: $DB1IP ha is down /var/log/mysql_ha.log#mail -s mysql and ha warning!server: $DB1IP mysql is down /var/log/mysql_ha.log fielseecho $TIMESTAMP$DB1IP nginx and ha all down,first restart nginx,when nginx is run,restart ha /var/log/mysql_ha.log /usr/local/nginx/sbin/nginx#/etc/rc.d/

44、init.d/mysqld startif $NGPORT = 8888 ;then/etc/rc.d/init.d/heartbeat startif $HAPORT = 694 ;then文檔可自由編輯打印echo $TIMESTAMP$DB1IP nginx and ha all running. /var/log/mysql_ha.log elseecho $TIMESTAMP$DB1IP nginx is running,ha is down,please restart ha /var/log/mysql_ha.log#mail -s mysql and ha warning!server: $DB1IP ha is down /var/log/mysql_ha.log#mail -s mysql and ha warning!server: $DB1IP mysql and ha all down /var/log/mysql_ha.log elseecho $TIMESTAMP$