高性能Web服務(wù)器Nginx與相關(guān)新技術(shù)應(yīng)用實踐

高性能Web服務(wù)器Nginx與相關(guān)新技術(shù)應(yīng)用實踐第一頁，共53頁。高性能Web服務(wù)器Nginx

及相關(guān)新技術(shù)的應(yīng)用實踐北京金山軟件逍遙網(wǎng)張宴2009.10第二頁，共53頁。什么是Nginx？Nginx(“enginex”)是俄羅斯人IgorSysoev(塞索耶夫)編寫的一款高性能的HTTP和反向代理服務(wù)器。Nginx已經(jīng)在俄羅斯最大的門戶網(wǎng)站──RamblerMedia（）上運行了4年時間，同時俄羅斯超過20%的虛擬主機(jī)平臺采用Nginx作為反向代理服務(wù)器。在國內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用Nginx服務(wù)器。第三頁，共53頁。Nginx的優(yōu)點①1、高并發(fā)連接：官方測試能夠支撐5萬并發(fā)連接，在實際生產(chǎn)環(huán)境中跑到2～3萬并發(fā)連接數(shù)。2、內(nèi)存消耗少：在3萬并發(fā)連接下，開啟的10個Nginx進(jìn)程才消耗150M內(nèi)存（15M*10=150M）。3、配置文件非常簡單：風(fēng)格跟程序一樣通俗易懂。4、成本低廉：Nginx為開源軟件，可以免費使用。而購買F5BIG-IP、NetScaler等硬件負(fù)載均衡交換機(jī)則需要十多萬至幾十萬人民幣。第四頁，共53頁。Nginx的優(yōu)點②5、支持Rewrite重寫規(guī)則：能夠根據(jù)域名、URL的不同，將HTTP請求分到不同的后端服務(wù)器群組。6、內(nèi)置的健康檢查功能：如果NginxProxy后端的某臺Web服務(wù)器宕機(jī)了，不會影響前端訪問。7、節(jié)省帶寬：支持GZIP壓縮，可以添加瀏覽器本地緩存的Header頭。8、穩(wěn)定性高：用于反向代理，宕機(jī)的概率微乎其微。第五頁，共53頁。單臺Nginx支撐了高達(dá)2.8萬的活動并發(fā)連接數(shù)2009-09-03

14:30，金山游戲《劍俠情緣網(wǎng)絡(luò)版3》臨時維護(hù)1小時，大量玩家上官網(wǎng)，論壇、評論、客服等動態(tài)應(yīng)用Nginx服務(wù)器集群，每臺服務(wù)器的Nginx活動連接數(shù)達(dá)到2.8萬，這是本人遇到的Nginx生產(chǎn)環(huán)境最高并發(fā)值。第六頁，共53頁。Nginx的主要應(yīng)用類別1、使用Nginx結(jié)合FastCGI運行PHP、JSP、Perl等程序2、使用Nginx作反向代理、負(fù)載均衡、規(guī)則過濾3、使用Nginx運行靜態(tài)HTML頁、圖片4、Nginx與其他新技術(shù)的結(jié)合應(yīng)用第七頁，共53頁。Nginx在金山逍遙網(wǎng)中的應(yīng)用案例金山逍遙網(wǎng)()是金山游戲官方網(wǎng)站，為金山軟件旗下的各款游戲提供新聞資訊、客戶服務(wù)、在線充值、視聽互動、在線活動、博客、相冊、論壇、玩家社區(qū)等內(nèi)容建設(shè)和在線服務(wù)支持。第八頁，共53頁。金山逍遙網(wǎng)

Nginx七層負(fù)載均衡的應(yīng)用第九頁，共53頁。Nginx承擔(dān)每個機(jī)房Web負(fù)載均衡服務(wù)第十頁，共53頁。簡單的Nginx負(fù)載均衡配置①……upstreambbs_server_pool{server5:80weight=1max_fails=2fail_timeout=30s;server6:80weight=1max_fails=2fail_timeout=30s;server7:80weight=1max_fails=2fail_timeout=30s;server8:80weight=1max_fails=2fail_timeout=30s;}……在nginx.conf配置文件中，用upstream指令定義一組反向代理/負(fù)載均衡后端服務(wù)器池。第十一頁，共53頁。簡單的Nginx負(fù)載均衡配置②……server{listen 80;server_name*.;location/{proxy_pass;proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;}access_logoff;}……第十二頁，共53頁。簡單的Nginx負(fù)載均衡配置③proxy_pass;用于指定反向代理的服務(wù)器池。

proxy_set_headerHost$host;當(dāng)后端Web服務(wù)器上也配置有多個虛擬主機(jī)時，需要用該Header來區(qū)分反向代理哪個主機(jī)名。proxy_set_headerX-Forwarded-For$remote_addr;如果后端Web服務(wù)器上的程序需要獲取用戶IP，請從該Header頭獲取。第十三頁，共53頁。Nginx負(fù)載均衡的雙機(jī)熱備第十四頁，共53頁。通常情況下的負(fù)載均衡HA高可用優(yōu)點：實現(xiàn)了雙機(jī)熱備、故障自動轉(zhuǎn)移。缺點：備機(jī)服務(wù)器處于閑置狀態(tài)，浪費了硬件資源。第十五頁，共53頁。逍遙網(wǎng)Nginx負(fù)載均衡雙機(jī)互備正常情況下，兩臺Nginx負(fù)載均衡服務(wù)器全部處于活動狀態(tài)，對外提供服務(wù)。第十六頁，共53頁。服務(wù)器①綁定IP別名/sbin/ifconfigeth0:ha1broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha1/sbin/arping-Ieth0-c3-s在服務(wù)器①的外網(wǎng)網(wǎng)卡eth0上，綁定了一個虛擬IP，綁定完成后發(fā)送arping包給網(wǎng)關(guān)。第十七頁，共53頁。服務(wù)器②綁定IP別名/sbin/ifconfigeth0:ha2broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha2/sbin/arping-Ieth0-c3-s在服務(wù)器②的外網(wǎng)網(wǎng)卡eth0上，綁定了一個虛擬IP，綁定完成后發(fā)送arping包給網(wǎng)關(guān)。第十八頁，共53頁。第十九頁，共53頁。新的Nginx雙機(jī)互備(發(fā)生故障時)自動接管公網(wǎng)虛擬IP，實現(xiàn)故障轉(zhuǎn)移第二十頁，共53頁。服務(wù)器①去除IP別名/sbin/ifconfigeth0:ha1broadcast55netmaskdown通過兩臺服務(wù)器之間的互相檢測機(jī)制，當(dāng)服務(wù)器①上的檢測程序發(fā)現(xiàn)自身的Nginx無法訪問時，停止綁定虛擬IP第二十一頁，共53頁。服務(wù)器②接管原服務(wù)器①的虛擬IP/sbin/ifconfigeth0:ha1broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha1/sbin/arping-Ieth0-c3-s給網(wǎng)關(guān)發(fā)送Arping包，保證了網(wǎng)關(guān)上IP、MAC地址對應(yīng)關(guān)系能夠馬上更改，能夠做到強(qiáng)行接管虛擬IP。第二十二頁，共53頁。Nginx負(fù)載均衡URL分發(fā)第二十三頁，共53頁。硬件、軟件七層負(fù)載均衡對比：NetScaler與Nginx第二十四頁，共53頁。硬件、軟件七層負(fù)載均衡對比：NetScaler與Nginx第二十五頁，共53頁。根據(jù)不同的URL轉(zhuǎn)發(fā)到不同服務(wù)器server{listen80;server_name;location~^/admincp.php{proxy_pass;proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;}location/{proxy_pass;proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;}}第二十六頁，共53頁。Web相關(guān)文件的實時自動同步第二十七頁，共53頁。少量文件的多服務(wù)器自動同步使用Linux2.6內(nèi)核的inotify監(jiān)控Linux文件系統(tǒng)事件。利用開源的lsync監(jiān)聽某一目錄，如果目錄內(nèi)文件發(fā)生增、刪、改，利用Rsync協(xié)議自動同步到多臺服務(wù)器。lsyncd/data0/htdocs//data/::hu_data/::hu_data/::hu_data/::hu_data/第二十八頁，共53頁。大量文件的多服務(wù)器自動同步使用Linux2.6內(nèi)核的inotify監(jiān)控Linux文件系統(tǒng)事件。修改可監(jiān)控的最大目錄數(shù)量echo50000000>/proc/sys/fs/inotify/max_user_watches金山逍遙網(wǎng)開發(fā)的sersync文件自動同步程序，適合大量文件的自動同步，并可以在文件同步完成后，自動調(diào)用CDN緩存刷新接口，刷新發(fā)生修改、刪除的文件的訪問URL。用于：金山游戲官網(wǎng)的CMS發(fā)布系統(tǒng)。第二十九頁，共53頁。Nginx的Web緩存服務(wù)第三十頁，共53頁。Nginx的緩存功能Nginx從0.7.48版本開始，支持了類似Squid的緩存功能；緩存把URL及相關(guān)組合當(dāng)作Key，用md5編碼哈希后保存；Nginx的Web緩存服務(wù)只能為指定URL或狀態(tài)碼設(shè)置過期時間，不支持類似Squid的PURGE指令，手動清除指定緩存頁面；采用MMAP實現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWAP的值。第三十一頁，共53頁。反向代理中的Nginx.conf緩存配置①……#設(shè)置Web緩存區(qū)名稱為cache_one，緩存空間大小為2000MB，1天清理一次緩存，單個文件超過5m不緩存。proxy_cache_path/data0/proxy_cache_pathlevels=1:2keys_zone=cache_one:2000minactive=1dmax_size=5m;#注：proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區(qū)proxy_temp_path/data0/proxy_temp_path;upstreammy_server_pool{server:80weight=1max_fails=2fail_timeout=30s;server:80weight=1max_fails=2fail_timeout=30s;}……第三十二頁，共53頁。反向代理中的Nginx.conf緩存配置②server{listen80;server_name;location/{proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;proxy_pass;}location~.*\.(gif|jpg|jpeg|png|bmp|swf|js|css)${#對圖片、JS、CSS進(jìn)行緩存，使用Web緩存區(qū)cache_oneproxy_cachecache_one;

第三十三頁，共53頁。反向代理中的Nginx.conf緩存配置③

#對不同HTTP狀態(tài)碼緩存設(shè)置不同的緩存時間

proxy_cache_valid20010m;proxy_cache_valid3043m;proxy_cache_valid3013021h;proxy_cache_validany1m;

#設(shè)置Web緩存的Key值，Nginx根據(jù)Key值md5哈希存儲緩存，這里根據(jù)“域名、URI、客戶端請求Header頭中的If-Modified-Since信息”組合成Key。

proxy_cache_key$host$request_uri$http_if_modified_since;

#反向代理，訪問后端內(nèi)容源服務(wù)器

proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;proxy_pass;}access_logoff;}第三十四頁，共53頁。Nginx緩存功能的優(yōu)點對于修改實時性要求不高的圖片、Flash、CSS樣式文件、JavaScript文件，可以在Nginx反向代理(負(fù)載均衡)服務(wù)器上設(shè)置緩存，不用每次請求都轉(zhuǎn)發(fā)到后端Web服務(wù)器，加快了響應(yīng)速度。減少了Nginx與后端Web服務(wù)器的連接數(shù)，提高了Nginx處理性能。第三十五頁，共53頁。Nginx的Rewrite重寫規(guī)則第三十六頁，共53頁。NginxRewrite規(guī)則相關(guān)指令NginxRewrite規(guī)則相關(guān)指令有if、rewrite、set、return、break等，其中rewrite是最關(guān)鍵的指令。一個簡單的NginxRewrite規(guī)則語法如下：rewrite^/b/(.*)\.html/play.php?video=$1break;如果加上if語句，示例如下：if(!-f$request_){rewrite^/img/(.*)$/site/$host/images/$1last;}第三十七頁，共53頁。Nginx與Apache的Rewrite規(guī)則實例對比①簡單的Nginx和Apache重寫規(guī)則區(qū)別不大，基本上能夠完全兼容。例如：ApacheRewrite規(guī)則：RewriteRule^/(mianshi|xianjing)/$/zl/index.php?name=$1[L]RewriteRule^/ceshi/$/zl/ceshi.php[L]RewriteRule^/(mianshi)_([a-zA-Z]+)/$/zl/index.php?name=$1_$2[L]RewriteRule^/pingce([0-9]*)/$/zl/pingce.php?id=$1[L]NginxRewrite規(guī)則：rewrite^/(mianshi|xianjing)/$/zl/index.php?name=$1last;rewrite^/ceshi/$/zl/ceshi.phplast;rewrite^/(mianshi)_([a-zA-Z]+)/$/zl/index.php?name=$1_$2last;rewrite^/pingce([0-9]*)/$/zl/pingce.php?id=$1last;由以上示例可以看出，Apache的Rewrite規(guī)則改為Nginx的Rewrite規(guī)則，其實很簡單：Apache的RewriteRule指令換成Nginx的rewrite指令，Apache的[L]標(biāo)記換成Nginx的last標(biāo)記，中間的內(nèi)容不變。第三十八頁，共53頁。Nginx與Apache的Rewrite規(guī)則實例對比②如果Apache的Rewrite規(guī)則改為Nginx的Rewrite規(guī)則后，使用nginx-t命令檢查發(fā)現(xiàn)nginx.conf配置文件有語法錯誤，那么可以嘗試給條件加上引號。例如一下的NginxRewrite規(guī)則會報語法錯誤：rewrite^/([0-9]{5}).html$/x.jsp?id=$1last;加上引號就正確了：rewrite"^/([0-9]{5}).html$"/x.jsp?id=$1last;第三十九頁，共53頁。Nginx與Apache的Rewrite規(guī)則實例對比③Apache與Nginx的Rewrite規(guī)則在URL跳轉(zhuǎn)時有細(xì)微的區(qū)別：ApacheRewrite規(guī)則：RewriteRule^/html/tagindex/([a-zA-Z]+)/.*$/$1/[R=301,L]NginxRewrite規(guī)則：rewrite^/html/tagindex/([a-zA-Z]+)/.*$http://$host/$1/permanent;以上示例中，我們注意到，NginxRewrite規(guī)則的置換串中增加了“http://$host”，這是在Nginx中要求的。第四十頁，共53頁。Nginx與Apache的Rewrite規(guī)則實例對比④另外，Apache與Nginx的Rewrite規(guī)則在變量名稱方面也有區(qū)別，例如：ApacheRewrite規(guī)則：RewriteRule^/user/login/$/user/login.php?login=1&forward=http://%{HTTP_HOST}[L]NginxRewrite規(guī)則：rewrite^/user/login/$/user/login.php?login=1&forward=http://$hostlast;第四十一頁，共53頁。Nginx與Apache的Rewrite規(guī)則實例對比⑤Apache與NginxRewrite規(guī)則的一些功能相同或類似的指令、標(biāo)記對應(yīng)關(guān)系：Apache的RewriteCond指令對應(yīng)Nginx的if指令；Apache的RewriteRule指令對應(yīng)Nginx的rewrite指令；Apache的[R]標(biāo)記對應(yīng)Nginx的redirect標(biāo)記；Apache的[P]標(biāo)記對應(yīng)Nginx的last標(biāo)記；Apache的[R,L]標(biāo)記對應(yīng)Nginx的redirect標(biāo)記；Apache的[P,L]標(biāo)記對應(yīng)Nginx的last標(biāo)記；Apache的[PT,L]標(biāo)記對應(yīng)Nginx的last標(biāo)記；第四十二頁，共53頁。Nginx與Apache的多條件Rewrite示例①允許指定的域名訪問本站，其他域名一律跳轉(zhuǎn)到ApacheRewrite規(guī)則：RewriteCond%{HTTP_HOST}^(.*?)\.domain\.com$RewriteCond%{HTTP_HOST}!^qita\.domain\.com$RewriteCond%{DOCUMENT_ROOT}/market/%1/index.htm-fRewriteRule^/wu/$/market/%1/index.htm[L]Nginx的if指令不支持嵌套，也不支持AND、OR等多條件匹配，相比于Apache的RewriteCond，顯得麻煩一些，但是，我們可以通過下一頁的Nginx配置寫法來實現(xiàn)這個示例：第四十三頁，共53頁。Nginx與Apache的多條件Rewrite示例②NginxRewrite規(guī)則：if($host~*^(.*?)\.domain\.com$){ set$var_wupin_city$1; set$var_wupin'1';}if($host~*^qita\.domain\.com$){ set$var_wupin'0';}if(!-f$document_root/market/$var_wupin_city/index.htm){ set$var_wupin'0';}if($var_wupin~'1'){ rewrite^/wu/$/market/$var_wupin_city/index.htmlast;}第四十四頁，共53頁。Nginx與金山逍遙TCSQL的配合第四十五頁，共53頁。一般數(shù)據(jù)庫的緩存類型一般數(shù)據(jù)庫緩存分為四種：1、Key/Value單個對象緩存，如Memcached2、列表緩存，就像論壇里帖子的列表3、記錄條數(shù)的緩存，比如一個論壇板塊里有多少個帖子，這樣才方便實現(xiàn)分頁。4、復(fù)雜一點的group，sum，count查詢，比如一個論壇里按點擊數(shù)排名的最HOT的帖子列表。第一種比較好實現(xiàn)，后面三種比較麻煩。第四十六頁，共53頁。什么是TCSQL實時列表緩存數(shù)據(jù)庫？TCSQL是金山逍遙網(wǎng)技術(shù)支持部平臺組以TokyoCabinetDBM為底層存儲與索引，結(jié)合類似Memcached的Key-Value內(nèi)存對象緩存，借鑒SQL語句的SELECT、INSERT、UPDATE、DELETE思想與功能開發(fā)的實時列表緩存數(shù)據(jù)庫，可實現(xiàn)對列表頁數(shù)據(jù)、記錄條數(shù)的實時緩存。TCSQL采用HTTPGET/POST協(xié)議＋JSON數(shù)據(jù)交換格式在客戶端、服務(wù)器端之間進(jìn)行數(shù)據(jù)交互。利用我們編寫的My