大型網(wǎng)站架構系列：負載均衡詳解

大型網(wǎng)站架構系列：負載均衡詳解（1）面對大量用戶訪問、高并發(fā)請求，海量數(shù)據(jù)，可以使用高性能的服務器、大型數(shù)據(jù)庫，存儲設備，高性能Web服務器，采用高效率的編程語言比如（Go,Scala）等，當單機容量達到極限時，我們需要考慮業(yè)務拆分和分布式部署，來解決大型網(wǎng)站訪問量大，并發(fā)量高，海量數(shù)據(jù)的問題。從單機網(wǎng)站到分布式網(wǎng)站，很重要的區(qū)別是業(yè)務拆分和分布式部署，將應用拆分后，部署到不同的機器上，實現(xiàn)大規(guī)模分布式系統(tǒng)。分布式和業(yè)務拆分解決了，從集中到分布的問題，但是每個部署的獨立業(yè)務還存在單點的問題和訪問統(tǒng)一入口問題，為解決單點故障，我們可以采取冗余的方式。將相同的應用部署到多臺機器上。解決訪問統(tǒng)一入口問題，我們可以在集群前面增加負載均衡設備，實現(xiàn)流量分發(fā)。負載均衡（LoadBalance），意思是將負載（工作任務，訪問請求）進行平衡、分攤到多個操作單元（服務器，組件）上進行執(zhí)行。是解決高性能，單點故障（高可用），擴展性（水平伸縮）的終極解決方案。本文是負載均衡詳解的第一篇文章，介紹負載均衡的原理，負載均衡分類（DNS負載均衡,HTTP負載均衡，IP負載均衡，鏈路層負載均衡,混合型P負載均衡）。部分內容摘自讀書筆記。本次分享大綱負載均衡原理DNS負載均衡HTTP負載均衡IP負載均衡鏈路層負載均衡混合型P負載均衡一、負載均衡原理系統(tǒng)的擴展可分為縱向（垂直）擴展和橫向（水平）擴展?？v向擴展，是從單機的角度通過增加硬件處理能力，比如CPU處理能力，內存容量，磁盤等方面，實現(xiàn)服務器處理能力的提升，不能滿足大型分布式系統(tǒng)（網(wǎng)站），大流量，高并發(fā)，海量數(shù)據(jù)的問題。因此需要采用橫向擴展的方式，通過添加機器來滿足大型網(wǎng)站服務的處理能力。比如：一臺機器不能滿足，則增加兩臺或者多臺機器，共同承擔訪問壓力。這就是典型的集群和負載均衡架構：如下圖：?應用集群：將同一應用部署到多臺機器上，組成處理集群，接收負載均衡設備分發(fā)的請求，進行處理，并返回相應數(shù)據(jù)。?負載均衡設備：將用戶訪問的請求，根據(jù)負載均衡算法，分發(fā)到集群中的一臺處理服務器。（一種把網(wǎng)絡請求分散到一個服務器集群中的可用服務器上去的設備）負載均衡的作用（解決的問題）：解決并發(fā)壓力，提高應用處理性能（增加吞吐量，加強網(wǎng)絡處理能力）；提供故障轉移，實現(xiàn)高可用；通過添加或減少服務器數(shù)量，提供網(wǎng)站伸縮性（擴展性）；安全防護；（負載均衡設備上做一些過濾，黑白名單等處理）二、負載均衡分類根據(jù)實現(xiàn)技術不同，可分為DNS負載均衡，HTTP負載均衡，IP負載均衡，鏈路層負載均衡等。2.1DNS負載均衡最早的負載均衡技術，利用域名解析實現(xiàn)負載均衡，在DNS服務器，配置多個A記錄，這些A記錄對應的服務器構成集群。大型網(wǎng)站總是部分使用DNS解析，作為第一級負載均衡。如下圖：使用簡單：負載均衡工作，交給DNS服務器處理，省掉了負載均衡服務器維護的麻煩提高性能：可以支持基于地址的域名解析，解析成距離用戶最近的服務器地址，可以加快訪問速度，改善性能；可用性差：DNS解析是多級解析，新增/修改DNS后，解析時間較長;解析過程中，用戶訪問網(wǎng)站將失敗；擴展性低：DNS負載均衡的控制權在域名商那里，無法對其做更多的改善和擴展;維護性差：也不能反映服務器的當前運行狀態(tài)；支持的算法少；不能區(qū)分服務器的差異（不能根據(jù)系統(tǒng)與服務的狀態(tài)來判斷負載）實踐建議將DNS作為第一級負載均衡，A記錄對應著內部負載均衡的IP地址，通過內部負載均衡將請求分發(fā)到真實的Web服務器上。一般用于互聯(lián)網(wǎng)公司，復雜的業(yè)務系統(tǒng)不合適使用。如下圖：

同川地俳A頃*妣刎虹汝備日3.-I；；;；.'■.1：同川地俳A頃*妣刎虹汝備日3.-I；；;；.'■.1：2：：/CC<'.22.il-AM#Ml2M.00.C.2口H龐I窗沒備4200.100.il21.3IP負載均衡在網(wǎng)絡層通過修改請求目標地址進行負載均衡。用戶請求數(shù)據(jù)包，到達負載均衡服務器后，負載均衡服務器在操作系統(tǒng)內核進程獲取網(wǎng)絡數(shù)據(jù)包，根據(jù)負載均衡算法得到一臺真實服務器地址，然后將請求目的地址修改為，獲得的真實ip地址，不需要經過用戶進程處理。真實服務器處理完成后，響應數(shù)據(jù)包回到負載均衡服務器，負載均衡服務器，再將數(shù)據(jù)包源地址修改為自身的ip地址，發(fā)送給用戶瀏覽器。如下圖：IP負載均衡，真實物理服務器返回給負載均衡服務器，存在兩種方式：（1）負載均衡服務器在修改目的ip地址的同時修改源地址。將數(shù)據(jù)包源地址設為自身盤，即源地址轉換（snat）。（2）將負載均衡服務器同時作為真實物理服務器集群的網(wǎng)關服務器。優(yōu)點：（1）在內核進程完成數(shù)據(jù)分發(fā)，比在應用層分發(fā)性能更好；缺點:（2）所有請求響應都需要經過負載均衡服務器，集群最大吞吐量受限于負載均衡服務器網(wǎng)卡帶寬；2.4鏈路層負載均衡在通信協(xié)議的數(shù)據(jù)鏈路層修改mac地址，進行負載均衡。數(shù)據(jù)分發(fā)時，不修改ip地址，指修改目標mac地址，配置真實物理服務器集群所有機器虛擬ip和負載均衡服務器ip地址一致，達到不修改數(shù)據(jù)包的源地址和目標地址，進行數(shù)據(jù)分發(fā)的目的。實際處理服務器ip和數(shù)據(jù)請求目的ip一致，不需要經過負載均衡服務器進行地址轉換，可將響應數(shù)據(jù)包直接返回給用戶瀏覽器，避免負載均衡服務器網(wǎng)卡帶寬成為瓶頸。也稱為直接路由模式（DR模式）。如下圖：優(yōu)點：性能好；缺點：配置復雜；實踐建議：DR模式是目前使用最廣泛的一種負載均衡方式。2.5混合型負載均衡由于多個服務器群內硬件設備、各自的規(guī)模、提供的服務等的差異，可以考慮給每個服務器群采用最合適的負載均衡方式，然后又在這多個服務器群間再一次負載均衡或群集起來以一個整體向外界提供服務（即把這多個服務器群當做一個新的服務器群），從而達到最佳的性能。將這種方式稱之為混合型負載均衡。此種方式有時也用于單臺均衡設備的性能不能滿足大量連接請求的情況下。是目前大型互聯(lián)網(wǎng)公司，普遍使用的方式。方式一，如下圖:

以上模式適合有動靜分離的場景，反向代理服務器（集群）可以起到緩存和動態(tài)請求分發(fā)的作用，當時靜態(tài)資源緩存在代理服務器時，則直接返回到瀏覽器。如果動態(tài)頁面則請求后面的應用負載均衡（應用集群）。方式二，如下圖：也裁均衡噂什 也裁均衡噂什 W rr壘局魚:"偷II臼券椎3*.根幫負裁法i退㈣膛擰器匠電|||;|以上模式，適合動態(tài)請求場景。因混合模式，可以根據(jù)具體場景，靈活搭配各種方式，以上兩種方式僅供參考。大型網(wǎng)站架構系列：負載均衡詳解（2）本文是負載均衡詳解的第一篇文章，介紹負載均衡算法，硬件負載均衡。部分內容摘自讀書筆記。三、負載均衡算法常用的負載均衡算法有，輪詢，隨機，最少鏈接，源地址散列，加權等方式；3.1輪詢將所有請求，依次分發(fā)到每臺服務器上，適合服務器硬件同相同的場景。優(yōu)點：服務器請求數(shù)目相同;缺點：服務器壓力不一樣，不適合服務器配置不同的情況；3.2隨機請求隨機分配到各個服務器。優(yōu)點：使用簡單；缺點：不適合機器配置不同的場景；3.3最少鏈接將請求分配到連接數(shù)最少的服務器（目前處理請求最少的服務器）。優(yōu)點：根據(jù)服務器當前的請求處理情況，動態(tài)分配；缺點：算法實現(xiàn)相對復雜，需要監(jiān)控服務器請求連接數(shù)；3.4Hash（源地址散列）根據(jù)IP地址進行Hash計算，得到IP地址。優(yōu)點：將來自同一IP地址的請求，同一會話期內，轉發(fā)到相同的服務器；實現(xiàn)會話粘滯。缺點：目標服務器宕機后，會話會丟失；3.5加權在輪詢，隨機，最少鏈接，Hash’等算法的基礎上，通過加權的方式，進行負載服務器分配。優(yōu)點：根據(jù)權重，調節(jié)轉發(fā)服務器的請求數(shù)目；缺點：使用相對復雜；四、硬件負載均衡采用硬件的方式實現(xiàn)負載均衡，一般是單獨的負載均衡服務器，價格昂貴，一般土豪級公司可以考慮，業(yè)界領先的有兩款，F(xiàn)5和A10。使用硬件負載均衡，主要考慮一下幾個方面：（1）功能考慮：功能全面支持各層級的負載均衡，支持全面的負載均衡算法，支持全局負載均衡；（2） 性能考慮：一般軟件負載均衡支持到5萬級并發(fā)已經很困難了，硬件負載均衡可以支持（3） 穩(wěn)定性：商用硬件負載均衡，經過了良好的嚴格的測試，從經過大規(guī)模使用，在穩(wěn)定性方面高；（4） 安全防護：硬件均衡設備除具備負載均衡功能外，還具備防火墻，防DDOS攻擊等安全功能；（5） 維護角度：提供良好的維護管理界面，售后服務和技術支持；（6） 土豪公司：F5BigIp價格：15w~55w不等；A10價格：55w-100w不等；缺點（1） 價格昂貴；（2） 擴展能力差；4.4小結（1） 一般硬件的負載均衡也要做雙機高可用，因此成本會比較高。（2） 互聯(lián)網(wǎng)公司一般使用開源軟件，因此大部分應用采用軟