云計算集群技術(shù)與應(yīng)用- 教案-教學(xué)設(shè)計 第01章 集群基礎(chǔ)知識

云計算集群技術(shù)與應(yīng)用教學(xué)設(shè)計課程名稱：云計算集群技術(shù)與應(yīng)用__授課年級：_______________________授課學(xué)期：_______________________教師姓名：_______________________年月日課程名稱第1章集群基礎(chǔ)知識計劃學(xué)時2學(xué)時內(nèi)容分析本章主要介紹集群的概念、集群的特點、集群的分類、負載均衡的相關(guān)介紹，以及服務(wù)器健康檢查。教學(xué)目標(biāo)與教學(xué)要求【知識目標(biāo)】理解集群的核心概念。理解集群的特點。理解集群的分類。理解負載均衡的相關(guān)知識。了解服務(wù)器健康檢查?！炯寄苣繕?biāo)】理解并掌握集群的核心概念。理解并掌握的特點。理解并掌握集群的分類。理解并掌握負載均衡的相關(guān)知識。【思政育人目標(biāo)】引導(dǎo)學(xué)生在學(xué)習(xí)中健全職業(yè)道德的規(guī)范。引導(dǎo)學(xué)生創(chuàng)新思維和探索的科學(xué)精神。培養(yǎng)學(xué)生愛崗敬業(yè)、遵紀(jì)守法的職業(yè)精神。教學(xué)重點集群的核心概念、負載均衡的分類、四層合七層負載均衡的區(qū)別、負載均衡的主要方式教學(xué)難點負載均衡的主要方式、負載均衡的算法教學(xué)方式課堂講解配合ppt演示2學(xué)時教學(xué)過程第一學(xué)時（集群簡介、集群的分類）一、提出需求，導(dǎo)入學(xué)習(xí)任務(wù)（1）思考集群技術(shù)與應(yīng)用的學(xué)習(xí)應(yīng)該從何入手。說到集群，講一個例子幫助學(xué)生理解其概念。原先的飯店只有一個廚師，負責(zé)洗菜、切菜、備料、炒菜，飯店正常運行，后來客人多了，一個廚師滿足不了上菜需求，于是老板又招了廚師，兩個廚師可以炒出同樣的菜，兩個廚師可以看作集群。隨著飯店規(guī)模和客流量的增多，還可以繼續(xù)招廚師，這些廚師就是一個集群。介紹集群基礎(chǔ)知識，為以后的學(xué)習(xí)打下基礎(chǔ)。（2）明確學(xué)習(xí)方向。理解并掌握集群的核心概念。理解并掌握的特點。理解并掌握集群的分類。理解并掌握負載均衡的相關(guān)知識。了解服務(wù)器健康檢查。二、知識講解（一）集群簡介1.集群的核心概念（1）單機結(jié)構(gòu)的定義單機結(jié)構(gòu)是指所有應(yīng)用或服務(wù)部署到一臺服務(wù)器上。（2）集群的定義集群（Cluster）是指部署相同應(yīng)用或服務(wù)的一組（多臺）服務(wù)器組成一個并行或者分布式系統(tǒng)，作為一個整體向用戶提供網(wǎng)絡(luò)資源。組成集群的單個服務(wù)器為一個節(jié)點（Node），這些節(jié)點可以相互通信，協(xié)同為用戶提供相同的資源，一個節(jié)點的宕機并不影響其他節(jié)點的運行和用戶使用。（3）負載均衡的定義負載均衡（LoadBalance，LB）是指將負載（工作任務(wù)）分?jǐn)偨o到多個服務(wù)器上進行執(zhí)行，如Web服務(wù)器、企業(yè)核心應(yīng)用服務(wù)器、FTP服務(wù)器等，協(xié)同處理工作任務(wù)。當(dāng)大量用戶請求集群系統(tǒng)時，通過負載均衡器使得每個節(jié)點的負載情況比較平均，從而達到集群節(jié)點分擔(dān)流量的作用。（4）高可用高可用（HighAvailability，HA）是指保持服務(wù)的高可用性，即保證一個系統(tǒng)不會因一臺服務(wù)器發(fā)生故障或宕機而導(dǎo)致服務(wù)停止。如果某個節(jié)點服務(wù)器故障，負載均衡器則會將請求轉(zhuǎn)移到其他節(jié)點上，實現(xiàn)冗余接管，這就是系統(tǒng)的高可用。（5）分布式結(jié)構(gòu)分布式結(jié)構(gòu)是指將同一業(yè)務(wù)模塊分為多個（兩個以上）子任務(wù)，部署到多個服務(wù)器上，即不同的業(yè)務(wù)模塊部署到不同的服務(wù)器上。2.集群的特點（1）高可用性和容錯性（2）高性能（3）可擴展性（4）成本相對較低（5）負載均衡（二）集群的分類1.負載均衡集群負載均衡集群是指在使用一組應(yīng)用程序為大量客戶提供服務(wù)時，通過若干前端負載均衡器將客戶請求分發(fā)到后端應(yīng)用集群服務(wù)器的技術(shù)，各個節(jié)點的訪問請求被動態(tài)分配，達到整個系統(tǒng)的高可用和高性能。負載均衡集群的架構(gòu)如圖。2.高可用集群高可用集群是指以盡量減少服務(wù)中斷時間為目的的集群技術(shù)，在任意一個節(jié)點失效時，該節(jié)點所分配的所有工作任務(wù)將會自動分配給其他可用節(jié)點，保證集群正常運行并提供服務(wù)，保持業(yè)務(wù)的正常運行。高可用性集群的架構(gòu)如圖。3.高性能計算集群高性能計算集群，又稱科學(xué)計算集群，是指用于計算海量數(shù)據(jù)，解決復(fù)雜問題的技術(shù)三、知識鞏固（1）回顧上課前的學(xué)習(xí)目標(biāo)，對本節(jié)課知識點進行總結(jié)。（2）使用第一章課后作業(yè)。第二學(xué)時（負載均衡、服務(wù)器健康檢查）一、回顧上節(jié)課內(nèi)容（1）對上節(jié)課布置的作業(yè)以及學(xué)生提出的問題進行答疑解惑。（2）回顧上節(jié)課內(nèi)容，引出本節(jié)課主題。（3）明確學(xué)習(xí)方向。理解負載均衡的分類。理解四層和七層負載均衡的區(qū)別。理解負載均衡的主要方式。理解負載均衡的算法了解服務(wù)器健康檢查二、知識講解（一）負載均衡1.負載均衡的分類（1）負載均衡按軟硬件分類，軟件有Nginx、LVS、Amoeba、HAProxy等，硬件有ROSE、安瑞科技、F5、Citrix等。軟件類的負載均衡是指在服務(wù)器相應(yīng)的操作系統(tǒng)上安裝軟件來實現(xiàn)負載均衡，配置簡單，使用靈活；硬件類的負載均衡是指在服務(wù)器和外部網(wǎng)絡(luò)之間安裝的負載均衡設(shè)備，整體性能高。負載均衡器按OSI七層模型可以分為二層、三層、四層、七層，具體如表。負載均衡OSI七層模型位置技術(shù)原理典型代表二層負載均衡數(shù)據(jù)鏈路層通過一個虛擬MAC地址接收請求，然后再分配到后端真實的MAC地址F5、LVSDR模式三層負載均衡網(wǎng)絡(luò)層通過一個虛擬IP地址接收請求，然后再分配到后端真實的IP地址LVSTUNNEL模式（IP隧道）四層負載均衡傳輸層通過虛擬IP+端口接收請求，然后再轉(zhuǎn)發(fā)到后端真實的服務(wù)器F5、LVSNAT、HAProxy、Nginx、SLB七層負載均衡應(yīng)用層通過虛擬的URL、IP或主機名接收請求，然后再轉(zhuǎn)發(fā)到后端真實的服務(wù)器F5、LVSNAT、HAProxy、Nginx、SLBDNS一個域名有多個A解析、智能解析萬網(wǎng)、DNSPod（3）四層負載均衡四層負載均衡是基于IP和端口的負載均衡，即通過發(fā)布三層的IP地址（虛擬IP）和四層的端口號，來對流量做負載均衡和分發(fā)處理，轉(zhuǎn)發(fā)到后端服務(wù)器，并且記錄該TCP或UDP協(xié)議的流量到達的服務(wù)器，下次仍由此臺服務(wù)器處理?；谒膶拥呢撦d均衡可達到每秒幾十萬的處理量，效率更高。（4）七層負載均衡七層負載均衡是根據(jù)用戶請求的內(nèi)容等應(yīng)用層信息為其分配相對應(yīng)的后端服務(wù)器，在這種模式下可以在同一端口下同時運行多個Web服務(wù)器。2.四層和七層負載均衡的區(qū)別（1）技術(shù)原理的區(qū)別四層負載均衡主要通過客戶端請求報文中的目標(biāo)地址和端口，再根據(jù)負載均衡器選擇的轉(zhuǎn)方式，決定最終的真實服務(wù)器。七層負載均衡主要通過報文中的應(yīng)用層信息，再根據(jù)負載均衡器選擇的轉(zhuǎn)發(fā)方式，決定最終的真實服務(wù)器。（2）應(yīng)用場景的需求四層負載均衡適用于TCP應(yīng)用。四層負載均衡比七層處理效率高，更適用于網(wǎng)絡(luò)吞吐量和并發(fā)量高的集群，可作為多種軟件的負載均衡器。七層負載均衡使得整個網(wǎng)絡(luò)更加“智能化”，功能多，控制靈活，可根據(jù)用戶訪問內(nèi)容，將訪問請求轉(zhuǎn)發(fā)到相應(yīng)服務(wù)器。（3）安全性四層負載均衡不能夠攔截SYN攻擊，會將攻擊轉(zhuǎn)發(fā)到后端服務(wù)器上，而七層負載均衡可以攔截SYN攻擊，不會影響后端服務(wù)器。七層負載均衡還可以設(shè)定安全策略，以過濾不安全報文。由此可見，七層負載均衡比四層負載均衡安全性更高。3.負載均衡的主要方式（1）HTTP重定向HTTP重定向會根據(jù)客戶端應(yīng)用層的報文計算出一個真實的Web服務(wù)器IP地址，并將該IP地址寫入HTTP重定向響應(yīng)中返回給客戶端，客戶端收到重定向響應(yīng)之后再去訪問真實服務(wù)器，其工作原理如圖。（2）DNS方式DNS負責(zé)提供域名到IP解析的過程，這時DNS服務(wù)器也就充當(dāng)了負載均衡，很多域名運營商提供的智能DNS以及多線解析都是利用了DNS負載均衡的技術(shù)，開源的Bind軟件就可提供電信聯(lián)通多線解析等強大的技術(shù)。在DNS服務(wù)器上配置多個域名對應(yīng)IP的記錄，其工作原理如圖1.7所示（3）反向代理方式反向代理部署在Web服務(wù)器前面，提供負載均衡的功能，同時管理著一組Web服務(wù)器，根據(jù)負載均衡算法將訪問請求轉(zhuǎn)發(fā)給不同的Web服務(wù)器，處理結(jié)果經(jīng)過反向代理返回給瀏覽器。工作原理如圖。（4）IP負載方式IP負載均衡是在網(wǎng)絡(luò)層和傳輸層（IP和端口）通過修改目標(biāo)地址進行負載均衡，具體工作結(jié)構(gòu)如圖。（5）鏈路層負載方式網(wǎng)絡(luò)中的每臺設(shè)備都有一個唯一的網(wǎng)絡(luò)標(biāo)識，這個地址叫MAC地址或網(wǎng)卡地址。數(shù)據(jù)鏈路層負載均衡是在數(shù)據(jù)鏈路層修改MAC地址進行負載均衡，其工作原理如圖。4.負載均衡的算法（1）靜態(tài)負載均衡算法靜態(tài)負載均衡算法一般包括輪詢法、加權(quán)輪詢法、目標(biāo)地址哈希法、源地址哈希法。輪詢法輪詢調(diào)度算法（RoundRobinScheduling，RR），調(diào)度器采用這種算法時，會將用戶請求無差別地按順序輪流分配到集群中的真實服務(wù)器上，不關(guān)心每個服務(wù)器上實際的連接數(shù)和當(dāng)前系統(tǒng)負載信息。加權(quán)輪詢法加權(quán)輪詢調(diào)度算法（WeightedRoundRobinScheduling，WRR），調(diào)度器采用這種算法時，會將用戶請求按照真實服務(wù)器不同的處理能力進行分配。給配置高、負載低的機器配置更高的權(quán)重，讓其處理更多的請求；而配置低、負載高的機器，給其分配較低的權(quán)重，降低其系統(tǒng)負載。按照權(quán)重進行任務(wù)的調(diào)度，可以保證請求分配的合理性。目標(biāo)地址哈希法目標(biāo)地址哈希法（DestinationHashingScheduling，DH）是一種靜態(tài)映射算法，通過一個散列（Hash）函數(shù)將一個目標(biāo)IP地址映射到一臺服務(wù)器。服務(wù)器首先將用戶請求的目標(biāo)IP地址作為散列鍵（HashKey），再從靜態(tài)分配的散列表找出對應(yīng)的服務(wù)器，如果該服務(wù)器是可用的且未超載，就將請求發(fā)送到該服務(wù)器，否則返回空。源地址哈希法源地址哈希法（SourceHashingScheduling，SH）也是一種靜態(tài)映射算法，通過一個散列（Hash）函數(shù)將一個源地址IP地址映射到一臺服務(wù)器。服務(wù)器首先將用戶請求的源IP地址（即客戶端地址）作為散列鍵（HashKey），再從靜態(tài)分配的散列表找出對應(yīng)的服務(wù)器，如果該服務(wù)器是可用的且未超載，就將請求發(fā)送到該服務(wù)器，否則返回空。采用源地址哈希法進行負載均衡，源地址一樣的請求都會被分配到同一臺服務(wù)器進行處理，可以實現(xiàn)會話的粘滯性。為了幫助大家更好地理解這四種算法，此處一張表來對它們的優(yōu)缺點做對比說明，具體如表。靜態(tài)負載均衡算法優(yōu)缺點對比表算法優(yōu)點缺點輪詢法簡單高效，易于水平擴展，每個服務(wù)器任務(wù)分配均衡無法保證任務(wù)分配的合理性，無法根據(jù)服務(wù)器承受能力來分配任務(wù)加權(quán)輪詢法可以將不同機器的性能問題納入考量范圍，集群性能最優(yōu)最大化服務(wù)器抗壓能力無法精確估量，靜態(tài)算法導(dǎo)致無法實時動態(tài)調(diào)整節(jié)點權(quán)重，只能粗糙優(yōu)化目標(biāo)地址哈希法根據(jù)用戶訪問的URL的哈希結(jié)果，使每個URL定向到同一個后端服務(wù)器上，假如某一個目標(biāo)服務(wù)器不可以，或者負載過高，那么會影響發(fā)往該目標(biāo)服務(wù)器的請求無法得到響應(yīng)。源地址哈希法源地址一樣的請求都會被分配到同一臺服務(wù)器進行處理，可以解決session會話共享的問題，實現(xiàn)會話粘滯EQ\o\ac(○,1)由于用戶的活躍度不同，可能會有大量的活躍用戶被哈希到相同的服務(wù)器上，造成該服務(wù)器特別繁忙，大量的非活躍用戶被哈希到相同的服務(wù)器上，造成該服務(wù)器幾乎沒有請求，造成請求不均衡；EQ\o\ac(○,2)一旦某個服務(wù)器掛掉，那么哈希到該服務(wù)器的所有源請求都會失敗，直到服務(wù)恢復(fù)或者服務(wù)器列表中去掉該服務(wù)器（2）動態(tài)負載均衡算法最小連接法最小連接法（LeastConnectionScheduling，LC），采用這種算法做負載均衡時，調(diào)度器會根據(jù)每個真實服務(wù)器當(dāng)前的連接情況，動態(tài)選取當(dāng)前連接數(shù)最小的服務(wù)器來處理當(dāng)前請求。最小連接法通過真實服務(wù)器當(dāng)前活躍的連接數(shù)來判斷真實服務(wù)器的情況，每當(dāng)真實服務(wù)器有新的連接或斷開連接時都需要進行計數(shù)，調(diào)度器根據(jù)各個真實服務(wù)器的連接數(shù)合理進行任務(wù)的分配。加權(quán)最小連接法加權(quán)最小連接法（WeightedLeastConnectionScheduling，WLC）在實現(xiàn)時增加了權(quán)重的計算，在LC算法的計算標(biāo)準(zhǔn)上除以權(quán)重，計算結(jié)果數(shù)值小的將接受下次訪問請求，是企業(yè)最常用的算法也是LVS的默認算法。采用這種算法時，調(diào)度器可以自動問詢真實服務(wù)器的負載情況，并動態(tài)調(diào)整其權(quán)值?；诰植啃缘淖钌冁溄臃ɑ诰植啃缘淖钌冁溄臃ǎ↙ocality-BasedLeastConnectionsScheduling，LBLC）類似目標(biāo)地址哈希法，是針對目標(biāo)IP地址的負載均衡算法，調(diào)度器根據(jù)請求的目標(biāo)IP地址找出最近為該目標(biāo)IP地址服務(wù)的真實服務(wù)器，若該真實服務(wù)器是可用的且沒有超載，則將請求發(fā)送給該真實服務(wù)器，否則調(diào)度器將使用“最小連接”原則選出一個可用的真實服務(wù)器并將請求發(fā)送到該服務(wù)器，這種算法主要用于Cache集群系統(tǒng)。帶復(fù)制的基于局部性最少鏈接法帶復(fù)制的基于局部性最少鏈接法（Locality-BasedLeastConnectionswithReplicationScheduling，LBLCR）也是針對目標(biāo)IP地址的負載均衡，它與LBLC算法的不同之處是它維護的是從一個目標(biāo)IP地址到一組服務(wù)器的映射，而LBLC算法維護的是從一個目標(biāo)IP地址到一臺服務(wù)器的映射。（二）服務(wù)器健康檢查服務(wù)器的健康檢查是指負載均衡通過健康檢查判斷后端服務(wù)器是否可用。如果后端服務(wù)器異常，負載均衡將自動把訪問請求轉(zhuǎn)發(fā)到其他健康的服務(wù)器上；當(dāng)異常服務(wù)器恢復(fù)正常時，負載均衡會自動將該服務(wù)器加入集群，繼續(xù)服務(wù)。服務(wù)器健康檢測技術(shù)主要講解以下3種。1.HTTP/HTTPS監(jiān)聽健康檢查機制在七層負載均衡模式下，負載均衡器向后端轉(zhuǎn)發(fā)HTTP請求，健康檢查通過HTTPHEAD請求獲取狀態(tài)信息，后端服務(wù)器收到請求后，根據(jù)業(yè)務(wù)的運行狀況，返回HTTP狀態(tài)碼。2.ICMP監(jiān)聽健康檢查機制負載均衡器向后端服