集群與虛擬化

集群與虛擬化1集群與虛擬化集群2集群技術(shù)集群：一組相互獨立的服務(wù)器在網(wǎng)絡(luò)中表現(xiàn)為單一的系統(tǒng)，并以單一系統(tǒng)的模式加以管理。一個集群系統(tǒng)是一群松散結(jié)合的服務(wù)器組，形成一個虛擬的服務(wù)器，為客戶端用戶提供統(tǒng)一的服務(wù)。對于這個客戶端來說，通常在訪問集群系統(tǒng)時不會意識到它的服務(wù)是由具體的哪一臺服務(wù)器提供。3集群的例子：MySQL數(shù)據(jù)庫集群4集群的例子：Redhat服務(wù)器集群5集群的例子：Dell服務(wù)器集群6集群的意義集群提供：高可用性負載均衡可擴展性故障恢復(fù)可維護性7關(guān)鍵功能集群的關(guān)鍵功能：應(yīng)用故障接管：當應(yīng)用中一個執(zhí)行任務(wù)的對象變得不可用時，另外對象可以接管并完成工作。站點故障接管：當單個站點上所有服務(wù)和應(yīng)用都失敗時，它們可以切換到其他站點，繼續(xù)處理。服務(wù)器遷移：當一臺服務(wù)器失敗時，釘住的服務(wù)可以遷移到集群中其他服務(wù)器上。負載均衡：將訪問系統(tǒng)的負荷分散在不同的機器上，使整個系統(tǒng)吞吐量和并發(fā)性得到提高,它能讓多臺服務(wù)器共同承擔一些繁重的計算或IO任務(wù)，從而消除網(wǎng)絡(luò)瓶頸，提高網(wǎng)絡(luò)的靈活性和可靠性。8負載均衡（LoadBalance

）循環(huán)DNS：任意給出一個地址，DNS服務(wù)器都有一個IP地址池與之對應(yīng)。每次請求將域名轉(zhuǎn)換成IP地址時，循環(huán)返回IP地址池中的下一個地址，故被稱作DNSround-robin。

軟件Proxy：當一個Client訪問服務(wù)器時，先要經(jīng)過一個軟件Proxy，這個代理能通過一些負載均衡的算法（如采用類似DNSRound-robin、隨機方法、訪問權(quán)衡算法）把一個用戶的訪問重新定向到一個服務(wù)器。

硬件均衡器：硬件均衡器一般采用地址轉(zhuǎn)換技術(shù)，將一個外部IP地址映射為多個內(nèi)部IP地址，對每次TCP連接請求動態(tài)使用其中一個內(nèi)部地址，達到負載均衡的目的。

9集群架構(gòu)通常的，應(yīng)用被分隔成多個層次，每層代表了不同的功能：Web層展現(xiàn)層業(yè)務(wù)或?qū)ο髮?0集群架構(gòu)的選擇好架構(gòu)某種程度上是主觀的，但是有一些全局的考慮：性能有效的狀態(tài)持久性最佳的負載均衡有效的故障接管可靠的通訊有兩種主要集群架構(gòu)可以選擇：基本集群架構(gòu)多層集群架構(gòu)11基本集群架構(gòu)基本集群架構(gòu)將靜態(tài)HTTP，展現(xiàn)邏輯，業(yè)務(wù)邏輯和對象組合在一個集群中。12多層集群架構(gòu)Web層和業(yè)務(wù)邏輯服務(wù)可以分布在兩個集群中。13基本集群架構(gòu)的優(yōu)劣基本集群架構(gòu)具有如下優(yōu)勢：易于管理靈活的負載均衡強壯的安全性基本集群架構(gòu)具有如下劣勢：不能負載均衡分布式組件（如EJB）的調(diào)用跨層的負載均衡可能變得不平衡14多層集群架構(gòu)的優(yōu)劣多層集群架構(gòu)具有如下優(yōu)勢：改進的負載均衡分布式組件（如EJB）的負載均衡更高可用性改進的安全選項多層集群架構(gòu)具有如下劣勢：當展現(xiàn)層頻繁調(diào)用業(yè)務(wù)邏輯時會制造瓶頸增加了防火墻配置復(fù)雜性15代理服務(wù)器代理服務(wù)器用來為集群提供負載均衡和故障接管。它們：也是客戶端與集群交互的第一層次給了集群一個服務(wù)器的表象代理服務(wù)器可以是基于軟件的，也可以是基于硬件的。典型的，基于硬件的代理服務(wù)器是一臺物理負載均衡器。16基本集群代理架構(gòu)：類似于基本集群架構(gòu)，除了靜態(tài)內(nèi)容部署在非集群HTTP服務(wù)器上。17多層集群代理架構(gòu)：類似于多層集群架構(gòu)，除了靜態(tài)內(nèi)容部署在非集群HTTP服務(wù)器上。18代理服務(wù)器的例子：WebLogicProxyServerHttpClusterServlet：作為缺省Web應(yīng)用部署在代理服務(wù)器上以循環(huán)的方式分發(fā)客戶端請求給集群中的服務(wù)器19網(wǎng)絡(luò)中的集群當配置集群時，需要考慮使用的網(wǎng)絡(luò)類型，服務(wù)器集群可以在三種不同類型的網(wǎng)絡(luò)中創(chuàng)建：局域網(wǎng)（LAN）城域網(wǎng)（MAN）廣域網(wǎng)（WAN）20局域網(wǎng)（LAN）局域網(wǎng)服務(wù)本地的計算機集合它們通常使用高質(zhì)量、高速度的通訊鏈路典型的數(shù)據(jù)傳輸速率是100Mb/秒多數(shù)集群存在于單個LAN中21城域網(wǎng)（MAN）城域網(wǎng)通常是跨域校園或城市的網(wǎng)絡(luò)在城域網(wǎng)內(nèi)你可以有不同的、彼此適度接近的集群22廣域網(wǎng)（WAN）WAN通?？缬驈V大的地理區(qū)域，可以有多個小規(guī)模的MAN和LAN構(gòu)成。在WAN內(nèi)你可以有不同的集群，位于不同區(qū)域一個集群可以位于MAN或WAN中不同的LAN23集群中的服務(wù)器通訊集群中的服務(wù)器實例通常使用兩種不同技術(shù)通訊：一對多通訊：服務(wù)器實例使用IP單播或多播廣播服務(wù)的可用性，并通過心跳表明持續(xù)的可用性。點對點通訊：IPSockets用來在服務(wù)器實例之間的點對點通訊。24檢測故障集群使用如下方式檢測服務(wù)器實例故障：通過IPSockets的使用：如果集群內(nèi)的服務(wù)器意外地關(guān)閉了它的Socket，它將被標記為“失敗”，它的服務(wù)將不可用。通過服務(wù)器心跳：服務(wù)器實例每隔幾秒鐘，使用多播廣播心跳給集群中的其他服務(wù)器實例。如果錯過了兄弟服務(wù)器幾次心跳，服務(wù)器將被標記為“失敗”，它的服務(wù)將不可用。25一對多通訊服務(wù)器使用一對多通訊，用于：集群范圍資源目錄的更新集群“心跳”由于所有一對多通訊發(fā)生在IP多播上，當設(shè)計集群時需要考慮如下因素：如果集群跨越多個子網(wǎng)，你的網(wǎng)絡(luò)必須配置為可靠傳輸消息防火墻可能切斷IP多播的傳輸多播地址不應(yīng)和其他應(yīng)用共享可能發(fā)生多播風(fēng)暴26點對點通訊 服務(wù)器使用點對點通訊，用于：訪問遠程服務(wù)器實例上的集群對象訪問遠程服務(wù)器實例上的非集群對象在主服務(wù)器和次服務(wù)器之間復(fù)制HTTP會話狀態(tài)和分布式組件的狀態(tài)27虛擬化集群與虛擬化28虛擬化的產(chǎn)生虛擬化（Virtualization）技術(shù)最早出現(xiàn)在20世紀60年代的IBM大型機系統(tǒng)，在70年代的System370系列中逐漸流行起來，這些機器通過一種叫虛擬機監(jiān)控器（VirtualMachineMonitor，VMM）的程序在物理硬件之上生成許多可以運行獨立操作系統(tǒng)軟件的虛擬機實例。隨著近年多核系統(tǒng)、集群、網(wǎng)格甚至云計算的廣泛部署，虛擬化技術(shù)在商業(yè)應(yīng)用上的優(yōu)勢日益體現(xiàn)，不僅降低了IT成本，而且還增強了系統(tǒng)安全性和可靠性，虛擬化的概念也逐漸深入到人們?nèi)粘５墓ぷ髋c生活中。29虛擬化的定義虛擬化是一個廣義的術(shù)語，對于不同的人來說可能意味著不同的東西，這要取決他們所處的環(huán)境。在計算機科學(xué)領(lǐng)域中，虛擬化代表著對計算資源的抽象，而不僅僅局限于虛擬機的概念。例如：虛擬內(nèi)存技術(shù)使得應(yīng)用程序認為其自身擁有連續(xù)可用的地址空間，而實際上，應(yīng)用程序的代碼和數(shù)據(jù)可能是被分隔成多個碎片頁或段，甚至被交換到磁盤、閃存等外部存儲器上，即使物理內(nèi)存不足，應(yīng)用程序也能順利執(zhí)行。例如：CPU的虛擬化技術(shù)可以單CPU模擬多CPU并行，允許一個平臺同時運行多個操作系統(tǒng)，并且應(yīng)用程序都可以在相互獨立的空間內(nèi)運行而互不影響，從而顯著提高計算機的工作效率。30虛擬化的分類平臺虛擬化：針對計算機和操作系統(tǒng)的虛擬化。資源虛擬化：針對特定的系統(tǒng)資源的虛擬化，比如內(nèi)存、存儲、網(wǎng)絡(luò)資源等。應(yīng)用程序虛擬化：包括仿真、模擬、解釋技術(shù)等。

31平臺虛擬化我們通常所說的虛擬化主要是指平臺虛擬化技術(shù)，通過使用控制程序（VMM），隱藏特定計算平臺的實際物理特性，為用戶提供抽象的、統(tǒng)一的、模擬的計算環(huán)境（稱為虛擬機）。

虛擬機中運行的操作系統(tǒng)被稱為客戶機操作系統(tǒng)（GuestOS），運行虛擬機監(jiān)控器的操作系統(tǒng)被稱為主機操作系統(tǒng)（HostOS），運行虛擬機的真實系統(tǒng)我們稱之為主機系統(tǒng)。

32平臺虛擬化技術(shù)的分類全虛擬化：全虛擬化是指虛擬機模擬了完整的底層硬件，包括處理器、物理內(nèi)存、時鐘、外設(shè)等，使得為原始硬件設(shè)計的操作系統(tǒng)或其它系統(tǒng)軟件完全不做任何修改就可以在虛擬機中運行。

超虛擬化：這是一種修改GuestOS部分訪問特權(quán)狀態(tài)的代碼以便直接與VMM交互的技術(shù)。

硬件輔助虛擬化：硬件輔助虛擬化是指借助硬件（主要是主機處理器）的支持來實現(xiàn)高效的全虛擬化。

33部分虛擬化：VMM只模擬部分底層硬件，因此客戶機操作系統(tǒng)不做修改是無法在虛擬機中運行的，其它程序可能也需要進行修改。操作系統(tǒng)級虛擬化：操作系統(tǒng)級虛擬化是一種在服務(wù)器操作系統(tǒng)中使用的輕量級的虛擬化技術(shù)，內(nèi)核通過創(chuàng)建多個虛擬的操作系統(tǒng)實例（內(nèi)核和庫）來隔離不同的進程，不同實例中的進程完全不了解對方的存在。34IT成本構(gòu)成為了得到更高的投資回報率（ROI），IT經(jīng)理們在制定預(yù)算時，都力圖減少IT部署的總擁有成本（TCO）。一般而言，TCO主要包括：軟硬件成本：服務(wù)器、存儲和網(wǎng)絡(luò)設(shè)備成本；服務(wù)器遷移成本；軟硬件高可用容災(zāi)部署成本。IT運行成本：數(shù)據(jù)中心的制冷設(shè)施、數(shù)據(jù)備份等成本；以及服務(wù)器安全配置等后期部署成本；電力成本。宕機成本：解決故障及重新部署服務(wù)的成本；因為宕機而損失的收入和員工效率成本。管理成本：IT管理人員薪酬成本；IT培訓(xùn)成本。35虛擬化對TCO的影響雖然虛擬化確實能夠在一定程度上削減TCO的各項成本，但是對于某些成本的削減程度還是比較有限。

不同機構(gòu)，IT規(guī)模不同，部署的結(jié)構(gòu)不同，TCO的構(gòu)成也有所不同，而每個IT經(jīng)理在詳細評估之后，如果真的決定推進虛擬化部署，IT經(jīng)理們也還是面臨著多種虛擬化軟件的選購問題。從免費開源的虛擬機，到操作系統(tǒng)集成的虛擬機，再到昂貴的獨立虛擬軟件，眾多不同的虛擬化技術(shù)和不同的品牌的選擇，給IT經(jīng)理們出了不小的難題。

36虛擬化軟件VMware：使用最廣泛的X86虛擬化技術(shù)。37微軟VirtualServer：與VMware相似，但不支持零宕機遷移和虛擬SMP，僅支持Windows平臺。

38Swsoft：操作系統(tǒng)虛擬，占用資源少，異構(gòu)靈活性較差，適合主機行業(yè)用戶。39Xen：開源軟件，CitrixXenSourceV4幾乎是VMwareVI3的翻版，價格低廉。在2004年以前，X86虛擬化市場上的三巨頭是SWsoft、VMware和Connectix(被微軟并購，即現(xiàn)在的VirtualServer)。而自從05年開源Xen項目誕生以來，這個格局就被打破了。

40414243操作系統(tǒng)集成虛擬：各主流操作系統(tǒng)均有支持，但功能有限。2006年，Novell在SuSELinuxEnterprise10版本中，開始集成Xen。RedHat也在RedHatEnterpriseLinux5Server之中支持Xen。除了Xen，在Linux開源社區(qū)里，還有Bochs、QEMU、Linux-V