FusionSphere可靠性技術白皮書

1、 DOCPROPERTY Product Project Name 華為FusionSphere DOCPROPERTY DocumentName 可靠性技術白皮書前 言概述本文檔介紹FusionSphere產品的系統(tǒng)可靠性能力。符號約定在本文中可能出現下列標志，它們所代表的含義如下。符號說明用于警示緊急的危險情形，若不避免，將會導致人員死亡或嚴重的人身傷害。用于警示潛在的危險情形，若不避免，可能會導致人員死亡或嚴重的人身傷害。用于警示潛在的危險情形，若不避免，可能會導致中度或輕微的人身傷害。用于傳遞設備或環(huán)境安全警示信息，若不避免，可能會導致設備損壞、數據丟失、設備性能降低或其它不可預知的結

2、果。“注意”不涉及人身傷害。用于突出重要/關鍵信息、最佳實踐和小竅門等?！罢f明”不是安全警示信息，不涉及人身、設備及環(huán)境傷害信息。 STYLEREF Contents 目 錄 DOCPROPERTY DocumentName 可靠性技術白皮書目 錄 TOC o 1-1 h z t 標題 2,2,標題 3,3,Appendix heading 2,2,Appendix heading 3,3 HYPERLINK l _Toc417742306 前 言 STYLEREF 1 系統(tǒng)架構說明文檔版本 DOCPROPERTY ManualVersion * MERGEFORMAT 錯誤！未知的文檔屬性名

3、稱 ( DOCPROPERTY ReleaseDate 2014-09-05) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 華為專有和保密信息 版權所有 華為技術有限公司PAGE 1系統(tǒng)架構說明華為FusionSphere解決方案總覽華為FusionSphere解決方案總覽3rd Virtualized Computing3rd Virtualized Storage3rd Virtualized Network3rd part Virtual InfrastructureFusionComputeFusionStorageFusionNe

4、tworkHuawei Virtual InfrastructureServerStorageNetwork & SecurityHeterogeneous Physical InfrastructureOpenStack APIHuawei Extended APICloud Service, API, and SchedulerCloud Infrastructure ManagerFusionManagerManage APIHuawei ExtensionOpenStack華為FusionSphere解決方案對業(yè)務系統(tǒng)的多個應用整合后，提高了服務器利用率和系統(tǒng)可靠性，降低采購成本，提高

5、維護效率。通過彈性主機基本服務提供方便快捷按需使用的優(yōu)質彈性服務；自助申請調度資源、查詢，無需人工服務；成本低，體驗好：低于傳統(tǒng)業(yè)務模式，自動服務顯著提高響應速度。 DOCPROPERTY ProductFullName 錯誤！未知的文檔屬性名稱 DOCPROPERTY ManualName 錯誤！未知的文檔屬性名稱 STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 系統(tǒng)架構說明文檔版本 DOCPROPERTY ManualVersion * MERGEFORMAT 錯誤！未知的文檔屬性名稱 ( DOCPROPERTY ReleaseDate 2014-09-05

6、) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 華為專有和保密信息 版權所有 華為技術有限公司PAGE 1架構可靠性架構可靠性關注的主要內容是當前解決方案是如何保證數據中心間和數據中心內各個子系統(tǒng)間的業(yè)務可靠性和公共平臺的可靠性。網絡路徑全冗余FusionSphere解決方案的網絡按照層次劃分，可以分為核心層、匯聚層、接入層和虛擬網絡層。核心層交換設備主要完成各數據中心之間的通信互聯(lián)，同時提供FusionSphere對外網絡出口?？赏ㄟ^使用S93xx交換機集群，保證對外與防火墻/NAT和對內各數據中心匯聚交換機連接的冗余。匯聚層交換設備位于

7、各個數據中心機房內部，完成本數據中心內各接入層交換機的流量匯聚，對外與核心層交換機通過三層互通，同時對接入層交換機提供二層接入功能。通過使用S93xx交換機集群，保證了對外與核心層交換設備和數據中心內接入層交換機連接的冗余。接入交換機位負責本機柜內部的服務器接入?？赏ㄟ^使用S53xx交換機堆疊，保證對外與匯聚層交換設備和對內虛擬網絡層連接的冗余。虛擬網絡層位于服務器內部，負責服務器內部的虛擬機之間以及對外通信功能。通過采用多網卡綁定，避免單個網卡故障引發(fā)的業(yè)務中斷。網絡路徑全冗余的配置示意圖網絡分平面通信整個云計算系統(tǒng)邏輯上可以分為三個平面：管理平面、存儲平面和業(yè)務平面。為了保證各種網絡平面數

8、據的可靠和安全，FusionSphere采用分網絡平面的架構方案，不同平面間采用VLAN進行隔離，單個平面的故障不影響其他平面繼續(xù)工作。例如當管理平面暫時故障時，業(yè)務平面還能夠用于繼續(xù)訪問虛擬機。此外，系統(tǒng)還支持基于VLAN的優(yōu)先級設定，使得內部的管理/控制報文具備最高的權限，從而使得在任何時候，管理員和用戶均可以管控系統(tǒng)。下圖給出了從服務器接入層交換設備匯聚層交換設備間的網絡連接圖：網絡分平面通信隔離示意圖在服務器內部，可通過對多個網卡的合理綁定和分類，允許將管理、業(yè)務和存儲平面部署在不同物理網卡上，并將其連接到不同的接入層交換設備接口上，從而實現物理層面的網絡隔離。管理節(jié)點HAFusion

9、Sphere的業(yè)務主備管理節(jié)點采用管理平面的心跳檢測，備用節(jié)點實時檢測主用節(jié)點的健康狀態(tài)，一旦發(fā)現主用管理節(jié)點故障，備用管理節(jié)點將立刻接管主用節(jié)點業(yè)務，持續(xù)對外提供服務。針對管理節(jié)點上的應用進程，通過采用軟件狗的方式對運行在管理節(jié)點上的進程進行實時檢測，如發(fā)現進程吊死或進入死循環(huán)，軟件狗將會檢測到相關進程的異常狀態(tài)，并觸發(fā)相關進程的重啟恢復；如果發(fā)現進程重啟后仍不能恢復正常，則進行業(yè)務管理節(jié)點的主備倒換并出主備心跳異常告警以保證應用進程的可靠性。管理節(jié)點HA示意圖虛擬交換機虛擬交換機心跳檢測，執(zhí)行同步策略主用數據同步服務備用數據同步服務VRMVRM管理節(jié)點負責對全系統(tǒng)的業(yè)務進行管理，采用主備高

10、可靠性的工作方式，如果主備管理節(jié)點同時故障，相關的新增業(yè)務會受影響，例如虛擬機的創(chuàng)建和刪除等，但對于已經存在并運行中的虛擬機無影響，用戶繼續(xù)使用虛擬機上的應用程序，不會有任何感知。流量控制為向用戶提供穩(wěn)定的高可用的并發(fā)業(yè)務和避免大流量沖擊導致系統(tǒng)崩潰，管理節(jié)點針對系統(tǒng)關鍵流程設計了完善的流量控制機制。首先在VRM接入點采用操作流控措施，從前端抑制系統(tǒng)過載，保證系統(tǒng)的穩(wěn)定性。其次是針對系統(tǒng)內部的瓶頸環(huán)節(jié)，增加了鏡像文件下載流控，鑒權、虛擬機相關業(yè)務流控（包括虛擬機遷移，虛擬機HA，虛擬機的創(chuàng)建，虛擬機的休眠和喚醒，啟動和停止），O&M流控，確保各個環(huán)節(jié)不因為流量過載導致業(yè)務失效。故障檢測系統(tǒng)提供

11、了故障檢測和告警的功能，同時它包括了在Web瀏覽器中顯示故障信息的工具。一旦集群進入正常狀態(tài)，系統(tǒng)提供使用數據可視化工具觀察集群管理和分配負載的功能，可以幫助用戶確定是否有負載均衡問題、失控進程或硬件性能下降的趨勢，將對合理調整、分配系統(tǒng)資源，提高系統(tǒng)整體性能起到重要作用。歷史記錄允許查看集群每日的、每周的，甚至是每年消耗的硬件資源。通過在每個被檢測的節(jié)點包括定制化的虛擬機上運行探針程序，OM系統(tǒng)可以收集被檢測節(jié)點或者虛擬機的核心指標如CPU使用情況、基礎網絡流量和內存數據等，檢測到諸如進程崩潰、管理和存儲鏈路異常，節(jié)點宕機、系統(tǒng)資源過載等各種異常，使系統(tǒng)具備完善的故障檢測能力。另外華為Fus

12、ionSphere解決方案提供了健康檢查工具，為技術支持工程師和維護工程師提供的一套日常檢查工具，并能輸出各部件健康檢查報告，方便技術支持工程師和維護工程師快速了解系統(tǒng)的健康狀況。通過檢查系統(tǒng)當前信息和運行狀態(tài)，反映系統(tǒng)健康或亞健康狀態(tài)，在開局、巡檢、升級等維護場景中使用。數據一致性審計FusionSphere提供了數據一致性審計功能，除了系統(tǒng)本身針對關鍵資源提供的自審計和恢復能力之外，還支持定時審計VM，卷，網絡等關鍵資源的數據和狀態(tài)的一致性，發(fā)現有異常，會自動記錄或出告警，并針對記錄情況提供操作指導，以便維護人員做相應的判斷和恢復措施，從而保證系統(tǒng)內部各種相互關聯(lián)數據的一致性，防止殘留資源

13、數據對系統(tǒng)的影響。管理數據備份與恢復系統(tǒng)提供管理節(jié)點配置數據和業(yè)務數據定期本地和異地備份能力，支持與第三方FTP Server對接配置的能力。當管理節(jié)點服務異常無法自動修復時，通過本地備份的數據立即恢復；當由于災難性的故障導致管理節(jié)點雙點同時故障且不能通過重啟等操作進行恢復，可使用異地備份數據立即恢復（1個小時之內完成），減少故障恢復時間。全局時間同步FusionSphere解決方案系統(tǒng)內部提供了時鐘同步功能，可以保證所有網元（IPSAN，交換機，管理節(jié)點，計算節(jié)點，服務器BMC，防火墻等）時間一致，還支持外接NTP時鐘源設備，可以保證全局時間統(tǒng)一且精準，方便系統(tǒng)維護以及各個網元的正常消息交互

14、。 FusionCompute可靠性虛擬機熱遷移虛擬機是彈性計算服務的資源實體，為保證虛擬機的可用性，規(guī)避業(yè)務中斷的風險，系統(tǒng)提供虛擬機熱遷移能力，即虛擬機在不中斷業(yè)務的情況下實現遷移。虛擬機遷移時，管理系統(tǒng)會在遷移的目的端創(chuàng)建該虛擬機的完整鏡像，并在源端和目的端進行同步。同步的內容包括內存，寄存器狀態(tài)，堆棧狀態(tài)，虛擬CPU狀態(tài)，存儲以及所有虛擬硬件的動態(tài)信息。在遷移過程中，為保證內存的同步，虛擬機管理器（Hypervisor）提供了內存數據的快速復制技術，從而保證了在不中斷業(yè)務的情況下將虛擬機遷移到目標主機（圖示如下）。同時，通過共享存儲保證了虛擬機遷移前后持久化數據不變。虛擬機熱遷移特性示

15、意圖降低客戶的業(yè)務運行成本：根據時間段的不同，客戶的服務器會在一定時間內處于相對空閑狀態(tài)，此時若將多臺物理機上的業(yè)務遷移到少量或者一臺物理機上運行，而將沒有運行業(yè)務的物理機關閉，就可以降低客戶的業(yè)務運行成本，同時達到了節(jié)能減排的作用。 保證客戶系統(tǒng)的高可靠性：如果某臺物理機運行狀態(tài)出現異常，在進一步惡化之前將該物理機上運行的業(yè)務遷移到正常運行的物理機上，就可以為客戶提供高可用性的系統(tǒng)。 硬件在線升級：當客戶需要對物理機硬件進行升級時，可先將該物理機上的所有虛擬機遷移出去，之后對物理機進行升級，升級完成再將所有虛擬機遷移回來，從而實現在不中斷業(yè)務運行的情況下對硬件進行升級，保證服務的持續(xù)可用性。

16、虛擬機熱遷移典型應用場景：根據需要按照遷移目的手動把虛擬機遷移到空閑的物理服務器根據資源利用情況將虛擬機批量遷移到空閑的物理服務器存儲冷熱遷移FusionSphere提供了虛擬機磁盤的冷遷移和熱遷移，冷遷移是在虛擬機關機時候，將其磁盤文件從一個存儲移動到另一個存儲，熱遷移可以在不中斷業(yè)務的前提下，將虛擬機磁盤從一個存儲遷移至另一個存儲。存儲冷遷移原理架構SAN文件系統(tǒng)通用塊層SCSISATANASNFS協(xié)議LocalSATAVHDVHDXVEVol ManagerSCSIVoluneVolumeLUN存儲冷遷移存儲熱遷移原理架構SAN存儲虛擬化文件系統(tǒng)通用塊層SCSISATANASNFS協(xié)議L

17、ocalSATAVHDVHDXVE存儲虛擬化Vol ManagerSCSIVolumeVolumeLUN存儲熱遷移+流控虛擬機負載均衡系統(tǒng)發(fā)放一個虛擬機、虛擬機熱遷移或者計算節(jié)點故障異地重啟恢復時，在系統(tǒng)配置成負載均衡模式的情況下，根據各個物理計算服務器節(jié)點現有的負載狀況進行動態(tài)的調配，使得集群中各個物理計算服務器的負載處于一個動態(tài)的均衡狀態(tài)。虛擬機HA當CNA物理服務器宕機或者重啟，系統(tǒng)可以將具有HA屬性的虛擬機故障遷移到其他計算服務器，保證虛擬機能夠快速恢復。當計算服務器宕機后，由于單個集群內可以運行上千個虛擬機，為避免大量虛擬機遷移造成網絡擁塞和目的服務器過載，系統(tǒng)會根據網絡流量、目的服

18、務器負荷選擇將虛擬機遷移到不同的目的服務器。虛擬機HA特性示意圖RackRackRackRackVRM檢測到計算節(jié)點故障或者虛擬機故障后，會主動根據自身記錄的虛擬機信息，在正常的計算節(jié)點上重新啟動故障虛擬機。VMVMVMVMVMVMVRM當VRM與CNA的心跳中斷超過30秒則會觸發(fā)虛擬機HA，當一個虛擬機有運行狀態(tài)突然異常消失也會觸發(fā)HA在其他正常的計算節(jié)點上快速恢復業(yè)務。防止腦裂：通過存儲層面的鎖機制防止同一個虛擬機實例在多個CNA上同時啟動。CNA節(jié)點的掉電恢復：CNA節(jié)點掉電恢復后，業(yè)務進程開機自啟動恢復，其上之前運行的虛擬機全部故障遷移至其他計算節(jié)點。虛擬機HA主機自治FusionSp

19、here支持虛擬機HA主機自治。HA主機自治功能使主機可以不依賴VRM進行心跳檢測，通過在主機之間實行網絡心跳檢測，從而在VRM故障時，主機之間仍然可以正常HA。HA主機自治功能可同時配置與主機相關聯(lián)的數據存儲來檢測主機的狀態(tài)，避免管理網絡故障時VRM對HA的結果產生誤判。虛擬機HA主機自治功能開啟后，支持主機業(yè)務平面故障檢測并告警。虛擬機故障隔離虛擬機的本質就是通過虛擬化技術，將一臺物理服務器虛擬成多個計算機。虛擬機之間彼此相互獨立，一個虛擬機故障不會影響其他虛擬機。用戶對虛擬機的使用體驗和對傳統(tǒng)物理機的體驗相同。虛擬化環(huán)境下的軟件協(xié)議棧示意圖因此在一個虛擬機內的任何操作，不對同一臺物理服務

20、器上的其它虛擬機和虛擬化平臺自身的可用性產生危害。即使虛擬機的運行出現故障，比如操作系統(tǒng)崩潰、應用程序錯誤導致死機等情況，同一物理服務器上的虛擬化平臺以及其它虛擬機仍然可以正常運行，繼續(xù)為用戶提供服務。虛擬機OS故障檢測當虛擬機本身發(fā)生故障時，系統(tǒng)能夠根據用戶預先設置的故障處理策略，通過虛擬機與主機之間的心跳，再配合虛擬機的網絡和磁盤IO行為判斷虛擬機是否故障，并決定在本地或異地重新啟動虛擬機，盡快恢復業(yè)務的運行。用戶也可以設置為虛擬機發(fā)生故障后不作處理，在這種故障處理策略下，系統(tǒng)即使檢測到虛擬機發(fā)生故障，也不會去重啟。對于虛擬機OS內部故障，如Windows虛擬機的藍屏故障，或Linux虛擬

21、機黑屏掛死，這類故障系統(tǒng)能檢測到并處理。增強系統(tǒng)的自動化維護手段，減少了維護人力投入。最大限度的減少了虛擬機業(yè)務中斷時間，縮短了平均故障恢復時間，提升系統(tǒng)可靠性。黑匣子虛擬化軟件和虛擬化管理軟件支持黑匣子功能，在管理節(jié)點或者計算節(jié)點出現系統(tǒng)崩潰、進程死鎖或異常復位故障時，會將“臨死信息”備份到本地目錄，用于后續(xù)故障定位。黑匣子主要用于管理節(jié)點和計算節(jié)點上收集并存儲操作系統(tǒng)異常退出前的內核日志、診斷工具的診斷信息等數據，以便操作系統(tǒng)出現死機后，系統(tǒng)維護人員能將黑匣子功能保存的數據導出分析。為了讓這些系統(tǒng)定位數據不丟失，黑匣子支持把操作系統(tǒng)死機前收集的數據通過netpoll方式實時發(fā)送至遠端服務器

22、進行備份，如果網絡異常則會保存在本地。管理節(jié)點虛擬化部署FusionSphere解決方案管理軟件可以選擇部署到虛擬機中，即管理節(jié)點支持虛擬化部署模式。管理節(jié)點部署到虛擬機上（即管理節(jié)點虛擬機），其本身支持主備冗余，熱遷移，HA，另外：主備管理節(jié)點虛擬機支持使用IPSAN存儲和本地存儲，除了IPSAN本身高存儲可靠性，主備管理虛擬機存儲還支持使用RAID組，進一步提升了系統(tǒng)的可靠性。FusionCompute支持管理節(jié)點虛擬機開機自啟動（即管理節(jié)點虛擬機所在主機上電，VRM管理節(jié)點虛擬機支持自啟動）當主備管理節(jié)點虛擬機由于異常同時故障都無法自動啟動時，FusionManager支持VRM的心跳故

23、障檢測和告警，并且FusionCompute本身提供管理節(jié)點拉起工具進行恢復。主機故障恢復CNA節(jié)點故障更換支持如下場景：整機，硬盤，主板，網卡，RAID卡。當整機或者CNA節(jié)點操作系統(tǒng)故障，通過重啟或者對應的告警處理無法恢復時，FusionCompute支持對該節(jié)點進行更換，并支持一鍵式或命令行方式恢復其上原有的業(yè)務和配置。主機恢復后其上綁定主機的虛擬機能夠自動被拉起，并且之前在添加主機時進行的網絡，存儲，計算，ntp等公共配置能夠自動恢復。FusionStorage可靠性分布式存儲FusionStorage作為一種與計算融合的存儲軟件，通過在服務器上部署該軟件，可以將所有服務器的本機磁盤組

24、織成一個虛擬存儲資源池，在某些使用場景下完全替換外置SAN。FusionStorage使計算和存儲高度融合，達到高性能、高可靠、高性價比。數據存儲冗余設計FusionStorage支持用戶數據按照設定的兩副本、三副本進行冗余存儲。如下圖所示，以3個節(jié)點組成一個資源池，存儲數據為兩副本的簡單模型，1個節(jié)點上的主副本數據，其備副本數據會均勻分布在其他節(jié)點上，單點故障系統(tǒng)不會丟失數據。FusionStorage 數據兩副本存儲示意圖Node1Node2Node3主副本備副本Pool兩副本場景，故障一個節(jié)點系統(tǒng)數據不會丟失兩副本場景下，在FusionStorage一個資源池內，出現一塊磁盤故障，整個系

25、統(tǒng)不會丟失數據，不影響業(yè)務正常使用。三副本場景下，在FusionStorage一個資源池內，出現兩塊磁盤同時故障整個系統(tǒng)不會丟失數據，不影響業(yè)務正常使用。FusionStorage系統(tǒng)數據持久度在兩副本場景下，達到4個9，在3副本場景下數據持久度達到7個9。多故障域設計FusionStorage默認一個資源池為一個故障域。如下圖所示，FusionStorage存儲系統(tǒng)創(chuàng)建了兩個資源池，默認為2個獨立的故障域，當不同資源池（故障域）各出現一塊硬盤同時故障時，不會出現雙點故障或三點故障，即全系統(tǒng)不會數據丟失，很大程度上降低了雙點故故障或三點故障的概率。FusionStorage多故障域示意圖Nod

26、e1Pool-1N1-D1N1-D12Node2N2-D1N2-D12Node nNn-D1Nn-D12Node1Pool-2N1-D1N1-D12Node2N2-D1N2-D12Node nNn-D1Nn-D12FusionStorage存儲系統(tǒng)數據安全級設計同一個資源池內，數據存儲支持Server級或Rack級粒度的安全分布，可有效降低兩副本雙盤故障或三副本三盤故障的概率。Server級安全級別。系統(tǒng)默認為Server級安全界別。同一節(jié)點內主副本數據，對應的備副本數據，僅會分布在該節(jié)點之外的其他節(jié)點上。這樣，同一Server內任意磁盤故障，整個系統(tǒng)不會丟失數據，不影響正常業(yè)務使用，如下圖所

27、示。FusionStorage數據安全級示意圖（Server級）Node1Pool-1Disk1Disk12Node2Disk1Disk12Node nDisk1Disk12主副本備副本主副本備副本Server級安全：同一數據的主、備副本，不會分布在同一節(jié)點上Rack級安全級別。同一Rack內主副本數據，其對應的備副本數據，僅會分布在該Rack之外的其他節(jié)點。這樣，同一Rack內任意刀片或磁盤故障，整個系統(tǒng)不會丟失數據，不影響正常業(yè)務使用，如下圖所示。FusionStorage數據安全級示意圖（Rack級）Node1PoolDisk1Disk12Node2Disk1Disk12Node nDi

28、sk1Disk12Rack1Node1Disk1Disk12Node2Disk1Disk12Node nDisk1Disk12Rack2Rack級安全：同一數據的主、備副本，不會分布在同一Rack上數據強一致性FusionStorage采用強一致性復制協(xié)議來保證多個副本數據的一致性，即只有當所有副本都寫成功，才返回寫入磁盤成功。正常情況下FusionStorage保證每個副本上的數據都是完全一致，從任一副本讀到的數據都是相同的。如果某個副本中的某個磁盤短暫故障，FusionStorage會暫時不寫這個副本，等恢復后再恢復該副本上的數據；如果磁盤長時間或者永久故障，FusionStorage會把

29、這個磁盤從群集中移除掉，并為副本尋找新的副本磁盤，再通過“rebalance”機制使得數據在各個磁盤上的分布均勻。NVDIMM掉電保護FusionStorage運行過程中在內存中有一些關鍵的動態(tài)數據（如元數據等），如果服務器掉電則這些數據會丟失。為了防止這種情況的發(fā)生，FusionStorage引入了NVDIMM來保證節(jié)點突然掉電的數據不會丟失，NVDIMM是一種非易失性的內存，具備訪問速度快，掉電后數據不會丟失的特點。I/O流控FusionCube支持I/O資源過載流控。當IO過載時，根據流控算法和策略有選擇的減少低優(yōu)先級業(yè)務，優(yōu)先保證一定的高優(yōu)先級業(yè)務成功，避免系統(tǒng)因資源不足而出現處理延遲

30、、業(yè)務成功率降低，嚴重時出現系統(tǒng)復位、宕機等。磁盤應用可靠性FusionCube支持硬盤Smart檢測、快慢盤檢測、磁盤SCSI錯誤處理、硬盤熱插拔和識別處理、磁盤掃描等，上層業(yè)務根據Smart Data返回的相關IO錯誤和磁盤狀態(tài)信息， 完成讀修復、磁盤移除和重建、壞塊標記、有效數據磁盤掃描、Smart超閾值和慢盤處理（預重建后移除磁盤）。讀修復功能（Read Repair） Read Repair是一種在讀操作時，當發(fā)現有讀失敗，會判斷錯誤類型，如果發(fā)現是磁盤扇區(qū)讀取錯誤，可以通過從其它副本讀取數據，然后重新寫入的方法進行恢復。這是磁盤的特性，對大部分讀扇區(qū)錯誤可以修復。如果此方法還不能修

31、復，那么就通過隔離流程為副本選擇其它硬盤并把故障的硬盤踢出集群。壞塊標記（BST）如果系統(tǒng)在磁盤掃描或者讀數據的過程中，有壞道存在，數據訪盤產生EIO錯誤，首先會進行上面的讀修復流程，從另一個副本讀取數據修復，但是在修復時，可能另一個副本不可用，此時需要對壞塊進行BST標記，這小塊數據丟失了，后續(xù)通過上層應用修復。移除磁盤和重建通過SmartData檢測到磁盤WP，ABRT，DF等相關錯誤，Smart Data上報特殊的EIO到DSware，可以直接進行踢盤判斷和處理，如果當前只有一個副本，則拒絕移除磁盤，走雙盤失效流程；如果當前有兩個副本，則可移除磁盤并進行數據重構。有效數據磁盤掃描通過對數

32、據進行讀取掃描，防止靜默數據錯誤(silent data corruption)，如果掃描失敗出現壞道(返回擴展的EIO)，則進行更細粒度的掃描出具體是哪些扇區(qū)故障，針對故障扇區(qū)進行讀修復；如果讀修復不成功，進行壞塊BST標記；Smart超閾值、慢盤的處理（先預重建后踢盤）當檢測到超閾值或者慢盤時，系統(tǒng)優(yōu)先將該盤上的主分區(qū)遷移，同時預先重建另一份拷貝（如果原有為2份拷貝，新增1份變?yōu)?份拷貝），待這份拷貝重建完成后，再將超閾值或慢盤進行移除磁盤處理。元數據高可靠性卷、快照等配置信息的元數據，在系統(tǒng)中存放在兩個元數據卷上，每個元數據卷是2份拷貝，全系統(tǒng)為4份副本，確保元數據的高可靠。Fusion

33、Manager可靠性管理節(jié)點HA部署管理系統(tǒng)采用板級主備，主節(jié)點通過浮動IP地址對外提供服務。當主節(jié)點被檢測進程故障、主節(jié)點OS崩潰、主節(jié)點所在主機OS崩潰，系統(tǒng)發(fā)生主備倒換，備節(jié)點升主，配置浮動IP地址并將MAC地址刷新到網關，所有原主節(jié)點檢測的進程在備節(jié)點啟動，對外提供服務。主備管理節(jié)點采用管理平面的心跳檢測，備用節(jié)點實時檢測主用節(jié)點的健康狀態(tài)，一旦發(fā)現主用管理節(jié)點故障，備用管理節(jié)點將立刻接管主用節(jié)點的任務，保證整個系統(tǒng)不間斷運行。主備雙機數據一致性系統(tǒng)采用支持雙機運行數據庫，正常運行時，主數據庫提供讀寫操作，當主數據庫有變更時，實時的將變更同步到備數據庫，為保證主數據庫的性能，該同步采用

34、異步方式進行。系統(tǒng)主備倒換時，數據庫平滑切換，確保數據不丟失。管理數據即時備份在重大操作維護工程師在對系統(tǒng)進行重大操作（如升級、重大數據調整等）前，為了保證FusionSphere在出現異常或未達到預期結果時可以及時進行數據恢復，將對業(yè)務的影響降到最低，可提前對FusionCompute，FusionManger網元的管理數據進行備份。FusionManager支持管理數據備份與第三方FTP Server對接配置，支持各個網元備份管理數據上傳至第三方FTP服務器。支持對FusionCompute，FusionManager網元的管理數據統(tǒng)一即時備份和備份狀態(tài)查詢。進程僵死保護由于系統(tǒng)原因會出現

35、進程運行狀態(tài)正常，但是不提供服務的情況，這種狀態(tài)叫進程僵死， FusionManager增加了進程僵死保護的機制，可以檢查出進程處于僵死狀態(tài)， 并自動將出于僵死狀態(tài)的進程殺死重新啟動，從而讓進程正常提供服務。網絡可靠性網絡子系統(tǒng)主要采取以下四個措施來增強系統(tǒng)的可靠性。分別是：通過網卡綁定技術提高服務器端口的可用性；可以通過交換機堆疊技術將兩臺交換機虛擬成一臺使用在提高鏈路的利用效率的同時大大提高了接入交換機的可靠性；同時通過Trunk后的SmartLink技術接入匯聚交換機。最后在核心路由器側，采用VRRP技術部署主備兩臺路由器以便提高網絡核心部分的可用性。數據中心網絡總體方案如下： 數據中心

36、網絡總體方案示意圖整體網絡劃分為三層，分別為：1）接入層服務器和存儲設備上行接入到接入層交換機。服務器側建議采用6網卡（業(yè)務+管理+存儲）方式進行組網，業(yè)務、管理平面分別通過兩網卡聚合確保鏈路冗余，存儲平面通過多路徑確保鏈路冗余。在接入交換機劃分VLAN，將管理、業(yè)務、存儲三個平面邏輯隔離。為簡化組網提高組網可靠性，建議接入交換機采用堆疊方式：業(yè)務平面網絡：用于承載虛擬機業(yè)務數據。管理平面網絡：用于承載管理服務器以及資源服務器之間的內部管理消息流量。存儲平面網絡：用于承載服務器和磁盤陣列之間的專用數據訪問。2）匯聚層接入交換機上行到匯聚層交換機。匯聚交換機建議采用交換機集群的方式，接入交換機采

37、用ETH-TRUNK上行至匯聚交換機，匯聚交換機堆疊之后，無需啟用VRRP功能，如果需要匯聚交換機提供網關功能，則直接將VLAN IF接口作為用戶網關地址。3）核心層匯聚交換機上行接入核心層交換機。核心交換機也建議采用集群的方式。核心交換機采用OSPF或者靜態(tài)路由的方式同上層設備進行對接：當采用OSPF對接時，OSPF發(fā)布地址包括核心交換機互聯(lián)地址，直連路由地址以及l(fā)oopback地址。當采用靜態(tài)路由方式時,建議核心交換機同上級設備采用VRRP地址為網關地址。存儲多路徑訪問計算節(jié)點支持存儲Initiators模塊的冗余部署，其上虛擬機通過標準協(xié)議（iSCSI等）訪問存儲系統(tǒng)，并通過多塊網卡的負

38、荷分擔技術、交換機的堆疊和集群技術提供存儲路徑的物理冗余。數據存儲多路徑訪問示意圖上圖給出了計算節(jié)點和存儲節(jié)點使用協(xié)議通信時的多路徑訪問流程，任意一個虛擬機對所掛載的任意一個虛擬卷，都將至少有兩個完全冗余的路徑來實現卷的多路徑訪問，并通過多路徑軟件來實現訪問多路徑的控制和故障切換，從而避免單點故障帶來的系統(tǒng)可靠性問題。虛擬化網絡流量控制虛擬化網絡流量控制提供發(fā)送方向的帶寬配置控制能力，包含二個部分：1.基于網絡平面的帶寬控制；2.基于虛擬網卡的帶寬控制。1）基于網絡平面的帶寬控制網絡平面QoS示意圖CNABOND管理平面存儲平面業(yè)務平面ethQoSeth支持基于網絡平面的帶寬控制功能，管理平面

39、、存儲平面和業(yè)務平面基于物理的帶寬能力，分配一定配額的帶寬，保證各個平面的流量擁塞不影響到其它平面?？膳涞膮涤校罕ＷC帶寬（服務器需配備智能網卡），上限帶寬和帶寬優(yōu)先級。提供網絡平面的保證帶寬能力（需要配備智能網卡），保證各個網絡平面的流量，即使在極端擁塞的情況下，其帶寬至少能達到保證帶寬所配置的值。系統(tǒng)管理員可根據實際環(huán)境的業(yè)務場景，分配大小合理的保證帶寬給網絡平面使用。2）基于虛擬網卡的帶寬控制支持基于虛擬網卡的保證帶寬（服務器需配備智能網卡），上限帶寬，帶寬優(yōu)先級控制能力，保證虛擬機的網絡通信質量，同時避免不同虛擬機之間的擁塞互相影響。當某一虛擬機由于業(yè)務需要，要求對其某個虛擬網卡使用的

40、帶寬提供保證，以保證虛擬機在擁塞的情況下仍然保持高質量的網絡通信，可通過設置虛接口的保證帶寬來實現。當管理員需要限制某一虛擬機可占用的帶寬的上限時，可通過設置虛擬機網卡的上限帶寬來實現。當管理員需要擁塞情況下，對于不同的虛擬機有不同的帶寬搶占能力時，可通過配置其帶寬優(yōu)先級來實現，使優(yōu)先級高的虛擬機搶到更多的帶寬。網卡負荷分擔對于物理服務器提供的多塊網卡，出于可靠性以及流量負載均衡的考慮，系統(tǒng)采用了Bonding模式（支持主備和負荷分擔綁定模式）。使用綁定模式之后，網卡被綁定成邏輯上的“一塊網卡”后，同步一起工作，對服務器的訪問流量被均衡分擔到多塊網卡上，這樣每塊網卡的負載壓力就很多，抗并發(fā)訪問

41、的能力提高，保證了服務器訪問的穩(wěn)定和暢快，而且當其中一塊發(fā)生故障的時候，另外的網卡立刻接管全部負載，過程是無縫的，服務不會中斷。避免單個網卡或者鏈路故障引發(fā)的業(yè)務中斷。服務器綁定多網卡的實際意義在于當系統(tǒng)采用綁定多網卡形成陣列之后，不僅可以擴大服務器網絡進出口帶寬，而且可以實現有效負載均衡和提高容錯能力，避免服務器出現傳輸瓶頸或者因某塊網卡故障而停止服務。交換機堆疊堆疊是將同一物理位置上的交換機通過堆疊電纜或高速上行口組成一個高可靠的設備組，例如S5300接入交換機設備是通過堆疊口實現堆疊的。通過堆疊，在提高可靠性的同時，可以實現對交換機的集中管理和維護，降低用戶的維護成本。通過堆疊技術，將兩

42、臺物理交換機作為一臺交換機進行處理，交換機之間無需配置TRUNK，對于接入設備服務器而言，相當于只看到一臺物理設備。處于堆疊組中的兩臺物理交換機處于主備狀態(tài)，單臺設備故障，由另外一臺設備接管。堆疊系統(tǒng)建立之前，每臺交換機都是單獨的實體，每臺交換機有自己獨立的IP 地址，對外體現為多臺交換機，用戶需要獨立的管理所有的設備；堆疊建立后堆疊成員對外體現為一個統(tǒng)一的邏輯實體，用戶使用一個IP 地址對堆疊中的所有交換機進行管理和維護，堆疊協(xié)議會通過選舉確定堆疊的主交換機、備用交換機和從交換機，可以實現主備交換機之間數據備份和主備倒換。交換機通過堆疊線纜連接成環(huán)型或鏈型，運行堆疊管理協(xié)議，選舉出主交換機，

43、負責堆疊系統(tǒng)的管理，包括分配堆疊成員的ID、收集堆疊的拓撲信息，并將拓撲信息通告給所有的堆疊成員；主交換機指定備用交換機，備交換機在主交換機出現故障的時候升級為主交換機來管理整個堆疊。交換機互連冗余Smart Link，中文譯為靈活鏈路，又稱為備份鏈路，是一種為鏈路雙上行提供可靠高效的備份和切換機制的解決方案，常用于雙上行組網。相比STP（Spanning Tree Protocol,生成樹協(xié)議），Smart Link 技術能夠提供更高的收斂性能，相比RRPP（Rapid RingProtection Protocol）和SEP(Smart Ethernet Protection)，Smart

44、 Link 技術提供了更簡潔的配置使用方式。雙上行組網是目前常用應用組網之一，該組網下通過生成樹協(xié)議阻塞冗余鏈路，起備份作用。當主用鏈路故障時，將流量切換到備用鏈路。雖然這種方案從功能上可以實現客戶冗余備份的需求，但是在性能上卻不能達到很多用戶的要求，因為即使采用快速生成樹協(xié)議的快速遷移，也只能是秒級的收斂速度。這對于應用于電信級網絡核心的高端以太網交換機，是非常不利的一個性能參數?；谏鲜鲈?，華為FusionSphere合引入了Smart Link 解決方案，針對雙上行組網，實現主備鏈路冗余備份及快速遷移。該方案為雙上行組網量身定做，即保證了性能，又簡化了配置，同時，作為對Smart Li

45、nk 的一個補充，還引入了端口聯(lián)動的方案，也即是Monitor Link，用于檢測上行鏈路，使Smart Link 備份作用更為完善。虛擬路由冗余保護VRRP（Virtual Router Redundancy Protocol）虛擬路由冗余協(xié)議，是一種容錯協(xié)議。該協(xié)議通過把幾臺路由設備聯(lián)合組成一臺虛擬的路由設備，使用一定的機制保證當主機的下一跳交換機出現故障時，及時將業(yè)務切換到其它交換機，從而保持通訊的連續(xù)性和可靠性。VRRP 將局域網的一組路由設備構成一個VRRP 備份組，相當于一臺虛擬路由器。局域網內的主機只需要知道這個虛擬路由器的IP 地址，并不需知道具體某臺設備的IP 地址，將網絡內

46、主機的缺省網關設置為該虛擬路由器的IP 地址，主機就可以利用該虛擬網關與外部網絡進行通信。VRRP 將該虛擬路由器動態(tài)關聯(lián)到承擔傳輸業(yè)務的物理設備上，當該設備出現故障時，再次選擇新設備來接替業(yè)務傳輸工作，整個過程對用戶完全透明，實現了內部網絡和外部網絡不間斷通信。 STYLEREF 7 n * MERGEFORMAT 錯誤！文檔中沒有指定樣式的文字。 STYLEREF 7 錯誤！文檔中沒有指定樣式的文字。 DOCPROPERTY Product&Project Name DOCPROPERTY DocumentName 可靠性技術白皮書硬件可靠性硬件可靠性主要是服務器的硬件冗余以及故障檢測，下面以RH2285型號的華為自研服務器為例介紹。內存可靠性內存錯