企業(yè)云基礎(chǔ)架構(gòu)平臺(tái)設(shè)計(jì)方案

1、PAGE PAGE 77企業(yè)云基礎(chǔ)架構(gòu)平臺(tái)設(shè)計(jì)方案目錄 TOC o 1-3 h z u HYPERLINK l _Toc528762735 1 企業(yè)云基礎(chǔ)架構(gòu)設(shè)計(jì)方案 PAGEREF _Toc528762735 h 5 HYPERLINK l _Toc528762736 1.1 云資源池建設(shè) PAGEREF _Toc528762736 h 5 HYPERLINK l _Toc528762737 1.1.1 計(jì)算資源池定位 PAGEREF _Toc528762737 h 5 HYPERLINK l _Toc528762738 1.1.2 X86虛擬化實(shí)現(xiàn) PAGEREF _Toc52876273

2、8 h 10 HYPERLINK l _Toc528762739 1.1.3 計(jì)算資源池建設(shè) PAGEREF _Toc528762739 h 17 HYPERLINK l _Toc528762740 1.2 數(shù)據(jù)庫區(qū)建設(shè) PAGEREF _Toc528762740 h 18 HYPERLINK l _Toc528762741 1.2.1 數(shù)據(jù)資源規(guī)劃 PAGEREF _Toc528762741 h 18 HYPERLINK l _Toc528762742 1.2.2 數(shù)據(jù)庫集群系統(tǒng)建設(shè) PAGEREF _Toc528762742 h 20 HYPERLINK l _Toc528762743 1

3、.2.3 集群數(shù)據(jù)庫建設(shè)優(yōu)勢 PAGEREF _Toc528762743 h 21 HYPERLINK l _Toc528762744 1.3 存儲(chǔ)資源池建設(shè) PAGEREF _Toc528762744 h 22 HYPERLINK l _Toc528762745 1.3.1 存儲(chǔ)資源池?cái)?shù)據(jù)類型 PAGEREF _Toc528762745 h 22 HYPERLINK l _Toc528762746 1.4 網(wǎng)絡(luò)資源池建設(shè) PAGEREF _Toc528762746 h 32 HYPERLINK l _Toc528762747 1.4.1 云計(jì)算中心網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc52876

4、2747 h 32 HYPERLINK l _Toc528762748 1.4.2 云計(jì)算對網(wǎng)絡(luò)的要求 PAGEREF _Toc528762748 h 34 HYPERLINK l _Toc528762749 1.4.3 網(wǎng)絡(luò)子系統(tǒng)需求與目標(biāo) PAGEREF _Toc528762749 h 37 HYPERLINK l _Toc528762750 1.4.4 設(shè)備技術(shù)要求 PAGEREF _Toc528762750 h 39 HYPERLINK l _Toc528762751 1.5 硬件設(shè)備清單 PAGEREF _Toc528762751 h 43 HYPERLINK l _Toc52876

5、2752 2 項(xiàng)目實(shí)施與管理 PAGEREF _Toc528762752 h 50 HYPERLINK l _Toc528762753 2.1 實(shí)施計(jì)劃 PAGEREF _Toc528762753 h 50 HYPERLINK l _Toc528762754 2.2 實(shí)施周期 PAGEREF _Toc528762754 h 51 HYPERLINK l _Toc528762755 2.3 項(xiàng)目建設(shè)機(jī)構(gòu) PAGEREF _Toc528762755 h 52 HYPERLINK l _Toc528762756 2.4 人員配置 PAGEREF _Toc528762756 h 53 HYPERLIN

6、K l _Toc528762757 2.5 項(xiàng)目溝通 PAGEREF _Toc528762757 h 54 HYPERLINK l _Toc528762758 2.6 項(xiàng)目文檔管理 PAGEREF _Toc528762758 h 54 HYPERLINK l _Toc528762759 3 運(yùn)維規(guī)范與實(shí)施 PAGEREF _Toc528762759 h 55 HYPERLINK l _Toc528762760 3.1 機(jī)房管理 PAGEREF _Toc528762760 h 55 HYPERLINK l _Toc528762761 3.1.1 環(huán)境安全 PAGEREF _Toc52876276

7、1 h 55 HYPERLINK l _Toc528762762 3.1.2 設(shè)備安全 PAGEREF _Toc528762762 h 58 HYPERLINK l _Toc528762763 3.1.3 電源設(shè)備 PAGEREF _Toc528762763 h 62 HYPERLINK l _Toc528762764 3.1.4 消防設(shè)備 PAGEREF _Toc528762764 h 63 HYPERLINK l _Toc528762765 3.1.5 空調(diào)設(shè)備 PAGEREF _Toc528762765 h 64 HYPERLINK l _Toc528762766 3.1.6 監(jiān)控設(shè)備

8、PAGEREF _Toc528762766 h 64 HYPERLINK l _Toc528762767 3.1.7 線路設(shè)施 PAGEREF _Toc528762767 h 65 HYPERLINK l _Toc528762768 3.1.8 配置管理 PAGEREF _Toc528762768 h 65 HYPERLINK l _Toc528762769 3.1.9 值班管理 PAGEREF _Toc528762769 h 67 HYPERLINK l _Toc528762770 3.1.10 保密管理 PAGEREF _Toc528762770 h 68 HYPERLINK l _Toc

9、528762771 3.1.11 運(yùn)維模式 PAGEREF _Toc528762771 h 70 HYPERLINK l _Toc528762772 3.1.12 人員配置和培訓(xùn) PAGEREF _Toc528762772 h 70 HYPERLINK l _Toc528762773 4 應(yīng)急處置預(yù)案服務(wù) PAGEREF _Toc528762773 h 72 HYPERLINK l _Toc528762774 4.1 系統(tǒng)故障應(yīng)急流程說明 PAGEREF _Toc528762774 h 72 HYPERLINK l _Toc528762775 4.2 數(shù)據(jù)中心機(jī)房應(yīng)急服務(wù) PAGEREF _T

10、oc528762775 h 74 HYPERLINK l _Toc528762776 4.2.1 機(jī)房漏水應(yīng)急預(yù)案 PAGEREF _Toc528762776 h 74 HYPERLINK l _Toc528762777 4.2.2 設(shè)備發(fā)生被盜或人為損害事件應(yīng)急預(yù)案 PAGEREF _Toc528762777 h 74 HYPERLINK l _Toc528762778 4.2.3 機(jī)房長時(shí)間停電應(yīng)急預(yù)案 PAGEREF _Toc528762778 h 75 HYPERLINK l _Toc528762779 4.2.4 通信網(wǎng)絡(luò)故障應(yīng)急預(yù)案 PAGEREF _Toc528762779 h

11、75 HYPERLINK l _Toc528762780 4.2.5 不良信息和網(wǎng)絡(luò)病毒事件應(yīng)急預(yù)案 PAGEREF _Toc528762780 h 76 HYPERLINK l _Toc528762781 4.2.6 黑客攻擊事件應(yīng)急預(yù)案 PAGEREF _Toc528762781 h 77 HYPERLINK l _Toc528762782 4.2.7 服務(wù)器軟件系統(tǒng)故障應(yīng)急預(yù)案 PAGEREF _Toc528762782 h 77 HYPERLINK l _Toc528762783 4.2.8 核心設(shè)備硬件故障應(yīng)急預(yù)案 PAGEREF _Toc528762783 h 78 HYPERLI

12、NK l _Toc528762784 4.2.9 業(yè)務(wù)數(shù)據(jù)損壞應(yīng)急預(yù)案 PAGEREF _Toc528762784 h 78 HYPERLINK l _Toc528762785 4.2.10 雷擊事故應(yīng)急預(yù)案 PAGEREF _Toc528762785 h 79 HYPERLINK l _Toc528762786 4.3 系統(tǒng)應(yīng)急預(yù)案處置保障 PAGEREF _Toc528762786 h 80 HYPERLINK l _Toc528762787 4.3.1 應(yīng)急預(yù)案啟動(dòng)原則 PAGEREF _Toc528762787 h 80 HYPERLINK l _Toc528762788 4.3.2

13、應(yīng)急預(yù)案指揮原則 PAGEREF _Toc528762788 h 80 HYPERLINK l _Toc528762789 4.3.3 應(yīng)急保障措施 PAGEREF _Toc528762789 h 80 HYPERLINK l _Toc528762790 5 售后服務(wù)方案 PAGEREF _Toc528762790 h 81 HYPERLINK l _Toc528762791 5.1 售后服務(wù)期限 PAGEREF _Toc528762791 h 81 HYPERLINK l _Toc528762792 5.2 售后服務(wù)內(nèi)容 PAGEREF _Toc528762792 h 82 HYPERLIN

14、K l _Toc528762793 5.3 響應(yīng)時(shí)間 PAGEREF _Toc528762793 h 82 HYPERLINK l _Toc528762794 5.4 服務(wù)體系 PAGEREF _Toc528762794 h 82 HYPERLINK l _Toc528762795 5.4.1 支持服務(wù) PAGEREF _Toc528762795 h 82 HYPERLINK l _Toc528762796 5.4.2 咨詢服務(wù) PAGEREF _Toc528762796 h 83 HYPERLINK l _Toc528762797 5.4.3 部署服務(wù) PAGEREF _Toc5287627

15、97 h 84 HYPERLINK l _Toc528762798 5.4.4 故障排除服務(wù) PAGEREF _Toc528762798 h 85企業(yè)云基礎(chǔ)架構(gòu)設(shè)計(jì)方案云資源池建設(shè)計(jì)算資源池定位計(jì)算資源池特性由于云計(jì)算中心需要處理前端進(jìn)來的海量數(shù)據(jù)，因此需要大量的計(jì)算機(jī)節(jié)點(diǎn)。傳統(tǒng)的超級計(jì)算中心強(qiáng)調(diào)整體的計(jì)算能力，當(dāng)前的互聯(lián)網(wǎng)數(shù)據(jù)中心強(qiáng)調(diào)密度、帶寬等因素。而云計(jì)算中心，特別是作為物聯(lián)網(wǎng)后端處理中心的物理網(wǎng)云計(jì)算中心需要的是強(qiáng)大的“處理能力”，這個(gè)“處理能力”包含了計(jì)算能力、傳輸能力，甚至存儲(chǔ)能力。畢竟云計(jì)算中心不同于傳統(tǒng)的超級計(jì)算中心，不是長時(shí)間運(yùn)行同一個(gè)計(jì)算程序，而是要同時(shí)處理成千上萬個(gè)服務(wù)請

16、求，要求響應(yīng)時(shí)間很短、對通信帶寬和存儲(chǔ)容量有巨大的需求。因此，云計(jì)算中心需要具有高通量特征的計(jì)算機(jī)系統(tǒng)。其次，對云計(jì)算運(yùn)營者來講，在提供可靠服務(wù)的前提下，通過大量先進(jìn)技術(shù)降低總體擁有成本是云計(jì)算中心基礎(chǔ)架構(gòu)建設(shè)的核心目標(biāo)。因此，構(gòu)建云計(jì)算中心的一個(gè)重要標(biāo)準(zhǔn)就是利用標(biāo)準(zhǔn)化的、性價(jià)比高的通用部件或者產(chǎn)品。因?yàn)?，只有?biāo)準(zhǔn)化、商品化的部件才有眾多的采購來源，并因?yàn)槠溟_放性，從而具有較低的運(yùn)營成本。再次，云計(jì)算平臺(tái)的重要特征之一是實(shí)現(xiàn)資源的抽象和封裝、構(gòu)建動(dòng)態(tài)化、彈性化的計(jì)算資源池，而虛擬化技術(shù)和分布式數(shù)據(jù)存儲(chǔ)、分析技術(shù)是實(shí)現(xiàn)達(dá)到這一目標(biāo)的重要手段。因此，計(jì)算子系統(tǒng)應(yīng)該在虛擬化和分布式數(shù)據(jù)存儲(chǔ)模型兩個(gè)方

17、面有較好的解決方案。最后，除了具有通用性、標(biāo)準(zhǔn)化、資源池化等特征之外，計(jì)算子系統(tǒng)還應(yīng)該具有易管理、低能耗的特征，從而大大降低云計(jì)算中心的能耗、降低運(yùn)維成本。主要技術(shù)路線計(jì)算虛擬化技術(shù)計(jì)算虛擬化技術(shù)是實(shí)現(xiàn)云計(jì)算中心資源池化的關(guān)鍵技術(shù)之一，是實(shí)現(xiàn)高可用、彈性擴(kuò)展云計(jì)算平臺(tái)的技術(shù)基礎(chǔ)。計(jì)算虛擬化是一個(gè)抽象層，是對上層應(yīng)用屏蔽底層計(jì)算設(shè)備的資源封裝手段，將構(gòu)成計(jì)算資源的眾多物理設(shè)備組合成一個(gè)整體，形成計(jì)算資源池，提供給上層應(yīng)用軟件，從而提供更高的IT資源利用率和靈活性。計(jì)算虛擬化技術(shù)將真實(shí)存在的物理計(jì)算資源，通過切分或（和）聚合的封裝手段形成新的表現(xiàn)形態(tài)。聚合封裝是將多個(gè)物理實(shí)體通過技術(shù)手段封裝為單一

18、虛擬映像/實(shí)例，可用于完成某個(gè)業(yè)務(wù)。就計(jì)算資源而言，通常采用計(jì)算集群（Cluster）、負(fù)載均衡集群（Load Balance）等。切分封裝是將單個(gè)物理實(shí)體通過技術(shù)手段封裝為多個(gè)虛擬映像/實(shí)例，可用于執(zhí)行不同業(yè)務(wù)。通常采用主機(jī)虛擬化，如Vmware ESX、Xen、MS Hyper-V等產(chǎn)品。無論是計(jì)算集群（Cluster）、負(fù)載均衡集群（Load Balance），還是主機(jī)虛擬化，都屬于計(jì)算資源虛擬化技術(shù)，多種虛擬化技術(shù)也可以組合使用，使得計(jì)算資源池的使用更加靈活?；赬86架構(gòu)的計(jì)算平臺(tái)云計(jì)算中心采用標(biāo)準(zhǔn)的X86架構(gòu)服務(wù)器作為“云”的節(jié)點(diǎn)機(jī)?；赬86平臺(tái)的服務(wù)器使用Intel Xeon或

19、者AMD Opteron作為處理器，也就是通常所說的PC服務(wù)器。X86架構(gòu)的服務(wù)器使用標(biāo)準(zhǔn)化、商業(yè)化的部件，從而成為構(gòu)建大型云計(jì)算中心的最佳選擇。近年來，Intel Xeon和AMD Opteron的性能獲得巨大的提高，大量的先進(jìn)技術(shù)和工藝先后被Intel/AMD引人其處理器的設(shè)計(jì)和制造中，比如，64位計(jì)算、直連結(jié)構(gòu)、內(nèi)嵌內(nèi)存控制器、多核（目前，Intel Xeon最多可以做到10核；AMD Opteron可以做到16核）、硬件輔助虛擬化技術(shù)（Intel VT、AMD-V）、32nm制程等等。在國際權(quán)威的測試機(jī)構(gòu)TPC組織發(fā)布的結(jié)果中，采用X86架構(gòu)的服務(wù)器價(jià)格/性能比最佳。從性能角度，4顆

20、Intel Xeon 7560的tpmC值就可達(dá)到24顆POWER 7的23%。最后，基于X86架構(gòu)的服務(wù)器因?yàn)槠溟_放的架構(gòu)，開放的生態(tài)系統(tǒng)，使其具有較低的運(yùn)維成本，這也是小型機(jī)等封閉系統(tǒng)所不能比擬的。從可靠性的角度，在云計(jì)算環(huán)境下，通常大量采用虛擬化、分布式、并行計(jì)算等模式，有力的保證了計(jì)算系統(tǒng)的可靠性。全球幾大互聯(lián)網(wǎng)巨頭，Google、Amazon、百度、阿里巴巴等，無不大量采用X86架構(gòu)的設(shè)備，支撐海量的互聯(lián)網(wǎng)檢索和訪問。并行計(jì)算技術(shù)高性能并行處理技術(shù)主要包括基于共享內(nèi)存的OpenMP和多線程以及基于分布式消息傳遞的MPI，其中MPI技術(shù)可擴(kuò)展性強(qiáng)、計(jì)算效率高，是目前業(yè)界最流行的高性能并

21、行處理技術(shù)。MPI和OpenMP等并行處理技術(shù)的能力可以很好的滿足物聯(lián)網(wǎng)計(jì)算密集類應(yīng)用的高性能處理需求。圖：并行計(jì)算思想：分而治之Map/Reduce分布式計(jì)算Hadoop系統(tǒng)是Apache開源組織的一個(gè)分布式計(jì)算開源框架，在很多大型網(wǎng)站上都已經(jīng)得到了應(yīng)用，如亞馬遜、Facebook和Yahoo等等。Hadoop設(shè)計(jì)了用來在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架，利用了分布式文件系統(tǒng)的備份恢復(fù)機(jī)制保證了系統(tǒng)的高可靠性，為用戶提供了一個(gè)全新的穩(wěn)定的存儲(chǔ)系統(tǒng)和分析系統(tǒng)。其主要部分是模擬Google的GFS和Map/Reduce框架完成的，下圖顯示了Hadoop的體系結(jié)構(gòu)，存儲(chǔ)系統(tǒng)是用H

22、DFS實(shí)現(xiàn)的，而分析系統(tǒng)使用Map/Reduce實(shí)現(xiàn)。Hadoop的工程本身還包括其它子系統(tǒng)，如HBase、ZooKeeper等。圖：Hadoop的體系結(jié)構(gòu)可重構(gòu)計(jì)算技術(shù)根據(jù)摩爾定律，CPU處理能力每18個(gè)月翻一倍，過去30年都是按照這個(gè)速度在不斷提高。在此過程中解決了一個(gè)又一個(gè)的技術(shù)難題，如時(shí)鐘頻率、超標(biāo)量架構(gòu)、流水線技術(shù)等，使處理能力得到了極大地提高。然而根據(jù)吉爾德定律，在未來25年，主干網(wǎng)的帶寬每6個(gè)月增長一倍，換句話說，也可以理解為需要處理的內(nèi)容的增長速度是CPU處理能力的3倍，也就是說在信息處理系統(tǒng)的建設(shè)中，系統(tǒng)規(guī)模將會(huì)呈現(xiàn)持續(xù)上升，而不會(huì)因?yàn)镃PU的發(fā)展而有所緩解?；诳芍貥?gòu)計(jì)算技

23、術(shù)來實(shí)現(xiàn)特殊應(yīng)用的加速是目前主流的方案。云計(jì)算技術(shù)在提供傳統(tǒng)計(jì)算手段之外，還應(yīng)該針對具體應(yīng)用需求，提供眾核協(xié)處理器、GPU計(jì)算和FPGA三種可重構(gòu)計(jì)算模式，適應(yīng)不同類型應(yīng)用的需求。例如在網(wǎng)絡(luò)數(shù)據(jù)處理、音視頻信息處理等方面，即可針對應(yīng)用處理要求，選用相應(yīng)的可重構(gòu)計(jì)算模式，以提高處理能力，降低系統(tǒng)規(guī)模的過快增長。主機(jī)虛擬化技術(shù)主機(jī)虛擬化技術(shù)是實(shí)現(xiàn)資源池化的重要手段之一。近年來，X86架構(gòu)上的主機(jī)虛擬化技術(shù)逐漸成熟，涌現(xiàn)出不少技術(shù)和產(chǎn)品，VMware ESX、Xen、微軟Hyper-V就是其中的代表。作為第一個(gè)（1998年）將主機(jī)虛擬化技術(shù)引入X86平臺(tái)的廠商，VMware目前在X86平臺(tái)的虛擬化市

24、場上處于領(lǐng)先地位，ESX的最新版本是6.0。作為與ESX相類似（同屬裸金屬架構(gòu)）的Hypervisor和ESX的競爭者，Xen和Hyper-V也越來越強(qiáng)大。Xen是劍橋大學(xué)于2005年發(fā)布的一個(gè)開源的Hypervisor，已被吸收到Redhat、SuSE、Oracle VM中。Xen已經(jīng)于2007年被Citrix收購，但目前仍然作為一個(gè)開源項(xiàng)目由Citrix維護(hù)，代表著開源社區(qū)的力量。目前，Xen的最新版本是 4.0.1，而Citrix XenServer的最新版本是5.6。微軟于2008年發(fā)布了自己的HypervisorHyper-V，目前已經(jīng)更新到Hyper-V r2版本。X86虛擬化實(shí)現(xiàn)

25、X86服務(wù)器虛擬化，就是在硬件和操作系統(tǒng)之間引入虛擬化層，如下圖。虛擬化層允許多個(gè)操作系統(tǒng)實(shí)例同時(shí)運(yùn)行在一臺(tái)物理服務(wù)器上，動(dòng)態(tài)分區(qū)和共享所有可用的物理資源，包括：CPU、內(nèi)存、存儲(chǔ)和I/O設(shè)備。隨著服務(wù)器和臺(tái)式機(jī)的計(jì)算能力急劇增加，虛擬化技術(shù)應(yīng)用廣泛普及，很多用戶已經(jīng)在開發(fā)/測試、服務(wù)器整合、數(shù)據(jù)中心優(yōu)化和業(yè)務(wù)連續(xù)性方面證實(shí)了虛擬化的效用。虛擬架構(gòu)已經(jīng)可以將操作系統(tǒng)和應(yīng)用從硬件上分離出來，打包成獨(dú)立的、可移動(dòng)的虛擬機(jī)，從來帶來極大的靈活性。例如：可以通過虛擬架構(gòu)，讓服務(wù)器24小時(shí)*365天運(yùn)行，避免因?yàn)閭浞莼蚍?wù)器維護(hù)而帶來的停機(jī)。對于X86虛擬化，有兩種常見的架構(gòu)：寄居架構(gòu)和裸金屬架構(gòu)。寄居

26、架構(gòu)：將虛擬化層運(yùn)行在操作系統(tǒng)之上，當(dāng)作一個(gè)應(yīng)用來運(yùn)行，對硬件的支持很廣泛。裸金屬架構(gòu)：直接將虛擬化層運(yùn)行在X86的硬件系統(tǒng)上，可以直接訪問硬件資源，無需通過操作系統(tǒng)實(shí)現(xiàn)硬件訪問，因此效率更高。虛擬化層虛擬化層是運(yùn)行在虛擬機(jī)監(jiān)控器（VMM，Virtual Machine Monitor）上面、負(fù)責(zé)管理所有虛擬機(jī)的軟件。如下圖所示，虛擬化層就是Hypervisor（管理程序）直接運(yùn)行在硬件上，因此，Hypervisor的功能極大地取決于虛擬化架構(gòu)和實(shí)現(xiàn)。運(yùn)行在Hypervisor（管理程序）上的每個(gè)VMM進(jìn)行了硬件抽取，負(fù)責(zé)運(yùn)行傳統(tǒng)的操作系統(tǒng)。每個(gè)VMM必須進(jìn)行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共

27、享，從而實(shí)現(xiàn)系統(tǒng)的虛擬化。圖：Hypervisor通過VMM管理虛擬機(jī)CPU虛擬化根據(jù)最初設(shè)計(jì)，X86上的操作系統(tǒng)需要直接運(yùn)行在裸機(jī)上，因此默認(rèn)擁有和控制所有的硬件。如下圖所示，X86架構(gòu)提供了四種特權(quán)級別Ring 0、1、2和3，通過這四種級別來控制和管理對硬件的訪問。通常，用戶級的應(yīng)用一般運(yùn)行在Ring 3級別，操作系統(tǒng)需要直接訪問內(nèi)存和硬件，需要在Ring 0執(zhí)行它的特權(quán)指令。為了虛擬X86架構(gòu)，需要在操作系統(tǒng)下面運(yùn)行虛擬化層，由虛擬化層來創(chuàng)建和管理虛擬機(jī)，進(jìn)行共享資源分配。而有些敏感指令不能很好的進(jìn)行虛擬化，它們在Ring 0以外級別執(zhí)行時(shí)，會(huì)出現(xiàn)不同的結(jié)果。如何在運(yùn)行時(shí)捕獲和翻譯這些

28、敏感指令成為X86虛擬化的一大挑戰(zhàn)，使得X86架構(gòu)虛擬化最初難以實(shí)現(xiàn)。圖：X86架構(gòu)虛擬化前的特權(quán)級別到目前為止，有三種典型的技術(shù)來解決X86虛擬化的難題：完全虛擬化；操作系統(tǒng)幫助下的虛擬化，即半虛擬化；硬件幫助的虛擬化。完全虛擬化完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化的指令，通過翻譯后的指令直接訪問虛擬硬件。同時(shí)，所有用戶級指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。每個(gè)VMM為每個(gè)虛擬機(jī)提供完整的硬件支持服務(wù)，包括虛擬BIOS、虛擬設(shè)備和虛擬內(nèi)存管理。完全虛擬化實(shí)現(xiàn)后，客戶操作系統(tǒng)可以通過虛擬化層從物理硬件上完全抽取出來，客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化，完全不需進(jìn)行修改。

29、完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來進(jìn)行敏感和特權(quán)指令虛擬化的技術(shù)，Hypervisor（管理程序）可以翻譯所有的操作系統(tǒng)特權(quán)指令，并保存在緩存里備用，而用戶級指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機(jī)隔離和安全性，簡化了客戶操作系統(tǒng)遷移和移植能力。半虛擬化半虛擬化需要修改操作系統(tǒng)內(nèi)核，替換掉不能虛擬化的指令，通過超級調(diào)用（Hypercall）直接和底層的虛擬化層Hypervisor來通訊，Hypervisor同時(shí)也提供了超級調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作，比如內(nèi)存管理、中斷和時(shí)間保持，如下圖所示：圖：操作系統(tǒng)協(xié)助的X86架構(gòu)虛擬化半虛擬化和全虛擬化不同，全虛擬化不需要

30、修改上面的操作系統(tǒng)，敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價(jià)值在于降低了虛擬化的損耗，基于Xen的虛擬化是半虛擬化的代表，可通過修改Linux的內(nèi)核來實(shí)現(xiàn)CPU和內(nèi)存的虛擬化，通過定制的操作系統(tǒng)驅(qū)動(dòng)來實(shí)現(xiàn)I/O的虛擬化。硬件輔助虛擬化硬件廠商面對虛擬化投入了大量的精力來開發(fā)新的特性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強(qiáng)包括Intel VirtualizationTechnology(VT-x)和AMD的AMD-V，這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式，可以讓VMM運(yùn)行在root模式下，而root模式位于Ring 0的下面。如下圖所示，特權(quán)和敏感指令自動(dòng)在Hypervisor

31、上執(zhí)行?？蛻舨僮飨到y(tǒng)的狀態(tài)保存在VT-x（Virtual Machine Control Structure，虛擬機(jī)控制結(jié)構(gòu)）中或AMD-v(Virtual Machine Control Block，虛擬機(jī)控制塊)。支持Intel VT和AMD-V的CPU從2006年開始推向市場。圖：硬件輔助的X86架構(gòu)虛擬化內(nèi)存虛擬化除了CPU虛擬化，下一個(gè)關(guān)鍵是內(nèi)存虛擬化，通過內(nèi)存虛擬化共享物理系統(tǒng)內(nèi)存，動(dòng)態(tài)分配給虛擬機(jī)。虛擬機(jī)的內(nèi)存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內(nèi)存方式，應(yīng)用程序看到鄰近的內(nèi)存地址空間，這個(gè)地址空間無需和下面的物理機(jī)器內(nèi)存直接對應(yīng)，操作系統(tǒng)保持著虛擬頁到物理頁的映射?，F(xiàn)在所有的X8

32、6 CPU都包括了一個(gè)稱為內(nèi)存管理的模塊MMU（Memory Management Unit）和TLB(Translation Lookaside Buffer)，通過MMU和TLB來優(yōu)化虛擬內(nèi)存的性能。圖：內(nèi)存虛擬化為了在一臺(tái)機(jī)器上運(yùn)行多個(gè)虛擬機(jī)，需要增加一個(gè)新的內(nèi)存虛擬化層，也就是說，必須虛擬MMU來支持客戶操作系統(tǒng)。客戶操作系統(tǒng)繼續(xù)控制虛擬地址到客戶內(nèi)存物理地址的映射，但是客戶操作系統(tǒng)不能直接訪問實(shí)際機(jī)器內(nèi)存。VMM負(fù)責(zé)映射客戶物理內(nèi)存到實(shí)際機(jī)器內(nèi)存，它通過影子頁表來加速映射。VMM使用TLB硬件來映射虛擬內(nèi)存直接到機(jī)器內(nèi)存，從而避免了每次訪問進(jìn)行兩次翻譯。當(dāng)客戶操作系統(tǒng)更改了虛擬內(nèi)存到

33、物理內(nèi)存的映射表，VMM也會(huì)更新影子頁表來啟動(dòng)直接查詢。MMU虛擬化引入了虛擬化損耗，第二代的硬件輔助虛擬化將支持內(nèi)存的虛擬化輔助，從而大大降低因此而帶來的虛擬化損耗，讓內(nèi)存虛擬化更高效。設(shè)備和I/O虛擬化最后一個(gè)模塊是設(shè)備和I/O虛擬化，也就是如何管理和路由物理設(shè)備和虛擬設(shè)備之間的I/O請求。圖：設(shè)備和I/O虛擬化基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特性和功能，讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例，通過虛擬網(wǎng)卡和交換機(jī)可以在一臺(tái)物理機(jī)上不同虛擬機(jī)之間建立虛擬網(wǎng)絡(luò)，而這不會(huì)在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量；允許多個(gè)物理網(wǎng)卡綁定成一個(gè)虛擬機(jī)網(wǎng)卡，提供了很好的容錯(cuò)能力，同時(shí)保持了同一MAC地址。

34、I/O虛擬化的關(guān)鍵是保持虛擬化優(yōu)勢的同時(shí)，盡量降低虛擬化給CPU造成的負(fù)擔(dān)。Hypervisor虛擬化物理硬件，為每臺(tái)虛擬機(jī)提供一套標(biāo)準(zhǔn)的虛擬設(shè)備，如上圖所示。這些虛擬設(shè)備高效模擬常見的物理硬件，將虛擬機(jī)的請求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化的過程也讓虛擬機(jī)標(biāo)準(zhǔn)化，讓虛擬機(jī)更容易在各種平臺(tái)上自由移動(dòng)，而無需關(guān)心下面實(shí)際的物理硬件類型。計(jì)算資源池建設(shè)云操作系統(tǒng)是基于云計(jì)算體系架構(gòu)，自主研發(fā)的經(jīng)過大規(guī)模驗(yàn)證的云計(jì)算操作系統(tǒng)，包含Cloud Virtual Manager（CVM）、Cloud Operation Center（COC）、Cloud Service Portal（CSP）三個(gè)基本組件。C

35、VM：計(jì)算資源虛擬化和資源管理系統(tǒng)，能夠?qū)⑽锢碣Y源的運(yùn)算能力集合在一起，構(gòu)成資源池，再根據(jù)需要分配給多個(gè)租戶使用；COC云計(jì)算運(yùn)營系統(tǒng)，負(fù)責(zé)云計(jì)算中心的運(yùn)營管理，快速生成虛擬資產(chǎn)，并對虛擬資產(chǎn)進(jìn)行生命周期管理；CSP云計(jì)算服務(wù)門戶，是云計(jì)算中心的服務(wù)門戶，向所有組織和用戶的發(fā)布云計(jì)算服務(wù)，通過該門戶用戶可以申請、使用、管理資源和服務(wù)。云計(jì)算操作系統(tǒng)從功能性及實(shí)用性出發(fā)，為云計(jì)算平臺(tái)提供統(tǒng)一部署實(shí)施、虛擬機(jī)規(guī)模創(chuàng)建、資源動(dòng)態(tài)調(diào)度、用戶分級管理等特色功能。在設(shè)計(jì)上采用層次化、模塊化結(jié)構(gòu)，系統(tǒng)自身具有良好的可擴(kuò)展性，支持系統(tǒng)功能模塊擴(kuò)展，可滿足云計(jì)算中心的動(dòng)態(tài)業(yè)務(wù)需求，極大提高系統(tǒng)的運(yùn)營效率、管理效

36、率。云計(jì)算操作系統(tǒng)可以對系統(tǒng)內(nèi)虛擬資源進(jìn)行全面管控，可以執(zhí)行啟停、重啟、掛起、喚醒、手動(dòng)遷移以及VNC訪問等操作，滿足使用過程對虛擬機(jī)的各種管理需求。系統(tǒng)基于自動(dòng)化資源分配策略，根據(jù)系統(tǒng)實(shí)時(shí)運(yùn)行狀態(tài)，自動(dòng)匹配合適的計(jì)算資源及存儲(chǔ)資源創(chuàng)建虛擬機(jī)，避免傳統(tǒng)管理軟件手動(dòng)指定劃分計(jì)算資源的弊端。云計(jì)算操作系統(tǒng)能夠快速完成虛擬數(shù)據(jù)中心、虛擬機(jī)等云計(jì)算資源的創(chuàng)建，變更，刪除等操作，即時(shí)滿足用戶應(yīng)用對資源的動(dòng)態(tài)需求；具有物理資源規(guī)?？焖贁U(kuò)展的能力，管理員可隨時(shí)增加和縮減云計(jì)算物理資源，以根據(jù)實(shí)際資源需求進(jìn)行調(diào)整；支持虛擬機(jī)資源細(xì)粒度配置調(diào)整。數(shù)據(jù)庫區(qū)建設(shè)數(shù)據(jù)資源規(guī)劃數(shù)據(jù)資源是云計(jì)算中心最重要的資源。云計(jì)算中

37、心的數(shù)據(jù)資源分布狀態(tài)具有階段性，每個(gè)階段都對應(yīng)數(shù)據(jù)資源整合的不同階段，體現(xiàn)數(shù)據(jù)資源的管理集中、有機(jī)分布的特點(diǎn)。根據(jù)“基于數(shù)據(jù)，圍繞數(shù)據(jù)，面向數(shù)據(jù)”的建設(shè)思路進(jìn)行數(shù)據(jù)資源體系的總體規(guī)劃，然后具體描述共享型的共享數(shù)據(jù)庫、操作型的業(yè)務(wù)數(shù)據(jù)庫和分析型的歷史數(shù)據(jù)庫這三類數(shù)據(jù)資源的構(gòu)建、維護(hù)和使用。數(shù)據(jù)資源規(guī)劃的總體思路數(shù)據(jù)資源規(guī)劃的總體思路主要包括如下幾個(gè)方面：數(shù)據(jù)共享標(biāo)準(zhǔn)化首先共享數(shù)據(jù)是標(biāo)準(zhǔn)的，其次共享的方法和途徑是規(guī)范的。目前各系統(tǒng)數(shù)據(jù)資源數(shù)據(jù)庫已經(jīng)有多種存在方式，要解決系統(tǒng)間信息的互連、互通、互操作，必須針對共享數(shù)據(jù)建立共同遵守的標(biāo)準(zhǔn)規(guī)范，只有編碼是統(tǒng)一的、格式是統(tǒng)一的、數(shù)據(jù)交換的方式是統(tǒng)一的，才

38、能保證數(shù)據(jù)是一致的，才能實(shí)現(xiàn)對數(shù)據(jù)交換和數(shù)據(jù)共享的有效管理。業(yè)務(wù)數(shù)據(jù)相對獨(dú)立各職能部門分管業(yè)務(wù)的范圍和職責(zé)不同。因此，系統(tǒng)在全局考慮、統(tǒng)一設(shè)計(jì)的同時(shí)，還要充分考慮不同業(yè)務(wù)部門自身的特點(diǎn)，在統(tǒng)一規(guī)劃的前提下，保證支持不同業(yè)務(wù)活動(dòng)的數(shù)據(jù)具有相對獨(dú)立性，建立面向各部門進(jìn)行聯(lián)機(jī)事務(wù)處理的業(yè)務(wù)數(shù)據(jù)庫。決策數(shù)據(jù)集成化建設(shè)云計(jì)算中心的另一個(gè)目的就是將各部門的業(yè)務(wù)結(jié)果數(shù)據(jù)有機(jī)地集成在一起，進(jìn)行綜合查詢和統(tǒng)計(jì)分析，為各級領(lǐng)導(dǎo)的決策提供有力的數(shù)據(jù)支持。數(shù)據(jù)資源體系結(jié)構(gòu)圖 數(shù)據(jù)中心數(shù)據(jù)資源體系結(jié)構(gòu)對公共服務(wù)系統(tǒng)、業(yè)務(wù)應(yīng)用、決策分析提供支持，數(shù)據(jù)中心的數(shù)據(jù)庫包含如下內(nèi)容：共享數(shù)據(jù)庫，包含：元數(shù)據(jù)庫、標(biāo)準(zhǔn)代碼庫、共享業(yè)

39、務(wù)數(shù)據(jù)(如果業(yè)務(wù)部門之間通過數(shù)據(jù)中心進(jìn)行數(shù)據(jù)交換)。統(tǒng)計(jì)分析數(shù)據(jù)庫，匯集各業(yè)務(wù)部門的統(tǒng)計(jì)分析數(shù)據(jù)，為決策提供數(shù)據(jù)支持。運(yùn)行管理數(shù)據(jù)庫，用于監(jiān)控管理、節(jié)點(diǎn)管理、日志等。公共服務(wù)數(shù)據(jù)庫，提供對公共服務(wù)系統(tǒng)的數(shù)據(jù)支持。數(shù)據(jù)庫集群系統(tǒng)建設(shè)對于數(shù)據(jù)庫的業(yè)務(wù)，云計(jì)算中心建議采用傳統(tǒng)的物理服務(wù)器架構(gòu)來進(jìn)行支持。一方面是由于物理數(shù)據(jù)庫業(yè)務(wù)一般對系統(tǒng)和平臺(tái)的限制，并非所有的數(shù)據(jù)庫都可以移植到像虛擬化這樣的計(jì)算平臺(tái)上，另一方面，由于數(shù)據(jù)庫對IO的高要求，對于虛擬化的環(huán)境并不能提供充足的IO支撐，另外，數(shù)據(jù)庫系統(tǒng)的安全性要求很高，采用虛擬化技術(shù)雖然可以提高系統(tǒng)的靈活性，但是同物理設(shè)備上的其他系統(tǒng)會(huì)對數(shù)據(jù)庫系統(tǒng)產(chǎn)生一

40、定的影響，提高系統(tǒng)的安全風(fēng)險(xiǎn)。所以綜合以上三方面的原因，數(shù)據(jù)庫系統(tǒng)在云計(jì)算中心將采用物理設(shè)備集群的方式來部署。為了使數(shù)據(jù)庫的實(shí)現(xiàn)高可用，滿足高并發(fā)、高負(fù)載均衡的需求，數(shù)據(jù)庫節(jié)點(diǎn)采用數(shù)據(jù)庫集群搭建，項(xiàng)目采用實(shí)時(shí)應(yīng)用集群，能夠?qū)崿F(xiàn)多借點(diǎn)之間負(fù)載均衡，同時(shí)多個(gè)節(jié)點(diǎn)共享一套存儲(chǔ)系統(tǒng)，能有效防止數(shù)據(jù)庫單點(diǎn)故障；最后，數(shù)據(jù)庫集群架構(gòu)具備動(dòng)態(tài)添加數(shù)據(jù)庫節(jié)點(diǎn)的功能，具有良好的擴(kuò)展性。在本方案中，構(gòu)建數(shù)據(jù)庫集群系統(tǒng)，提供數(shù)據(jù)庫應(yīng)用的支持。結(jié)構(gòu)化存儲(chǔ)系統(tǒng)建議采用成熟的光纖陣列技術(shù)實(shí)現(xiàn)，且配置數(shù)據(jù)庫備份系統(tǒng)，提供在線的數(shù)據(jù)備份方式。集群數(shù)據(jù)庫建設(shè)優(yōu)勢隨著未來電子政務(wù)數(shù)據(jù)量的快速增長，對數(shù)據(jù)庫提出了嚴(yán)峻的考驗(yàn)。對于數(shù)

41、據(jù)庫而言，除了記錄正確的處理結(jié)果之外，還面臨著以下方面的挑戰(zhàn)：如何提高處理速度，實(shí)現(xiàn)數(shù)據(jù)庫的負(fù)載均衡；如何保證數(shù)據(jù)庫的可用性、數(shù)據(jù)安全性，以及如何實(shí)現(xiàn)數(shù)據(jù)集群可擴(kuò)性。隨著計(jì)算機(jī)硬件技術(shù)的高速發(fā)展，x86服務(wù)器以其高性能和低廉的價(jià)格而倍受廣大客戶青睞，在Web應(yīng)用或高性能計(jì)算中，為了追求更高的性能及可用性，大多采用計(jì)算機(jī)集群技術(shù)來實(shí)現(xiàn)，這種技術(shù)不但能滿足應(yīng)用的需要，而且大幅度的節(jié)約了投資成本。在數(shù)據(jù)庫上，組建集群也是同樣的道理，主要由以下幾個(gè)方面的原因：在業(yè)務(wù)量提高的同時(shí)，數(shù)據(jù)庫的訪問量和數(shù)據(jù)量快速增長，其處理能力和計(jì)算強(qiáng)度也相應(yīng)增大，使得單一設(shè)備根本無法承擔(dān)；在以上情況下，若扔掉現(xiàn)有設(shè)備，做大

42、量的硬件升級，勢必造成現(xiàn)有資源的浪費(fèi)，而且下一次業(yè)務(wù)量提升時(shí)，又將面臨再一次硬件升級的高額投入。然而，通過幾個(gè)中小型服務(wù)器組建集群，可以實(shí)現(xiàn)數(shù)據(jù)庫的復(fù)雜均衡及持續(xù)擴(kuò)展；在需要更高數(shù)據(jù)庫處理速度時(shí)，只要簡單的增加數(shù)據(jù)庫服務(wù)器就可以得到擴(kuò)展；數(shù)據(jù)庫作為信息系統(tǒng)的核心，起著非常重要的作用，單一設(shè)備根本無法保證系統(tǒng)的持續(xù)運(yùn)行，若發(fā)生系統(tǒng)故障，將嚴(yán)重影響系統(tǒng)的正常運(yùn)行，甚至帶來巨大的經(jīng)濟(jì)損失。然而，通過組建數(shù)據(jù)庫集群，可以實(shí)現(xiàn)數(shù)據(jù)庫的高可用，當(dāng)某節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)會(huì)自動(dòng)檢測故障并轉(zhuǎn)移故障節(jié)點(diǎn)的應(yīng)用，保證數(shù)據(jù)庫的持續(xù)工作；數(shù)據(jù)庫保存著一個(gè)機(jī)構(gòu)的重要信息，一些核心數(shù)據(jù)甚至關(guān)系著機(jī)構(gòu)的命脈，單一設(shè)備根本無法

43、保證數(shù)據(jù)的安全性，一旦發(fā)生丟失，很難再找回來。然而，通過組建數(shù)據(jù)庫集群，可以實(shí)現(xiàn)數(shù)據(jù)集的冗余，通過備份數(shù)據(jù)來保證安全性。存儲(chǔ)資源池建設(shè)存儲(chǔ)資源池?cái)?shù)據(jù)類型存儲(chǔ)資源池主要用于園區(qū)數(shù)據(jù)中心各委辦局所有相關(guān)的業(yè)務(wù)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)等重要數(shù)據(jù)存儲(chǔ)。各委辦局的數(shù)據(jù)按照數(shù)據(jù)類型主要可以分為兩類，即結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)即行數(shù)據(jù),存儲(chǔ)在數(shù)據(jù)庫里,可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等。存儲(chǔ)資源池功能特性我市智慧環(huán)保產(chǎn)

44、業(yè)園數(shù)據(jù)中心的存儲(chǔ)資源池建設(shè)時(shí)應(yīng)具備如下特性及考慮點(diǎn)：高可靠分布式存儲(chǔ)系統(tǒng)作為我市智慧環(huán)保產(chǎn)業(yè)園數(shù)據(jù)中心存儲(chǔ)資源池的重要組成部分，在設(shè)計(jì)上應(yīng)采用全冗余架構(gòu)，每個(gè)環(huán)節(jié)都實(shí)現(xiàn)負(fù)載均衡和冗余設(shè)計(jì)以及故障自愈功能，防止任何存儲(chǔ)故障導(dǎo)致服務(wù)的停止；另外，應(yīng)具備智能節(jié)流機(jī)制以避免任何雪崩效應(yīng)出現(xiàn)。分布式存儲(chǔ)系統(tǒng)可采用多副本技術(shù)來提高數(shù)據(jù)的可用性。索引數(shù)據(jù)和文件數(shù)據(jù)均可配置成多副本模式，當(dāng)出現(xiàn)一個(gè)副本受損時(shí)，其它副本繼續(xù)提供訪問，不影響系統(tǒng)的可用性。如果一個(gè)索引控制器失效，作為備份的服務(wù)器會(huì)在秒級內(nèi)將副本數(shù)據(jù)同步到最新狀態(tài)，并接管這部分?jǐn)?shù)據(jù)的服務(wù)功能，這種切換由客戶端自動(dòng)完成，上層應(yīng)用基本感知不到。如果數(shù)據(jù)

45、控制器或磁盤失效引起某個(gè)數(shù)據(jù)副本失效，客戶端自動(dòng)選擇其它可用副本進(jìn)行操作，應(yīng)用也基本感知不到這種操作上的切換。快速的恢復(fù)能力可提高系統(tǒng)的容錯(cuò)能力。當(dāng)出現(xiàn)數(shù)據(jù)副本失效后，確認(rèn)無法恢復(fù)的，分布式存儲(chǔ)系統(tǒng)將盡快啟動(dòng)副本重建。系統(tǒng)具有根據(jù)系統(tǒng)信息和操作結(jié)果自動(dòng)發(fā)現(xiàn)部件失效的功能。出現(xiàn)介質(zhì)損壞后，受損數(shù)據(jù)的可用副本數(shù)減少。系統(tǒng)自動(dòng)利用現(xiàn)有的可用副本生成新的副本數(shù)據(jù)，從而使系統(tǒng)恢復(fù)至正常水平?；謴?fù)過程中，對受損數(shù)據(jù)的讀寫仍可進(jìn)行。整臺(tái)數(shù)據(jù)控制器損壞，受損數(shù)據(jù)也按上述方式自動(dòng)恢復(fù)。如果某個(gè)控制器只是暫時(shí)失效，其它副本的操作仍正常進(jìn)行，當(dāng)該控制器重新上線后，增量更新受影響的數(shù)據(jù)，從而恢復(fù)到最新狀態(tài)。分布式存儲(chǔ)

46、系統(tǒng)實(shí)現(xiàn)的并行副本重建策略大大加快了恢復(fù)時(shí)間。如下圖所示，在數(shù)據(jù)控制器oStor0上，由于磁盤失效或系統(tǒng)失效，導(dǎo)致對象obj1和obj2同時(shí)丟失。如果obj1和obj2的另外一個(gè)副本存儲(chǔ)于不同的oStor中，則obj1和obj2可以使用不同的磁盤通道和網(wǎng)絡(luò)通道進(jìn)行并行恢復(fù)，分別從不同的數(shù)據(jù)源復(fù)制到oStor3和oStor4。圖-并行重建數(shù)據(jù)副本最后分布式存儲(chǔ)系統(tǒng)的網(wǎng)絡(luò)通道也應(yīng)采用多通道負(fù)載均衡和冗余設(shè)計(jì)模式，從而保障當(dāng)部分網(wǎng)絡(luò)通道發(fā)生故障時(shí)，只要還有一個(gè)可以工作都不會(huì)影響在線服務(wù)；當(dāng)故障的網(wǎng)絡(luò)通道修復(fù)后，便可以繼續(xù)實(shí)現(xiàn)負(fù)載均衡。高性能在園區(qū)數(shù)據(jù)中心初步建成后，隨著虛擬機(jī)個(gè)數(shù)的快速增長，對存儲(chǔ)帶

47、寬的需求也會(huì)急劇增大。分布式存儲(chǔ)系統(tǒng)應(yīng)采用集群式并行存儲(chǔ)架構(gòu)以提供高IO性能。分布式存儲(chǔ)系統(tǒng)應(yīng)通過多索引服務(wù)器架構(gòu)使得每個(gè)索引控制器都可以獨(dú)立地提供互不相干的索引數(shù)據(jù)訪問能力，增加索引服務(wù)器即可提高系統(tǒng)的索引數(shù)據(jù)訪問能力，最終達(dá)到很高的水平。分布式存儲(chǔ)系統(tǒng)還應(yīng)實(shí)現(xiàn)索引路徑和數(shù)據(jù)路徑分離，使得每一數(shù)據(jù)控制器都可以獨(dú)立地輸出帶寬，由于每個(gè)索引控制器有大量的磁盤驅(qū)動(dòng)器和足夠的網(wǎng)絡(luò)帶寬，每一數(shù)據(jù)控制器都可以提供高帶寬，從而IO性能隨容量擴(kuò)展可線性增長，這樣可以保證未來園區(qū)數(shù)據(jù)中心接入節(jié)點(diǎn)數(shù)增加帶來數(shù)據(jù)量的暴漲時(shí)，系統(tǒng)是完全線性可擴(kuò)展的。易擴(kuò)展傳統(tǒng)存儲(chǔ)的擴(kuò)展都需要停止服務(wù)，存儲(chǔ)規(guī)模越大，受影響的范圍就越

48、大，時(shí)間也越長，因此造成的損失也就越多；另外，存儲(chǔ)擴(kuò)展后無法實(shí)現(xiàn)負(fù)載均衡，使得擴(kuò)展后性能沒有得到相應(yīng)的提高；因此，傳統(tǒng)存儲(chǔ)無法適應(yīng)云計(jì)算環(huán)境的需求。園區(qū)數(shù)據(jù)中心存儲(chǔ)資源池建設(shè)從成本上考慮，不可能一開始就購買大量閑置的存儲(chǔ)，存儲(chǔ)規(guī)模應(yīng)根據(jù)業(yè)務(wù)的實(shí)際需求而逐步增加。分布式存儲(chǔ)系統(tǒng)應(yīng)在容量擴(kuò)展過程中無需停止在線業(yè)務(wù)；同時(shí)，擴(kuò)展后老服務(wù)器上的數(shù)據(jù)可自動(dòng)遷移到新的存儲(chǔ)設(shè)備上，實(shí)現(xiàn)容量和負(fù)載的均衡；當(dāng)現(xiàn)有容量不足時(shí)，可成對地增加索引控制器；系統(tǒng)將優(yōu)先使用新增加的服務(wù)器；用戶對文件信息的訪問可直接定位到某一臺(tái)索引控制器，因此增加索引控制器的同時(shí)也提高了系統(tǒng)索引數(shù)據(jù)的訪問性能；綜上，這樣才可以在真正意義上實(shí)現(xiàn)

49、在線動(dòng)態(tài)擴(kuò)展。分布式存儲(chǔ)系統(tǒng)中的文件應(yīng)均勻分散到各數(shù)據(jù)控制器上存儲(chǔ)，當(dāng)空間不足時(shí)，增加新的數(shù)據(jù)控制器，即可將新創(chuàng)建的文件或文件的部分存儲(chǔ)到新增存儲(chǔ)空間上。分布式存儲(chǔ)系統(tǒng)的聚合帶寬應(yīng)取決于可用的數(shù)據(jù)通道，在增加數(shù)據(jù)控制器后，即拓寬了客戶端和分布式存儲(chǔ)系統(tǒng)的通道數(shù)，因此聚合帶寬也能相應(yīng)地提高。易管理分布式存儲(chǔ)系統(tǒng)應(yīng)具有良好的可管理性，通過內(nèi)置自動(dòng)管理機(jī)制盡量簡化管理員的操作，并通過多樣報(bào)警機(jī)制及時(shí)可靠的將故障通知給管理員。分布式存儲(chǔ)系統(tǒng)應(yīng)提供基于瀏覽器的管理工具，管理員可通過簡單的瀏覽Web頁面，輕松完成系統(tǒng)的部署、監(jiān)控、管理和維護(hù)工作。管理工具的架構(gòu)同樣應(yīng)具有良好的擴(kuò)展性，以使得管理員的工作量并

50、不會(huì)隨著數(shù)據(jù)容量的成倍增加而增加很多。高空間利用率分布式存儲(chǔ)系統(tǒng)應(yīng)將所有的物理存儲(chǔ)資源池化，然后再在邏輯上進(jìn)行劃分，共享后端的物理空間；而傳統(tǒng)存儲(chǔ)的物理空間是相互隔離的，無法實(shí)現(xiàn)共享。因此，相比傳統(tǒng)存儲(chǔ)分布式存儲(chǔ)系統(tǒng)的空間利用率極高。另外，還應(yīng)實(shí)現(xiàn)虛擬磁盤的精簡配置，做到虛擬鏡像文件占用空間按需分配；同時(shí)還可以通過copy-on-write機(jī)制使多個(gè)虛擬機(jī)共用一個(gè)基礎(chǔ)鏡像，每個(gè)虛擬機(jī)只記錄本身與鏡像的差異部分。因而可以進(jìn)一步提高空間的利用率。圖：分布式存儲(chǔ)系統(tǒng)與傳統(tǒng)存儲(chǔ)高空間利用率對比圖-Copy On Write模式鏡像在很多應(yīng)用環(huán)境下，同一組用戶或者業(yè)務(wù)相關(guān)的用戶往往要使用一些完全相同的數(shù)

51、據(jù)或者應(yīng)用程序，如果這些數(shù)據(jù)和應(yīng)用程序給每個(gè)虛擬機(jī)拷貝一份，那么將極大地浪費(fèi)存儲(chǔ)空間。而在本方案中，虛擬機(jī)也可以掛載并行存儲(chǔ)?？梢詫⒎植际酱鎯?chǔ)系統(tǒng)劃分成多個(gè)不同的文件系統(tǒng)，這些文件系統(tǒng)共享后端存儲(chǔ)空間，邏輯上相互隔離。虛擬機(jī)鏡像放在其中的一個(gè)文件系統(tǒng)上由物理機(jī)掛載，而用戶數(shù)據(jù)則保存在另外一個(gè)文件系統(tǒng)里，虛擬機(jī)通過掛載這個(gè)文件系統(tǒng)訪問用戶數(shù)據(jù)。存儲(chǔ)資源池整體設(shè)計(jì)存儲(chǔ)資源池是云計(jì)算平臺(tái)中底層資源的重要組成部分，是云計(jì)算的實(shí)現(xiàn)基礎(chǔ)。項(xiàng)目建設(shè)建議以分布式存儲(chǔ)系統(tǒng)作為后端存儲(chǔ)，將底層存儲(chǔ)硬件設(shè)備統(tǒng)一管理，形成一個(gè)大的存儲(chǔ)資源池，用以保存虛擬機(jī)磁盤鏡像來構(gòu)建云計(jì)算平臺(tái)，充分體現(xiàn)云計(jì)算應(yīng)用環(huán)境易管理使用、可

52、移植、高性能、高可靠、高可擴(kuò)展等要求。分布式存儲(chǔ)系統(tǒng)是現(xiàn)代集群并行文件系統(tǒng)的典型，采用了代表計(jì)算技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及文件系統(tǒng)技術(shù)發(fā)展方向的體系架構(gòu)，針對海量數(shù)據(jù)存儲(chǔ)，高度模塊化。分布式存儲(chǔ)系統(tǒng)建設(shè)應(yīng)考慮擁有自主知識產(chǎn)權(quán)的系統(tǒng)，可提供數(shù)百GB的高速帶寬和數(shù)百PB的海量存儲(chǔ)，可滿足園區(qū)數(shù)據(jù)中心建設(shè)中對于容量和性能的需求，并且在未來隨著非結(jié)構(gòu)化數(shù)據(jù)的暴漲系統(tǒng)具備良好的線性可擴(kuò)展性，不存在性能瓶頸。分布式存儲(chǔ)系統(tǒng)通過索引控制器、數(shù)據(jù)控制器將全部磁盤虛擬成一個(gè)統(tǒng)一的存儲(chǔ)資源池，存儲(chǔ)池資源隨需動(dòng)態(tài)擴(kuò)展、縮減，存儲(chǔ)容量和性能同步增加。云服務(wù)集群節(jié)點(diǎn)通過網(wǎng)絡(luò)以分布式存儲(chǔ)系統(tǒng)專有協(xié)議、CIFS、NFS等協(xié)議訪

53、問虛擬存儲(chǔ)池存儲(chǔ)資源。所有虛擬機(jī)磁盤以鏡像文件的形式保存在存儲(chǔ)當(dāng)中。圖-云平臺(tái)虛擬機(jī)存儲(chǔ)在園區(qū)數(shù)據(jù)中心中，基于分布式存儲(chǔ)系統(tǒng)構(gòu)建的存儲(chǔ)資源池就像一塊高性能、大容量的本地磁盤，可以隨心所欲的在其上創(chuàng)建虛擬機(jī)，而不用關(guān)心這個(gè)虛擬機(jī)實(shí)際放在什么地方。任何云服務(wù)集群節(jié)點(diǎn)都可以掛載分布式存儲(chǔ)系統(tǒng)，共享存儲(chǔ)資源。這些節(jié)點(diǎn)可以看到完全相同的內(nèi)容，因此虛擬機(jī)可以在這些服務(wù)器間進(jìn)行熱遷移，以實(shí)現(xiàn)故障遷移和負(fù)載均衡遷移等。通過云操作系統(tǒng)創(chuàng)建虛擬機(jī)時(shí)，不用關(guān)心這些虛擬機(jī)在哪臺(tái)云服務(wù)節(jié)點(diǎn)上。從云平臺(tái)管理界面可以看到存儲(chǔ)資源的余量實(shí)時(shí)的變化。當(dāng)虛擬機(jī)存儲(chǔ)資源不夠用時(shí)，可以通過給虛擬機(jī)增加一個(gè)鏡像文件或者分配一個(gè)容量更大

54、的鏡像文件的形式來增加虛擬機(jī)磁盤容量。當(dāng)整個(gè)云平臺(tái)存儲(chǔ)空間不夠用時(shí)，可以通過分布式存儲(chǔ)系統(tǒng)管理系統(tǒng)向云平臺(tái)中動(dòng)態(tài)的增加存儲(chǔ)單元來實(shí)現(xiàn)，增加新的存儲(chǔ)單元后，新的存儲(chǔ)單元就會(huì)被加入到存儲(chǔ)池中，系統(tǒng)中原來的數(shù)據(jù)就會(huì)智能、自動(dòng)地轉(zhuǎn)移到新的存儲(chǔ)單元中，以達(dá)到容量和負(fù)載的均衡。通過分布式存儲(chǔ)系統(tǒng)、云管理平臺(tái)、相應(yīng)的網(wǎng)絡(luò)資源以及計(jì)算資源（云服務(wù)集群）等資源可以構(gòu)建一個(gè)大規(guī)模、高性能、高可靠，真正體現(xiàn)云計(jì)算“按需服務(wù)、付費(fèi)、寬帶接入、資源池化、彈性擴(kuò)展”以及“服務(wù)可測量”的特征。在存儲(chǔ)資源池中，通過虛擬磁盤IO機(jī)制和分布式存儲(chǔ)系統(tǒng)結(jié)合優(yōu)化可以達(dá)到非常高的IO性能，非常接近物理機(jī)的IO性能。此外通過虛擬機(jī)快照，

55、copy-on-write等機(jī)制，使虛擬機(jī)具備很好的鏡像恢復(fù)能力，同時(shí)使多個(gè)虛擬機(jī)共享基礎(chǔ)鏡像，每個(gè)虛擬機(jī)僅記錄本身的增量部分，節(jié)省了空間，同時(shí)減少了管理上的成本。統(tǒng)一云存儲(chǔ)系統(tǒng)建設(shè)結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源池建設(shè)主要基于FC SAN存儲(chǔ)網(wǎng)絡(luò)，通過數(shù)據(jù)庫集群技術(shù)構(gòu)建集中存儲(chǔ)模式，按照不同的數(shù)據(jù)庫實(shí)例的構(gòu)建，F(xiàn)C SAN通過劃分不同的LAN來支撐不同業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)。結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源池具備如下特性：精簡的多協(xié)議一體化存儲(chǔ)，支持多種類型數(shù)據(jù)和應(yīng)用；全面提升系統(tǒng)可靠性，消除單點(diǎn)故障；性能效率高，具備更好的虛擬化體驗(yàn)；秒級的應(yīng)用數(shù)據(jù)備份和恢復(fù)，提高應(yīng)用可用性；應(yīng)用性能的差異化管理，保證核心應(yīng)用的性能；靈活的資

56、源管理技術(shù)，簡化了配置管理，從容應(yīng)對存儲(chǔ)資源需求變化；重復(fù)數(shù)據(jù)刪除技術(shù)，提高存儲(chǔ)效率；優(yōu)異的應(yīng)用集成以及廣泛的業(yè)界案例；“存儲(chǔ)設(shè)置后不管” ，與系統(tǒng)級軟件緊密集成，簡化管理；強(qiáng)大的擴(kuò)展性和升級能力，更好的投資保護(hù)。分布式存儲(chǔ)系統(tǒng)建設(shè)構(gòu)成存儲(chǔ)資源池的分布式存儲(chǔ)系統(tǒng)應(yīng)該是一個(gè)共享的、高性能、高可靠、易擴(kuò)展的PB級存儲(chǔ)系統(tǒng)，易使用和管理，總體擁有成本（Total Cost of Ownership，TCO）低，對外可提供Posix、CIFS等多種文件系統(tǒng)接口。分布式存儲(chǔ)系統(tǒng)的所有部件應(yīng)為冗余架構(gòu)，并通過數(shù)據(jù)冗余提供很高的可靠性和可用性，應(yīng)具備如下技術(shù)特點(diǎn)：采用對象存儲(chǔ)技術(shù)；采用多副本方案解決數(shù)據(jù)可用

57、性問題；系統(tǒng)中全部設(shè)備都有冗余，包括磁盤、網(wǎng)卡、交換機(jī)等設(shè)備和服務(wù)器；多索引控制器體系，提供幾乎不受限制的單一命名空間，可輕松達(dá)到十幾PB；索引數(shù)據(jù)也采用副本實(shí)現(xiàn)高可用，單個(gè)索引控制器損壞，其他可立刻提供服務(wù)；索引數(shù)據(jù)通路與應(yīng)用數(shù)據(jù)通路分離，通過增加數(shù)據(jù)控制器實(shí)現(xiàn)性能近線性的擴(kuò)展，可達(dá)數(shù)十GB/s；充分發(fā)揮各個(gè)索引控制器性能的非集中式索引數(shù)據(jù)處理，通過加速器集群（oCache）實(shí)現(xiàn)同一個(gè)索引數(shù)據(jù)的讀寫操作分離進(jìn)行；采用彈性目錄索引技術(shù)，在單個(gè)目錄下高效地存儲(chǔ)并檢索千萬級的子目錄和文件。分布式存儲(chǔ)系統(tǒng)應(yīng)包含如下功能組件：索引控制器、數(shù)據(jù)控制器、應(yīng)用服務(wù)器、緩存控制器和管理控制器。其中，索引控制器

58、用于管理存儲(chǔ)系統(tǒng)的命名空間和所有索引數(shù)據(jù)，對外提供單一的全局映像。數(shù)據(jù)控制器提供數(shù)據(jù)存儲(chǔ)空間，并實(shí)現(xiàn)存取動(dòng)作，支持多個(gè)數(shù)據(jù)副本。應(yīng)用服務(wù)器位于客戶端，向上層應(yīng)用提供數(shù)據(jù)訪問接口，支持多種64位Linux操作系統(tǒng)。緩存控制器緩存索引數(shù)據(jù)，提高索引數(shù)據(jù)訪問的吞吐率。管理控制器提供統(tǒng)一的控制管理界面，管理員通過該節(jié)點(diǎn)管理整個(gè)系統(tǒng)。整個(gè)數(shù)據(jù)集合均勻地分散在不同的數(shù)據(jù)控制器上，省級電子政務(wù)用戶訪問索引控制器得到文件位置信息后，直接訪問數(shù)據(jù)控制器讀寫數(shù)據(jù)。這種控制路徑和數(shù)據(jù)路徑分離的方式，分散了索引控制器的負(fù)載，可獲得極高的聚合帶寬，也大大提高系統(tǒng)的擴(kuò)展性。每個(gè)組件通過多條獨(dú)立的網(wǎng)絡(luò)鏈路相互訪問，支持以太

59、網(wǎng)和Infiniband高速網(wǎng)絡(luò)。在索引數(shù)據(jù)讀操作比例很高的環(huán)境中，配置加速集群用作分擔(dān)讀負(fù)載。網(wǎng)絡(luò)資源池建設(shè)云計(jì)算中心網(wǎng)絡(luò)設(shè)計(jì)云計(jì)算中心局域網(wǎng)絡(luò)結(jié)構(gòu)云計(jì)算中心局域網(wǎng)承載所有服務(wù)器功能分區(qū)之間數(shù)據(jù)流量的高速交換。根據(jù)對云中心服務(wù)器數(shù)量，占用端口數(shù)量的計(jì)算，將不采用傳統(tǒng)核心-匯聚-接入三層網(wǎng)絡(luò)結(jié)構(gòu)，而采用簡潔的核心-接入兩層結(jié)構(gòu)。理由如下：扁平化組網(wǎng)，簡化網(wǎng)絡(luò)拓?fù)?，減少了單點(diǎn)故障和性能瓶頸，易于管理、維護(hù)；二層組網(wǎng)均采用高端設(shè)備，能夠搭建一套具備極高轉(zhuǎn)發(fā)性能的云計(jì)算中心高端網(wǎng)絡(luò)，同時(shí)高端設(shè)備的可靠性更高，能夠?yàn)樵朴?jì)算中心應(yīng)用保駕護(hù)航；新一代高端交換機(jī)設(shè)備支持機(jī)箱捆綁技術(shù)，能夠消除大量的環(huán)路設(shè)計(jì)，

60、消除STP/MSTP等協(xié)議帶來的運(yùn)維、管理的復(fù)雜性；適合于大規(guī)模、集中部署，且高性能需求較高的云計(jì)算中心。由于云計(jì)算中心虛擬機(jī)的遷移需求，所以要求網(wǎng)絡(luò)提供大二層支持，而業(yè)界比較成熟的方案是采用接入交換機(jī)捆綁，核心交換機(jī)捆綁的方式實(shí)現(xiàn)邏輯交換機(jī)，鏈路捆綁采用MLAG的方式實(shí)現(xiàn)多鏈路負(fù)載均衡，避免單點(diǎn)故障。云計(jì)算中心局域網(wǎng)絡(luò)設(shè)計(jì)局域網(wǎng)絡(luò)采用兩層設(shè)計(jì)，核心層與接入層。核心層采用兩臺(tái)萬兆模塊化交換機(jī)，八槽以上，保證充分的擴(kuò)展能力，交換機(jī)采用主控，交換，風(fēng)扇以及電源等全冗余的配置，確保單臺(tái)設(shè)備不會(huì)出現(xiàn)單點(diǎn)故障。接入交換機(jī)根據(jù)服務(wù)器網(wǎng)口配置的要求分為萬兆接口交換機(jī)與千兆接口交換機(jī)，分別連接不同類型的服務(wù)器