集團(tuán)云數(shù)據(jù)中心計算資源池-規(guī)劃設(shè)計

1、PAGE 集團(tuán)云數(shù)據(jù)中心計算資源池詳細(xì)規(guī)劃設(shè)計目錄 TOC o 1-3 h z u HYPERLINK l _Toc47296915 1前言 PAGEREF _Toc47296915 h 2 HYPERLINK l _Toc47296916 1.1背景 PAGEREF _Toc47296916 h 2 HYPERLINK l _Toc47296917 1.2文檔目的 PAGEREF _Toc47296917 h 2 HYPERLINK l _Toc47296918 1.3適用范圍 PAGEREF _Toc47296918 h 2 HYPERLINK l _Toc47296919 1.4參考文檔

2、 PAGEREF _Toc47296919 h 2 HYPERLINK l _Toc47296920 2設(shè)計綜述 PAGEREF _Toc47296920 h 3 HYPERLINK l _Toc47296921 2.1設(shè)計原則 PAGEREF _Toc47296921 h 3 HYPERLINK l _Toc47296922 2.2設(shè)計思路 PAGEREF _Toc47296922 h 5 HYPERLINK l _Toc47296923 2.3建設(shè)目標(biāo) PAGEREF _Toc47296923 h 7 HYPERLINK l _Toc47296924 3集團(tuán)云計算規(guī)劃 PAGEREF _T

3、oc47296924 h 8 HYPERLINK l _Toc47296925 3.1整體架構(gòu)規(guī)劃 PAGEREF _Toc47296925 h 8 HYPERLINK l _Toc47296926 3.2資源池規(guī)劃 PAGEREF _Toc47296926 h 8 HYPERLINK l _Toc47296927 3.2.1計算資源池 PAGEREF _Toc47296927 h 9前言背景集團(tuán)信息中心中心引入日趨成熟的云計算技術(shù)，建設(shè)面向全院及國網(wǎng)相關(guān)單位提供云計算服務(wù)的電力科研云，支撐全院各個單位的資源供給、數(shù)據(jù)共享、技術(shù)創(chuàng)新等需求。實現(xiàn)云計算中心資源的統(tǒng)一管理及云計算服務(wù)統(tǒng)一提供；完成

4、云計算中心的模塊化設(shè)計，逐漸完善云運營、云管理、云運維及云安全等模塊的標(biāo)準(zhǔn)化、流程化、可視化的建設(shè)；是本次咨詢規(guī)劃的主要考慮。文檔目的本文檔為集團(tuán)云計算咨詢項目的咨詢設(shè)計方案，將作為集團(tuán)信息中心云計算建設(shè)的指導(dǎo)性文件和依據(jù)。適用范圍本文檔資料主要面向負(fù)責(zé)集團(tuán)信息中心云計算建設(shè)的負(fù)責(zé)人、項目經(jīng)理、設(shè)計人員、維護(hù)人員、工程師等，以便通過參考本文檔資料指導(dǎo)集團(tuán)云計算數(shù)據(jù)中心的具體建設(shè)。參考文檔集團(tuán)云計算咨詢項目訪談紀(jì)要信息安全技術(shù)信息系統(tǒng)安全等級保護(hù)基本要求（GB/T 22239-2008）信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范（GB/T20988-2007）OpenStack Administrator Guide

5、（ HYPERLINK / /）OpenStack High Availability Guide（ HYPERLINK / /）OpenStack Operations Guide（ HYPERLINK / /）OpenStack Architecture Design Guide（ HYPERLINK / /）設(shè)計綜述設(shè)計原則結(jié)合集團(tuán)當(dāng)前的實際現(xiàn)狀及未來三年業(yè)務(wù)發(fā)展需求，此次云計算規(guī)劃的考慮原則如下：關(guān)注IT能力的快速提升IT能力包括業(yè)務(wù)服務(wù)能力和運維能力上。業(yè)務(wù)服務(wù)能力上，從技術(shù)層面來說，包括物理硬件資源、云計算資源抽象層、統(tǒng)一的應(yīng)用平臺以及應(yīng)用軟件。運維能力則包括了人員、流程、工具等各

6、個方面。IT能力組成示意對于云計算技術(shù)的選擇以及運維工具的選擇上，在技術(shù)對比之外，更應(yīng)關(guān)注于選擇本身是否能給集團(tuán)帶來業(yè)務(wù)服務(wù)能力以及運維能力的快速提升上，并以此作為評判的基本原則。采用開放的架構(gòu)開放本身有兩個含義：源代碼開放和標(biāo)準(zhǔn)開放。源代碼開放，允許集團(tuán)可以擁有完全的掌控，可以修改或則增加新的功能滿足集團(tuán)自身的需要；標(biāo)準(zhǔn)開放意味著集團(tuán)可以通過各種符合標(biāo)準(zhǔn)的產(chǎn)品構(gòu)成自己的云計算方案開放架構(gòu)的兩方面含義對于集團(tuán)而言，標(biāo)準(zhǔn)開放比源代碼開放更重要。源代碼開放雖然能夠讓集團(tuán)擁有完全的掌控，但由于人力的持續(xù)投入，以及業(yè)務(wù)重心的考慮，所謂的“完全的掌控”并不一定能夠獲得；而標(biāo)準(zhǔn)開放可以避免受單個實體控制（

7、使單個實體受益），這是集團(tuán)更應(yīng)關(guān)注的。關(guān)注資源的彈性資源的彈性來自于集團(tuán)的業(yè)務(wù)需求，也是重要的設(shè)計原則。資源的彈性體現(xiàn)在各個層面。硬件層面更多的表現(xiàn)為資源可以線性擴(kuò)展，可以快速部署；IAAS平臺層面則需要能夠支撐管控規(guī)模的線性擴(kuò)展；云資源層面則真正實現(xiàn)資源的彈性，可以隨著業(yè)務(wù)量的增多而彈性增加，也可以隨著業(yè)務(wù)量的萎縮而彈性收縮；應(yīng)用層面的彈性則更多的體現(xiàn)在靈活的部署上。其他通用原則除去上述集團(tuán)應(yīng)該特別關(guān)注的原則外，整個規(guī)劃設(shè)計還需要考慮下述通用原則：其他通用原則匯總高可用性：結(jié)構(gòu)的高可用性，資源的冗余部署，邏輯關(guān)系的松耦合設(shè)計，不會因為任何一個模塊發(fā)生故障而影響業(yè)務(wù)的開展。具體來說，包括物理網(wǎng)

8、絡(luò)、云計算資源、云計算平臺、業(yè)務(wù)應(yīng)用自身等各個層面的高可用。安全性：安全區(qū)域合理規(guī)劃，安全策略精細(xì)化部署，安全策略進(jìn)行統(tǒng)一的管理，能夠滿足未來業(yè)務(wù)發(fā)展對安全的需求。靈活性：滿足業(yè)務(wù)與應(yīng)用系統(tǒng)靈活多變的資源分配及部署需求?？晒芾硇裕航Y(jié)構(gòu)簡單、健壯，易于管理和維護(hù)，滿足監(jiān)管要求及日常運維的需求，并提供及時發(fā)現(xiàn)和排除故障的能力。性能：采用的技術(shù)應(yīng)帶來性能的提升，至少本身不會帶來性能的大幅下降。設(shè)計思路集團(tuán)云計算的服務(wù)對象包括業(yè)務(wù)及科研體系、運維體系、管理層，未來則可能面向集團(tuán)，甚至其他企業(yè)提供服務(wù)。每個服務(wù)對象對云計算的關(guān)注和訴求均存在不同。具體分析各個對象的需求，可以發(fā)現(xiàn)：自有業(yè)務(wù)體系：能夠方便、

9、快速的獲得所需IT資源，不愿介入IT本身的管理維護(hù)，業(yè)務(wù)系統(tǒng)不中斷；其他業(yè)務(wù)體系：對云內(nèi)隔離的疑慮，對云內(nèi)安全的需求，對可靠性保證的擔(dān)憂；管理層：關(guān)注投資收益比，能方便的獲得投資決策數(shù)據(jù)，包括業(yè)務(wù)的經(jīng)營數(shù)據(jù)，IT的運營數(shù)據(jù)；運維體系：平臺可靠，易于管理，業(yè)務(wù)快速自愈能力，彈性擴(kuò)展能力，運維工作量低，完善的安全防護(hù)；建設(shè)者：建設(shè)者和運維體系可以是一個實體，但基于對象考慮它有其獨特的需求。初始能夠快速建設(shè)，后續(xù)能夠快速的擴(kuò)容，建設(shè)周期短，人員投入少，建設(shè)質(zhì)量有保證；針對各個對象需求分析總結(jié)，云計算的規(guī)劃思路主要在于標(biāo)準(zhǔn)化模塊化、資源池化、資源服務(wù)化、云容量的可視化、運維部署自動化、資源高可用、云安

10、全服務(wù)、運維場景化這些方面，具體分析見下面的表格。針對服務(wù)對象的云計算規(guī)劃思路分析服務(wù)對象分析云計算相關(guān)規(guī)劃思路自有業(yè)務(wù)體系關(guān)注資源提供的數(shù)量及類型、及時性，自服務(wù)能力等，可用性資源池化、資源服務(wù)化、業(yè)務(wù)連續(xù)性其他業(yè)務(wù)體系可用性、安全隔離云安全服務(wù)、業(yè)務(wù)連續(xù)性管理層資源利用率、業(yè)務(wù)數(shù)據(jù)云容量的可視化建設(shè)者可擴(kuò)展性標(biāo)準(zhǔn)化、模塊化運維體系可維護(hù)性、業(yè)務(wù)連續(xù)性、可管理性、可視化、自動化、安全業(yè)務(wù)連續(xù)性、云安全服務(wù)、運維部署自動化，運維場景化對前面的規(guī)劃思路進(jìn)行歸納分類，云計算的規(guī)劃主要需要考慮下面的六點：物理資源的模塊化、標(biāo)準(zhǔn)化；資源池化；統(tǒng)一管理平臺（統(tǒng)一平臺的資源服務(wù)化、云容量的可視化、運維部署

11、自動化）；業(yè)務(wù)連續(xù)性；云安全服務(wù)；運維場景化；后面針對每一點分別進(jìn)行具體分析。建設(shè)目標(biāo)結(jié)合集團(tuán)IT架構(gòu)現(xiàn)狀和未來業(yè)務(wù)發(fā)展的需求，我們給出的解決建議有采用標(biāo)準(zhǔn)化硬件基礎(chǔ)設(shè)施建設(shè)；建設(shè)云計算高可用架構(gòu)的統(tǒng)一資源池；建設(shè)統(tǒng)一的云管理平臺；構(gòu)建統(tǒng)一的PaaS平臺；構(gòu)建運維體系、流程和工具；建設(shè)基于等保的安全體系，最終達(dá)到IT資源統(tǒng)一云化、科研環(huán)境平臺化、業(yè)務(wù)應(yīng)用服務(wù)化、運維管理自動化的云計算建設(shè)目標(biāo)。集團(tuán)云計算規(guī)劃整體架構(gòu)規(guī)劃日前，集團(tuán)發(fā)布信息通信新技術(shù)推動智能電網(wǎng)和“一強三優(yōu)”現(xiàn)代公司創(chuàng)新發(fā)展行動計劃（以下簡稱行動計劃），推進(jìn)大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)和移動互聯(lián)等新技術(shù)在智能電網(wǎng)和“一強三優(yōu)”現(xiàn)代公司建

12、設(shè)中的創(chuàng)新應(yīng)用。集團(tuán)未來三年云計算整體藍(lán)圖，需要構(gòu)建多中心的“科研云”，全面提升集團(tuán)未來的業(yè)務(wù)創(chuàng)新能力，保障業(yè)務(wù)快速安全交付。對于其中同城云數(shù)據(jù)中心內(nèi)的建設(shè)，則可以劃分為物理資源層、虛擬化平臺層、云服務(wù)層，以及貫穿各個層面的運維管理層整個科研云涵蓋IaaS、PaaS、SaaS服務(wù)，提供完整的云計算服務(wù)；同時科院云是符合等保三級和集團(tuán)合規(guī)要求的安全可靠的云；同時建設(shè)統(tǒng)一的運營、運維管理體系貫穿整個科研云各個層面；構(gòu)建集團(tuán)統(tǒng)一的云服務(wù)門戶，通過云服務(wù)門戶統(tǒng)一對內(nèi)對外提供云服務(wù)，支持科研各應(yīng)用領(lǐng)域： 資源池規(guī)劃針對集團(tuán)此次云計算的建設(shè)，從基礎(chǔ)網(wǎng)絡(luò)、云網(wǎng)絡(luò)、計算、存儲、云平臺、安全、運維和容災(zāi)八個領(lǐng)域

13、對云計算進(jìn)行規(guī)劃設(shè)計，基于開源的高可用的商用云計算架構(gòu)，各組件松耦合、模塊化、標(biāo)準(zhǔn)化，實現(xiàn)云計算的靈活性，最終實現(xiàn)統(tǒng)一的資源池化、統(tǒng)一資源管理和統(tǒng)一資源交付的目標(biāo)。計算資源池計算資源池設(shè)計目標(biāo)目前調(diào)研來看集團(tuán)大部分的業(yè)務(wù)系統(tǒng)都是適合虛擬化的，并且目前正在進(jìn)行業(yè)務(wù)云化的工作；但大數(shù)據(jù)平臺等高性能計算、高IO的系統(tǒng)應(yīng)該部署在物理服務(wù)器上，以減少虛擬化平臺的資源爭用 。因此，集團(tuán)計算資源池建設(shè)目標(biāo)：將虛擬化、裸金屬、高性能計算、大數(shù)據(jù)資源的統(tǒng)一池化，通過統(tǒng)一的云平臺，實現(xiàn)對各種異構(gòu)資源的統(tǒng)一整合管理，同時針對不同的業(yè)務(wù)需求，實現(xiàn)親和性的多資源池智能調(diào)度。虛擬化資源池規(guī)劃設(shè)計在云計算體系中，x86架構(gòu)

14、服務(wù)器是計算資源池的核心。將相同或者相似類型的服務(wù)器組合在一起，通過安裝虛擬化軟件，實現(xiàn)服務(wù)器的軟硬解耦，屏蔽物理設(shè)備的差異，統(tǒng)一管理和調(diào)度，從而形成統(tǒng)一的計算資源池。完整的虛擬化系統(tǒng)邏輯架構(gòu)如下圖所示：在虛擬化系統(tǒng)架構(gòu)中，虛擬化軟件應(yīng)該包括兩個部分，即虛擬化內(nèi)核和虛擬化管理系統(tǒng)。虛擬化內(nèi)核運行在物理服務(wù)器和上層操作系統(tǒng)之間的“元”操作系統(tǒng)，用于協(xié)調(diào)上層操作系統(tǒng)對底層硬件資源的訪問，減輕軟件對硬件設(shè)備以及驅(qū)動的依賴性，同時對虛擬化運行環(huán)境中的硬件兼容性、高可靠性、高可用性、可擴(kuò)展性、性能優(yōu)化等問題進(jìn)行處理和優(yōu)化。結(jié)合集團(tuán)未來云規(guī)劃，虛擬化集群應(yīng)該選擇KVM內(nèi)核架構(gòu)，并且兼容現(xiàn)有的虛擬化平臺。虛

15、擬化管理系統(tǒng)實現(xiàn)對數(shù)據(jù)中心內(nèi)的計算、網(wǎng)絡(luò)和存儲等硬件資源和虛擬資源的統(tǒng)一管理和調(diào)度，形成虛擬資源池；虛擬化管理系統(tǒng)對上層應(yīng)用提供自動化服務(wù)，包括：虛擬計算、虛擬網(wǎng)絡(luò)、虛擬存儲、高可靠性（ HA）、動態(tài)資源調(diào)度（ DRS）、虛擬機容災(zāi)與備份、虛擬機模板管理、集群文件系統(tǒng)、虛擬交換機策略等。為了對外提供差異化的服務(wù)質(zhì)量，我們應(yīng)該按照不同應(yīng)用場景，對計算資源進(jìn)行分組，從而在邏輯上形成多個不同的計算資源區(qū)。每個計算資源區(qū)用于某些預(yù)定義的應(yīng)用群組，內(nèi)由多個同類型服務(wù)器構(gòu)成。通過選擇不同的服務(wù)器型號和數(shù)量，高可用架構(gòu)（HA，負(fù)載均衡），來滿足不同應(yīng)用分組在高可用性和性能方面的不同需求。在云計算資源區(qū)中，對

16、計算資源采用分層管理的模型可以有效的降低管理復(fù)雜度，提高管理效率。在分層管理模型中，從頂層到底層一般分為云資源、主機池、集群、宿主機和虛擬機等；其中云資源、主機池和集群屬于邏輯組件，宿主機和虛擬機屬于物理組件。云資源分層管理模型中的頂層資源，涵蓋虛擬化系統(tǒng)可管理范圍內(nèi)所有的硬件基礎(chǔ)設(shè)施，包括服務(wù)器、存儲和網(wǎng)絡(luò)。主機池一系列主機和集群的集合體，主機可納入集群中，也可以單獨存在。沒有加入集群的主機全部在主機池中進(jìn)行管理。集群一系列主機的集合，系統(tǒng)通過對集群內(nèi)主機和虛擬機狀態(tài)的監(jiān)控，可以實現(xiàn)虛擬機的高可用性、資源動態(tài)調(diào)度等特性主機物理服務(wù)器，即虛擬化宿主機，為虛擬機提供硬件環(huán)境；虛擬機由運行在宿主機

17、上的虛擬化內(nèi)核模擬形成，每臺虛擬機都是一個完整的系統(tǒng)使用虛擬化集群的目的是克服單機虛擬化的局限性，利用技術(shù)手段提高虛擬機的可用性，最終達(dá)到業(yè)務(wù)不中斷或減少業(yè)務(wù)中斷時間，確保業(yè)務(wù)數(shù)據(jù)更安全的目標(biāo)。虛擬化平臺應(yīng)具備如下功能架構(gòu)，目前集團(tuán)已經(jīng)建成計算資源池，但是在虛擬化的高可靠、資源動態(tài)調(diào)度需要優(yōu)化，資源彈性伸縮和虛機備份上有待建設(shè)。虛擬化資源池建設(shè)時應(yīng)遵循以下規(guī)范，才能發(fā)揮虛擬化的可靠性和最大性能：（1）虛擬化管理平臺管理平臺應(yīng)部署雙機集群，支持高可用性,作為全局虛擬化的管理中心；（2）主機池在內(nèi)網(wǎng)二級、三級業(yè)務(wù)、開發(fā)測試區(qū)和外網(wǎng)的二級系統(tǒng)區(qū)分別構(gòu)建資源池，同一個二層網(wǎng)絡(luò)的主機應(yīng)規(guī)劃在同一個主機池

18、中；（3）集群從主機池中選擇適當(dāng)數(shù)量的服務(wù)器（建議1420臺服務(wù)器），組成一個集群，如業(yè)務(wù)集群1 ，同一個集群具有HA的屬性。同一集群的主機應(yīng)該在同一個POD里面，因此建議4U服務(wù)器15臺組成一個集群；每個集群符合N+1原則，更具可靠性；同時避免只有2臺物理機的資源池的相關(guān)可能潛在的問題；（4）網(wǎng)絡(luò)從安全隔離、性能和可靠性角度，網(wǎng)絡(luò)可根據(jù)承載流量的不同，按功能劃分為業(yè)務(wù)、管理和存儲網(wǎng)絡(luò)，并獨立部署;（5）存儲對物理層提供的存儲設(shè)備進(jìn)行統(tǒng)一的整合與池化，為虛擬機提供統(tǒng)一的存儲資源池，是高可用、資源彈性調(diào)度等特性的基礎(chǔ);建議每個LUN大小在1215T,但不能超過虛擬化平臺支持的最大值；各應(yīng)用系統(tǒng)對

19、計算能力的需求不同，為了能夠快速的為業(yè)務(wù)部門交付計算資源，我們需要設(shè)計一系列不同規(guī)格的虛擬機模板，以滿足不同應(yīng)用、不同時期的需求，同時對虛機模板進(jìn)行統(tǒng)一的加固和配置，簡化運維。根據(jù)實際應(yīng)用需要，定制不同規(guī)格虛擬機模板，匹配不同的用戶需求,內(nèi)存應(yīng)該是CPU核數(shù)的14倍；虛擬機的模板需要做系統(tǒng)加固、打上必要的補丁、安裝VMM Tools、開啟監(jiān)控協(xié)議、安裝備份和防病毒的客戶端，并經(jīng)常性維護(hù)更新。裸金屬資源池建設(shè)規(guī)劃裸金屬資源池規(guī)劃目標(biāo)：（1）自動化批量部署高性能物理服務(wù)器，運維管理便捷；（2）服務(wù)器與云內(nèi)其它虛擬機、容器等資源互連互通，融合管理；（3）可以通過云平臺定制開發(fā)實現(xiàn)物理服務(wù)器的管理，如通過OpenStack ironic組件來實現(xiàn)，但要注意服務(wù)器的兼容性；高性能計算資源池建設(shè)規(guī)劃在高性能計算區(qū)規(guī)劃2U、4U、帶GPU的物理服務(wù)器，用來部署大數(shù)據(jù)、GIG等系統(tǒng)，并且建設(shè)HPC池滿足高性能計算的業(yè)務(wù)要求；高性能計算區(qū)采用40G互聯(lián)網(wǎng)絡(luò)，保證東西向內(nèi)部互訪的需求；與云平臺集成，統(tǒng)一管理。大數(shù)據(jù)資