運(yùn)營商私有云規(guī)劃思路及關(guān)鍵技術(shù)應(yīng)用

運(yùn)營商私有云規(guī)劃思路及關(guān)鍵技術(shù)應(yīng)用

摘要：針對某運(yùn)營商私有云相關(guān)建設(shè)歷程進(jìn)行闡述，然后結(jié)合該運(yùn)營商的實(shí)際情況以及私有云技術(shù)特點(diǎn)，提出私有云規(guī)劃思路，并同時(shí)闡述關(guān)鍵技術(shù)的應(yīng)用，最后以網(wǎng)管支撐系統(tǒng)私有云規(guī)劃為例，整體展現(xiàn)規(guī)劃建設(shè)思路。關(guān)鍵詞：私有云，資源池，容器，SDN1引言云計(jì)算的建設(shè)目標(biāo)是以IaaS服務(wù)為基礎(chǔ)，以PaaS服務(wù)為提升。一個(gè)完整的IT系統(tǒng)，自上而下包括“應(yīng)用軟件、中間件軟件、數(shù)據(jù)庫軟件、操作系統(tǒng)、計(jì)算資源、存儲(chǔ)資源、組網(wǎng)網(wǎng)絡(luò)”等組成部分，在云計(jì)算的架構(gòu)下也是如此?！盁焽枋健苯ㄔO(shè)模式主要存在以下問題：1）硬件建設(shè)周期長；2）各系統(tǒng)之間資源不能共享；3）各系統(tǒng)之間資源利用率不均衡，不能調(diào)整，整體利用率較低；4）擴(kuò)展能力受限，難以滿足大數(shù)據(jù)計(jì)算需求。而云計(jì)算的好處體現(xiàn)在：1）資源共享，按需分配，彈性伸縮，支持日常優(yōu)化調(diào)整；2）縮短上層系統(tǒng)建設(shè)周期，提升整體利用率；3）分布式架構(gòu)支持大數(shù)據(jù)計(jì)算場景。云計(jì)算改“煙囪式”為“分層式”，自下而上分為IaaS、PaaS、SaaS三層，云計(jì)算的規(guī)劃建設(shè)通常指的是IaaS層、PaaS層的統(tǒng)一規(guī)劃建設(shè)。本文所述的私有云是特指專門為某企業(yè)內(nèi)部提供服務(wù)的云計(jì)算，針對電信運(yùn)營商而言，包含BSS/OSS/MSS、大數(shù)據(jù)、信安系統(tǒng)等IT支撐系統(tǒng)以及統(tǒng)一DPI、自有業(yè)務(wù)平臺(tái)、政企客戶云服務(wù)業(yè)務(wù)平臺(tái)。2某運(yùn)營商私有云建設(shè)歷程回顧該運(yùn)營商的私有云建設(shè)歷程，主要分為三個(gè)主要階段：第一階段為分域整合階段，2012年開始建設(shè)網(wǎng)管資源池，2013年開始建設(shè)業(yè)支資源池和管信資源池；第二階段為統(tǒng)一規(guī)劃建設(shè)階段，2014年將管信資源池并入網(wǎng)管資源池，2015年開始建設(shè)私有云管理平臺(tái)；第三階段為優(yōu)化提升階段，從2016年開始，持續(xù)建設(shè)業(yè)支資源池、網(wǎng)管資源池。某運(yùn)營商在2014年開始正式進(jìn)行私有云的規(guī)劃建設(shè)，確定了“1+N”的整體架構(gòu)，即“1”：建設(shè)統(tǒng)一的私有云管理平臺(tái)；“N”：按統(tǒng)一的技術(shù)架構(gòu)，建設(shè)多個(gè)資源池，納入云管平臺(tái)統(tǒng)一管理。2017年，該運(yùn)營商為了更好地規(guī)劃私有云建設(shè)，結(jié)合管理職能以及本地實(shí)際情況，最終提出了一種私有云規(guī)劃架構(gòu)：規(guī)劃建設(shè)B/M資源池、O/S資源池兩個(gè)資源池，并通過統(tǒng)一的云管平臺(tái)進(jìn)行兩個(gè)資源池的調(diào)度與管理。該運(yùn)營商私有云資源池建設(shè)架構(gòu)如圖1所示。3私有云規(guī)劃思路、方案及關(guān)鍵技術(shù)3.1總體規(guī)劃思路某運(yùn)營商私有云規(guī)劃原則主要從兩方面同步開展，一是統(tǒng)一規(guī)劃、建設(shè)私有云資源池；二是推動(dòng)系統(tǒng)自身云化，遷移到資源池上運(yùn)行。同時(shí)，基于該運(yùn)營商實(shí)際情況，其私有云總體規(guī)劃思路為：通過機(jī)房擴(kuò)展，平滑構(gòu)建異地、多節(jié)點(diǎn)、跨機(jī)房且統(tǒng)一調(diào)度和管理的“1+N”架構(gòu)的私有云體系（1個(gè)統(tǒng)一云管理平臺(tái)，N個(gè)資源池節(jié)點(diǎn)），提供面向內(nèi)部系統(tǒng)IT資源需求的基礎(chǔ)設(shè)施云服務(wù)，以支撐IT支撐系統(tǒng)、業(yè)務(wù)平臺(tái)和其他內(nèi)部IT系統(tǒng)的建設(shè)；推動(dòng)上層應(yīng)用逐步以“分布式+開放”架構(gòu)替代“集中式+封閉”架構(gòu)，加快云化進(jìn)程，底層資源以云計(jì)算資源池模式進(jìn)行整合，實(shí)現(xiàn)IT基礎(chǔ)設(shè)施的高效集中管理。3.2總體規(guī)劃演進(jìn)方案及關(guān)鍵技術(shù)（1）云化演進(jìn)遵循第2節(jié)的規(guī)劃原則和思路，某運(yùn)營商從系統(tǒng)云化改造和資源池建設(shè)兩個(gè)維度進(jìn)行私有云演進(jìn)路線的規(guī)劃，如圖2所示。（2）私有云分層能力規(guī)劃及關(guān)鍵技術(shù)分析私有云的能力規(guī)劃，包含IaaS和PaaS的能力規(guī)劃。IaaS層能力規(guī)劃如圖3所示。IaaS層由“基礎(chǔ)設(shè)施”和“云管理平臺(tái)”兩大部分組成。云管理平臺(tái)運(yùn)用的是OpenStack技術(shù)。OpenStack提供了一整套完整的IaaS基礎(chǔ)設(shè)施云服務(wù)，包含了各種組件；中國移動(dòng)基于OpenStack的BigCloud相關(guān)產(chǎn)品亦能提供同類組件?；A(chǔ)設(shè)施中X86虛擬化集群所運(yùn)用的首先是VMware相關(guān)技術(shù)，VMware提供一整套基于服務(wù)器虛擬化的IaaS云服務(wù)解決方案，在使用vSphere服務(wù)器虛擬化的資源池環(huán)境中，再配合NSX實(shí)現(xiàn)SDN/NFV，vSAN實(shí)現(xiàn)虛擬機(jī)存儲(chǔ)鏡像管理；其次，X86虛擬化集群還運(yùn)用了超融合架構(gòu)技術(shù)來簡化資源池硬件配置方案，提供基于X86架構(gòu)的分布式存儲(chǔ)，同時(shí)進(jìn)行服務(wù)器虛擬化，超融合架構(gòu)的核心是軟件定義分布式存儲(chǔ)技術(shù)，代表技術(shù)有開源KVM+Ceph、VMwarevSphere+vSan、華為FusionSphere+FusionStorage等。其中運(yùn)營商采用較多的是VMware技術(shù)方案，其優(yōu)點(diǎn)在于產(chǎn)品成熟，但造價(jià)較高。建議私有云資源池建設(shè)前期，采用VMware虛擬化產(chǎn)品，有利于推動(dòng)虛擬化技術(shù)使用，待虛擬化技術(shù)應(yīng)用條件成熟后，以開源虛擬化技術(shù)KVM為主、VMware為輔。基礎(chǔ)設(shè)施中X86分布式集群所運(yùn)用的技術(shù)為分布式存儲(chǔ)技術(shù)。在替換傳統(tǒng)“IOE”架構(gòu)的硬件過程中，針對關(guān)系型數(shù)據(jù)庫采用華為FusionStorage（分布式ServerSAN）、EMCScaleIO、Ceph等分布式塊存儲(chǔ)技術(shù)進(jìn)行替換，分布式塊存儲(chǔ)所用的硬件為標(biāo)準(zhǔn)的X86服務(wù)器，各節(jié)點(diǎn)相互獨(dú)立，節(jié)點(diǎn)之間通過專用的存儲(chǔ)網(wǎng)絡(luò)（InfiniBand或萬兆級IP網(wǎng)絡(luò)）連接，部署專門的存儲(chǔ)軟件構(gòu)成塊存儲(chǔ)，具備集群擴(kuò)展能力。針對離線及實(shí)時(shí)性不高的文件類數(shù)據(jù)以及虛擬機(jī)鏡像共享存儲(chǔ)等，可采用Ceph等分布式文件存儲(chǔ)技術(shù)。對象存儲(chǔ)多用于對外提供面向Internet的簡單存儲(chǔ)服務(wù)，此場景運(yùn)營商應(yīng)用較少，可作為儲(chǔ)備技術(shù)。網(wǎng)絡(luò)為資源調(diào)度提供管道，SDN是解決跨域資源調(diào)度的主流技術(shù)，SDN主要應(yīng)用場景是在云資源池物理網(wǎng)絡(luò)建成后，通過軟件編程方式對多租戶業(yè)務(wù)進(jìn)行網(wǎng)絡(luò)配置、流量控制和安全隔離等。SDN相關(guān)的兩種隧道技術(shù)有Overlay技術(shù)和Underlay技術(shù)，其中Overlay技術(shù)可實(shí)現(xiàn)不同業(yè)務(wù)網(wǎng)絡(luò)的開通和隔離，代表技術(shù)為VxLAN，在服務(wù)器虛擬化大規(guī)模應(yīng)用場景下，建議采用此技術(shù)；而Underlay技術(shù)是通過物理網(wǎng)絡(luò)設(shè)備本身的技術(shù)改良、擴(kuò)容，對傳統(tǒng)網(wǎng)絡(luò)技術(shù)進(jìn)行優(yōu)化，實(shí)現(xiàn)對虛擬網(wǎng)絡(luò)的隧道化承載，在虛擬化規(guī)模不大的前期階段，為方便快速部署和節(jié)省投資，建議采用此技術(shù)。以上是IaaS層能力規(guī)劃建設(shè)的關(guān)鍵點(diǎn)，此外，一個(gè)完整軟件系統(tǒng)運(yùn)行還需要數(shù)據(jù)庫、中間件、計(jì)算框架等環(huán)境，這些共享資源在PaaS層實(shí)現(xiàn)，通過PaaS層的建設(shè)來提供更完善的服務(wù)。建設(shè)PaaS層的好處如下：1）中長期更節(jié)省數(shù)據(jù)庫、中間件軟件投資；2）IaaS層資源利用率更均衡和充分；3）應(yīng)用軟件開發(fā)部署進(jìn)一步簡化，安裝和部署可通過PaaS統(tǒng)一實(shí)現(xiàn)。某運(yùn)營商PaaS層能力規(guī)劃如圖4所示。該運(yùn)營商未建設(shè)PaaS前，上層網(wǎng)管類應(yīng)用直接使用IaaS層提供的資源（網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等），建設(shè)PaaS后，通過PaaS利用IaaS的資源服務(wù)，為上層應(yīng)用系統(tǒng)的開發(fā)、運(yùn)行提供更加完善的服務(wù)，如預(yù)裝中間件的虛擬機(jī)、統(tǒng)一調(diào)度編排的容器集群、多租戶的HadoopYARN集群等。建設(shè)PaaS層需要具備兩個(gè)基礎(chǔ)條件，即上層系統(tǒng)軟件架構(gòu)解耦、開放；數(shù)據(jù)庫、中間件等資源能夠集中運(yùn)營管理。針對前期系統(tǒng)僅做到軟硬件解耦的，建議使用IaaS資源；針對在軟硬件解耦基礎(chǔ)上，系統(tǒng)的軟件技術(shù)架構(gòu)可以進(jìn)一步開放解耦的，建議使用PaaS服務(wù)。PaaS層涉及的主要新技術(shù)以及應(yīng)用場景歸納如下：1）容器及Docker容器引擎容器（Container）是在Linux內(nèi)核實(shí)現(xiàn)在輕量級資源隔離機(jī)制；容器是進(jìn)程級隔離，虛擬機(jī)是操作系統(tǒng)級隔離。虛擬機(jī)與容器之間的特點(diǎn)對比如圖5所示。通過容器引擎，如Docker，可以把應(yīng)用程序代碼及其運(yùn)行所依賴的庫函數(shù)、配置文件等打包到一個(gè)容器中并運(yùn)行。使用容器，實(shí)際指的是使用容器的“應(yīng)用編排&資源管理”技術(shù)，主要技術(shù)有Kubernetes、DockerSwarm/Compose、Mesos等，其中Kubernetes（簡稱K8s）是主流技術(shù)，可以實(shí)現(xiàn)管理容器資源、調(diào)度容器引擎，從而實(shí)現(xiàn)對上層應(yīng)用容器化的支撐。2）DCOSDCOS，即數(shù)據(jù)中心操作系統(tǒng)，同時(shí)具備IaaS、PaaS能力，具備IaaS的資源調(diào)度管理能力和PaaS的應(yīng)用計(jì)算框架管理能力；核心資源調(diào)度技術(shù)是ApacheMesos，Mesos也支撐容器集群資源管理（類似K8s）。典型產(chǎn)品有Mesosphere、中國移動(dòng)的BC-DCOS。通過PaaS層的建設(shè)，IaaS層資源的利用率將更均衡，同時(shí)，提升了對上層應(yīng)用技術(shù)架構(gòu)的掌控力，促進(jìn)公司IT能力內(nèi)化，也為DevOps（開發(fā)運(yùn)營融合）提供工具支撐。（3）總體規(guī)劃演進(jìn)方案通過以上針對私有云規(guī)劃總體思路、演進(jìn)路線、分層能力規(guī)劃及關(guān)鍵技術(shù)的分析闡述，某運(yùn)營商總體規(guī)劃演進(jìn)方案建議如下：1）2014年至2015年重點(diǎn)建設(shè)私有云管理平臺(tái)、業(yè)支資源池、網(wǎng)管資源池工程，一方面繼續(xù)完善資源池基礎(chǔ)能力，一方面提升資源管理能力。推動(dòng)業(yè)支、原管信資源池融合建設(shè)，推動(dòng)IT化明顯的小型業(yè)務(wù)平臺(tái)納入網(wǎng)管資源池建設(shè)。推動(dòng)傳統(tǒng)業(yè)務(wù)平臺(tái)在專業(yè)系統(tǒng)內(nèi)部完成軟硬件的解耦和X86化改造。2）2016年至2017年私有云管理平臺(tái)，圍繞運(yùn)維需求，重點(diǎn)建設(shè)資源運(yùn)營流程、資源自動(dòng)化調(diào)度等能力。資源池建設(shè)方面，形成B域、M域融合的資源池；擴(kuò)充網(wǎng)管資源池，逐步納入已云化改造的業(yè)務(wù)平臺(tái)，初步形成網(wǎng)管、業(yè)務(wù)的綜合資源池。建設(shè)資源池PaaS能力，探索SDN新技術(shù)應(yīng)用。3）2018年至遠(yuǎn)期形成某運(yùn)營商私有云兩地三中心架構(gòu)，為上層業(yè)務(wù)提供不間斷的資源保障與彈性資源供給能力。形成較完善的云管理平臺(tái)、IaaS、PaaS能力，支撐上層各類系統(tǒng)和平臺(tái)的靈活部署快速迭代。完成業(yè)務(wù)平臺(tái)軟硬件解耦，硬件納入私有云資源池統(tǒng)一管理。4網(wǎng)管支撐系統(tǒng)私有云規(guī)劃4.1規(guī)劃思路以網(wǎng)管支撐系統(tǒng)私有云規(guī)劃為例，該運(yùn)營商面向未來發(fā)展，基于前期分層架構(gòu)，將進(jìn)一步推動(dòng)網(wǎng)管系統(tǒng)全面云化規(guī)劃。參照云計(jì)算架構(gòu)，網(wǎng)管系統(tǒng)整體規(guī)劃為SaaS（軟件服務(wù)）、PaaS（平臺(tái)服務(wù)）、IaaS（基礎(chǔ)設(shè)施服務(wù)）三層架構(gòu)。如圖6所示。SaaS層：圍繞網(wǎng)絡(luò)集中運(yùn)維，推動(dòng)現(xiàn)有應(yīng)用云化改造（虛擬化、分布式、微服務(wù)等）、新增應(yīng)用直接云化部署，目標(biāo)是實(shí)現(xiàn)百花齊放、靈活部署和敏捷開發(fā)，支撐DevOps（需求開發(fā)和系統(tǒng)運(yùn)維整合管理模式）。PaaS層：原共享與服務(wù)層規(guī)劃入PaaS層能力，新增K8s容器資源管理與應(yīng)用編排能力、YARN分布式計(jì)算集群資源管理能力，利用IaaS提供的基礎(chǔ)設(shè)施服務(wù)，為SaaS層提供更加完備的服務(wù)（數(shù)據(jù)服務(wù)、采集服務(wù)、計(jì)算框架等），目標(biāo)是實(shí)現(xiàn)數(shù)據(jù)和能力開放。IaaS層：完善網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)等基礎(chǔ)資源服務(wù)提供能力。4.2規(guī)劃演進(jìn)方案遵循以上思路，為實(shí)現(xiàn)網(wǎng)管支撐系統(tǒng)“從專業(yè)網(wǎng)管向‘4+1’體系架構(gòu)的綜合網(wǎng)管演進(jìn)，全面支撐全業(yè)務(wù)開通，實(shí)現(xiàn)端到端的業(yè)務(wù)監(jiān)控和質(zhì)量管理，提升業(yè)務(wù)和服務(wù)的質(zhì)量和效率，降低網(wǎng)絡(luò)運(yùn)行維護(hù)成本”的目標(biāo)，某運(yùn)營商網(wǎng)管支撐系統(tǒng)私有云規(guī)劃演進(jìn)方案建議如下：（1）2014年至2015年圍繞網(wǎng)絡(luò)集中化運(yùn)維體制改革，加強(qiáng)“4+1”系統(tǒng)建設(shè)，重點(diǎn)持續(xù)提升4G、VoLTE、互聯(lián)網(wǎng)、政企業(yè)務(wù)的集中化支撐能力；推進(jìn)網(wǎng)管SOA架構(gòu)演進(jìn)，保持可持續(xù)性健康發(fā)展，包括數(shù)據(jù)總線、統(tǒng)一采集、統(tǒng)一DPI、集中操作維護(hù)、GIS服務(wù)等共享服務(wù)等能力。推動(dòng)系統(tǒng)云化改造，包括Docker/VM、超融合架構(gòu)、YARN/K8s等新技術(shù)應(yīng)用。提升高可用性，具備一定容災(zāi)能力。（2）2016年至2017年持續(xù)推進(jìn)資源管理、性能管理、故障管理、網(wǎng)絡(luò)優(yōu)化、運(yùn)維管理的集中化、標(biāo)準(zhǔn)化的支撐能力建設(shè)，實(shí)現(xiàn)從面向設(shè)備、面向網(wǎng)絡(luò)到面向業(yè)務(wù)、面向客戶支撐管理能力的轉(zhuǎn)型提升；面向云計(jì)算、大數(shù)據(jù)的發(fā)展，推動(dòng)網(wǎng)管系統(tǒng)SOA架構(gòu)基礎(chǔ)服務(wù)能力的對外開放，包括統(tǒng)一采集、統(tǒng)一DPI、數(shù)據(jù)總線等。構(gòu)建統(tǒng)一應(yīng)用、集群資源管理技術(shù)架構(gòu)，進(jìn)一步提升云化水平，提升資源利用率和均衡性。（3）2018年至遠(yuǎn)期緊隨網(wǎng)絡(luò)新技術(shù)、新業(yè)務(wù)發(fā)展，提早規(guī)劃研究相關(guān)網(wǎng)絡(luò)管理能力并啟動(dòng)建設(shè)，如NFV、物聯(lián)網(wǎng)管理能力等。促進(jìn)IT能力內(nèi)化，具備自主架構(gòu)規(guī)劃、系統(tǒng)設(shè)計(jì)能力，具備私有云資源運(yùn)營能力，探索自主研發(fā)能力。5結(jié)束語眾所周知，云計(jì)算具有自身的優(yōu)點(diǎn)，主要體現(xiàn)在提升資源利用率和系統(tǒng)擴(kuò)展性，通過改變傳統(tǒng)項(xiàng)目的管理模式提高了業(yè)務(wù)部署的速度，增強(qiáng)了系統(tǒng)可靠性，降低了電信運(yùn)營商的總體建設(shè)成本，因而增強(qiáng)了企業(yè)競爭力。但是，云計(jì)算經(jīng)過了幾年的發(fā)展和建設(shè)實(shí)踐，也出現(xiàn)了一些問題，比如：1）因底層網(wǎng)絡(luò)不支持導(dǎo)致二層網(wǎng)絡(luò)無法打通，進(jìn)而無法實(shí)現(xiàn)IT各域系統(tǒng)之間跨集群/機(jī)房/局址的資源調(diào)度；2）因Hadoop集群與云管平臺(tái)接口標(biāo)準(zhǔn)化程度低無法實(shí)現(xiàn)Hadoop/MPP等物理機(jī)資源納入云管平臺(tái)，進(jìn)而無法實(shí)現(xiàn)資源的遷移；3）早期因管理方式?jīng)]有及時(shí)與私有云資源池建設(shè)模式匹配而導(dǎo)致的項(xiàng)目進(jìn)度緩慢。電信運(yùn)營商針對以上問題需要在規(guī)劃建設(shè)方面予以關(guān)注，與此同時(shí)，也要特別注意IT系統(tǒng)云化和云資源池建設(shè)的各個(gè)環(huán)節(jié)要素應(yīng)協(xié)調(diào)發(fā)展、緊密配合才能全面發(fā)揮云計(jì)算的優(yōu)勢。參考文獻(xiàn)：[1]陸鋼，楊新章，何震葦，等.電信運(yùn)營商對容器技術(shù)的探索和思考[J].電信科學(xué)，2016（8）：159-160.[2]趙輝，丁鳴，程青松，等.SDN與NFV技術(shù)在云數(shù)據(jù)中心的規(guī)模應(yīng)用[J].電信科學(xué)，2016（1）：144-151.[3]程偉強(qiáng)，李晨.電信級SDN在運(yùn)營商網(wǎng)絡(luò)中的應(yīng)用研究[J].電信技術(shù)，2016（3）：52-55.[4]黃志蘭，樊勇兵，陳楠，等.overlaySDN實(shí)現(xiàn)異構(gòu)兼容的關(guān)鍵技術(shù)[J].電信科學(xué)，2016（11）：112-118.[5]王永建，張健，張富根，等.基于VXLAN的云數(shù)據(jù)中心網(wǎng)絡(luò)研究[J].通信技術(shù)，2017（1）：