私有云平臺搭建項目實施方案

XXX協(xié)會

私有云平臺搭建項目實施方案

目錄

第1章總體初步設(shè)計、工作方案..........................................................1

1.1.總體框架設(shè)計...................................................................1

1.2.技術(shù)路線.......................................................................2

1.2.1.基礎(chǔ)網(wǎng)絡(luò)...................................................................2

1.2.2.基礎(chǔ)設(shè)施...................................................................2

1.2.3.服務(wù)支撐....................................................................3

1.2.4.應(yīng)用遷移....................................................................4

1.2.5.信息安全...................................................................4

1.3.實施產(chǎn)品清單...................................................................5

1.4.實施工作內(nèi)容...................................................................7

第2章網(wǎng)絡(luò)技術(shù)實施方案................................................................8

2.1.總體網(wǎng)絡(luò)架構(gòu)設(shè)計...............................................................8

2.2.網(wǎng)絡(luò)子系統(tǒng).....................................................................9

2.2.1.云平臺數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計.....................................................9

2.2.2.IP地址規(guī)劃...............................................................10

2.2.3.路由協(xié)議設(shè)計..........................................................12

2.2.4.VPN設(shè)計..................................................................12

2.2.5.QOS設(shè)計..................................................................12

2.2.6.可靠性設(shè)計............................................................15

2.2.7,安全性設(shè)計................................................................17

2.2.8.網(wǎng)管設(shè)計..................................................................19

2.2.9.云平臺IDC虛擬化部署......................................................20

第3章云平臺機房技術(shù)實施方案.........................................................23

3.1.系統(tǒng)概述......................................................................23

3.2.云平臺機房概述...............................................................24

3.2.1.建設(shè)標(biāo)準(zhǔn)..................................................................24

3.2.2.地理位置..................................................................26

3.2.3.電力系統(tǒng)..................................................................27

3.2.4.制冷......................................................................29

3.2.5.消防......................................................................30

3.2.6.安保監(jiān)控..................................................................31

3.3.數(shù)據(jù)中心機柜資源規(guī)劃.........................................................32

第4章云基礎(chǔ)設(shè)施（IAAS層）技術(shù)實施方案...............................................34

4.1.云計算基礎(chǔ)架構(gòu)體系............................................................34

4.1.1.設(shè)計原則.................................................................34

7.1.2.系統(tǒng)總體架構(gòu)...............................................................35

4.2.云計算中心網(wǎng)絡(luò)層設(shè)計...........................................................43

4.2.1.設(shè)計思路.......................................................................43

4.3.云平臺網(wǎng)絡(luò)系統(tǒng)整體架構(gòu).........................................................45

4.3.1.整體架構(gòu)設(shè)計思想..............................................................45

4.3.2.云平臺內(nèi)網(wǎng)網(wǎng)絡(luò)系統(tǒng)設(shè)計........................................................47

4.3.3.云平臺中心核心交換區(qū)..........................................................48

4.3.4.云平臺中心云資源池區(qū)..........................................................49

4.3.5.云平臺中心運維管理區(qū)..........................................................49

4.3.6.外聯(lián)安全接入?yún)^(qū)................................................................50

4.3.7.云平臺內(nèi)網(wǎng)接入網(wǎng)絡(luò)設(shè)計........................................................51

4.3.8.云平臺內(nèi)網(wǎng)網(wǎng)絡(luò)系統(tǒng)設(shè)計總結(jié)....................................................52

4.3.9.云平臺網(wǎng)絡(luò)關(guān)鍵技術(shù)支撐........................................................53

4.4.虛擬網(wǎng)絡(luò)規(guī)劃...................................................................54

4.5.服務(wù)器設(shè)備清單.................................................................55

第5章軟硬件實施詳細方案.............................................................57

5.1.華為防火墻安裝部署.............................................................57

5.1.1.配置備防火墻上的NAT.........................................................................................................57

5.1.2.配置雙機熱備份模式............................................................58

5.2.華為服務(wù)器安裝部署...........................................................60

5.2.1.版務(wù)器安裝流程...............................................................60

5.2.2.服務(wù)器上架安裝................................................................61

5.2.3.配置RAID.............................................................................................................................63

5.3.浪潮存儲AS520-E安裝部署.....................................................68

5.3.1.設(shè)備登陸......................................................................68

5.3.2.創(chuàng)建資源池....................................................................68

5.3.3.創(chuàng)建RAID.............................................................................................................................69

5.3.4.自動鏡像故障遷移.........................................................70

5.3.5,創(chuàng)建主機組.....................................................................70

5.4.VMWAREvCAC安裝部署.............................................................71

5.4.1.部署VCACIndentity...........................................................................................................71

5.4.2.部署VCACAppliance...........................................................................................................74

5.4.3.安裝配置7：具...................................................................77

5.5.VMWAREVSPHERE安裝部署...........................................................79

5.5.1.方案拓撲.......................................................................79

5.5.2.方案構(gòu)成部分詳細說明..........................................................80

5.5.3.硬件資源分配..................................................................82

5.6.WINDOWS域控部署...............................................................100

5.6.1.數(shù)據(jù)中心父域控搭建...........................................................100

5.6.2.協(xié)會內(nèi)網(wǎng)新建子域.............................................................102

第6章項目管理計劃..................................................................103

6.1.云平臺部署流程...............................................................103

6.2.項目管理計劃..................................................................104

6.3.項目人員職責(zé).................................................................105

第1章總體初步設(shè)計、工作方案

1.1.總體框架設(shè)計

本次XXX協(xié)會私有云平臺實施工作方案將針對計算服務(wù)整體架構(gòu)中的云計

算資源，通過對底層服務(wù)器硬件及存儲資源實現(xiàn)虛擬化聚合部署，配合以云計

算管理平臺、監(jiān)控平臺、資源調(diào)度平臺，實現(xiàn)云計算中基礎(chǔ)架構(gòu)即服務(wù)

(laaS)部分，同時該laaS平臺也為以后計算中心提供更高層次的云計算服

務(wù)，如PaaS,SaaS服務(wù)提供了良好的基礎(chǔ)平臺，也為XXX協(xié)會今后部署其他

業(yè)務(wù)系統(tǒng)，及現(xiàn)有系統(tǒng)擴展提供良好的擴展性。

協(xié)會私有云平臺的總體框架由七大核心組件構(gòu)成：運維服務(wù)、業(yè)務(wù)應(yīng)用系

統(tǒng)、基礎(chǔ)設(shè)施、平臺虛擬化、計算資源、計算資源管理、云管理平臺。推進系

統(tǒng)的建設(shè)，服務(wù)是宗旨，應(yīng)用是關(guān)鍵，支撐是依托，信息資源是核心，基礎(chǔ)設(shè)

施是承載，運維和標(biāo)準(zhǔn)化體系是保障。

動態(tài)奏源管理

圖1協(xié)會laaS云平臺系統(tǒng)總體框架圖

基礎(chǔ)設(shè)施平臺建設(shè)是協(xié)會云平臺的基礎(chǔ)和前提。包括網(wǎng)絡(luò)支撐

環(huán)境建設(shè)和硬件支撐環(huán)境建設(shè)?；诟咭?guī)格數(shù)據(jù)中心，滿足協(xié)

基礎(chǔ)設(shè)施

會設(shè)備托管、應(yīng)用系統(tǒng)訪問的需求，并具各為協(xié)會提供虛擬服

務(wù)器和存儲的服務(wù)能力以及。

構(gòu)建協(xié)會云平臺計算資源池，實現(xiàn)業(yè)務(wù)運行過程中需要的各類

計算資嫄數(shù)據(jù)資源和信息資源的集中存儲和管理。建立資源目錄體系，

為各保險行業(yè)客戶提供信息查詢和共享服務(wù)。

針對協(xié)會云平臺計算資源池資源使用情況與系統(tǒng)負載程度，手

計算資源管理動、自動調(diào)整資源分配，將空閑資源充分利用，實現(xiàn)硬件資源

高效運行。

另類投資項目應(yīng)用系統(tǒng)建設(shè)，是協(xié)會云平臺系統(tǒng)建設(shè)的主要內(nèi)

容，圍繞需要開展的各項業(yè)務(wù)，以另類投資系統(tǒng)開發(fā)與云托管

業(yè)務(wù)應(yīng)用系統(tǒng)

為主線，以資源整合與應(yīng)用支撐為基礎(chǔ)，建立信息共享機制和

業(yè)務(wù)協(xié)同體系，為協(xié)會注冊會員單位提供數(shù)據(jù)交換服務(wù)。

云平臺運維服務(wù)是協(xié)會云平臺建設(shè)項目的直要保障系統(tǒng)。系統(tǒng)

的服務(wù)體系根據(jù)對象分為兩大類，數(shù)據(jù)中心及線路運維服務(wù)，

運維服務(wù)體系實現(xiàn)協(xié)會與保險單位實現(xiàn)信息公開、網(wǎng)上辦事和會員服務(wù)；云

平臺運維服務(wù)，實現(xiàn)各類應(yīng)用系統(tǒng)的在私有云環(huán)境下的虛擬機

運維，監(jiān)控和告警服務(wù)。

采用業(yè)界領(lǐng)先的虛擬化技術(shù)，將另類投資系統(tǒng)在虛擬化平臺部

平臺虛擬化

署。后續(xù)其他業(yè)務(wù)系統(tǒng)平滑遷移和備份。

VCAC私有云管理平臺是協(xié)會云平臺建設(shè)的咳心，通過VCAC對

私有云資源的監(jiān)控、調(diào)度、自助門戶、統(tǒng)計分析等功能搭建協(xié)

云管理平臺

會信息系統(tǒng)從傳統(tǒng)IT到云架構(gòu)的轉(zhuǎn)型，同時作為今后業(yè)務(wù)系

統(tǒng)的托管平臺。

1.2.技術(shù)路線

1.2.1.基礎(chǔ)網(wǎng)絡(luò)

搭建云平臺基礎(chǔ)網(wǎng)絡(luò)，通過防火墻、VPN技術(shù)實現(xiàn)另類投資等業(yè)務(wù)系統(tǒng)與

協(xié)會內(nèi)網(wǎng)VPN遠程連接，內(nèi)網(wǎng)采用OSPF/BGP的動態(tài)路由協(xié)議；外網(wǎng)采用IPSec

VPN技術(shù)實現(xiàn)端到端的可靠傳輸。防火墻、核心交換機全部采用冗余架構(gòu)，避

免單點故障的風(fēng)險，打造穩(wěn)定安全的云平臺基礎(chǔ)網(wǎng)絡(luò)。

1.2.2.基礎(chǔ)設(shè)施

通過云計算、虛擬化技術(shù)實現(xiàn)數(shù)據(jù)中心的建設(shè)，提高資源利用率，避免復(fù)

雜的系統(tǒng)集成和大規(guī)模的設(shè)備占用空間，降低投資成本，簡化管理復(fù)雜性，能

對整體系統(tǒng)運行環(huán)境進行統(tǒng)一監(jiān)管和動態(tài)分配，從而降低計算管理和運行成

本。協(xié)會云平臺數(shù)據(jù)中心按照T3+標(biāo)準(zhǔn)進行選址、選型。

按照系統(tǒng)的高可用性要求，本次項目擬采用新一代的可自愈的基礎(chǔ)設(shè)施。

本次設(shè)計考慮到安全及最優(yōu)成本的同時提高系統(tǒng)資源利用率，并為未來“云”

模式下的協(xié)會應(yīng)用提供無縫的遷移和過渡能力。在數(shù)據(jù)中心的建設(shè)中引入云計

算、虛擬化技術(shù)，在數(shù)據(jù)中心搭建云平臺，通過服務(wù)器虛擬化，有效降低業(yè)務(wù)

系統(tǒng)建設(shè)的硬件投入實現(xiàn)硬件資源管理和使用的集約化。

經(jīng)測算，置五臺高性能物理服務(wù)器作為計算資源，通過在服務(wù)器上安裝配

置虛擬化平臺軟件，在單個物理服務(wù)器實體上，充分使用設(shè)備的空余資源，利

用管理調(diào)度平臺生成多個獨立的虛擬服務(wù)器。每一個虛擬服務(wù)器從功能、性能

和操作方式上等同于傳統(tǒng)的單臺物理服務(wù)器。每個虛擬機可以獨立的裝配置不

同的操作系統(tǒng)而互不影響，從而大大提高資源利用率，降低成本，增強了系統(tǒng)

和應(yīng)用的可用性，提高系統(tǒng)的靈活性和快速響應(yīng)，實現(xiàn)了服務(wù)器虛擬架構(gòu)的整

合。而對于現(xiàn)有物理服務(wù)器上的應(yīng)用，可以通過遷移工具完整的遷移到虛擬化

環(huán)境中，無需重新部署，所有配置保持原樣。

1.2.3.服務(wù)支撐

云平臺日常運維服務(wù)包括：基礎(chǔ)架構(gòu)管理，云平臺管理，網(wǎng)絡(luò)運維，服務(wù)

器運維，監(jiān)控服務(wù)，基礎(chǔ)云資源監(jiān)控服務(wù)。

對于突發(fā)事件，歐唯特信息系統(tǒng)根據(jù)故障的嚴(yán)重程度和影響程度的不同，將

故障級別由低到高分為三級故障、二級故障和一級故障。當(dāng)故障沒有在規(guī)定時限

內(nèi)恢復(fù)或解決時，故障級別將自動升級。當(dāng)故障不能使用有效的遠程支持方式進

行解決時，歐唯特信息系統(tǒng)公司將派遣工程師趕往用戶現(xiàn)場，協(xié)助進行現(xiàn)場故障

診斷及現(xiàn)場故障排除。

1.2.4.應(yīng)用遷移

通過云遷移技術(shù)將現(xiàn)有應(yīng)用系統(tǒng)的無縫切換到云服務(wù)平臺。

1.2.5.信息安全

按照等級保護要求，通過訪問控制、入侵防范、惡意代碼防范、資源控制

等方面來實現(xiàn)信息安全。

1.3.實施產(chǎn)品清單

產(chǎn)品品牌型號配置數(shù)量

2顆10核CPU,CPU型號為

E5-2650v3；內(nèi)存128G,硬

服務(wù)器（計

華為RH2288HV3盤300G*210KSAS/RAID/8Gb5臺

算節(jié)點）

HBA*2/4port1G網(wǎng)卡/RW-

DVD

1顆8核CPU,CPU型號為E5-

2609v3；內(nèi)存16G,硬盤

服務(wù)器（管

華為RH2288HV3300G*210KSAS/RAID/8Gb1臺

理節(jié)點）

HBA*2/4port1G網(wǎng)卡/RW-

DVD

RH2288HV3服

附件華為16G單條*44條

務(wù)器內(nèi)存

17TB凈容量，支持內(nèi)置高速

緩存32GCache,雙控制器

（Active-Active）,板載8個

1GbiSCSI主機接口，2個

存儲服務(wù)器浪潮AS520E-M11臺

24GbSAS寬端口，RAID級別：

0/1/10/5/6/50/60，支持自動

分層，自動精簡配置，卷復(fù)制，

卷鏡像，快照技術(shù)等。

2臺冗余。單臺激活16口，帶

BROCADESAN

光纖交換機博科16根線2臺

Switch

華為網(wǎng)絡(luò)交換三層千兆以太網(wǎng)交換機，背板

機S5700-28C-帶寬：160Gbps,包轉(zhuǎn)發(fā)率

網(wǎng)絡(luò)交換機華為2臺

SI-AC65.5Mpps,24個10/100/1000

以太網(wǎng)口，可堆疊

VPN防火墻，網(wǎng)絡(luò)吞吐量：

300Mbps,并發(fā)連接數(shù):

130000，用戶數(shù)限制：無用

華為USG6360戶數(shù)限制，安全過濾帶寬：

防火墻華為2臺

防火墻170Mbps,3+1個管理快速以

太網(wǎng)端口、可升級到5個快

速以太網(wǎng)端口、1個SSM擴

展插槽

VMware

基礎(chǔ)虛擬化VMware

vSphere6標(biāo)準(zhǔn)版1套

軟件vSphere

Std

虛擬化管理VMwareVMware

標(biāo)準(zhǔn)版1套

平臺vCentervCenterStd

VCAC

云管理平臺VMware

Standard標(biāo)準(zhǔn)版1套

軟件vCloud

Version

北京大興星光

世紀(jì)互

機柜租賃影視城數(shù)據(jù)中16A機柜1個

聯(lián)

心

5M獨享雙線

公網(wǎng)帶寬雙線BGP16個公網(wǎng)IP5M

BGP

1.4.實施工作內(nèi)容

工作項目服務(wù)名稱服務(wù)內(nèi)容

?私有云環(huán)境需求分析，環(huán)境調(diào)研。前

需求分析業(yè)務(wù)分析，需求調(diào)研

期云集成方案設(shè)計

?私有云平臺基礎(chǔ)架構(gòu)設(shè)計

?私有云平臺管理流程設(shè)計

云平臺設(shè)計私有云平臺規(guī)劃設(shè)計

?私有云平臺Portal需求分析

?及該階段項目管理

?私有云平臺基礎(chǔ)架構(gòu)部署

?私有云平臺管理流程實施

云平臺部署私有云平臺安裝，配置

?私有云平臺Portal部署及實施階段

項目管理工作

?私有云平臺網(wǎng)絡(luò)環(huán)境安裝部署及調(diào)試

私有云計算資源部署調(diào)試

系統(tǒng)環(huán)境部私有云平臺底層環(huán)境安裝部?私有云存儲資源部署調(diào)試

署署，策略配置?默認監(jiān)控平臺部署私有云基礎(chǔ)架構(gòu)系

統(tǒng)集成測試

?及項目管理工作

?操作系統(tǒng)安裝及系統(tǒng)調(diào)優(yōu)

應(yīng)用環(huán)境測為業(yè)務(wù)系統(tǒng)上線部署OS及配?CBP監(jiān)控服務(wù)出署

試與部署合上線?配合應(yīng)用系統(tǒng)上線測試

?項目管理

?準(zhǔn)備SIT（系統(tǒng)集成測試）環(huán)境

系統(tǒng)集成測私有云平臺與業(yè)務(wù)系統(tǒng)聯(lián)調(diào)測

?與應(yīng)用部門聯(lián)調(diào)測試

試試

?項目管理

?準(zhǔn)備UAT測試環(huán)境與應(yīng)用部門聯(lián)調(diào)執(zhí)

UAT最終驗收測試行UAT測試

?項目管理

第2章網(wǎng)絡(luò)技術(shù)實施方案

2.1.總體網(wǎng)絡(luò)架構(gòu)設(shè)計

協(xié)會云平臺項目的總體架構(gòu)概括為四層。四層為計算層、網(wǎng)絡(luò)層、平臺

層、應(yīng)用層，網(wǎng)絡(luò)拓撲如下。

圖2總體網(wǎng)絡(luò)架構(gòu)設(shè)計

A計算層

計算層網(wǎng)絡(luò)主要包括物理服務(wù)器、存儲設(shè)備網(wǎng)絡(luò)傳輸。通過冗余部署的光

纖交換機，實現(xiàn)高速數(shù)據(jù)存儲網(wǎng)絡(luò)，為云平臺提供高速，穩(wěn)定的計算網(wǎng)絡(luò)。

>網(wǎng)絡(luò)層

網(wǎng)絡(luò)層主要完成對數(shù)據(jù)的可靠性傳送，主要負責(zé)互聯(lián)網(wǎng)、VPN以及今后與

各個保險機構(gòu)專線互聯(lián)。設(shè)計采用5M互聯(lián)網(wǎng)出口基礎(chǔ)上搭建VPN與協(xié)會內(nèi)網(wǎng)安

全互聯(lián)?；ヂ?lián)網(wǎng)出口采用二臺下一代防火墻實現(xiàn)冗余部署，避免單點故障風(fēng)

險。

>平臺層

平臺層基于云計算技術(shù)和中間件技術(shù)，主要包括laaS層以及運維支撐層，

通過云計算和虛擬化技術(shù)，具有靈活的可擴展性，主要實現(xiàn)虛擬化環(huán)境下各個

虛擬機直接網(wǎng)絡(luò)傳輸。

>應(yīng)用層

應(yīng)用層由遷移到云平臺的原有應(yīng)用和新建應(yīng)用組成。通過二臺冗余的核心

千兆交換機，實現(xiàn)應(yīng)用服務(wù)器之間高速、穩(wěn)定的內(nèi)部網(wǎng)絡(luò)傳輸。通過其內(nèi)置的

HA功能實現(xiàn)冗余部署，防止單點故障產(chǎn)生。

2.2.網(wǎng)絡(luò)子系統(tǒng)

云平臺IDC網(wǎng)絡(luò)也采用三層結(jié)構(gòu)進行設(shè)計，即：IDC出口層、核心交換

層、接入層。詳細設(shè)計建議見后續(xù)各章節(jié)。

2.2.1.云平臺數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計

本著高先進性與實用性、可靠性、高安全性、高擴展性以及遵循開放標(biāo)準(zhǔn)

的設(shè)計原則，云平臺數(shù)據(jù)中心交換網(wǎng)解決方案采用流行兩層網(wǎng)絡(luò)結(jié)構(gòu)。

1.出口層

采用雙機冗余部署方式，部署1對防火墻。2臺防火墻間通過鏈路互聯(lián)；

向內(nèi)通過千兆鏈路連接2臺核心交換機。即：對外通過5M互聯(lián)網(wǎng)線路連接互聯(lián)

網(wǎng)或VPN連接到協(xié)會內(nèi)部網(wǎng)絡(luò)心，通過千兆鏈路連接平臺內(nèi)網(wǎng)。

防火墻主要實現(xiàn)如下功能：

>連接不同的網(wǎng)絡(luò)，掌握全網(wǎng)路由，實現(xiàn)必要的路由策略控制；

>圍繞云平臺信息資源，負責(zé)各方向流量的高速轉(zhuǎn)發(fā);

>提供不同業(yè)務(wù)所需的QoS保證，實施基于聚合規(guī)則的流量控制策略；

>提供IPv4、IPv6網(wǎng)絡(luò)互聯(lián)互通過渡技術(shù)功能。

2.核心交換層

采用雙機冗余部署方式，部署1對核心交換機。2臺核心交換機間通過雙

千兆鏈路互聯(lián)，向下通過千兆鏈路連接接入層交換機，向上通過千兆鏈路連接

上行防火墻。

在此網(wǎng)絡(luò)架構(gòu)中，服務(wù)器網(wǎng)絡(luò)接口連接在核心交換機上，數(shù)據(jù)中心內(nèi)部基

于二層網(wǎng)絡(luò)進行通訊，數(shù)據(jù)中心與外連網(wǎng)絡(luò)基于三層網(wǎng)絡(luò)進行通訊。

核心交換機主要實現(xiàn)如下功能：

>作為內(nèi)部服務(wù)器網(wǎng)關(guān)。

>作為云數(shù)據(jù)中心網(wǎng)絡(luò)中樞，負責(zé)內(nèi)網(wǎng)橫向和縱向流量的高速轉(zhuǎn)發(fā)；

3.IDC網(wǎng)絡(luò)設(shè)備產(chǎn)品推薦

本期云平臺數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)，各主要網(wǎng)絡(luò)設(shè)備配置如下表:

三層千兆以太網(wǎng)交換機，背板帶寬：

華為網(wǎng)絡(luò)交換機S5700-

160Gbps,包轉(zhuǎn)發(fā)率65.5Mpps,24個2臺

28C-SI-AC

10/100/1000以太網(wǎng)口，可堆疊

網(wǎng)絡(luò)設(shè)備VPN防火墻，網(wǎng)絡(luò)吞吐量：300Mbps,并發(fā)連接

數(shù)：130000，用戶數(shù)限制：無用戶數(shù)限制，女

華為USG6360防火墻全過濾帶寬：170Mbps,3+1個管理快速以太2臺

網(wǎng)端口、可升級到5個快速以太網(wǎng)端口、1個

SSM擴展插槽

2.2.2.IP地址規(guī)劃

.IP地址總體規(guī)劃

為滿足后期業(yè)務(wù)的承載需求，首先需要對全網(wǎng)的IP地址進行一個科學(xué)精確

的規(guī)劃：

>為后期的網(wǎng)絡(luò)拓展、業(yè)務(wù)拓展等工作提供支持;

>實現(xiàn)接入點的精確綁定，保證接入點用戶可定位、可溯源、可隔離；

>為業(yè)務(wù)的可識別、可分流和端到端的QoS保障提供支撐；

>統(tǒng)一規(guī)范，為其他業(yè)務(wù)統(tǒng)一的策略部署、新業(yè)務(wù)統(tǒng)一部署打下基礎(chǔ)；

>實現(xiàn)每接入點/每用戶/每業(yè)務(wù)/按需分配IP地址；

>規(guī)劃初中期采用IPv4地址，后期可以根據(jù)需求采用IPv6地址。

1.IPv4地址規(guī)劃

本次針對內(nèi)網(wǎng)、外網(wǎng)地址規(guī)劃，全網(wǎng)部署10.0.0.0/8網(wǎng)段，其中內(nèi)網(wǎng)部署

10.0.1.T10.0.5.254段地址、外網(wǎng)部署10.0.6.T10.255.255.255段地址。

玄平臺IDC采用公網(wǎng)IPv4地址，地址規(guī)模為1個C類。

2?2?2?2.云平臺IDC網(wǎng)絡(luò)IP地址規(guī)劃

>網(wǎng)絡(luò)設(shè)備VLAN地址

IDC網(wǎng)絡(luò)設(shè)備VLAN地址采用保留IPv4地址，在內(nèi)網(wǎng)地址段中選擇一段,

建議在10.0.1.0/16地址段進行分配，具體見下表：

設(shè)備VLAN地址

防火墻/32、10.0.1.2/32

核心交換機/32、10.0.1.4/32

接入交換機10.0.1.5/32、10.0.1.6/32

>網(wǎng)絡(luò)設(shè)備互聯(lián)地址

IDC網(wǎng)絡(luò)設(shè)備間、IDC網(wǎng)絡(luò)設(shè)備與外聯(lián)設(shè)備間互聯(lián)地址在10.0.5.0/24范圍

內(nèi)選擇。

>服務(wù)器地址

虛擬化服務(wù)器地址采用私網(wǎng)IP地址。

2.2.3.路由協(xié)議設(shè)計

>路由協(xié)議設(shè)計原則

內(nèi)網(wǎng)、外網(wǎng)各分配一個保留的自治域編號。

內(nèi)或外網(wǎng)IGP協(xié)議建議采用OSPF或IS-IS協(xié)議中的一種協(xié)議，內(nèi)網(wǎng)IGP

協(xié)議建議運行于所有路由器；

網(wǎng)內(nèi)設(shè)備和互聯(lián)鏈路路由信息采用IGP協(xié)議進行通告；

>內(nèi)部IGP規(guī)劃

由于IDC網(wǎng)絡(luò)三層網(wǎng)絡(luò)規(guī)模都不大，設(shè)備數(shù)量有限(少于50臺)，優(yōu)先考

慮OSPFo

2.2.4.VPN設(shè)計

為了增強安全性，協(xié)會內(nèi)網(wǎng)可以通過VPN與云數(shù)據(jù)中心內(nèi)業(yè)務(wù)系統(tǒng)互聯(lián)。

建議在協(xié)會防火墻和云數(shù)據(jù)中心防火墻啟用IPSecVPN實現(xiàn)安全連接。

2.2.5.QOS設(shè)計

.QOS模型設(shè)計

IETF提出了許多QoS服務(wù)模型和協(xié)議，其中比較突出的有IntServ

(IntegratedServices)模型和DiffServ(DifferentiatedServices)模

型。

DiffServ(區(qū)分服務(wù))模型的業(yè)務(wù)流被劃分成不同的區(qū)分服務(wù)類。一個業(yè)

務(wù)流的區(qū)分服務(wù)類由其IP包頭中的區(qū)分服務(wù)標(biāo)記字段(DifferentService

CodePoint,簡稱DSCP)來表示。區(qū)分服務(wù)只包含有限數(shù)量的業(yè)務(wù)級別，狀態(tài)

信息的數(shù)量少，因此實現(xiàn)簡單，擴展性較好。目前，區(qū)分服務(wù)是業(yè)界認同的IP

骨干網(wǎng)的QoS解決方案，盡管IETF為每個標(biāo)準(zhǔn)的PHB都定義了推薦的DSCP

值，但是設(shè)備廠家可以重新定義DSCP與PHB之間的映射關(guān)系，用戶可根據(jù)網(wǎng)絡(luò)

實際運維需要進行靈活定義。DiffServ對聚合的業(yè)務(wù)類提供QoS保證，可擴展

性好，便于在大規(guī)模網(wǎng)絡(luò)中使用。

.QOS規(guī)劃方案

1.流量分類及標(biāo)記

流量分類是將數(shù)據(jù)報文劃分為多個優(yōu)先級或多個服務(wù)類C

網(wǎng)絡(luò)管理者可以設(shè)置流量分類的策略，這個策略除可以包括IP報文的IP

優(yōu)先級或DSCP值、802.Ip的CoS值等帶內(nèi)信令，還可以包括輸入接口、源IP

地址、目的IP地址、MAC地址、IP協(xié)議或應(yīng)用程序的端口號等。

對于網(wǎng)絡(luò)協(xié)議控制管理、語音、視頻類數(shù)據(jù)流，可以根據(jù)協(xié)議類型來進行

分類和標(biāo)記。除此之外，在接入交換機側(cè)，也可以根據(jù)網(wǎng)絡(luò)的規(guī)劃，將不同的

業(yè)務(wù)數(shù)據(jù)流放入不同的VLAN之中，不同業(yè)務(wù)的IP地址空間不相同，也可以根

據(jù)源IP地址及目的IP地址，在入口處對進入網(wǎng)絡(luò)的IP報文進行分類和標(biāo)記。

流量分類后就打標(biāo)記。所謂標(biāo)記就是根據(jù)SLA以及流分類的結(jié)果對業(yè)務(wù)流

打上類別標(biāo)記。目前RFC定義了六類標(biāo)準(zhǔn)業(yè)務(wù)即：EF、AF1-AF4.BE,并且通過

定義各類業(yè)務(wù)的PHB(Per-hopBehavior)明確了這六類業(yè)務(wù)的服務(wù)實現(xiàn)要求，

即設(shè)備處理各類業(yè)務(wù)的具體實現(xiàn)要求。從業(yè)務(wù)的外在表現(xiàn)看，基本上可認為EF

流要求低時延、低抖動、低丟包率，對應(yīng)于實際應(yīng)用中的Video、語音、會議

電視等實時業(yè)務(wù)；AF流要求較低的延遲、低丟包率、高可靠性，對應(yīng)于數(shù)據(jù)可

靠性要求高的業(yè)務(wù)如電子商務(wù)、企業(yè)VPN等；對BE流則不保證最低信息速率和

時延，對應(yīng)于傳統(tǒng)互聯(lián)網(wǎng)業(yè)務(wù)。

在某些情況下需要重標(biāo)記DSCP。例如在Ingress點業(yè)務(wù)流量進入以前已經(jīng)

有了DSCP標(biāo)記(如上游域是DSCP域的情形，或者用戶自己進行了DSCP的標(biāo)

記)，但是根據(jù)SLA,又需要對DSCP進行重新標(biāo)記。

分類標(biāo)記將攜帶在IP報文中，作為后續(xù)QoS處理的依據(jù)。

2.隊列技術(shù)及擁塞管理

擁塞管理是指在網(wǎng)絡(luò)發(fā)生擁塞時，如何進行管理和控制,處理的方法是使

用隊列技術(shù)，具體過程包括隊列的創(chuàng)建、報文的分類、將報文送入不同的隊

列、隊列調(diào)度等。當(dāng)接口沒有發(fā)生擁塞時，報文到達接口后立即被發(fā)送出去，

當(dāng)報文到達的速度超過接口發(fā)送報文的速度時，接口就發(fā)生了擁塞。擁塞管理

就會將這些報文進行分類，送入不同的隊列；而隊列調(diào)度將對不同優(yōu)先級的報

文進行分別處理，優(yōu)先級高的報文會得到優(yōu)先處理。常用的隊列有FIFO、PQ、

CQ、WFQ、CBWFQ、等。

>PQ

需要先對報文進行分類，然后按報文的類別將報文送入PQ相應(yīng)的隊列。在

報文出隊列的時候，PQ首先讓高優(yōu)先隊列中的報文出隊，直到高優(yōu)先隊列中的

報文發(fā)送完，才發(fā)送中優(yōu)先隊列中的報文，同樣直到發(fā)送完中優(yōu)先隊列中的報

文，才能發(fā)送低優(yōu)先隊列的報文。

這樣，分類時屬于較高優(yōu)先級隊列的報文將會得到優(yōu)先發(fā)送，而較低優(yōu)先

級的報文將會在發(fā)生擁塞時被較高優(yōu)先級的報文搶先，使得關(guān)鍵業(yè)務(wù)的報文能

夠得到優(yōu)先處理，非關(guān)鍵業(yè)務(wù)的報文在網(wǎng)絡(luò)處理完關(guān)鍵業(yè)務(wù)后的空閑中得到處

理。這樣處理既保證了關(guān)鍵業(yè)務(wù)的優(yōu)先，又充分利用了網(wǎng)絡(luò)資源。

由于PQ總是保證高優(yōu)先級的報文得到優(yōu)先轉(zhuǎn)發(fā)，所以當(dāng)高優(yōu)先級的流量過

多時，可能會造成低優(yōu)先級的流量沒有轉(zhuǎn)發(fā)機會，所以使用PQ時應(yīng)該合理規(guī)劃

各個優(yōu)先級的流量，適當(dāng)限制高優(yōu)先級的流量，使低優(yōu)先級的流量也獲得一定

的發(fā)送機會。

>CBWFQ/LLQ

CBWFQ按照報文進入網(wǎng)絡(luò)設(shè)備的端口、報文的協(xié)議、是否匹配ACL來對報

文進行分類。每個流量類別市應(yīng)一個隊列，支持64個流量類別，不同類別的報

文送入不同的隊列。對于不匹配任何類別的報文，則被送入默認隊列。隊列采

用WRR算法進行輪詢。

可以為每個流量類別定制一定的傳輸特性，如帶寬、傳輸權(quán)值、傳輸限制

等。為一個隊列指定的帶寬通常是指在帶寬擁塞時為該隊列所保證的帶寬。調(diào)

度器按照分配給每個流量類別的權(quán)值保證每個隊列分配到一定的帶寬，可以對

每個隊列為每個流量類別設(shè)置長度限制，長度限制是在該類別隊列中允許的最

大分組數(shù)量，如果隊列達到了長度限制，分組丟棄策略生效，CBWFQ可以和隊

尾丟棄、WRED等丟棄機制相結(jié)合。

這樣，在端口不發(fā)生擁塞的情況下，可以使各個流量類別的報文能獲得一

定的帶寬，在端口擁塞的情況下，又可以保證屬于優(yōu)先隊列的報文不會占用超

出規(guī)定的帶寬，保護其他報文得到相應(yīng)的帶寬。

CBWFQ允許為分配給每個流量類別的帶寬提供確定性的或〃硬〃的擔(dān)保。對

于高速鏈路或骨干網(wǎng)來說重點是帶寬分配的硬性擔(dān)保，CBWFQ是一種功能強大

的QoS工具。

網(wǎng)絡(luò)擁塞會導(dǎo)致網(wǎng)絡(luò)性能的降低和帶寬得不到高效的使用，為了避免擁

塞，隊列可以通過丟棄數(shù)據(jù)包避免在任何用能的地方出現(xiàn)擁塞。隊列管理的主

要目的就是通過合理控制Buffer的使用，對可能出現(xiàn)的擁塞進行控制。其常用

的方法是采用RED/WRED算法，在Buffer的使用率超過一定門限后對部分級別

較低的報文進行早期丟棄，以避免在擁塞時直接進行末尾丟棄引起著名的TCP

全局同步問題，同時保護級別較高的業(yè)務(wù)不受擁塞的影響。

2?2?5.3.QOS部署建議

根據(jù)承載多業(yè)務(wù)要求，充不同業(yè)務(wù)需實施不同的QoS策略。

在網(wǎng)絡(luò)發(fā)生擁塞的時候，采用隊列的策略來調(diào)度每種業(yè)務(wù)，使得每種業(yè)務(wù)

獲取預(yù)先設(shè)定的服務(wù)質(zhì)量參數(shù)。目前隊列調(diào)度機制有先進先出、優(yōu)先、加權(quán)輪

循以及帶有優(yōu)先隊列的加權(quán)輪循等。

為了支持多個業(yè)務(wù)等級，設(shè)備將不同等級的分組放入不同的隊列中。設(shè)備

在處理過程中，按照一定的隊列調(diào)度算法，決定從哪個隊列中取出數(shù)據(jù)分組進

行服務(wù)。隊列調(diào)度算法的好壞直接影響路由器的性能和QoS效果。

2.2.6.可靠性設(shè)計

整個云平臺數(shù)據(jù)中心網(wǎng)絡(luò)的高可靠性是大規(guī)模云數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)成功的

關(guān)鍵，對于重要節(jié)點比如核心設(shè)備雙機部署，提高單點可靠性；網(wǎng)絡(luò)設(shè)備的關(guān)

鍵部件，比如防火墻、交換機等都采用冗余設(shè)計，控制層面卻數(shù)據(jù)層面分離等

提高設(shè)備自身的可靠性；對于整個網(wǎng)絡(luò)，部署快速故障檢測協(xié)議，能快速感知

并自動恢復(fù)，提高整網(wǎng)的可靠性；軟件的在線升級和熱補丁是可靠性設(shè)計的重

要后盾。

2.2.6.1.設(shè)備高可靠性

以太網(wǎng)存在兩個不同的操作平面：控制平面和數(shù)據(jù)平面c控制平面主要是

指通訊協(xié)議、MAC信息和其它協(xié)議報文，還包括網(wǎng)絡(luò)設(shè)備本身的主機軟件，控

制平面用來實現(xiàn)網(wǎng)絡(luò)元素之間的通信?？刂破矫嬉话愫陀脩魯?shù)據(jù)共享通信鏈

路。

數(shù)據(jù)平面主要是指以太網(wǎng)承載的各種業(yè)務(wù)，如語音、媒體流、辦公數(shù)據(jù)等

VPN業(yè)務(wù)等。這些業(yè)務(wù)對于以太網(wǎng)是數(shù)據(jù)轉(zhuǎn)發(fā)，主要是流量的沖擊，內(nèi)部一般

不采用過多的安全控制策略。

2.2.6.2.協(xié)議高可靠性

1.鏈路聚合

鏈路聚合也稱為鏈路捆綁、端口聚集或鏈路聚集，就是將多個端口聚合在

一起形成一個匯聚組，以實現(xiàn)出/入負荷在各成員端口中的分擔(dān)。從外面看起

來，一個匯聚組好象就是一個端口。鏈路聚合的工作方式支持靜態(tài)Trunk方式

及動態(tài)LACP方式，通過配置可以實現(xiàn)多條鏈路的負載分擔(dān)及相互備份。MC-LAG

支持跨主機的鏈路捆綁，可用于雙歸場景中的主備保護。

鏈路聚合的優(yōu)點：

1）增加網(wǎng)絡(luò)帶寬，端口聚合可以將多個連接的端口捆綁成為一個邏輯連

接，捆綁后的帶寬是每個獨立端口的帶寬總和；

2）提高網(wǎng)絡(luò)連接的可靠性。當(dāng)一條鏈路故障，流量會自動在剩下的鏈路間

重新分配；

3）避免二層環(huán)路。

2.2.7.安全性設(shè)計

2.2.7.1.網(wǎng)路安全風(fēng)險分析

據(jù)ISCA統(tǒng)計，隨著安全威脅的升級，全球每年由信息安全問題導(dǎo)致的損失

約數(shù)百億美金，其中源于內(nèi)部的威脅達60%,來自外部的威脅達40機

圖3網(wǎng)絡(luò)安全威脅分析

云平臺數(shù)據(jù)中心是企業(yè)信息化系統(tǒng)的基石，是企業(yè)業(yè)務(wù)集中化部署、發(fā)

布、存儲的區(qū)域，如果數(shù)據(jù)中心不可用，公司運作可能被削弱或被完全停止。

因此，網(wǎng)絡(luò)安全對數(shù)據(jù)中心來說至關(guān)重要。但一直以來，數(shù)據(jù)中心都是一個安

全措施嚴(yán)重不足的區(qū)域。根據(jù)客戶調(diào)查、層出不窮的安全威脅和日益增長的專

利信息保護需求，企業(yè)必須為數(shù)據(jù)中心提供足夠的安全保障，防止來自內(nèi)部的

攻擊一一無論是有意還是無意導(dǎo)致。

云平臺數(shù)據(jù)中心主要面臨來自以下幾個方面的風(fēng)險：

■數(shù)據(jù)機密風(fēng)險：企業(yè)和個人數(shù)據(jù)托管后如何保證數(shù)據(jù)的機密性。

■訪問權(quán)限風(fēng)險：多用戶場景下，不同用戶之間的訪叵控制，以及單個用

戶的權(quán)限管理和控制。用戶行為監(jiān)控。

■管理權(quán)限風(fēng)險：企業(yè)托管業(yè)務(wù)和數(shù)據(jù)的管理權(quán)限與責(zé)任劃分。

■數(shù)據(jù)恢復(fù)風(fēng)險：大規(guī)模數(shù)據(jù)的備份和恢復(fù)。

■應(yīng)用威脅風(fēng)險：多用戶多途徑接入，多種應(yīng)用共存的場景下安全防護策

略有效性。

2272網(wǎng)路安全建設(shè)思路

云平臺數(shù)據(jù)中心網(wǎng)絡(luò)安全不僅僅是把安全設(shè)備簡單地疊加到整個網(wǎng)絡(luò)，網(wǎng)

絡(luò)安全是一個整體，需要把安全融合到網(wǎng)絡(luò)的每個部分。依此下面提出有一體

化、分層次、綜合全面的網(wǎng)絡(luò)安全建設(shè)思路。

思路一：網(wǎng)絡(luò)安全建設(shè)需要全局視圖，提供一體化安全解決方案。

下劃線.接入

權(quán)限控制

網(wǎng)絡(luò)

一體化控制

圖4一體化安全解決方案圖

思路二：網(wǎng)絡(luò)安全架構(gòu)建設(shè)是分層次的，在不同環(huán)節(jié)都要進行防護。

分層次

圖5分層次的網(wǎng)絡(luò)安全架構(gòu)圖

思路三：網(wǎng)絡(luò)安全體系不是安全設(shè)備的簡單疊加，需要綜合全面考慮技術(shù)

以及設(shè)備。

2.2.8,網(wǎng)管設(shè)計

基于云平臺數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)定運行要求高、大規(guī)模的信息數(shù)據(jù)、高并發(fā)、

跨系統(tǒng)等特性，數(shù)據(jù)中心網(wǎng)絡(luò)智能運維架構(gòu)重點強調(diào)統(tǒng)一網(wǎng)管（針對信息量龐

大）、遠程運維、網(wǎng)絡(luò)全方位監(jiān)控和故障定位與處理（針對網(wǎng)絡(luò)穩(wěn)定運行要求

高）以實現(xiàn)“智能網(wǎng)管系統(tǒng)保障數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)定運行”的目標(biāo)。

2.2.8.1.網(wǎng)絡(luò)全方位監(jiān)控管理

歐唯特提供豐富的性能監(jiān)控對象，全方位診斷網(wǎng)絡(luò)；同時提供數(shù)據(jù)轉(zhuǎn)發(fā)透

視化，實現(xiàn)精細化的流量管理，為網(wǎng)絡(luò)升級和客戶拓展提供依據(jù)。具體監(jiān)控內(nèi)

容如下：

>網(wǎng)元性能，針對不同類型網(wǎng)元本身性能指標(biāo)進行監(jiān)控

>端口性能，針對不同類型網(wǎng)元的不同類型端口的性能指標(biāo)進行監(jiān)控

>鏈路性能，針對網(wǎng)元之間的鏈路的性能指標(biāo)進行監(jiān)控

>業(yè)務(wù)性能，針對業(yè)務(wù)的性能進行監(jiān)控

>網(wǎng)絡(luò)可用率：網(wǎng)絡(luò)可用率二網(wǎng)絡(luò)可用時間/總時間

指IP層的可達性，可以通過增加冗余設(shè)備、冗余線路和有效的管理來提

高。要實現(xiàn)三個九的可用率，即99.9%,那么一個網(wǎng)絡(luò)在一個月內(nèi)的斷網(wǎng)時間

就不能超過45分鐘：對于四個九，即99.99%,指一個網(wǎng)絡(luò)在一個月內(nèi)的斷網(wǎng)

時間不能超過5分鐘。大部分運營商的網(wǎng)絡(luò)可用率為三個九；部分可以達到四

個九；通常網(wǎng)絡(luò)設(shè)備的可用率在99.99%以上；鏈路的可用率在99.9%以上。

2.2?82快速故障定位與處理

歐唯特具有業(yè)界領(lǐng)先的告警相關(guān)性分析系統(tǒng)，在網(wǎng)絡(luò)出現(xiàn)緊急故障的情況

下，可根據(jù)網(wǎng)絡(luò)資源及業(yè)務(wù)關(guān)系，自動完成根源告警及衍生告警的分析定位，

縮短故障處理時間。網(wǎng)絡(luò)告警及業(yè)務(wù)數(shù)據(jù)之間可實現(xiàn)多樣化的關(guān)聯(lián)、導(dǎo)航，快

速了解和評估網(wǎng)絡(luò)運行狀況。同時，對重要客戶的業(yè)務(wù)，可設(shè)置單獨的故障提

示及處理功能，便于運營商這不同的客戶提供差異化的服務(wù)C

2.2.9.云平臺IDC虛擬化部署

云平臺數(shù)據(jù)中心網(wǎng)絡(luò)需要通過網(wǎng)絡(luò)虛擬化，提升網(wǎng)絡(luò)利用率、可靠性及可

擴展性。設(shè)備支持數(shù)據(jù)中心網(wǎng)絡(luò)端到端的虛擬化，木項目的虛擬化可以劃分為

如下圖所示的幾個層次：

圖6數(shù)據(jù)中心端到端的虛擬化

從VM層到網(wǎng)絡(luò)層依次為：

>技術(shù)A,邊緣虛擬化：VM與接入交換機之間采用IEEE802.IQbg,

IEEE802.IQbr,滿足VM遷移、交換需求

>技術(shù)B,二層多路徑：TRILL,SPB,實現(xiàn)大規(guī)模VM遷移網(wǎng)絡(luò)

>技術(shù)C/D：光纖互聯(lián)orL2oL3(VPLS,OTV,NV03)實現(xiàn)跨域VM遷移

網(wǎng)絡(luò)，提升整網(wǎng)利用率，用于做數(shù)據(jù)中心的異地容災(zāi)備份，一般建專

線或在公網(wǎng)建醋道等多種方式實現(xiàn)互聯(lián)，這期招投標(biāo)項目里面沒有提

這個需求，故不詳述，但建議后期增加建設(shè)，可以提高數(shù)據(jù)中心的整

體可靠性。

其他：機架集群N:1虛擬化,VSC,ZTEVirtualSwitching

Cluster,支持4臺虛擬為1臺，簡化網(wǎng)絡(luò)拓撲，提升網(wǎng)絡(luò)性能。

2.2.9.1.接入網(wǎng)絡(luò)邊緣虛擬化

圖7VM接入網(wǎng)絡(luò)邊緣虛擬化

在云平臺數(shù)據(jù)中心的服務(wù)器層面，往往將一個物理服務(wù)器虛擬為多個虛擬

服務(wù)器使用VM有以下幾個優(yōu)點：

1）提升服務(wù)器資源利用率

2）VM遷移實現(xiàn)業(yè)務(wù)均衡和快速恢復(fù)

3）VM之間做安全策略

可以通過在接入交換機上實現(xiàn)網(wǎng)絡(luò)邊緣及接口的虛擬化，將VM交換功能交

還給網(wǎng)絡(luò)，達到如下目的：

1）釋放CPU資源

2）網(wǎng)絡(luò)統(tǒng)一管理、監(jiān)控

3）支持根據(jù)VM標(biāo)識進行端口還回轉(zhuǎn)發(fā)

2N.9.2.后期虛擬機遷移方案

虛擬化是云平臺數(shù)據(jù)中心應(yīng)用的重點，也是云平臺數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計需要

考慮的重點內(nèi)容，目前主要的虛擬機遷移方式有冷遷移和熱遷移兩種，簡要的

分析如下：

需求固定時間（流量波谷）進行遷移，用戶業(yè)務(wù)中斷業(yè)務(wù)不中斷

服務(wù)器MAC/IP可改變MAC/IP地址不改變

12方案

L3/L2網(wǎng)絡(luò)均可

共享存儲網(wǎng)絡(luò)；統(tǒng)一

統(tǒng)一管理平臺

方案