版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
目錄
第1章項(xiàng)目概述...........................................10
1.1項(xiàng)目背景.............................................10
1.2項(xiàng)目需求概述.........................................10
1.2.1網(wǎng)絡(luò)和域設(shè)計(jì)需求.................................10
第2章項(xiàng)目分析...........................................13
2.1項(xiàng)目重點(diǎn)難點(diǎn)分析....................................13
2.1.1“分區(qū)+分層+分平面”的網(wǎng)絡(luò)隔離需求...............13
2.1.2不同類型應(yīng)用系統(tǒng)的承載需求.......................14
2.1.3端到端立體安全的保障.............................16
2.1.4開(kāi)放兼容、統(tǒng)一、面向未來(lái)的運(yùn)營(yíng)運(yùn)維管理...........19
2.1.5云平臺(tái)與數(shù)據(jù)的可靠性與可擴(kuò)展性...................21
2.1.6云平臺(tái)的實(shí)施和服務(wù)保障...........................22
2.1.7有效實(shí)施局委辦的業(yè)務(wù)遷移.........................22
2.2具有前瞻性的平臺(tái)優(yōu)勢(shì).................................22
2.2.1自主可控的云計(jì)算整體解決方案.....................23
2.2.2開(kāi)放的云計(jì)算方案架構(gòu)設(shè)計(jì).........................24
2.2.3數(shù)據(jù)中心立體安全保障方案.........................25
1
2.2.4端到端數(shù)據(jù)中心集成解決方案.......................25
第3章總體規(guī)劃...........................................27
3.1總體設(shè)計(jì).............................................27
3.2建設(shè)范圍............................................30
3.3技術(shù)架構(gòu).............................................31
3.4網(wǎng)絡(luò)架構(gòu).............................................34
3.5部署架構(gòu).............................................35
3.6管控架構(gòu).............................................35
3.6.1審核實(shí)施方案.....................................35
3.6.2清晰服務(wù)目錄.....................................36
3.6.3明確服務(wù)級(jí)別協(xié)議.................................36
3.6.4制定溝通計(jì)劃.....................................36
3.6.5統(tǒng)一服務(wù)窗口.....................................37
3.6.6統(tǒng)一運(yùn)維流程.....................................37
3.6.7規(guī)范服務(wù)管理標(biāo)準(zhǔn).................................37
3.6.8制定統(tǒng)一租賃標(biāo)準(zhǔn).................................37
3.6.9重視災(zāi)備服務(wù).....................................38
3.6.10服務(wù)結(jié)果可追溯、可審計(jì).........................38
2
3.6.11實(shí)行績(jī)效考核標(biāo)準(zhǔn)...............................38
3.7服務(wù)流程...........................................38
3.7.1云產(chǎn)品發(fā)布流程...................................39
3.7.2云服務(wù)資源創(chuàng)建流程..............................40
3.7.3云服務(wù)應(yīng)急資源創(chuàng)建流程..........................40
3.7.4云服務(wù)特殊區(qū)域創(chuàng)建流程...........................41
3.7.5云服務(wù)申請(qǐng)退出流程...............................42
3.8業(yè)務(wù)運(yùn)營(yíng)...........................................43
3.8.1業(yè)務(wù)運(yùn)營(yíng)功能架構(gòu).................................43
3.8.2業(yè)務(wù)運(yùn)營(yíng)技術(shù)架構(gòu)................................45
3.9設(shè)計(jì)概述...........................................47
3.9.1機(jī)房服務(wù)........................................47
3.9.2計(jì)算服務(wù).......................................49
3.9.3存儲(chǔ)服務(wù)........................................49
3.9.4備份服務(wù)........................................51
3.9.5網(wǎng)絡(luò)服務(wù)........................................52
3.9.6安全服務(wù)........................................52
3.9.7擴(kuò)容服務(wù)........................................54
3
3.9.8管理平臺(tái).........................................54
第4章機(jī)房服務(wù).........................................57
4.1服務(wù)內(nèi)容...........................................57
4.1.1基礎(chǔ)設(shè)施服務(wù)...................................57
4.1.2主機(jī)托管服務(wù)...................................58
4.2服務(wù)方案...........................................58
4.3服務(wù)界面...........................................103
第5章計(jì)算服務(wù).........................................105
5.1服務(wù)內(nèi)容...........................................105
5.2服務(wù)方案...........................................107
5.2.1設(shè)計(jì)原則.......................................108
5.2.2計(jì)算高可用設(shè)計(jì).................................110
5.2.3虛擬服務(wù)器計(jì)算性能指標(biāo)參考.....................113
5.3管理界面...........................................116
第6章存儲(chǔ)服務(wù).........................................118
6.1服務(wù)內(nèi)容..........................................118
6.2服務(wù)方案...........................................118
存儲(chǔ)分級(jí).....................................119
4
6.2.2設(shè)計(jì)原則.........................................120
6.2.3存儲(chǔ)架構(gòu)設(shè)計(jì).....................................126
6.3管理界面............................................131
第7章備份服務(wù).........................................134
7.1服務(wù)內(nèi)容...........................................134
7.2服務(wù)方案............................................136
7.2.1云平臺(tái)本身的備份和恢復(fù)方案......................136
7.2.2云平臺(tái)提供的備份和恢復(fù)方案(數(shù)據(jù)級(jí)備份方案)....147
7.2.3管理和維護(hù).......................................151
7.3管理界面...........................................154
第8章網(wǎng)絡(luò)服務(wù).........................................156
8.1網(wǎng)絡(luò)服務(wù)...........................................156
8.2網(wǎng)絡(luò)方案............................................156
8.2.1XX項(xiàng)目外網(wǎng)核心層概述............................156
8.2.2云平臺(tái)內(nèi)部網(wǎng)絡(luò)設(shè)計(jì)概述.........................158
8.2.3網(wǎng)絡(luò)方案設(shè)計(jì)原則...............................159
8.2.4XX項(xiàng)目外網(wǎng)改造方案...............................161
8.2.5XX項(xiàng)目云平臺(tái)內(nèi)部網(wǎng)絡(luò)設(shè)計(jì).......................164
5
8.3光纖方案...........................................173
8.3.1方案說(shuō)明.........................................173
8.3.2光纜標(biāo)準(zhǔn)和規(guī)范...................................175
8.3.3光纜其他參數(shù).....................................178
8.3.4光纖技術(shù)說(shuō)明....................................183
第9章安全服務(wù).........................................185
9.1服務(wù)內(nèi)容...........................................185
9.2安全方案設(shè)計(jì).......................................188
9.2.1安全服務(wù)設(shè)計(jì)目標(biāo).................................188
9.2.2安全方案設(shè)計(jì)原則.................................189
9.3安全服務(wù)框架設(shè)計(jì)...................................190
9.3.1機(jī)房安全設(shè)計(jì).....................................191
9.3.2網(wǎng)絡(luò)安全設(shè)計(jì).....................................192
9.3.3云管理平臺(tái)安全..................................194
9.4安全總體部署方案建議...............................198
9.4.1數(shù)據(jù)業(yè)務(wù)區(qū)劃分原則.............................199
9.4.2云數(shù)據(jù)中心邊界安全...............................200
9.4.3云數(shù)據(jù)中心服務(wù)器區(qū)安全..........................202
6
第10章擴(kuò)容服務(wù).........................................214
10.1服務(wù)內(nèi)容..........................................214
10.2擴(kuò)容方案...........................................214
第11章管理平臺(tái).........................................217
11.1云管理平臺(tái)的設(shè)計(jì)...................................217
11.2云管理平臺(tái)架構(gòu)設(shè)計(jì).................................220
11.3開(kāi)放接口設(shè)計(jì).......................................223
第12章遷移規(guī)劃(建議).................................225
12.1概述...............................................225
12.1.1基于虛擬化的服務(wù)器整合.........................225
12.1.2基于虛擬化的災(zāi)難恢復(fù)...........................225
12.1.3基于虛擬化的硬件遷移...........................226
12.2工具介紹..........................................228
12.2.1應(yīng)用負(fù)載概念...................................228
12.2.2RainBowhSizing-應(yīng)用負(fù)載剖視、容量分析與規(guī)劃...228
12.2.3RainBowhConvertor多平臺(tái)應(yīng)用負(fù)載移植...........236
12.3云化與遷移的原則...................................241
12.3.1充分利用已有資源原則...........................241
7
12.3.2獨(dú)立性原則.....................................242
12.3.3分區(qū)云化原則...................................242
12.3.4新建原則.......................................242
12.3.5P2V、V2V、I2V原則...............................243
12.3.6漸進(jìn)遷移原則...................................243
12.3.7免托管原則.....................................243
12.4云化與遷移的實(shí)施規(guī)劃...............................244
12.4.1云化與遷移的實(shí)施要點(diǎn)...........................244
12.4.2云化與遷移規(guī)劃概述.............................245
12.4.3價(jià)值分析.......................................246
12.4.4風(fēng)險(xiǎn)評(píng)估.......................................247
12.4.5業(yè)務(wù)適應(yīng)性分析.................................248
12.4.6典型的云遷移實(shí)施過(guò)程...........................254
12.5云化與遷移應(yīng)用負(fù)載的初步分類設(shè)計(jì)..................258
12.5.1網(wǎng)上辦事應(yīng)用類遷移設(shè)計(jì).........................259
12.5.2內(nèi)部監(jiān)管及業(yè)務(wù)處理應(yīng)用類遷移設(shè)計(jì)...............261
12.5.3數(shù)據(jù)交換共享應(yīng)用類遷移設(shè)計(jì).....................265
12.6云化與遷移涉及的技術(shù)應(yīng)用場(chǎng)景設(shè)計(jì)..................267
8
12.6.1基于虛擬化技術(shù)的服務(wù)器整合....................267
12.6.2基于刀片設(shè)備的服務(wù)器整合.......................269
12.6.3基于虛擬技術(shù)的非對(duì)稱故障恢復(fù)...................270
12.6.4基于虛擬技術(shù)的操作系統(tǒng)靈活移植.................273
12.6.5基于已有基礎(chǔ)設(shè)施恢復(fù)技術(shù)進(jìn)行靈活的非對(duì)稱故障恢復(fù)274
12.6.6硬件租賃壽命周期結(jié)束時(shí)的自動(dòng)化服務(wù)器遷移.......276
12.6.7不同地理區(qū)域的XX項(xiàng)目遷移.....................276
12.6.8測(cè)試實(shí)驗(yàn)室虛擬化、整合和自動(dòng)化.................277
12.6.9新服務(wù)器的快速遷移與配置......................278
9
第1章項(xiàng)目概述
1.1項(xiàng)目背景
通過(guò)建設(shè)XX市XX項(xiàng)目云服務(wù)中心,采用集約化建設(shè)模式,借助
云計(jì)算技術(shù)對(duì)資源的統(tǒng)一管理、按需使用,能夠節(jié)約一定的信息化建
設(shè)資源投入成本,有效降低IT能源消耗,減少碳排放量;同時(shí)促進(jìn)
數(shù)據(jù)和業(yè)務(wù)系統(tǒng)與承載的技術(shù)環(huán)境分離,提高政府信息化項(xiàng)目的整體
建設(shè)水平。
受XX公司委托,由XX市XX項(xiàng)目中心承擔(dān)XX項(xiàng)目云服務(wù)中心規(guī)
劃和建設(shè),大力推進(jìn)基于云服務(wù)模式下全市XX項(xiàng)目信息系統(tǒng)建設(shè)。
1.2項(xiàng)目需求概述
1.2.1網(wǎng)絡(luò)和域設(shè)計(jì)需求
XX項(xiàng)目云平臺(tái)結(jié)構(gòu)設(shè)計(jì)
按照XX項(xiàng)目的網(wǎng)絡(luò)安全要求,XX項(xiàng)目網(wǎng)絡(luò)劃分為三個(gè)網(wǎng)絡(luò),XX
項(xiàng)目外網(wǎng)業(yè)務(wù)專網(wǎng)、XX項(xiàng)目外網(wǎng)互聯(lián)網(wǎng)接入網(wǎng)和XX項(xiàng)目外網(wǎng)安全島。
本期招標(biāo)的XX項(xiàng)目云平臺(tái)按照網(wǎng)絡(luò)安全要求劃分為三個(gè)平臺(tái),分別
是XX項(xiàng)目外網(wǎng)業(yè)務(wù)專網(wǎng)云平臺(tái)(以下簡(jiǎn)稱專網(wǎng)云平臺(tái))、XX項(xiàng)目外網(wǎng)
互聯(lián)網(wǎng)接入網(wǎng)云平臺(tái)(以下簡(jiǎn)稱接入網(wǎng)云平臺(tái))和XX項(xiàng)目外網(wǎng)安全
島云平臺(tái)(以下簡(jiǎn)稱安全島云平臺(tái)),這三個(gè)云平臺(tái)的邏輯架構(gòu)基本
10
一致,但根據(jù)資源使用量的差異,每個(gè)云平臺(tái)規(guī)模略為不同,且三個(gè)
云平臺(tái)之間需使用網(wǎng)絡(luò)邏輯隔離方法保證云平臺(tái)及網(wǎng)絡(luò)安全。
為確保三個(gè)云平臺(tái)的邏輯強(qiáng)隔離特點(diǎn),所有物理設(shè)備需要按機(jī)柜
或區(qū)域劃分給不同的云平臺(tái)使用,比如劃出3個(gè)機(jī)柜為安全島云平臺(tái)
專享使用,或者劃出一個(gè)獨(dú)立隔間為互聯(lián)網(wǎng)接入網(wǎng)云平臺(tái)使用等。
為方便各委局單位使用,將部署一套云管控平臺(tái)(采購(gòu)人提供)
實(shí)現(xiàn)云資源的統(tǒng)一申請(qǐng)和統(tǒng)一監(jiān)控功能,云管控平臺(tái)通過(guò)技術(shù)和手工
(如切換網(wǎng)絡(luò)等)結(jié)合手段實(shí)現(xiàn)對(duì)三個(gè)云平臺(tái)的管控。
電子政務(wù)外網(wǎng)
電子政務(wù)電子政務(wù)電子政務(wù)
業(yè)務(wù)專網(wǎng)子云安全島子云互聯(lián)網(wǎng)接入子去
邏輯隔離邏輯隔離邏輯隔離
委局專有資源域的設(shè)計(jì)
委局專有資源域是指由委局專有使用的資源區(qū)域,專有資源域包
括兩種類型,第一種類型是指根據(jù)有特殊需求的委局要求,從XX市
XX項(xiàng)目云社會(huì)機(jī)房和超算云平臺(tái)的資源中劃分一部分獨(dú)立的資源給
11
該委局專享使用,委局可以根據(jù)本單位的實(shí)際需求將該專有資源域進(jìn)
行再次分配,提供給不同的系統(tǒng)或下屬單位使用等;第二種類型是指
某些委局通過(guò)評(píng)估機(jī)構(gòu)評(píng)估可以保留的私有云資源,這部分資源由委
局自己使用自己維護(hù)。
12
第2章項(xiàng)目分析
2.1項(xiàng)目重點(diǎn)難點(diǎn)分析
2.1.1“分區(qū)+分層+分平面”的網(wǎng)絡(luò)隔離需求
網(wǎng)絡(luò)總體架構(gòu)應(yīng)遵循區(qū)域化、層次化、模塊化的設(shè)計(jì)理念,使網(wǎng)
絡(luò)層次更加清楚、功能更加明確。這樣在每個(gè)區(qū)域內(nèi)部調(diào)整時(shí)不會(huì)影
響其他區(qū)域,而且區(qū)域內(nèi)部資源調(diào)度也更加方便和靈活。依據(jù)這樣的
設(shè)計(jì)理念和設(shè)計(jì)原則,總體網(wǎng)絡(luò)架構(gòu)要從下面幾個(gè)方面設(shè)計(jì):
1、業(yè)務(wù)功能分區(qū)設(shè)計(jì):綜合考慮網(wǎng)絡(luò)服務(wù)中數(shù)據(jù)應(yīng)用業(yè)務(wù)的獨(dú)立
性、各業(yè)務(wù)的互訪關(guān)系,以及業(yè)務(wù)的安全隔離要求,XX項(xiàng)目云
平臺(tái)網(wǎng)絡(luò)在邏輯上還要?jiǎng)澐滞饩W(wǎng)業(yè)務(wù)專網(wǎng)區(qū)(包括部門(mén)業(yè)務(wù)專
網(wǎng)、開(kāi)發(fā)測(cè)試區(qū)、等保二級(jí)、等保三級(jí)和高安全高敏感區(qū))、XX
項(xiàng)目外網(wǎng)互聯(lián)網(wǎng)接入?yún)^(qū)和XX項(xiàng)目外網(wǎng)安全島區(qū)(包括運(yùn)維管理
區(qū)、高安全高敏感區(qū))等,各業(yè)務(wù)區(qū)域之間實(shí)現(xiàn)網(wǎng)絡(luò)的邏輯隔
離和受控互訪。
2、網(wǎng)絡(luò)虛擬化和大二層結(jié)構(gòu):傳統(tǒng)的數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)架構(gòu)一般采用
核心—匯聚—接入的三層網(wǎng)絡(luò)架構(gòu)模型,采用這種傳統(tǒng)的網(wǎng)絡(luò)
架構(gòu)存在“網(wǎng)絡(luò)層次多,處理效率低”、“不易擴(kuò)容”、“配置復(fù)
雜”等問(wèn)題;為了解決上述存在的問(wèn)題,本方案數(shù)據(jù)中心網(wǎng)絡(luò)
架構(gòu)采用扁平化二層網(wǎng)絡(luò)架構(gòu)(核心層、接入層),使用網(wǎng)絡(luò)虛
13
擬化技術(shù),核心交換機(jī)承擔(dān)著核心層和匯聚層的雙重任務(wù),實(shí)
現(xiàn)扁平化的二層網(wǎng)絡(luò)架構(gòu),扁平化方式降低了網(wǎng)絡(luò)復(fù)雜度,簡(jiǎn)
化了網(wǎng)絡(luò)拓?fù)洌岣咿D(zhuǎn)發(fā)效率。
3、分平面設(shè)計(jì):根據(jù)XX項(xiàng)目數(shù)據(jù)中心網(wǎng)絡(luò)高效交換的需求,將數(shù)
據(jù)中心網(wǎng)絡(luò)分為管理平面、業(yè)務(wù)平面和存儲(chǔ)平面,不同平面間
進(jìn)行邏輯隔離。業(yè)務(wù)平面主要服務(wù)對(duì)象是為租戶的業(yè)務(wù)應(yīng)用軟
件的通訊,管理平臺(tái)主要為設(shè)備自身、安全系統(tǒng)、運(yùn)維系統(tǒng)所
使用,存儲(chǔ)平面完全是一個(gè)封閉的私有網(wǎng)絡(luò),服務(wù)器和存儲(chǔ)設(shè)
備在該平面上進(jìn)行存儲(chǔ)數(shù)據(jù)的傳送。三個(gè)網(wǎng)絡(luò)平面相互獨(dú)立,
單個(gè)平面故障不會(huì)影響其它網(wǎng)絡(luò)平面的正常工作。
2.1.2不同類型應(yīng)用系統(tǒng)的承載需求
XX項(xiàng)目數(shù)據(jù)中心支持業(yè)務(wù)應(yīng)用運(yùn)行于華為或業(yè)界主流廠商的物
理服務(wù)器和存儲(chǔ)、華為云計(jì)算平臺(tái)和其它的虛擬化平臺(tái)(VMware),
支持對(duì)服務(wù)器和存儲(chǔ)的集中管理。
XX項(xiàng)目數(shù)據(jù)中心支持根據(jù)業(yè)務(wù)應(yīng)用的不同特點(diǎn)(大計(jì)算量應(yīng)用
系統(tǒng)、高I/O訪問(wèn)應(yīng)用系統(tǒng)、高并發(fā)訪問(wèn)應(yīng)用系統(tǒng)以及對(duì)資源要求一
般的應(yīng)用系統(tǒng))采用物理服務(wù)器、虛擬機(jī)(華為虛擬化平臺(tái)或其他)、
SAN或NAS、網(wǎng)絡(luò)或存儲(chǔ)連接技術(shù)(GE或10GE、4G/8G光纖連接)、
存儲(chǔ)虛擬化技術(shù),能根據(jù)業(yè)務(wù)應(yīng)用的特點(diǎn)對(duì)服務(wù)器或存儲(chǔ)進(jìn)行配置滿
足應(yīng)用對(duì)計(jì)算和存儲(chǔ)的需要(CPU、內(nèi)存、網(wǎng)絡(luò)l/O、存儲(chǔ)l/O)。
14
服務(wù)器的總計(jì)架構(gòu)分為三層,即表現(xiàn)層、應(yīng)用層和數(shù)據(jù)層,三層
架構(gòu)的部署可以是采用物理機(jī)部署或者虛擬化部署,其中虛擬化部署
方式主要考慮華為云操作系統(tǒng)FusionSphere;為保護(hù)用戶已有投資,
華為XX項(xiàng)目數(shù)據(jù)中心解決方案支持業(yè)界第三方虛擬化平臺(tái),如
VMware等。
存儲(chǔ)的總體架構(gòu)主要是分為IPSAN、FCSAN、NAS和存儲(chǔ)虛擬化
四種;XX項(xiàng)目數(shù)據(jù)中心支持華為存儲(chǔ)和業(yè)界主流存儲(chǔ)
(IBM/HP/EMC/NetApp/HDS);采用華為VIS來(lái)支持存儲(chǔ)虛擬化,實(shí)
現(xiàn)存儲(chǔ)的統(tǒng)一管理。
對(duì)于整個(gè)XX項(xiàng)目云平臺(tái)的核心—“云操作系統(tǒng)”要求具備良好
的兼容性,除兼容業(yè)界主流的服務(wù)器和存儲(chǔ)設(shè)備外,還要兼容主流的
軟件如Windows、Linux操作系統(tǒng)、數(shù)據(jù)庫(kù)和中間件,且原設(shè)備廠家
要建有一定規(guī)模的兼容性實(shí)驗(yàn)室,用以保障后續(xù)各局委辦業(yè)務(wù)快速遷
移。
在部署業(yè)務(wù)時(shí),首先考慮使用虛擬化平臺(tái),優(yōu)先采用虛擬主機(jī)滿
足,對(duì)于虛擬主機(jī)不能滿足的應(yīng)用,則采用物理服務(wù)器滿足。以下是
針對(duì)不同類型應(yīng)用系統(tǒng)的計(jì)算平臺(tái)方案:
●物理主機(jī)和虛擬機(jī)的不同節(jié)點(diǎn)配置全面覆蓋政務(wù)客戶的不同
業(yè)務(wù)需求;
●對(duì)內(nèi)存容量、IO、擴(kuò)展性的要求都不高,且有節(jié)約空間和能源
的應(yīng)用,我們推薦采用虛擬化計(jì)算資源來(lái)滿足;
15
●對(duì)于高性能計(jì)算,大容量存儲(chǔ),大容量?jī)?nèi)存和高IO的需求,虛
擬化不能滿足應(yīng)用需求,則采用4路X86服務(wù)器或UNIX服務(wù)器等
高性能物理主機(jī)滿足;
●針對(duì)普通的應(yīng)用系統(tǒng),如WEB,對(duì)內(nèi)存容量、IO、擴(kuò)展性的要
求都不高,建議采用虛擬主機(jī),且能節(jié)約計(jì)算資源、機(jī)架空間、
能源;
●存儲(chǔ)設(shè)備和計(jì)算服務(wù)器之間采用多路徑技術(shù)保證可靠性;
●采用面向網(wǎng)絡(luò)的存儲(chǔ)體系結(jié)構(gòu),使數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)分離;
網(wǎng)絡(luò)存儲(chǔ)體系將I/O能力擴(kuò)展到網(wǎng)絡(luò)上,特別是靈活的網(wǎng)絡(luò)尋
址能力,遠(yuǎn)距離數(shù)據(jù)傳輸能力,I/O高效性能;
采用存儲(chǔ)網(wǎng)絡(luò),消除了不同存儲(chǔ)設(shè)備和服務(wù)器之間的連接障礙;
提高了數(shù)據(jù)的共享性、可用性和可擴(kuò)展性、管理性。
2.1.3端到端立體安全的保障
XX市XX項(xiàng)目云數(shù)據(jù)中心是為XX市各個(gè)政府職能部門(mén)提供不同
層面的資源與服務(wù),所以基礎(chǔ)平臺(tái)自身對(duì)安全的高要求,需要滿足國(guó)
家信息安全針對(duì)XX項(xiàng)目的一系列標(biāo)準(zhǔn)、法規(guī)和指導(dǎo)意見(jiàn)。參照國(guó)家
等級(jí)保護(hù)相關(guān)標(biāo)準(zhǔn),平臺(tái)安全防護(hù)體系要從機(jī)房安全、網(wǎng)絡(luò)安全、主
機(jī)安全、云管理平臺(tái)安全等四個(gè)維度進(jìn)行設(shè)計(jì),搭建起符合業(yè)務(wù)運(yùn)行
安全需求的安全體系,做到對(duì)整個(gè)云平臺(tái)的安全提供防護(hù)能力,保障
云平臺(tái)上承載的XX項(xiàng)目業(yè)務(wù)系統(tǒng)所使用的網(wǎng)絡(luò)和數(shù)據(jù)得到安全的運(yùn)
16
行環(huán)境。
1、機(jī)房安全:XX項(xiàng)目云服務(wù)中心的機(jī)房需滿足國(guó)家A級(jí)
(GB50174-2008)的安全要求,從機(jī)房選址、機(jī)房環(huán)境、機(jī)房
管理幾個(gè)角度滿足安全設(shè)計(jì)要求。
2、網(wǎng)絡(luò)安全:網(wǎng)絡(luò)安全需求分為外聯(lián)邊界、內(nèi)部安全域及內(nèi)外網(wǎng)
數(shù)據(jù)安全隔離交換等立體安全防護(hù)的要求。
1)外聯(lián)邊界防護(hù):指XX項(xiàng)目云數(shù)據(jù)中心的外聯(lián)網(wǎng)絡(luò)邊
界,本平臺(tái)主要是XX市XX項(xiàng)目云數(shù)據(jù)中心和市級(jí)XX項(xiàng)目外網(wǎng)連
接的邊界防護(hù)。
2)內(nèi)部安全域邊界:在XX市統(tǒng)一XX項(xiàng)目云數(shù)據(jù)中心中,
可以劃分處多個(gè)網(wǎng)絡(luò)安全域,包括多個(gè)服務(wù)器區(qū)、多個(gè)接入?yún)^(qū)、
網(wǎng)絡(luò)與安全管理區(qū)等等。這些安全域之間存在著內(nèi)部邊界,為
能更加有針對(duì)性的對(duì)各安全域進(jìn)行防護(hù),避免跨區(qū)越權(quán)訪問(wèn)、
攻擊和病毒傳播,需要在不同的邊界應(yīng)采取不同的邊界防護(hù)措
施。
3)內(nèi)外網(wǎng)數(shù)據(jù)安全隔離交換安全:通過(guò)互聯(lián)網(wǎng)進(jìn)行接入傳輸
的數(shù)據(jù)屬于XX項(xiàng)目?jī)?nèi)部的信息,這些敏感的數(shù)據(jù)信息在互聯(lián)網(wǎng)
上十分容易被非法竊取、篡改或刪除。因此必須采用技術(shù)手段
保證數(shù)據(jù)的機(jī)密性、完整性以及可用性。
3、主機(jī)安全:保護(hù)計(jì)算環(huán)境關(guān)注的是采用信息保障技術(shù)確保用戶
信息在進(jìn)入、離開(kāi)或駐留客戶機(jī)與服務(wù)器時(shí)具有可用性、完整
17
性和秘密性。主要是指主機(jī)硬件、OS,應(yīng)用軟件等的安全需求。
包括:
1)終端行為的管理:終端設(shè)備部署較為分散,難于統(tǒng)一管理,
操作人員的計(jì)算機(jī)水平也參差不齊,因此終端設(shè)備的安全管理
成為網(wǎng)絡(luò)管理人員最為棘手的安全問(wèn)題。終端泄密、非授權(quán)訪
問(wèn)、內(nèi)部攻擊等都對(duì)數(shù)據(jù)中心安全造成威脅。各類終端和服務(wù)
器系統(tǒng)的補(bǔ)丁管理同樣是一個(gè)重要問(wèn)題。不及時(shí)的給系統(tǒng)打漏
洞補(bǔ)丁會(huì)造成蠕蟲(chóng)以及不懷好意者的入侵。因此需要對(duì)終端的
補(bǔ)丁、桌面、行為、I/O、病毒等進(jìn)行管理和控制。
2)終端防病毒:病毒是對(duì)計(jì)算環(huán)境造成危害最大的隱患,當(dāng)
前病毒威脅非常嚴(yán)峻,特別是蠕蟲(chóng)病毒的爆發(fā),會(huì)立刻向其他
子網(wǎng)迅速蔓延,這樣會(huì)大量占據(jù)正常業(yè)務(wù)十分有限的帶寬,造
成網(wǎng)絡(luò)性能嚴(yán)重下降甚至網(wǎng)絡(luò)通信中斷,嚴(yán)重影響正常業(yè)務(wù)開(kāi)
展。因此必須采取有效手段進(jìn)行查殺,阻止病毒的蔓延危害整
個(gè)數(shù)據(jù)中心。
4、云管理平臺(tái)安全:對(duì)于XX項(xiàng)目外網(wǎng)云計(jì)算平臺(tái),由于采用了虛
擬化和多租戶訪問(wèn)等一系列先進(jìn)的技術(shù)手段,因此必須保障虛
擬機(jī)隔離和多租戶等一系列云計(jì)算平臺(tái)特有的安全問(wèn)題。
1)虛擬化安全:支持有代理或者無(wú)代理安全方式進(jìn)行
虛擬環(huán)境的整體防護(hù);支持對(duì)關(guān)閉的虛擬機(jī)/模板進(jìn)行安全掃描
和防護(hù),防止關(guān)閉狀態(tài)的虛擬機(jī)/模板的安全策略/補(bǔ)丁更新不
18
及時(shí)過(guò)期出現(xiàn)安全隱患;整體的虛擬化安全措施應(yīng)避免“病毒
風(fēng)暴”。
2)云平臺(tái)安全:如果云管理平臺(tái)需要數(shù)據(jù)庫(kù)的支持,
應(yīng)保護(hù)好云管理平臺(tái)的數(shù)據(jù)庫(kù)安全,設(shè)置強(qiáng)壯復(fù)雜的密碼策略、
備份數(shù)據(jù)庫(kù)和配置相關(guān)的網(wǎng)絡(luò)安全服務(wù);云管理平臺(tái)的訪問(wèn)許
可應(yīng)加強(qiáng)管理,刪除不需要的用戶賬號(hào);安裝云管理平臺(tái)軟件
的操作系統(tǒng)需設(shè)置安全策略。
3)云平臺(tái)訪問(wèn)控制安全:用戶在訪問(wèn)XX項(xiàng)目云平臺(tái)資
源過(guò)程中支持使用數(shù)字證書(shū)進(jìn)行身份認(rèn)證,包括但不限于投標(biāo)
人維護(hù)人員、委辦局操作人員、市XX項(xiàng)目中心監(jiān)管人員,且數(shù)
字證書(shū)的介質(zhì)購(gòu)買(mǎi)和服務(wù)費(fèi)由投標(biāo)人提供。
4)云管理平臺(tái)安全:對(duì)于XX項(xiàng)目外網(wǎng)云計(jì)算平臺(tái),由
于采用了虛擬化和多租戶訪問(wèn)等一系列先進(jìn)的技術(shù)手段,因此
必須保障虛擬機(jī)隔離和多租戶等一系列云計(jì)算平臺(tái)特有的安全
問(wèn)題。
2.1.4開(kāi)放兼容、統(tǒng)一、面向未來(lái)的運(yùn)營(yíng)運(yùn)維管理
XX項(xiàng)目數(shù)據(jù)中心管理系統(tǒng)采用開(kāi)放的、可擴(kuò)展、松耦合的面向
服務(wù)的管理架構(gòu)的設(shè)計(jì)思路,根據(jù)數(shù)據(jù)中心業(yè)務(wù)需求配置運(yùn)營(yíng)和運(yùn)維
管理模塊,主要模塊包統(tǒng)一運(yùn)維管理門(mén)戶、業(yè)務(wù)運(yùn)營(yíng)管理、IT服務(wù)管
理、集中監(jiān)控管理和云管理。
19
基于保證方案的開(kāi)放性、可擴(kuò)展性,華為的數(shù)據(jù)中心管理工具采
用SOA的架構(gòu)、同時(shí)有機(jī)結(jié)合華為的云平臺(tái)管理及業(yè)界成熟的管理
產(chǎn)品實(shí)現(xiàn)XX項(xiàng)目數(shù)據(jù)中心運(yùn)營(yíng)運(yùn)維的管理功能。
●業(yè)務(wù)運(yùn)營(yíng)與管理
-業(yè)務(wù)管理主要面向業(yè)務(wù)方面的規(guī)劃與設(shè)計(jì),包括服務(wù)目錄管
理,產(chǎn)品管理、服務(wù)定價(jià)策略,服務(wù)級(jí)別管理等功能的規(guī)劃
與設(shè)計(jì);
-業(yè)務(wù)運(yùn)營(yíng)管理負(fù)責(zé)業(yè)務(wù)的日常運(yùn)轉(zhuǎn),包括業(yè)務(wù)日常流程和業(yè)
務(wù)的受理;
-客戶自助服務(wù)幫助客戶實(shí)現(xiàn)服務(wù)的在線定購(gòu)、方便的服務(wù)訪
問(wèn)及服務(wù)管理。
●IT運(yùn)維與管理
-IT服務(wù)管理實(shí)現(xiàn)基于ITIL的流程的定義和管理,同時(shí)提供流程的
定義模版,實(shí)現(xiàn)特定流程的定制;
-集中的、統(tǒng)一的、綜合的監(jiān)控管理支持XX項(xiàng)目數(shù)據(jù)中心所覆蓋
的IT資源的集中監(jiān)控;
-云平臺(tái)管理采用華為的云管理平臺(tái),實(shí)現(xiàn)資源的自動(dòng)部署,同
時(shí)結(jié)合IT服務(wù)管理完成相關(guān)的變更、配置管理。
-統(tǒng)一運(yùn)維管理門(mén)戶采用華為的門(mén)戶方案,實(shí)現(xiàn)運(yùn)營(yíng)、運(yùn)維的一
體化管理,包括用戶管理、管理工作臺(tái)、儀表盤(pán)、綜合報(bào)表及
知識(shí)庫(kù)等;
20
2.1.5云平臺(tái)與數(shù)據(jù)的可靠性與可擴(kuò)展性
對(duì)容災(zāi)備份存在下面的一些關(guān)鍵需求:
●XX項(xiàng)目云平臺(tái)本身的備份和恢復(fù)能力要求
XX項(xiàng)目云平臺(tái)使用的防火墻、交換機(jī)、網(wǎng)絡(luò)安全、服務(wù)器、存
儲(chǔ)等設(shè)備都應(yīng)具備高可靠性及冗余性。
XX項(xiàng)目云平臺(tái)具備高可用和動(dòng)態(tài)遷移功能,發(fā)生物理設(shè)備故障
后,虛擬機(jī)可以自動(dòng)遷移到其他可用資源上運(yùn)行,確保業(yè)務(wù)系統(tǒng)不受
物理設(shè)備故障影響。
XX項(xiàng)目云平臺(tái)提供備份/快照功能,能對(duì)云平臺(tái)中的物理和虛擬
服務(wù)器進(jìn)行備份,同時(shí)也能對(duì)虛擬化存儲(chǔ)池進(jìn)行存儲(chǔ)鏡像備份,防止
存儲(chǔ)損壞導(dǎo)致數(shù)據(jù)丟失。
●XX項(xiàng)目云平臺(tái)為委局應(yīng)用系統(tǒng)提供的備份/恢復(fù)能力要求
XX項(xiàng)目云平臺(tái)為委局應(yīng)用系統(tǒng)提供備份介質(zhì)、備份工具、備份
服務(wù)器和備份管理工作。
本地備份:使用磁帶機(jī)和虛擬帶庫(kù)、備份工具、中央備份服務(wù)器
將委局的應(yīng)用系統(tǒng)及數(shù)據(jù)在本地進(jìn)行備份。
同城異地備份:使用磁帶機(jī)和虛擬帶庫(kù)、備份工具、中央備份服
務(wù)器將委局的應(yīng)用系統(tǒng)及數(shù)據(jù)通過(guò)光纖網(wǎng)絡(luò)備份到XX市超算中心
●可擴(kuò)展性需求
數(shù)據(jù)中心備份方案要具備擴(kuò)展性需求,隨著備份數(shù)據(jù)量的增長(zhǎng)可
以進(jìn)行平滑擴(kuò)容,從而保證關(guān)鍵數(shù)據(jù)備份的完整性。
21
2.1.6云平臺(tái)的實(shí)施和服務(wù)保障
XX項(xiàng)目云平臺(tái)的建設(shè)是一個(gè)系統(tǒng)的工程,需要原廠、集成商具
有專業(yè)化的實(shí)施團(tuán)隊(duì)和豐富同類型項(xiàng)目的實(shí)施經(jīng)驗(yàn),來(lái)保障項(xiàng)目成功。
另外,各個(gè)局委辦有大量的業(yè)務(wù)要遷移至云平臺(tái),出保障云平臺(tái)本身
有較好的兼容性外,需要原廠商由自主知識(shí)產(chǎn)權(quán)的云操作系統(tǒng)和定制
化開(kāi)。綜上所述,本項(xiàng)目對(duì)服務(wù)能力要求如下:
1、具有本地化、專業(yè)化的服務(wù)團(tuán)隊(duì)
2、具有豐富國(guó)內(nèi)同類型項(xiàng)目的實(shí)施經(jīng)驗(yàn)
3、自主知識(shí)產(chǎn)權(quán)的云操作系統(tǒng)平臺(tái)
4、原廠具備針對(duì)XX項(xiàng)目云平臺(tái)的定制化開(kāi)發(fā)能力
5、具備V2V、P2V遷移工具且具有豐富的遷移經(jīng)驗(yàn)。
2.1.7有效實(shí)施局委辦的業(yè)務(wù)遷移
將現(xiàn)有業(yè)務(wù)遷移到云平臺(tái)中實(shí)現(xiàn)服務(wù)器整合,提高XX項(xiàng)目數(shù)據(jù)
中心資源利用率。業(yè)務(wù)遷移方案需要遵循如下要求:
●制定有效的業(yè)務(wù)遷移前評(píng)估和流程設(shè)計(jì)
●采用成熟的業(yè)務(wù)遷移工具保障計(jì)算平臺(tái)兼容性和平滑遷移
●設(shè)計(jì)有效的備份恢復(fù)方案保障業(yè)務(wù)系統(tǒng)正常切換和運(yùn)行。
2.2具有前瞻性的平臺(tái)優(yōu)勢(shì)
中國(guó)聯(lián)通針對(duì)XX市XX項(xiàng)目云項(xiàng)目提供了整體解決方案。本方案
22
涉及的主要部件服務(wù)器、接入交換機(jī)、匯聚核心交換機(jī)、安全產(chǎn)品、
存儲(chǔ)、虛擬化平臺(tái)軟件、數(shù)據(jù)中心管理軟件,均是同一品牌——華為
產(chǎn)品,其產(chǎn)品優(yōu)點(diǎn)為中國(guó)自研,兼容性好,高性能,高可靠,整體交
付,伴隨專業(yè)維護(hù)團(tuán)隊(duì)支撐等,主要優(yōu)勢(shì)如下:
2.2.1自主可控的云計(jì)算整體解決方案
經(jīng)過(guò)多年技術(shù)積累和產(chǎn)品研發(fā),中國(guó)聯(lián)通已經(jīng)形成了豐富的云計(jì)
算產(chǎn)品線方案,覆蓋了云計(jì)算解決方案中的主要核心產(chǎn)品。主要核
心產(chǎn)品線包括:
1.豐富的中高低端的服務(wù)器設(shè)備、存儲(chǔ)設(shè)備、虛擬磁帶庫(kù)等計(jì)算
存儲(chǔ)產(chǎn)品;
2.豐富的核心網(wǎng)絡(luò)設(shè)備、接入網(wǎng)路設(shè)備、無(wú)線網(wǎng)絡(luò)設(shè)備等網(wǎng)絡(luò)產(chǎn)
品;
3.中國(guó)自主研發(fā)的電信級(jí)云計(jì)算虛擬化平臺(tái);
4.中國(guó)自主研發(fā)的云計(jì)算平臺(tái)綜合監(jiān)控管理系統(tǒng)
5.豐富的中高低端防火墻、入侵監(jiān)測(cè)、DDoS、VPN等安全接入產(chǎn)
品;
6.數(shù)據(jù)中心統(tǒng)一管理軟修的可統(tǒng)一管理華為虛擬化、網(wǎng)絡(luò)、安全
產(chǎn)品,提供全中文的統(tǒng)一的管理訪問(wèn)Portal,便于用戶運(yùn)維管
理。
23
7.虛擬化平臺(tái)針對(duì)華為自研的服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備深入兼容
性測(cè)試,做到無(wú)縫對(duì)接,可提供更優(yōu)的性能、自動(dòng)化安裝、自
動(dòng)化運(yùn)維。
在核心產(chǎn)品的支撐的基礎(chǔ)上,針對(duì)數(shù)據(jù)中心需求開(kāi)發(fā)出針對(duì)性的
云計(jì)算解決方案,各組件之間無(wú)縫集成,確保了解決方案的穩(wěn)定性、
完備性和安全性。
2.2.2開(kāi)放的云計(jì)算方案架構(gòu)設(shè)計(jì)
中國(guó)聯(lián)通云計(jì)算方案架構(gòu)設(shè)計(jì)采用SOA的架構(gòu)設(shè)計(jì)理念,從業(yè)務(wù)
需求的角度設(shè)計(jì)匹配的IT基礎(chǔ)架構(gòu),確保IT架構(gòu)的可擴(kuò)展性、靈活
性和可演進(jìn)性。同時(shí),實(shí)現(xiàn)業(yè)務(wù)設(shè)計(jì)和IT基礎(chǔ)架構(gòu)松耦合,確保IT
架構(gòu)對(duì)業(yè)務(wù)多樣性的支持和業(yè)務(wù)快速上線的支持。中國(guó)聯(lián)通云計(jì)算
方案架構(gòu)設(shè)計(jì)的優(yōu)勢(shì)主要體現(xiàn)在以下幾點(diǎn):
電信級(jí)的網(wǎng)絡(luò)設(shè)計(jì)方案。云計(jì)算網(wǎng)絡(luò)方案借鑒中國(guó)聯(lián)通系統(tǒng)集
成中心在電信行業(yè)網(wǎng)絡(luò)設(shè)計(jì)的多年經(jīng)驗(yàn)和技術(shù)積累,采用先進(jìn)
的網(wǎng)絡(luò)設(shè)計(jì)方法、技術(shù)、產(chǎn)品,確保數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)滿足未
來(lái)長(zhǎng)期的業(yè)務(wù)發(fā)展需求
成熟的云計(jì)算設(shè)計(jì)方案。云計(jì)算平臺(tái)方案設(shè)計(jì)采用華為自主研
發(fā)的虛擬化產(chǎn)品,總結(jié)華為豐富的云計(jì)算項(xiàng)目經(jīng)驗(yàn),經(jīng)過(guò)中國(guó)
聯(lián)通系統(tǒng)集成中心IPD流程的嚴(yán)格開(kāi)發(fā),確保了云計(jì)算方案的先
進(jìn)性和可靠性
24
先進(jìn)的電信級(jí)管理方案。中國(guó)聯(lián)通云計(jì)算管理方案設(shè)計(jì)覆蓋網(wǎng)
元管理、網(wǎng)絡(luò)管理、云平臺(tái)計(jì)算資源管理,以及和業(yè)界先進(jìn)產(chǎn)
品合作的服務(wù)管理等多方位管理系統(tǒng),滿足大規(guī)模數(shù)據(jù)中心運(yùn)
維管理的需求,形成了完整的數(shù)據(jù)中心管理體系
2.2.3數(shù)據(jù)中心立體安全保障方案
基于XX項(xiàng)目業(yè)務(wù)特點(diǎn),中國(guó)聯(lián)通提出了XX項(xiàng)目云數(shù)據(jù)中心立體
安全框架,并針對(duì)安全架構(gòu)提出整體解決方案,覆蓋了數(shù)據(jù)中心的
完整安全需求。
虛擬化軟件、計(jì)算資源池、存儲(chǔ)資源池、網(wǎng)絡(luò)設(shè)備、安全設(shè)備、
計(jì)算資源池、存儲(chǔ)資源池均可提供靈活的安全隔離功能,按照XX市
XX項(xiàng)目云局委部辦提供安全隔離功能、傳輸加密功能。
2.2.4端到端數(shù)據(jù)中心集成解決方案
中國(guó)聯(lián)通提供端到端的數(shù)據(jù)中心集成解決方案,涵蓋數(shù)據(jù)中心解
決方案所需的:
全系列的x86服務(wù)器,包括機(jī)架服務(wù)器、刀片服務(wù)器、可擴(kuò)展服
務(wù)器,同時(shí)支持其它廠商x86和Unix服務(wù)器的使用;
完整的存儲(chǔ)設(shè)備產(chǎn)品線,涵蓋高、中、低端IPSAN和FCSAN、NAS、
虛擬存儲(chǔ)、VTL、云存儲(chǔ)、光纖交換機(jī)、軟硬件一體化的存儲(chǔ)備
份和恢復(fù)產(chǎn)品HDP3500E;
25
全系列網(wǎng)絡(luò)管理產(chǎn)品,包括高、中、低端路由器、交換機(jī),如
93系列核心交換機(jī)、57系列接入交換機(jī)、NE系列路由器;
完整的安全管理產(chǎn)品,包括高、中、低端防火墻、IPS/IDS、DDoS、
堡壘機(jī)、遠(yuǎn)程訪問(wèn)控制等;
功能完善的虛擬化、云操作系統(tǒng)FusionShpere,并提供基于華為
云的業(yè)務(wù),如虛擬主機(jī)出租、云存儲(chǔ)、云桌面、基于云的增值
服務(wù)、聯(lián)合通訊、面向中小企業(yè)的SaaS應(yīng)用等;
功能完善的數(shù)據(jù)中心綜合運(yùn)維管理解決方案,涵蓋數(shù)據(jù)中心內(nèi)
云及非云環(huán)境的監(jiān)控與管理以及運(yùn)維管理流程;
功能齊全的數(shù)據(jù)中心機(jī)房設(shè)計(jì)、建造和運(yùn)維管理的大量成功案
例和經(jīng)驗(yàn)。
26
第3章總體規(guī)劃
3.1總體設(shè)計(jì)
根據(jù)XX市XX項(xiàng)目云的對(duì)數(shù)據(jù)中心的規(guī)劃,為將來(lái)與XX市超算
中心云平臺(tái)統(tǒng)一管理,本項(xiàng)目所使用的虛擬化軟件以XX公司研制的
THCloud為主。但同時(shí)使用華為成熟的商業(yè)化云管理平臺(tái)軟件
FusionSphere,完成搭建工作并提供相應(yīng)服務(wù),作為后備和應(yīng)急支持
平臺(tái)。
本項(xiàng)目主要包括機(jī)房、網(wǎng)絡(luò)、安全、云計(jì)算服務(wù)、災(zāi)備部分的建
設(shè)。其部署邏輯架構(gòu)如下圖所示。
內(nèi)圖
本項(xiàng)目XX項(xiàng)目云劃分為XX項(xiàng)目外網(wǎng)業(yè)務(wù)專網(wǎng)子云、XX項(xiàng)目外
網(wǎng)互聯(lián)網(wǎng)子云和XX項(xiàng)目外網(wǎng)安全島子云。每個(gè)子云通過(guò)VLAN、防火
27
墻進(jìn)行邏輯隔離。每朵子云分為虛擬化區(qū)資源池、高負(fù)載數(shù)據(jù)庫(kù)專用
區(qū)資源池、高負(fù)載應(yīng)用專用區(qū)資源池和測(cè)試區(qū)資源池。
對(duì)于虛擬化區(qū)資源池,采用華為FusionSphere虛擬化平臺(tái)管理技
術(shù),將上述部分應(yīng)用服務(wù)部署到虛擬化化的高性能物理服務(wù)器上,達(dá)
到高可靠、自動(dòng)化運(yùn)維的目標(biāo)。眾多物理服務(wù)器虛擬化成計(jì)算資源池
(集群),保障虛擬化平臺(tái)的業(yè)務(wù)在出現(xiàn)計(jì)劃外和計(jì)劃內(nèi)停機(jī)的情況
下能夠持續(xù)運(yùn)行。華為FusionSphere管理平臺(tái)軟件可以向上提供開(kāi)放
的API接口,便于上層云管控層統(tǒng)一運(yùn)維管理。
本項(xiàng)目采用華為FusionSphere虛擬化計(jì)算技術(shù)實(shí)現(xiàn)有以下優(yōu)勢(shì):
●通過(guò)云平臺(tái)HA、熱遷移功能,能夠有效減少設(shè)備故障時(shí)間,
確保核心業(yè)務(wù)的連續(xù)性,避免傳統(tǒng)IT,單點(diǎn)故障導(dǎo)致的業(yè)務(wù)不
可用。
●易實(shí)現(xiàn)物理設(shè)備、虛擬設(shè)備、應(yīng)用系統(tǒng)的集中監(jiān)控、管理維護(hù)
自動(dòng)化與動(dòng)態(tài)化。
●便于業(yè)務(wù)的快速發(fā)放,縮短業(yè)務(wù)上線周期,高度靈活性與可擴(kuò)
充性、提高管理維護(hù)效率。
●利用云計(jì)算技術(shù)可自動(dòng)化并簡(jiǎn)化資源調(diào)配,實(shí)現(xiàn)分布式動(dòng)態(tài)資
源優(yōu)化,智能地根據(jù)應(yīng)用負(fù)載進(jìn)行資源的彈性伸縮,從而大大
提升系統(tǒng)的運(yùn)作效率,使IT資源與業(yè)務(wù)優(yōu)先事務(wù)能夠更好地
協(xié)調(diào)。
●在數(shù)據(jù)存儲(chǔ)方面,通過(guò)共享的SAN存儲(chǔ)架構(gòu),可以最大化的發(fā)
28
揮虛擬架構(gòu)的優(yōu)勢(shì);提供虛擬機(jī)的HA、熱遷移技術(shù)提高系統(tǒng)
的可靠性;提供虛擬機(jī)快照備份技術(shù)(HyperDP)等,而且為以
后的數(shù)據(jù)備份容災(zāi)提供擴(kuò)展性和打下基礎(chǔ)。
對(duì)于虛擬機(jī)的備份可采用華為FusionSphereHyperDP備份對(duì)虛擬
機(jī)進(jìn)行完整的數(shù)據(jù)保護(hù)系統(tǒng)。整個(gè)備份云可實(shí)現(xiàn)集中管理,負(fù)載均衡。
應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)進(jìn)行備份采用CommVault備份軟件。
CommVault備份軟件可以將這些數(shù)據(jù)備份到磁帶機(jī)和虛擬帶庫(kù)上。
CommVault備份軟件維護(hù)所有的配置信息(客戶端,介質(zhì)代理,備份
設(shè)備等),管理所有的作業(yè)和歷史任務(wù)記錄,提供GUI/WEB等管理界
面,集備份和歸檔一體化。
XX市XX項(xiàng)目的數(shù)據(jù)中心的架構(gòu)分為:
接入控制:用于對(duì)終端的接入訪問(wèn)進(jìn)行有效控制,包括接入網(wǎng)關(guān),
防火墻、入侵防御、入侵檢測(cè)、漏洞掃描、安全審計(jì)、防病毒、流量
監(jiān)控等設(shè)備??蓜?dòng)態(tài)了解數(shù)據(jù)中心流量訪問(wèn)情況,并保障數(shù)據(jù)中心的
安全。
網(wǎng)絡(luò)交換層:數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)交換,對(duì)三個(gè)網(wǎng)絡(luò)(專網(wǎng)、安
全島網(wǎng)絡(luò)、互聯(lián)網(wǎng))進(jìn)行邏輯隔離;連接數(shù)據(jù)中心內(nèi)部的服務(wù)器、存
儲(chǔ);并對(duì)接提供網(wǎng)絡(luò)訪問(wèn)。
虛擬化資源池:通過(guò)在計(jì)算服務(wù)器上安裝虛擬化平臺(tái)軟件,然后
在其上創(chuàng)建虛擬機(jī)。存儲(chǔ)采用FCSAN用于向虛擬機(jī)提供系統(tǒng)盤(pán)、數(shù)據(jù)
盤(pán)等存儲(chǔ)資源。分布式存儲(chǔ)給云管理平臺(tái)軟件進(jìn)行管理和使用,用于
29
存放鏡像文件、系統(tǒng)模板等。
高負(fù)載數(shù)據(jù)庫(kù)資源池:高負(fù)載數(shù)據(jù)庫(kù)直接采用物理服務(wù)器部署,
存儲(chǔ)采用FCSAN向服務(wù)器提供系統(tǒng)盤(pán)、數(shù)據(jù)盤(pán)等存儲(chǔ)資源。華為
FusionSphere可以物理服務(wù)器進(jìn)行管理,F(xiàn)usionSphere的
FusionManager管理子系統(tǒng)可支持物理理機(jī)部署,提供了對(duì)裸機(jī)物理
服務(wù)器的自動(dòng)發(fā)現(xiàn)、資源管理和自動(dòng)發(fā)放等功能。
高負(fù)載應(yīng)用資源池:高負(fù)載數(shù)據(jù)庫(kù)直接采用物理服務(wù)器部署,存
儲(chǔ)采用IPSAN向服務(wù)器提供系統(tǒng)盤(pán)、數(shù)據(jù)盤(pán)等存儲(chǔ)資源。
3.2建設(shè)范圍
XX項(xiàng)目網(wǎng)絡(luò)包括XX項(xiàng)目外網(wǎng)和XX項(xiàng)目?jī)?nèi)網(wǎng),穩(wěn)妥起見(jiàn),實(shí)施
XX項(xiàng)目云平臺(tái)必須遵循循序漸進(jìn)的原則,先在XX項(xiàng)目外網(wǎng)中開(kāi)展和
探索云計(jì)算技術(shù),等業(yè)務(wù)模式、管理流程、安全及技術(shù)平臺(tái)都磨合和
穩(wěn)定后,再逐步推廣到XX項(xiàng)目?jī)?nèi)網(wǎng),因此本次XX項(xiàng)目云平臺(tái)的建設(shè)
主要是指建設(shè)XX項(xiàng)目外網(wǎng)的云平臺(tái)。
按照XX項(xiàng)目的網(wǎng)絡(luò)安全要求,XX項(xiàng)目外網(wǎng)還劃分為三個(gè)網(wǎng)絡(luò),
XX項(xiàng)目外網(wǎng)業(yè)務(wù)專網(wǎng)、XX項(xiàng)目外網(wǎng)互聯(lián)網(wǎng)接入網(wǎng)和XX項(xiàng)目外網(wǎng)安全
島。XX項(xiàng)目云平臺(tái)的建設(shè)必須遵循現(xiàn)有的網(wǎng)絡(luò)安全要求,因此也同
樣劃分為三個(gè)平臺(tái),分別是XX項(xiàng)目外網(wǎng)業(yè)務(wù)專網(wǎng)云平臺(tái)(以下簡(jiǎn)稱專
網(wǎng)云平臺(tái))、XX項(xiàng)目外網(wǎng)互聯(lián)網(wǎng)接入網(wǎng)云平臺(tái)(以下簡(jiǎn)稱接入網(wǎng)云平
30
臺(tái))和XX項(xiàng)目外網(wǎng)安全島云平臺(tái)(以下簡(jiǎn)稱安全島云平臺(tái))。在規(guī)劃
中,這三個(gè)云平臺(tái)的邏輯架構(gòu)基本一致,但根據(jù)資源使用量的差異,
每個(gè)云平臺(tái)規(guī)模略為不同,且三個(gè)云平臺(tái)之間需使用現(xiàn)有的網(wǎng)絡(luò)邏輯
隔離方法保證云平臺(tái)及網(wǎng)絡(luò)安全。
3.3技術(shù)架構(gòu)
本項(xiàng)目是全市統(tǒng)一的XX市XX項(xiàng)目云服務(wù)中心的重要組成部分,
充分利用社會(huì)資源,同時(shí)結(jié)合超算資源、委辦局現(xiàn)有資源搭建統(tǒng)一管
理的XX項(xiàng)目云平臺(tái),作為必需的重要基礎(chǔ)設(shè)施支撐全市XX項(xiàng)目業(yè)務(wù)。
項(xiàng)目擬由我公司及中國(guó)電信公司,作為XX市XX項(xiàng)目云服務(wù)中心
資源服務(wù)提供商,負(fù)責(zé)軟硬件系統(tǒng)集成(本項(xiàng)目的系統(tǒng)集成工作泛指
云平臺(tái)的硬件及云平臺(tái)軟件集成以及操作系統(tǒng)等集成運(yùn)維工作),搭
建XX市XX項(xiàng)目云平臺(tái)。
XX市XX項(xiàng)目云服務(wù)中心平臺(tái)技術(shù)架構(gòu)圖
31
資源準(zhǔn)入、資源監(jiān)管、資源配置、資源監(jiān)控、資源使用、預(yù)算管理、服務(wù)協(xié)議、
云
云管控層支付申請(qǐng)、客戶服務(wù)、投訴處理、運(yùn)營(yíng)評(píng)價(jià)、資源考核、信息資產(chǎn)統(tǒng)計(jì)、…………云
平平
臺(tái)臺(tái)
將資源集中管理--提供云資源服務(wù)
網(wǎng)災(zāi)
絡(luò)備
云服務(wù)層VMVMVMVMVMVM
安服
全務(wù)
存儲(chǔ)池
服算池存儲(chǔ)池存儲(chǔ)池算池
務(wù)
資源池層網(wǎng)絡(luò)池應(yīng)用池網(wǎng)絡(luò)池應(yīng)用池網(wǎng)絡(luò)池應(yīng)用池
Hypervisor-
服務(wù)提供商超算平臺(tái)各委局(原有設(shè)備)
物理層
機(jī)房、服務(wù)器、存儲(chǔ)、機(jī)房、服務(wù)器、存儲(chǔ)、機(jī)房、服務(wù)器、存儲(chǔ)、
網(wǎng)絡(luò)、軟件…網(wǎng)絡(luò)、軟件…網(wǎng)絡(luò)、軟件……
物理層
物理層是XX項(xiàng)目云平臺(tái)的硬件資源基礎(chǔ),由機(jī)房環(huán)境、服務(wù)器、
存儲(chǔ)、網(wǎng)絡(luò)設(shè)備、安全設(shè)備等組成。由服務(wù)商、XX市超級(jí)計(jì)算中心
和各委局(原有設(shè)施)、全市XX項(xiàng)目公共平臺(tái)(包括XX項(xiàng)目外網(wǎng)、
公共機(jī)房)共同組成,包括了組成云平臺(tái)所必需的機(jī)房,硬件服務(wù)器、
存儲(chǔ)設(shè)備、網(wǎng)絡(luò)和安全等物理資源。
資源層
資源層是將上述資源的物理層全部硬件設(shè)備進(jìn)行池化后的資源,
各自的資源層由物理層提供方負(fù)責(zé)維護(hù)。資源層按功能可劃分為計(jì)算
資源池,存儲(chǔ)資源池、網(wǎng)絡(luò)資源池和應(yīng)用資源池進(jìn)行使用,不同的資
源池設(shè)計(jì)用于不同業(yè)務(wù)系統(tǒng)需求。
32
云服務(wù)層
云服務(wù)層主要是通過(guò)云管理平臺(tái)軟件將資源層的資源聚合,各自
的服務(wù)層由資源層提供方維護(hù)。云服務(wù)層提供各種基于云計(jì)算的服務(wù),
如彈性計(jì)算服務(wù),自動(dòng)化部署、虛擬機(jī)高可用、網(wǎng)絡(luò)管理及安全等,
各委局可以根據(jù)需求選擇適合的云服務(wù)來(lái)構(gòu)建信息化項(xiàng)目運(yùn)行基礎(chǔ)
環(huán)境。
云管控層
云管控層包括中標(biāo)人和各委局的資源準(zhǔn)入、資源使用、資源監(jiān)控、
資源統(tǒng)計(jì)和資源考核等,另外還包括服務(wù)合同、服務(wù)賬單、服務(wù)處理
等功能。云管控層通過(guò)與云服務(wù)層的云管理平臺(tái)軟件進(jìn)行對(duì)接,實(shí)現(xiàn)
對(duì)云服務(wù)層和資源層的資源進(jìn)行調(diào)度和管理。
網(wǎng)絡(luò)安全服務(wù)
網(wǎng)絡(luò)安全服務(wù)對(duì)整個(gè)XX項(xiàng)目云平臺(tái)的安全提供防護(hù)能力,保障
云平臺(tái)上承載的XX項(xiàng)目業(yè)務(wù)系統(tǒng)所使用的網(wǎng)絡(luò)和數(shù)據(jù)得到安全的運(yùn)
行環(huán)境。
備份服務(wù)
備份服務(wù)對(duì)整個(gè)XX項(xiàng)目云平臺(tái)本身及用戶數(shù)據(jù)提供備份服務(wù),
按照不同的備份級(jí)別和備份方式進(jìn)行備份,保障在出現(xiàn)人為失誤操作
或者業(yè)務(wù)系統(tǒng)發(fā)生故障時(shí),能快速恢復(fù)應(yīng)用數(shù)據(jù)及用戶數(shù)據(jù),降低業(yè)
務(wù)系統(tǒng)數(shù)據(jù)丟失的風(fēng)險(xiǎn),提高XX項(xiàng)目云平臺(tái)的可靠性。
33
3.4網(wǎng)絡(luò)架構(gòu)
XX項(xiàng)目云平臺(tái)的網(wǎng)絡(luò)包括現(xiàn)有的XX項(xiàng)目網(wǎng)、服務(wù)商承建的XX
項(xiàng)目網(wǎng)、XX市超級(jí)計(jì)算中心提供的面向XX項(xiàng)目服務(wù)的資源所構(gòu)成的
XX項(xiàng)目網(wǎng),這三者的網(wǎng)絡(luò)連接結(jié)構(gòu)如下所示:
德園小區(qū)機(jī)房連新路機(jī)房
8藝備份網(wǎng)絡(luò)
82同絡(luò)
包括。2茫(政務(wù)專網(wǎng))
2芯(政務(wù)外同)
蕊(安全島同)
2芯(備用悶)
北明軟件提供
藝備份網(wǎng)絡(luò)
8乙網(wǎng)絡(luò)
包括。2芯(玫務(wù)專網(wǎng))
℃(政務(wù)外同)
中國(guó)電信
北明款件2芯(安全島同)
2芯(備用網(wǎng))
中國(guó)電信提供
超算中心
我公司提供的機(jī)房連接到XX項(xiàng)目外網(wǎng)核心層,與現(xiàn)有XX項(xiàng)目網(wǎng)
絡(luò)組成提供網(wǎng)絡(luò)訪問(wèn)服務(wù),每個(gè)節(jié)點(diǎn)使用8芯裸光纖和千兆網(wǎng)絡(luò)進(jìn)行
交叉互聯(lián),云平臺(tái)后期升級(jí)到萬(wàn)兆光纖網(wǎng)絡(luò)。
我公司提供的機(jī)房連接到XX市超算中心,與XX市超算中心分布
式存儲(chǔ)組成同城異地災(zāi)備網(wǎng)絡(luò),節(jié)點(diǎn)使用8芯裸光纖和千兆網(wǎng)絡(luò)進(jìn)行
交叉互聯(lián),云平臺(tái)后期升級(jí)到萬(wàn)兆光纖網(wǎng)絡(luò)。
我公司或者XX市超級(jí)計(jì)算中心的虛擬機(jī)或者物理服務(wù)器,如果
需要訪問(wèn)互聯(lián)網(wǎng)應(yīng)用,都需要回到XX市XX項(xiàng)目核心網(wǎng),再通過(guò)XX
項(xiàng)目核心交換機(jī)出口。服務(wù)商和XX市超級(jí)計(jì)算中心所建設(shè)的XX項(xiàng)目
34
云網(wǎng)絡(luò)和其它網(wǎng)絡(luò)進(jìn)行物理隔離,并確保資源只能用于XX項(xiàng)目。
3.5部署架構(gòu)
根據(jù)XX項(xiàng)目的網(wǎng)絡(luò)安全分類和業(yè)務(wù)系統(tǒng)分類,結(jié)合云計(jì)算技術(shù)
的特點(diǎn),總體規(guī)劃出XX項(xiàng)目云平臺(tái)的邏輯網(wǎng)絡(luò)拓?fù)鋱D如下:
西內(nèi)
3.6管控架構(gòu)
3.6.1審核實(shí)施方案
我公司在項(xiàng)目啟動(dòng)前提交詳細(xì)服務(wù)計(jì)劃,要求明確進(jìn)度計(jì)劃、交
付物等
35
3.6.2清晰服務(wù)目錄
通過(guò)運(yùn)維服務(wù)目錄梳理,清晰的各服務(wù)商的服務(wù)范圍和內(nèi)容,清
晰的管理架構(gòu)和崗位職責(zé)。
3.6.3明確服務(wù)級(jí)別協(xié)議
按運(yùn)營(yíng)商提交的服務(wù)級(jí)別承諾,監(jiān)控各運(yùn)營(yíng)商服務(wù)完成情況。
3.6.4制定溝通計(jì)劃
溝通方式
√口頭溝通:?jiǎn)渭兪褂谜Z(yǔ)言媒介的溝通,包括當(dāng)面口頭和遠(yuǎn)程電話
的溝通;
√報(bào)文溝通:使用電子文檔為媒介的溝通,通常通過(guò)內(nèi)部郵件的方
式發(fā)送;
√書(shū)面溝通:書(shū)面的紙質(zhì)文檔的溝通,通常需要關(guān)系人的手寫(xiě)簽字;
項(xiàng)目報(bào)告
明確報(bào)告方式,如周報(bào)、月報(bào)等。
會(huì)議制度
規(guī)定月度例會(huì)、不定期溝通例會(huì)等。
36
3.6.5統(tǒng)一服務(wù)窗口
運(yùn)營(yíng)商提供7*24小時(shí)的客戶服務(wù)電話和5*8小時(shí)的網(wǎng)上技術(shù)響
應(yīng)服務(wù)處理窗口。
3.6.6統(tǒng)一運(yùn)維流程
通過(guò)建設(shè)統(tǒng)一的服務(wù)流程體系,制定了相關(guān)的運(yùn)維規(guī)范、運(yùn)維服
務(wù)實(shí)現(xiàn)標(biāo)準(zhǔn)化、流程化、規(guī)范化,每個(gè)服務(wù)商在服務(wù)期間要按體系要
求執(zhí)行,并接受管理方審計(jì),對(duì)于偏離規(guī)范的行為,需要及時(shí)發(fā)現(xiàn),
提示告警。這樣從流程的每個(gè)環(huán)節(jié)上各服務(wù)商可以統(tǒng)一標(biāo)準(zhǔn)以及規(guī)范,
減少信息交流和溝通的障礙、提高服務(wù)效率。
服務(wù)流程內(nèi)容不限于:資源準(zhǔn)入、資源監(jiān)管、資源配置、資源監(jiān)
控、資源使用、服務(wù)協(xié)議與收費(fèi)、客戶服務(wù)、投訴處理等。
3.6.7規(guī)范服務(wù)管理標(biāo)準(zhǔn)
運(yùn)營(yíng)商提交熱線服務(wù)規(guī)范、服務(wù)人員行為規(guī)范、服務(wù)語(yǔ)言規(guī)范化、
職業(yè)紀(jì)律要求、安全管理?xiàng)l例等。
3.6.8制定統(tǒng)一租賃標(biāo)準(zhǔn)
制定統(tǒng)一、公開(kāi)、透明的收費(fèi)標(biāo)準(zhǔn),要求運(yùn)營(yíng)商在線上提供讓各
委局單位可以根據(jù)自己需求情況訂制相關(guān)服務(wù)的費(fèi)用計(jì)算工具。
37
3.6.9重視災(zāi)備服務(wù)
重點(diǎn)考查運(yùn)營(yíng)商的備份/恢復(fù)能力,做好災(zāi)備預(yù)案,定期組織應(yīng)
急演練。做到“事前有準(zhǔn)備,應(yīng)急有措施,行動(dòng)有指導(dǎo)”。經(jīng)過(guò)流程
化管理,增強(qiáng)預(yù)警預(yù)測(cè)能力、突發(fā)事件的響應(yīng)和處理能力。
3.6.10服務(wù)結(jié)果可追溯、可審計(jì)
要求服務(wù)商定期提交服務(wù)記錄,服務(wù)記錄應(yīng)記錄申請(qǐng)時(shí)間、審批
時(shí)間、處理時(shí)間、用戶滿意度、服務(wù)計(jì)費(fèi)期限等。
3.6.11實(shí)行績(jī)效考核標(biāo)準(zhǔn)
通過(guò)實(shí)際績(jī)效考核,真實(shí)反映服務(wù)交付與服務(wù)水平,找出服務(wù)的
不足,提高各委局單位的滿意度(主要參照招標(biāo)文件考核標(biāo)準(zhǔn))。主
要工作包括完善績(jī)效管理體系、績(jī)效管理推動(dòng)服務(wù)改進(jìn)、通過(guò)績(jī)效評(píng)
估提高團(tuán)隊(duì)服務(wù)能力、服務(wù)交付與合同合規(guī)性檢查。
3.7服務(wù)流程
按照委局信息化項(xiàng)目建設(shè)需求及總體規(guī)劃,建成的XX項(xiàng)目云平
臺(tái)為委局提供機(jī)房服務(wù)、計(jì)算服務(wù)、存儲(chǔ)服務(wù)、備份服務(wù)、安全服務(wù)、
網(wǎng)絡(luò)服務(wù)、公共平臺(tái)服務(wù)等七大云服務(wù),用以支撐委局信息化項(xiàng)目的
建設(shè),本方案的后續(xù)部分將詳細(xì)描述這七大云服務(wù)的服務(wù)內(nèi)容、服務(wù)
38
設(shè)計(jì)和管理邊界。
委辦局用戶可以像購(gòu)買(mǎi)電子商務(wù)商品一樣租賃XX項(xiàng)目云平臺(tái)中
的云服務(wù),面向委辦局用戶主要的服務(wù)流程包括:云服務(wù)申請(qǐng)使用流
程、云服務(wù)申請(qǐng)使用(應(yīng)急)流程、云區(qū)域申請(qǐng)使用流程、云平臺(tái)測(cè)
評(píng)接入流程、云服務(wù)退出使用流程。
3.7.1云產(chǎn)品發(fā)布流程
云服務(wù)產(chǎn)品發(fā)布流程是指資格服務(wù)商在發(fā)布資源產(chǎn)品時(shí),首先
需要定義服務(wù)產(chǎn)品,并申請(qǐng)發(fā)布到云管控平臺(tái)中,產(chǎn)品經(jīng)過(guò)審核后,
即等同于商品上架。
詳細(xì)過(guò)程如下圖所示:
單位
委局單
位查看產(chǎn)品清單
電子政產(chǎn)品發(fā)布備案
務(wù)中心產(chǎn)品發(fā)布審核
產(chǎn)品發(fā)布評(píng)審×
(15個(gè)工作日)
開(kāi)始產(chǎn)品發(fā)有
資格
服務(wù)
商產(chǎn)品設(shè)計(jì)
提交產(chǎn)品發(fā)布申
請(qǐng)單
資源核實(shí)
是”
否
39
3.7.2云服務(wù)資源創(chuàng)建流程
云服務(wù)資源創(chuàng)建流程是指委局單位申請(qǐng)使用平臺(tái)中的硬件、軟件、
網(wǎng)絡(luò)、機(jī)柜等資源后,XX項(xiàng)目中心進(jìn)行審核,完成符合性審查后,
由服務(wù)商進(jìn)行資源審核和創(chuàng)建資源。
詳細(xì)過(guò)程如下圖所示:
單位
委局單
擬服務(wù)合同
位簽訂服務(wù)合同完成服務(wù)合同
電子政
務(wù)中心委局資源使用申
退回工單請(qǐng)
審核、審批通過(guò)
創(chuàng)建(擴(kuò)容)資|
資源核實(shí)
源
資格
服務(wù)
商資源是否滿足測(cè)試是否通過(guò)
是否
否是
是否擴(kuò)容滿足一交付驗(yàn)收
是是
否否
3.7.3云服務(wù)應(yīng)急資源創(chuàng)建流程
應(yīng)急資源申請(qǐng)使用流程是指委局單位申請(qǐng)使用應(yīng)急服務(wù)資源,每
個(gè)單位應(yīng)急服務(wù)資源不超過(guò)委
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 學(xué)生會(huì)宣傳部競(jìng)選演講稿匯編15篇
- 師德師風(fēng)學(xué)習(xí)心得體會(huì)七篇
- 學(xué)期教育實(shí)習(xí)心得體會(huì)范文10篇
- 2021會(huì)計(jì)工作總結(jié)范文
- 西藏固體廢棄物綜合利用和資源循環(huán)利用項(xiàng)目可行性研究報(bào)告
- 天然氣管網(wǎng)及儲(chǔ)氣設(shè)施項(xiàng)目投標(biāo)書(shū)
- 貨運(yùn)綜合樞紐項(xiàng)目申請(qǐng)報(bào)告
- 湖南x(chóng)x城市停車場(chǎng)項(xiàng)目可行性研究報(bào)告
- 高級(jí)職稱個(gè)人工作述職報(bào)告
- 幼師的實(shí)習(xí)報(bào)告范文匯編5篇
- 10kV電流互感器交接試驗(yàn)作業(yè)指導(dǎo)書(shū)
- 現(xiàn)代生命科學(xué)與人居環(huán)境智慧樹(shù)知到課后章節(jié)答案2023年下同濟(jì)大學(xué)
- 2023-2024學(xué)年山東省濟(jì)南市中區(qū)數(shù)學(xué)三年級(jí)第一學(xué)期期末統(tǒng)考試題含答案
- 部編版語(yǔ)文一年級(jí)上冊(cè)1-8單元全冊(cè)語(yǔ)文園地課件PPT(附教案+課堂練習(xí))
- 2023年江西省公安機(jī)關(guān)警務(wù)輔助人員條例訓(xùn)練題庫(kù)115題及答案
- 國(guó)開(kāi)2023春計(jì)算機(jī)組網(wǎng)技術(shù)形考任務(wù)一參考答案
- 里氏硬度計(jì)算表
- 招聘教研員面試試題
- 鋼結(jié)構(gòu)設(shè)計(jì)手冊(cè)
- 論WTO法律規(guī)則下的新貿(mào)易壁壘
- 軍衛(wèi)一號(hào)數(shù)據(jù)結(jié)構(gòu)手冊(cè)
評(píng)論
0/150
提交評(píng)論