高校云數據中心方案建議書

1、高校數據中心網絡及安全方案建議書 PAGE - 60 -高校云數據中心網絡及安全方案建議書目 錄 TOC o 1-3 h z u HYPERLINK l _Toc488664845 一、建設背景 PAGEREF _Toc488664845 h - 4 - HYPERLINK l _Toc488664846 1.1.數據中心背景介紹 PAGEREF _Toc488664846 h - 4 - HYPERLINK l _Toc488664847 1.2.數據中心建設 PAGEREF _Toc488664847 h - 4 - HYPERLINK l _Toc488664848 1.3.需求分析 P

2、AGEREF _Toc488664848 h - 5 - HYPERLINK l _Toc488664849 二、方案規(guī)劃與設計 PAGEREF _Toc488664849 h - 6 - HYPERLINK l _Toc488664851 2.1.數據中心網絡建設目標 PAGEREF _Toc488664851 h - 6 - HYPERLINK l _Toc488664852 2.2.總體設計思路及原則 PAGEREF _Toc488664852 h - 7 - HYPERLINK l _Toc488664855 2.3.業(yè)務分區(qū) PAGEREF _Toc488664855 h - 9 -

3、 HYPERLINK l _Toc488664856 2.4.網絡設計 PAGEREF _Toc488664856 h - 11 - HYPERLINK l _Toc488664857 2.4.1.核心交換區(qū) PAGEREF _Toc488664857 h - 12 - HYPERLINK l _Toc488664858 2.4.2.服務器接入區(qū) PAGEREF _Toc488664858 h - 13 - HYPERLINK l _Toc488664859 2.4.3.互聯網區(qū) PAGEREF _Toc488664859 h - 14 - HYPERLINK l _Toc488664860

4、2.4.4.外聯網區(qū) PAGEREF _Toc488664860 h - 15 - HYPERLINK l _Toc488664861 2.4.5.廣域網接入區(qū) PAGEREF _Toc488664861 h - 16 - HYPERLINK l _Toc488664862 2.4.6.災備接入區(qū) PAGEREF _Toc488664862 h - 17 - HYPERLINK l _Toc488664863 2.5.安全設計 PAGEREF _Toc488664863 h - 19 - HYPERLINK l _Toc488664864 2.5.1.安全設計原則 PAGEREF _Toc48

5、8664864 h - 19 - HYPERLINK l _Toc488664865 2.5.2.SecBlade FW插卡部署 PAGEREF _Toc488664865 h - 20 - HYPERLINK l _Toc488664866 2.5.3.SecBlade FW+IPS+LB組合部署 PAGEREF _Toc488664866 h - 22 - HYPERLINK l _Toc488664867 2.6.QoS設計 PAGEREF _Toc488664867 h - 26 - HYPERLINK l _Toc488664868 2.6.1.QoS設計原則 PAGEREF _To

6、c488664868 h - 26 - HYPERLINK l _Toc488664869 2.6.2.QoS服務模型選擇 PAGEREF _Toc488664869 h - 26 - HYPERLINK l _Toc488664870 2.6.3.QoS規(guī)劃 PAGEREF _Toc488664870 h - 27 - HYPERLINK l _Toc488664871 2.6.4.QoS部署 PAGEREF _Toc488664871 h - 29 - HYPERLINK l _Toc488664872 2.7.數據中心互聯 PAGEREF _Toc488664872 h - 31 - H

7、YPERLINK l _Toc488664873 2.8.新技術應用 PAGEREF _Toc488664873 h - 33 - HYPERLINK l _Toc488664874 2.8.1.FCoE PAGEREF _Toc488664874 h - 33 - HYPERLINK l _Toc488664875 2.8.2.虛擬機(VM)部署與遷移 PAGEREF _Toc488664875 h - 35 - HYPERLINK l _Toc488664876 2.9.數據中心管理 PAGEREF _Toc488664876 h - 37 - HYPERLINK l _Toc488664

8、877 2.9.1.數據中心管理設計原則 PAGEREF _Toc488664877 h - 37 - HYPERLINK l _Toc488664878 2.9.2.網絡管理 PAGEREF _Toc488664878 h - 37 - HYPERLINK l _Toc488664879 2.9.3.網絡監(jiān)控 PAGEREF _Toc488664879 h - 40 - HYPERLINK l _Toc488664880 三、方案實施 PAGEREF _Toc488664880 h - 42 - HYPERLINK l _Toc488664882 3.1.網絡布線建議 PAGEREF _To

9、c488664882 h - 42 - HYPERLINK l _Toc488664883 3.1.1.走線方式的選擇 PAGEREF _Toc488664883 h - 42 - HYPERLINK l _Toc488664884 3.1.2.網絡配線方式 PAGEREF _Toc488664884 h - 44 - HYPERLINK l _Toc488664885 3.1.3.服務器接入方式 PAGEREF _Toc488664885 h - 45 - HYPERLINK l _Toc488664886 3.1.4.機房布線建議 PAGEREF _Toc488664886 h - 48

10、- HYPERLINK l _Toc488664887 3.2.VLAN規(guī)劃 PAGEREF _Toc488664887 h - 48 - HYPERLINK l _Toc488664888 3.3.IP地址規(guī)劃 PAGEREF _Toc488664888 h - 48 - HYPERLINK l _Toc488664889 3.4.路由規(guī)劃 PAGEREF _Toc488664889 h - 50 - HYPERLINK l _Toc488664890 3.5.業(yè)務遷移 PAGEREF _Toc488664890 h - 52 - HYPERLINK l _Toc488664891 四、設備

11、介紹 PAGEREF _Toc488664891 h - 53 - HYPERLINK l _Toc488664893 4.1.H3C特色技術介紹 PAGEREF _Toc488664893 h - 53 - HYPERLINK l _Toc488664894 4.1.1.IRF虛擬化 PAGEREF _Toc488664894 h - 53 - HYPERLINK l _Toc488664895 4.1.2.網絡安全融合 PAGEREF _Toc488664895 h - 55 -建設背景數據中心背景介紹數據中心（英文拼寫Data Center，簡寫DC）是數據大集中而形成的集成IT應用環(huán)境

12、，它是各種IT應用服務的提供中心，是數據計算、網絡、存儲的中心。數據中心實現了安全策略的統(tǒng)一部署，IT基礎設施、業(yè)務應用和數據的統(tǒng)一運維管理。數據中心是當前各行業(yè)的IT建設重點。運營商、電力、能源、金融證券、大型企業(yè)、政府、交通、教育、制造業(yè)、網站和電子商務公司等正在進行或已完成數據中心建設，通過數據中心的建設，實現對IT信息系統(tǒng)的整合和集中管理，提升內部的運營和管理效率以及對外的服務水平，同時降低IT建設的TCO。數據中心的發(fā)展可分為四個層面：數據中心基礎網絡整合：根據業(yè)務需求，基于開放標準的IP協(xié)議，完成對學?，F有異構業(yè)務系統(tǒng)、網絡資源和IT資源的整合，解決如何建設數據中心的問題。數據中心

13、應用智能：基于TCP/IP的開放架構，保證各種新業(yè)務和應用在數據中心的基礎體系架構上平滑部署和升級，滿足用戶的多變需求，保證數據中心的持續(xù)服務和業(yè)務連續(xù)性。各種應用的安全、優(yōu)化與集成可以無縫的部署在數據中心之上。數據中心虛擬化：傳統(tǒng)的應用孤島式的數據中心模型擴展性差，核心資源的分配與業(yè)務應用發(fā)展出現不匹配，使得資源利用不均勻，導致運行成本提高、現有投資無法達到最優(yōu)化的利用、新業(yè)務部署難度增大、現有業(yè)務持續(xù)性得不到保證、安全面臨威脅。虛擬化通過構建共享的資源池，實現對網絡資源、計算計算和存儲資源的幾種管理、規(guī)劃和控制，簡化管理維護、提高設備資源利用率、優(yōu)化業(yè)務流程部署、降低維護成本。數據中心資源

14、智能：通過智能化管理平臺實現對資源的智能化管理，資源智能分配調度，構建高度智能、自動化數據中心。數據中心建設近年來隨著學校業(yè)務的規(guī)模及多樣化發(fā)展，學校對信息化的依賴程度越來越高，數據集中、業(yè)務7*24小時高可靠支撐對數據中心的要求越來越高。經綜合考慮，擬在新建數據中心，未來數據中心將成為我大學的主中心，承載所有業(yè)務系統(tǒng)。需求分析1、各個院系各有一套系統(tǒng)、各有一套設備、各有管理人員，力量分散，信息割裂，重復投入，如何解決？ 2、老師需要現代化教學手段，實現在線的教與學，每位老師都需要自己獨立的電子教學空間，傳統(tǒng)校園網如何保障新式教學需求？ 3、老師做學術研究，6個月的項目需要強大的計算資源做支持

15、，為了6個月的項目去進行大量重復投資？ 4、學生做經濟數學建模，物理、氣象的模擬計算等學習研究，個人計算機運算性能有限，學生如何獲取計算資源？ 5、為什么要進行軟件資源整合？不同部門，不同業(yè)務系統(tǒng) 信息編碼不統(tǒng)一，流程難互通 信息孤島一座座 數據挖掘難，無法支撐決策 6、為什么要進行硬件資源整合？不同系統(tǒng)，構建獨立物理子網 服務器資源無法橫向共享 CPU、內存等計算資源無法整合 投資大、故障點多、維護難 7、為什么要進行人力資源整合？各院系信息化人員難以統(tǒng)一思路 各自為政，只顧“小家” 各院系信息化人員水平參差不齊各信息系統(tǒng)效用難以均衡發(fā)揮 方案規(guī)劃與設計數據中心網絡建設目標我大學數據中心未來

16、將我大學承載所有生產環(huán)境系統(tǒng)。數據中心網絡作為業(yè)務網絡的一個重要組成部分，為核心業(yè)務系統(tǒng)服務器和存儲設備提供安全可靠的接入平臺。網絡建設應達成以下目標：高可用網絡作為數據中心的基礎設施，網絡的高可用直接影響到業(yè)務系統(tǒng)的可用性。網絡層的高可用至少包括高可靠、高安全和先進性三個方面：高可靠：應采用高可靠的產品和技術，充分考慮系統(tǒng)的應變能力、容錯能力和糾錯能力，確保整個網絡基礎設施運行穩(wěn)定、可靠。當今，關鍵業(yè)務應用的可用性與性能要求比任何時候都更為重要。高安全：網絡基礎設計的安全性，涉及到我大學業(yè)務的核心數據安全。應按照端到端訪問安全、網絡L2-L7層安全兩個維度對安全體系進行設計規(guī)劃，從局部安全、

17、全局安全到智能安全，將安全理念滲透到整個數據中心網絡中。先進性：數據中心將長期支撐我大學的業(yè)務發(fā)展，而網絡又是數據中心的基礎支撐平臺，因此數據中心網絡的建設需要考慮后續(xù)的機會成本，采用主流的、先進的技術和產品（如數據中心級設備、CEE、FCoE、虛擬化支持等），保證基礎支撐平臺510年內不會被淘汰，從而實現投資的保護。易擴展我大學的業(yè)務目前已向多元化發(fā)展，未來的業(yè)務范圍會更多更廣，業(yè)務系統(tǒng)頻繁調整與擴展再所難免，因此數據中心網絡平臺必須能夠適應業(yè)務系統(tǒng)的頻繁調整，同時在性能上應至少能夠滿足未來510年的業(yè)務發(fā)展。對于網絡設備的選擇和協(xié)議的部署，應遵循業(yè)界標準，保證良好的互通性和互操作性，支持業(yè)

18、務的快速部署。易管理數據中心是IT技術最為密集的地方，數據中心的設備繁多，各種協(xié)議和應用部署越來越復雜，對運維人員的要求也越來越高，單獨依賴運維人員個人的技術能力和業(yè)務能力是無法保證業(yè)務運行的持續(xù)性的。因此數據中心需要提供完善的運維管理平臺，對數據中心IT資源進行全局掌控，減少日常的運維的人為故障。同時一旦出現故障，能夠借助工具直觀、快速定位。總體設計思路及原則數據中心為我大學業(yè)務網絡、日常辦公與外聯單位提供數據訪問、OA和視頻等服務，以及各業(yè)務的安全隔離控制。數據中心并不是孤立存在的，而是與網絡匯聚中心外聯單位網絡等網絡區(qū)域相輔相成，數據中心基礎網絡是業(yè)務數據的傳輸通道，將數據的計算和數據存

19、儲有機的結合在一起。為保證數據中心網絡的高可用、易擴展、易管理，數據中心網絡架構需按照結構化、模塊化和扁平化的原則設計：結構化結構化的網絡設計便于上層協(xié)議的部署和網絡的管理，提高網絡的收斂速度，實現高可靠。數據中心網絡結構化設計體現在適當的冗余性和網絡的對稱性兩個方面。如下圖所示：冗余的引入可以消除設備和鏈路的單點故障，但是過度的冗余同樣會使網絡過于復雜，不便于運行和維護，因此一般采用雙節(jié)點雙歸屬的架構設計網絡結構的對稱，可以使得網絡設備的配置簡化、拓撲直觀，有助于協(xié)議設計分析。在數據中心網絡設計時，由于引入了冗余和對稱的設計，這必將引入網絡的環(huán)路，可通過如下建設思路消除環(huán)路影響：啟用STP和

20、VRRP協(xié)議傳統(tǒng)解決方案，標準的協(xié)議，設備要求較低。但此種部署方案網絡的協(xié)議部署復雜，收斂慢，鏈路帶寬利用率低，運維管理工作量大。本方案設計不采用此方法。IRF網絡設備N:1虛擬化技術通過H3C IRF技術對同一層面的設備進行橫向整合，將兩臺或多臺設備虛擬為一臺設務，統(tǒng)一轉發(fā)、統(tǒng)一管理，并實現跨設備的鏈路捆綁。因此不會引入環(huán)路，無需部署STP和VRRP等協(xié)議，簡化網絡協(xié)議的部署，大大縮短設備和鏈路收斂時間（毫秒級），鏈路負載分擔方式工作，利用率大大提升。在本方案的設計中，將采用端到端的IRF部署，滿足網絡高可靠的同時，簡化網絡運維管理。模塊化構建數據中心基礎網絡時，應采用模塊化的設計方法，將數

21、據中心劃分為不同的功能區(qū)域，用于實現不同的功能或部署不同的應用，使得整個數據中心的架構具備可伸縮性、靈活性、和高可用性。數據中心中的服務器將會根據服務器上的應用的用戶訪問特性和應用的功能不同部署在不同的區(qū)域中。如下圖所示：數據中心網絡分為網絡接入區(qū)、數據中心核心交換區(qū)和服務器接入區(qū)三大功能區(qū)域，其中網絡接入區(qū)和服務器接入區(qū)依據服務類型的不同，可進行子區(qū)的細分，詳細參見“業(yè)務分區(qū)”章節(jié)的描述。數據中心核心區(qū)用于承接各區(qū)域之間的數據交換，是整個數據中心的核心樞紐，因此核心交換機設備應選用可靠性高的數據中心級設備部署。在進行模塊化設計時，盡量做到各模塊之間松耦合，這樣可以很好的保證數據中心的業(yè)務擴展

22、性，擴展新的業(yè)務系統(tǒng)或模塊時不需要對核心或其它模塊進行改動。同時模塊化設計也可以很好的分散風險，在某一模塊（除核心區(qū)外）出現故障時不會影響到其它模塊，將數據中心的故障影響降到最小。扁平化數據中心的網絡架構依據接入密度和分為三層架構和二層架構，如下圖所示：傳統(tǒng)的數據中心網絡通常采用三層架構進行組網，三層架構可以保證網絡具備很好的擴展性，同一個分區(qū)內服務器接入密度高。但三層架構網絡設備較多，不便于網絡管理，運維工作量大。同時組網成本相對較高。隨著網絡交換技術的不斷發(fā)展，交換機的端口接入密度也越來越高，二層組網的擴展性和密度已經能夠很好的滿足學校數據中心服務器接入的要求。同時在服務器虛擬化技術應用越

23、來越廣泛的趨勢下，二層架構更容易實現VLAN的大二層互通，滿足虛擬機的部署和遷移。相比三層架構，二層架構可以大大簡化網絡的運維與管理。綜合上述因素，數據中心的網絡設計采用二層扁平化架構，滿足擴展性的同時，實現易管理。業(yè)務分區(qū)按照3.2章節(jié)中的“模塊化”設計原則，需要對業(yè)務系統(tǒng)進行分區(qū)。從技術看，業(yè)務分區(qū)需要遵循以下原則：分區(qū)優(yōu)先考慮訪問控制的安全性，單個應用訪問盡量在一個區(qū)域內部完成，單個區(qū)域故障僅影響一類應用，盡量減少區(qū)域間的業(yè)務耦合度；區(qū)域總數量的限制：但區(qū)域多則運維管理的復雜度和設備投資增加，區(qū)域總數量有運維上限不超過20個；單個區(qū)域內服務器數量的限制：受機房空間、二層域大小、接入設備容

24、量限制，單個區(qū)域內服務器數量有限（通常不超過200臺）。接入層設備利用率的限制：受機房布局的影響，如果每個機房都要部署多個安全區(qū)的接入交換機，會導致接入交換機資源浪費，端口利用率低，因此安全區(qū)的數量不宜過多。防火墻性能的限制: 區(qū)域之間的流量如果超過10G，則需要考慮通過防火墻橫向擴容，或區(qū)域調整的方式分擔流量。在實際的數據中心分區(qū)設計中，通常有以下三種分區(qū)方法：按照業(yè)務功能進行分區(qū)：根據業(yè)務系統(tǒng)的功能（如OA、支撐等）或業(yè)務的實時性（實時業(yè)務、非實時業(yè)務）或者業(yè)務系統(tǒng)的功能（如ERP、財務等）進行分區(qū)劃分，此分區(qū)方法適合大多數數據中心；按照安全等保級別進行分區(qū)：按照業(yè)務系統(tǒng)的安全等級定義進行

25、劃分，如“三級系統(tǒng)獨立成域，二級系統(tǒng)統(tǒng)一成域”，此分區(qū)方法適合政府、電力等行業(yè)數據中心；按照服務器類型進行分區(qū)：一般分為WEB服務器區(qū)、APP/中間件服務器區(qū)、DB服務器區(qū)。此分區(qū)適合互聯網等數據中心。按照需求調研時了解的學校業(yè)務系統(tǒng)分布情況，結合業(yè)務系統(tǒng)的用戶類型，數據中心的分區(qū)設計按照業(yè)務功能進行分區(qū)。各區(qū)域業(yè)務系統(tǒng)部署描述如下：辦公局域網區(qū)：數據中心大樓辦公網絡，包括終端、樓層接入與匯聚。廣域網接入區(qū)：與網絡匯聚中心廣域網絡互連，網絡出口。外聯網接入應用區(qū)：與合作單位的專線互連，此區(qū)域也包括合作單位的業(yè)務前置機服務器。互聯網接入應用區(qū)：互聯網出口，此區(qū)域也包括學校網站群WEB服務器、郵件

26、系統(tǒng)、DNS服務器等。OA應用區(qū)：此區(qū)域部署學校內部的OA應用服務器，包括OA、圖檔、視頻會議、文件、網絡教學、網上招投標等應用系統(tǒng)。ERP/財務應用區(qū)：部署學校內部的ERP和財務應用服務器。開發(fā)測試區(qū)：此區(qū)域用于學校內部信息系統(tǒng)的開發(fā)與測試，或新系統(tǒng)上線前的測試部署。災備接入應用區(qū)：此區(qū)域實現數據級的異地災備。同時此區(qū)域可以部署一些本地的重要系統(tǒng)備份應用。支撐管理區(qū)：此區(qū)域部署數據中心網絡、安全、服務器、存儲等IT資源的運維管理系統(tǒng)，此外包括學校內部的域管理和身份認證服務器。數據中心核心區(qū)：此區(qū)域用于實現各分區(qū)之間的數據交互，是數據中心網絡平臺的核心樞紐，無服務器部署。網絡設計結合上述的業(yè)務

27、分區(qū)，按照結構化、模塊化、扁平化的設計原則，實現高可用、易擴展、易管理的建設目標。網絡整體拓撲如下圖所示：整體網絡拓撲采用扁平化兩層組網架構，從數據中心核心區(qū)直接到服務器接入，省去了中間的匯聚層，這種扁平化的網絡結構有以下優(yōu)點：簡化網絡拓撲，降低網絡運維的難度；服務器區(qū)容易構建大二層網絡，更適合未來的虛擬機大量部署及遷移；服務器接入交換機未來的擴展可直接在現有的IRF虛擬組添加成員交換機，擴展方便。對于數據中心的網絡安全部署，在本方案中采用了“分布式安全部署”的策略，防火墻形態(tài)采用了H3C SecBlade安全插卡，實現網絡安全的融合。詳細的安全設計參加“3.5安全設計”章節(jié)?？v觀整體方案拓撲

28、，在此方案設計與部署時共采用了IRF虛擬化、網絡安全融合、智能管理三種H3C特有的關鍵技術(詳細參見5.2章節(jié)相關介紹)，在保證數據中心的高可靠的同時，簡化網絡運維管理，同時提供了智能化的管理工具平臺。核心交換區(qū)功能描述核心交換區(qū)的主要功能是完成各服務器功能分區(qū)、辦公局域網、外聯網、互聯網之間數據流量的高速交換，是廣域/局域縱向流量與服務功能分區(qū)間橫向流量的交匯點。核心交換區(qū)必須具備高速轉發(fā)的能力，同時還需要有很強的擴展能力，以便應對未來業(yè)務的快速增長。核心模塊是整個平臺的樞紐。因此，可靠性是衡量核心交換區(qū)設計的關鍵指標。否則，一旦核心模塊出現異常而不能及時恢復的話，會造成整個平臺業(yè)務的長時間

29、中斷，影響巨大。拓撲設計設計要點高可靠核心交換設備選用數據中心級核心交換機，配置雙引擎，雙電源，保證網絡組件層面的穩(wěn)定性。網絡架構層面，采用雙核心設計，兩臺設備進行冗余，并通過虛擬化技術進行橫向整合，將兩臺物理設備虛擬化為一臺邏輯設備，并實現跨設備的鏈路捆綁，所各分區(qū)的交換機IRF相配合，實現端到端IRF部署。兩臺設備工作在雙活模式，縮短鏈路故障與設備故障的倒換時間(毫秒級)，保證出現單點故障時不中斷業(yè)務。為保證出現單點故障(鏈路/設備)時另一臺設備能夠完全接管業(yè)務，各功能模塊通過“口”字形上行與核心模塊互連。高速傳輸本次網絡設計容量應保證未來35年內的業(yè)務擴展，本設計采用“萬兆到核心，千兆接

30、入”的思路，核心模塊對外接口為全萬兆接口。易于擴展按照“核心邊緣架構”的設計原則，核心模塊應避免部署訪問控制策略（如ACL、路由過濾等），保證核心模塊業(yè)務的單純性與松耦合，便于下聯功能模塊擴展時，不影響核心業(yè)務，同時可以提高核心模塊的穩(wěn)定性。智能分析針對各個區(qū)域的業(yè)務流量變化趨勢，本次在核心交換機上部署網絡流量分析模塊，可以實時感知，并作為網絡優(yōu)化及調整的依據。服務器接入區(qū)功能描述服務器接入區(qū)用于完成服務器的LAN網絡接入，依照3.3章節(jié)的業(yè)務分區(qū)設計，涉及到服務器接入的業(yè)務分區(qū)包括應用區(qū)、ERP/財務應用區(qū)、開發(fā)測試區(qū)、支撐管理區(qū)、其它應用區(qū)，這些區(qū)域雖然部署的應用服務器類型不一樣，設備的選

31、型要求也不一樣，但對于網絡拓撲設計來說是一樣的，因此在方案設計時，這些區(qū)域的網絡拓撲設計將在此統(tǒng)一進行描述。拓撲設計注：應用區(qū)若部署院線WEB服務器，則服務器接入交換機上除了部署FW插卡外，還頊要部署IPS和SLB插卡。設計要點服務器接入交換機部署雙機，并采用IRF虛擬化，將兩臺物理設備虛擬化為一臺邏輯設備，實現跨設務鏈路捆綁，與核心交換機配合實現端到端IRF。此外服務器雙網關配置成雙活模式（Active-Active），；各服務器接入交換機上部署SecBlade FW插卡，用于本區(qū)域與其它區(qū)域的訪問控制策略部署。應用區(qū)部署FW+IPS+LB插卡；服務器網關部署在接入交換機上，防火墻插卡與接入

32、交換機以及核心交換機之間運行OSPF動態(tài)路由，實現FW的雙機熱備?；ヂ摼W區(qū)功能描述互聯網區(qū)用于部署學校WEB服務器以及學校的DNS、FTP、E-mail等需要通過互聯網對公眾用戶提供服務器的應用系統(tǒng)。拓撲設計設計要點Internet出口采用雙運營商鏈路，保證用戶訪問效率的同時，實現鏈路的冗余；服務器接入交換機部署雙機，并采用IRF虛擬化，將兩臺物理設備虛擬化為一臺邏輯設備，實現跨設務鏈路捆綁，與服務器雙網卡配合實現雙活(Active-Active)；采用雙層防火墻部署，外層防火墻用于實現Internet與WEB、DNS、Email、FTP等公網服務器的隔離，實現公網服務器的分域，并配置DMZ區(qū)

33、域保證安全。內層防火墻用于實現公網服務器與數據中心內部其它服務器之間的隔離，部署內部區(qū)域間的訪問控制策略。外層防火墻采用獨立設備、內層防火墻采用在服務器接入交換機上部署SecBlade FW插卡。由于Internet區(qū)部署了較多的網站等WEB服務器，因此需要部署LB和IPS設備。來保證負載分擔和L2L7層安全過濾。外聯網區(qū)功能描述外聯網區(qū)用于實現與合作單位的專線網絡進行互聯，并部署合作單位的前置機服務器。拓撲設計設計要點服務器接入交換機部署雙機，并采用IRF虛擬化，將兩臺物理設備虛擬化為一臺邏輯設備，實現跨設務鏈路捆綁，與服務器雙網卡配合實現雙活(Active-Active)；采用雙層防火墻部

34、署，外層防火墻用于實現前置機服務器與合作單位網絡的隔離，可部署NAT。內層防火墻用于實現前置機服務器與數據中心內部其它服務器之間的隔離，部署內部區(qū)域間的訪問控制策略。外層防火墻H3C SecBlade FW插卡、內層防火墻可采用非H3C的第三方FW獨立設備進行異構，加強安全性。服務器接入交換機上部署SecBlade IPS插卡，實現L2L7層安全過濾。廣域網接入區(qū)功能描述廣域網接入區(qū)用于實現與網絡匯聚中心的互連，保證學校內部用戶通過廣域網訪問數據中心內的業(yè)務系統(tǒng)。拓撲設計設計要點廣域網出口路由器部署雙機，出口鏈路為雙鏈路，保證廣域網出口高可靠；防火墻采用路由器上部署SecBlade FW插卡。

35、災備接入區(qū)功能描述災備接入區(qū)用于實現數據中心與大連災備中心的互連，實現SAN和LAN網絡雙中心的互通，保證數據同步復制。同時通過將兩中心的VLAN二層打通，實現跨數據中心的大二層網絡，便于虛擬機業(yè)務遷移和跨地域服務器集群。拓撲設計設計要點數據中心與大連災備中心之間采用雙路裸纖做災備互連鏈路，并采用DWDM進行復用。SAN網絡直接通過光纖上DWDM波分設備，實現數據存儲備份通道的互通。LAN網絡通過在服務器網關交換機設備上通過VLAN Trunk到匯接交換機，然后再上DWDM設備，實現雙中心之間的大二層VLAN互通。匯接交換機部署IRF，實現雙纖捆綁，保證鏈路的可靠性?？绲赜虻亩哟蛲ê?，可以實

36、現網關設備跨地域部署VRRP，保證雙中心服務器集群時網關的切換。安全設計安全設計原則安全與網絡密不可分，本方案中的安全設計部署采用了與網絡分區(qū)相同的安全域劃分，同時采用SecBlade安全插卡實現了網絡與安全設備形態(tài)的融合。整個方案的安全部署采用了目前應用廣泛的“分布式安全部署”方法，如下圖右側所示：分布式安全部署具有以下優(yōu)勢：分散風險：傳統(tǒng)的集中式安全部署一般將防火墻旁掛在核心交換機兩側，這樣一旦防火墻出現故障，數據中心內的所有業(yè)務區(qū)都將不能訪問，整個數據中心的所有業(yè)務均會中斷，風險和性能壓力都集中在防火墻上。而采用分布式部署后，防火墻出現故障只會影響到本區(qū)域的業(yè)務，進而實現風險和性能的分散

37、，提高了整個數據中心的可靠性；靈活擴展：分部式安全部署，核心交換機原則上不部署任何與業(yè)務分區(qū)之間的安全策略，可實現核心區(qū)與各業(yè)務分區(qū)之間的松耦合，在新增模塊或業(yè)務系統(tǒng)時，無需更改核心設備的配置，減小核心區(qū)出現故障的機率，保證核心區(qū)的高可靠與業(yè)務分區(qū)的靈活擴展；簡化安全策略部署：防火墻下移到各業(yè)務分區(qū)的出口，防火墻上部署的安全策略可大大簡化，默認僅需要劃分兩個安全域（受信域與非受信域），采用白名單方式下發(fā)策略，減少了策略的交叉。SecBlade FW插卡部署防火墻設備在數據中心網絡架構中為內部系統(tǒng)提供了安全和可靠性保障。防火墻主要部署在數據中心的兩個常見區(qū)域中：數據中心出口區(qū)域和服務器區(qū)域。在數

38、據中心出口區(qū)域部署防火墻可以保障來自Internet和合作伙伴的用戶的安全性，避免未經授權的訪問和網絡攻擊。在數據中心服務器區(qū)域部署防火墻可以避免不同服務器系統(tǒng)之間的相互干擾，通過自定義防火墻策略還可以提供更詳細的訪問機制。防火墻插卡設備雖然部署在交換機框中，但仍然可以看作是一個獨立的設備。它通過交換機內部的10GE接口與網絡設備相連，它可以部署為2層透明設備和三層路由設備。防火墻與交換機之間的三層部署方式與傳統(tǒng)盒式設備類似。 如上圖FW三層部署所示，防火墻可以與宿主交換機直接建立三層連接，也可以與上游或下游設備建立三層連接，不同連接方式取決于用戶的訪問策略?？梢酝ㄟ^靜態(tài)路由和缺省路由實現三層

39、互通，也可以通過OSPF這樣的路由協(xié)議提供動態(tài)的路由機制。如果防火墻部署在服務器區(qū)域，可以將防火墻設計為服務器網關設備，這樣所有訪問服務器的三層流量都將經過防火墻設備，這種部署方式可以提供區(qū)域內部服務器之間訪問的安全性。數據中內部，整體安全采用分布式部署設計，已經對不同的業(yè)務系統(tǒng)進行了分區(qū)，整體安全邊界清晰。為簡化SecBlade FW的配置，提高網關性能，將服務器的網關均部署在接入交換機上， SecBlade FW插卡僅部署本分區(qū)內與其它分區(qū)之間的安全策略。若本分區(qū)內各服務器之間有隔離需求，建議在接入交換機上采用ACL方式實現。如下圖所示：對于僅部署SecBlade FW插卡的業(yè)務區(qū)（如ER

40、P/財務、開發(fā)測試、支撐管理、外聯網區(qū)），區(qū)域內的安全部署邏輯拓撲如下圖所示：接入交換機雙機部署IRF虛擬化，并實現跨設備鏈路捆綁。兩塊SecBlade FW插卡邏輯上相當于插在同一臺交換機上。每臺接入交換機邏輯上均可以看成一臺L2交換機與一臺L3交換機的疊加，服務器網關部署在交換機上。SecBlade通過內部的10GE接口與交換機互連，并創(chuàng)建多個L3接口進行引流，讓所有流經服務器的流量均經過FW過濾。兩塊FW插卡通過帶外狀態(tài)同步線（心跳線）進行狀態(tài)同步，FW插卡之間通過OSPF動態(tài)路由實現熱備或負載分擔（ECMP）。SecBlade FW+IPS+LB組合部署對于數據中心的應用區(qū)、互聯網應用

41、區(qū)，需要涉及到FW+IPS+LB的組合部署，FW插卡的基本特性3.5.2章節(jié)已做描述，下面先介紹IPS和LB插卡的基本組網：SecBlade IPS基本組網設計SecBlade IPS插卡為數據中心內部提供了更堅固的安全保護機制。通過IPS的深度檢測功能可以有效保護內部服務器避免受到病毒、蠕蟲、程序漏洞和DDOS等來自應用層的安全威脅。IPS插卡通過OAA（開放的應用架構）技術與宿主交換機配合使用?？梢酝ㄟ^傳統(tǒng)的流量重定向方式將需要IPS處理的業(yè)務流重定向到IPS插卡上處理，也可以通過OAA方式在IPS的Web頁面上配置重定向策略，這兩種方式都可以實現相同的功能。由于不同交換機設備對OAA的支

42、持程度不同。我們推薦在本方案中采用重定向策略引流。由于IPS插卡在整個網絡中屬于2層透明轉發(fā)設備，不會對報文進行任何修改，整個網絡從連通性上看加入IPS后不會產生任何變化影響。因此建議實施的時候將其放在最后進行上線配置，即其他設備都調試OK，流量轉發(fā)與HA設計都以正常實現情況下再進行IPS的部署實施。SecBlade IPS組網結構流量圖SecBlade IPS不會對報文進行任何修改，對于上IPS處理的報文，非OAA方式只能通過VLAN區(qū)分流量是屬于外部域還是內部域。所以在組網設計中需注意非OAA方式重定向到IPS插卡的業(yè)務流上下行流量需為不同VLAN。由于IPS插卡不具有雙機熱備功能，通過組

43、網設計，部分環(huán)境可以做到IPS故障的切換，部分環(huán)境中當IPS故障后，重定向功能失效，業(yè)務流將不能繼續(xù)受到IPS的安全保護，流量在短暫中斷后仍然可以保證連續(xù)性。SecBlade LB板卡設計部署LB插卡具備兩大主要功能，服務器負載均衡和鏈路負載均衡，分別應用于數據中心服務器區(qū)和Internet出口區(qū)域。服務器負載均衡為數據中心服務器區(qū)性能的擴展和資源利用的優(yōu)化提供完美的解決方案。鏈路負載均衡非常有效的部署在數據中心多出口的組網環(huán)境中，可以同時對多條廣域網鏈路優(yōu)化資源利用。LB插卡的工作方式與防火墻的類似，仍然作為一個獨立的設備運行。通過傳統(tǒng)的三層方式與交換機或下游設備相連。可以通過靜態(tài)路由和缺省

44、路由實現三層互通，也可以通過OSPF這樣的路由協(xié)議提供動態(tài)的路由機制。SecBlade LB在數據中心出口的部署如圖所示，在數據中心出口區(qū)域，LB插卡可以與宿主交換機連接三層連接關系，也可以直接和下游設備如防火墻等建立三層連接關系。這取決于用戶的實際需求，前一種方式可以提供更靈活的路由控制策略，而后一種方式可以簡化組網的復雜結構（例如：如果經LLB下行的流量都要通過防火墻的安全保護，那么可以將防火墻直接作為LLB的下一跳設備）。需要注意的是，在雙機熱備的組網環(huán)境中，兩塊LLB的出口配置必須相同，這樣才能保證業(yè)務切換后能正常運行。如圖所示，在數據中心服務器區(qū)，LB提供了服務器的負載均衡能力。我們

45、可以將LB插卡作為服務器的網關設備，這樣所有的服務器流量都需經過LB設備。也可以將服務器網關放置在交換機上，LB設備通過路由方式訪問服務器群，這樣的部署方式可以靈活控制LB對服務器的訪問。組合部署在數據中心服務器區(qū)IPS+FW+SLB的部署主要有以下四種方式：IPS如果需要保護所有流量可以部署在前端，如果僅需要保護部分關鍵區(qū)域的業(yè)務可以放置在FW后面。SLB可以作為服務器網關設備部署，如果服務器間還需要更嚴格的防護策略可以將防火墻部署在SLB下端作為服務器的隔離設備。通過IRF堆疊技術還可以進一步簡化組網結構，提高管理維護和配置成本，是目前的流行部署方式。本方案的推薦采用組網四方案，組網邏輯拓

46、撲如下圖所示：在本案例組網設計中， 接入交換機和安全插卡都為雙機部署，使用OSPF動態(tài)路由協(xié)議。交換機通過IRF方式增強可靠性和管理性，FW插卡與上游設備建立三層連接關系，提供安全保護功能。SLB插卡與接入交換機建立三層連接關系，同時對下做為服務器網關設備提供服務器負載均衡功能。QoS設計QoS設計原則學校網絡整網QoS設計遵循以下的原則：正常情況下QOS是通過帶寬來保證的。換句話說，即在網絡帶寬足夠高的情況下，不需要QOS機制。當帶寬利用率達到60可考慮擴容；網絡設備的容量不能成為瓶頸；網絡/鏈路故障或網絡擁塞情況下QOS策略生效；任何時候都優(yōu)先保證實時業(yè)務。QoS服務模型選擇為了更有效的利

47、用帶寬，使關鍵業(yè)務得到無阻塞的應用，網絡需要進行QoS方案的設計實施，首先需要考慮選擇合適的技術框架，也即服務模型。服務模型指的是一組端到端的QoS功能，目前有以下三種QoS服務模型：Best-Effort service盡力服務Integrated service（Intserv）綜合服務Differentiated service（Diffserv）區(qū)分服務Best-Effort service：盡力服務是最簡單的服務模型。應用程序可以在任何時候，發(fā)出任意數量的報文，而且不需要事先獲得批準，也不需要通知網絡。網絡則盡最大的可能性來發(fā)送報文，但對時延、可靠性等不提供任何保證。Integrat

48、ed service：Intserv是一個綜合服務模型，它可以滿足多種QoS需求。這種服務模型在發(fā)送報文前，需要向網絡申請?zhí)囟ǖ姆?。這個請求是通過信令（signal）來完成的，應用程序首先通知網絡它自己的流量參數和需要的特定服務質量請求，包括帶寬、時延等，應用程序一般在收到網絡的確認信息，即網絡已經為這個應用程序的報文預留了資源后，發(fā)送報文。而應用程序發(fā)出的報文應該控制在流量參數描述的范圍內。Differentiated service：Diffserv即區(qū)別服務模型，它可以滿足不同的QoS需求。與Integrated service不同，它不需要信令，即應用程序在發(fā)出報文前，不需要通知路由

49、器。網絡不需要為每個流維護狀態(tài)，它根據每個報文指定的QoS，來提供特定的服務?？梢杂貌煌姆椒▉碇付▓笪牡腝oS，如IP包的優(yōu)先級位（IP Precedence)、報文的源地址和目的地址等。網絡通過這些信息來進行報文的分類、流量整形、流量監(jiān)管和排隊。這三種服務模型中，只有Intserv與Diffserv這兩種能提供多服務的QoS保障。從技術上看，Intserv需要網絡對每個流均維持一個軟狀態(tài)，因此會導致設備性能的下降，或實現相同的功能需要更高性能的設備，另外，還需要全網設備都能提供一致的技術才能實現QoS。而Diffserv則沒有這方面的缺陷，且處理效率高，部署及實施可以分布進行，它只是在構建

50、網絡時，需要對網絡中的路由器設置相應的規(guī)則。對于學校廣域網的QoS，我們建議采用Diffserv方式進行部署。QoS規(guī)劃CCITT最初給出定義：QoS是一個綜合指標，用于衡量使用一個服務滿意程度。QoS性能特點是用戶可見的，使用用戶可理解的語言表示為一組參數，如傳輸延遲、延遲抖動、安全性、可靠性等。網絡中主要包括數據、視頻兩種業(yè)務應用。而數據又分ERP關鍵業(yè)務和其他業(yè)務，因此需要對現有業(yè)務系統(tǒng)進行分類，才能更好地保障業(yè)務的開展。業(yè)務分類和標記針對學校的要求，對其主要的流量進行劃分和標記，具體如下：業(yè)務類型業(yè)務特征IP PrecedenceIP DSCP802.1p網絡控制協(xié)議（hello、SL

51、A）適用于網絡維護與管理報文的可靠傳輸，要求低丟包率756（CS7）7視頻會議對時延、抖動較敏感；帶寬需求高；需要可預計的時延和丟包率534(AF41)5ERP適合重要數據業(yè)務,低丟包、高優(yōu)先級324(AF31)3目錄同步和策略下發(fā)適合普通數據業(yè)務，低丟包、19(AF11)1郵件系統(tǒng)及Internet應用盡力而為（Best effort）轉發(fā)000流量監(jiān)管和整形在完成區(qū)分業(yè)務應用類型后，需要對整個廣域網進行流量的監(jiān)管和整形，對于學校廣域網絡SDH來說，出口帶寬是有限的，而入口帶寬總是大于出口帶寬，需要對入口和出口進行限制和整形，以保障關鍵流量的順利轉發(fā)。隊列管理在Diffserv體系的隊列管理

52、中，同樣按照不同的邊界范圍采用不同的隊列管理技術。局域網主要基于以太網的組網方式，以太網實現的QoS功能主要是能夠支持那些對延時和抖動要求較高的業(yè)務流。目前業(yè)界在以太網絡交換機實現的Qos隊列管理技術主要采用嚴格優(yōu)先級SP（Strict-Priority）隊列調度算法、加權輪循WRR（Weighted Round Robin）調度算法。SP隊列調度算法，是針對關鍵業(yè)務型應用設計的。關鍵業(yè)務有一重要的特點，即在擁塞發(fā)生時要求優(yōu)先獲得服務以減小響應的延遲。WRR隊列調度算法在隊列之間進行輪流調度，保證每個隊列都得到一定的服務時間。在實際應用中，SP隊列調度算法與WRR調度算法可以同時應用一個端口上

53、，既保證關鍵業(yè)務的延時與抖動，同時又保證各業(yè)務具有一定的帶寬保證。廣域網一般采用路由器組網，目前路由器主要支持的隊列管理技術包括PQ、CQ、WFQ、CBQ/LLQ，由于PQ、CQ、WFQ的種種問題，目前通常采用CBQ/LLQ做為骨干層的隊列管理機制。CBWFQLLQ，有一個低時延隊列 - LLQ，用來支撐EF類業(yè)務，被絕對優(yōu)先發(fā)送（優(yōu)先級低于RTP實時隊列）；另外有63個BQ，用來支撐AF類業(yè)務，可以保證每一個隊列的帶寬及可控的時延；還有一個FIFO/WFQ，對應BE業(yè)務，使用接口剩余帶寬進行發(fā)送。但是請注意，由于涉及到復雜的流分類，對于高速接口（GE以上）啟用CBQLLQ特性系統(tǒng)資源存在一定

54、的開銷。另外如果邊緣層與骨干層的接入采用低速的鏈路接入，因此也必須考慮相應的隊列管理技術。如果接入帶寬=2M，則需采用骨干層一樣的調度技術，即CBQ/LLQ。如果接入帶寬2M，則需要考慮采用鏈路有效機制?？刹捎肔FI（鏈路的分段及交叉）技術避免大報文長期占用鏈路帶寬，采用LFI以后，數據報文（非RTP實時隊列和LLQ中的報文）在發(fā)送前被分片、逐一發(fā)送，而此時如果有語音報文到達則被優(yōu)先發(fā)送，從而保證了語音等實時業(yè)務的時延與抖動。另外還可以采用CRTP（IP /UDP/ RTP報文頭壓縮）技術，以提高鏈路的利用率。擁塞避免建議采用WRED加權丟棄技術，實現擁塞避免。WRED(Weighted ea

55、rly random detection)提供了對擁塞的控制，它不是等待緩沖區(qū)填滿然后出現尾部丟棄，而是不停地監(jiān)控緩沖的深度，并可以根據IP header中的IP Precedence有選擇地早期丟棄一些級別較低的TCP連接的包，保證關鍵數據的傳送，并避免當緩沖滿溢時丟棄大量的數據包。主要特點：一、WRED利用活動隊列管理，解決尾部刪除的缺點；二、WRED主要在TCP為主的IP網絡中使用，因為UDP通信流不像TCP一樣具有對分組刪除具有響應能力；三、WRED把非IP通信流看成優(yōu)先級為0，最低優(yōu)先級，因此，非IP通信流放在一個丟棄桶中，比IP通信更容易刪除，這在大多數重要通信流（非）IP通信流時

56、可能遇到問題，但是這現象在DCN網絡中通常不會出現。QoS部署對與學校的整體QoS部署，我們建議根據不同層次進行部署，涉及局域網設備和廣域網設備，來實現對學校關鍵業(yè)務的保障。如上圖所示，將網絡的各個層次啟用QoS，保障關鍵業(yè)務流的快速轉發(fā)。對于學校需要保障的業(yè)務視頻業(yè)務和ERP業(yè)務，其優(yōu)先級是不同的，根據實施經驗，下面對其做詳細的QoS設計：視頻流量站點實現方法：在站點的出口路由器上配置QoS策略，首先啟用ACL識別視頻流（如視頻會議終端的IP地址），打上優(yōu)先級DSCP標記AF41；再啟用CBQ（基于類的隊列），將其引入CBQ的緊急隊列，由CBQ進行隊列調度，搶占足夠帶寬，優(yōu)先轉發(fā)緊急隊列中的

57、報文，直到發(fā)送完后才發(fā)送其他類對應的隊列的報文。數據中心實現方法：MCU通過交換機直接連入路由器，在路由器上啟用ACL識別視頻流（如視頻會議終端的IP地址），打上優(yōu)先級DSCP標記AF41；并啟用CBWFQ和PQ，將視頻流放入到PQ的高優(yōu)先隊列中，優(yōu)先轉發(fā)，直到發(fā)送完后才發(fā)送其他類對應的隊列的報文。ERP流量ERP系統(tǒng)是學校的關鍵業(yè)務，ERP服務器部署在數據中心，各站點分布多個ERP工作站訪問數據中心的ERP服務器。由于中間的網絡設備連接很多，要做到端到端的QoS，需要在不同的設備上啟用QoS。在局域網高帶寬和多廠家設備混合組網的情況（如防火墻采用國產設備），一般在數據中心內部局域網內不啟用Q

58、oS，以下將介紹兩種方式：第一種方式：端到端的QoS站點實現方法：在站點的ERP工作站接入交換機上啟用QoS，通過ACL識別ERP流量（如：源地址+目的地址），打上DSCP優(yōu)先級AF31，并啟用SP（嚴格優(yōu)先級），將其優(yōu)先發(fā)送，經核心交換機、防火墻至路由器，所經各設備同時啟用QoS，保障其優(yōu)先轉發(fā)；再通過路由器啟用CBQ（基于類的隊列），將ERP流量放入到中優(yōu)先級隊列，搶占低優(yōu)先級隊列的帶寬，發(fā)送報文。數據中心實現方法：在數據中心ERP服務器接入交換機啟用QoS，通過ACL識別ERP流量（如：源地址+目的地址），打上DSCP優(yōu)先級AF31，并啟用SP（嚴格優(yōu)先級），將其優(yōu)先發(fā)送，經核心交換機、

59、防火墻至路由器，所經各設備同時啟用QoS，保障其優(yōu)先轉發(fā)；再通過路由器啟用CBWFQ（基于類的加權）+PQ，將ERP流量放入到中優(yōu)先級隊列，搶占低優(yōu)先級隊列的帶寬，發(fā)送報文。第二種方式：廣域網路由器啟用QoS站點實現方法：在站點的路由器上配置QoS策略，首先啟用ACL識別ERP流（如：源地址+目的地址），打上優(yōu)先級DSCP標記AF31；再啟用CBQ（基于類的隊列），將其引入CBQ的中優(yōu)先級隊列，由CBQ進行隊列調度，搶占低優(yōu)先級的帶寬，優(yōu)先轉發(fā)報文。數據中心實現方法：在出口路由器上啟用ACL識別ERP流（如：源地址+目的地址），打上優(yōu)先級DSCP標記AF31；并啟用CBWFQ和PQ，將ERP放

60、入到PQ的中優(yōu)先隊列中，優(yōu)先轉發(fā)。為簡化網絡部署，學校的QoS建議采用第二種方法！數據中心互聯數據中心的互聯包括以下三種類型：三層互聯：也稱為數據中心前端網絡互聯，所謂“前端網絡”是指數據中心面向園區(qū)網或廣域網的出口。不同數據中心（主中心、災備中心）的前端網絡通過IP技術實現互聯，園區(qū)或分支的客戶端通過前端網絡訪問各數據中心。當主數據中心發(fā)生災難時，前端網絡將實現快速收斂，客戶端通過訪問災備中心以保障業(yè)務連續(xù)性。二層互聯：也稱為數據中心服務器網絡互聯（以下簡稱DCI）。在不同的數據中心服務器網絡接入層，構建一個跨數據中心的大二層網絡（VLAN），以滿足服務器集群或虛擬機動態(tài)遷移等場景對二層網絡