版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
大型數(shù)據(jù)中心網(wǎng)絡(luò)升級(jí)改造解決方案 3 31.2項(xiàng)目目標(biāo) 3 4 41.3.2網(wǎng)絡(luò)需求 4 5 52傳統(tǒng)網(wǎng)絡(luò)面臨的問(wèn)題 62.1業(yè)務(wù)規(guī)劃與網(wǎng)絡(luò)架構(gòu)緊耦合 62.2東西流量受到傳統(tǒng)網(wǎng)絡(luò)架構(gòu)限制 7 82.4傳統(tǒng)安全部署模式的限制 8 83.數(shù)據(jù)中心解決方案的概述 93.1數(shù)據(jù)中心演進(jìn)節(jié)奏 93.2數(shù)據(jù)中心解決方案架構(gòu)組成 3.3數(shù)據(jù)中心解決方案特點(diǎn) 4.1方案設(shè)計(jì)原則 4.2整體組網(wǎng)設(shè)計(jì) 4.4詳細(xì)設(shè)計(jì)內(nèi)容 4.4.2主機(jī)部署與物理位置解耦和 4.5單Fabric組網(wǎng)設(shè)計(jì) 4.6方案主要功能 5.下一代SDN數(shù)據(jù)中心的優(yōu)勢(shì) 5.1整網(wǎng)設(shè)計(jì)架構(gòu)開(kāi)放、標(biāo)準(zhǔn)、兼容 5.2可靠性保證 5.4架構(gòu)彈性設(shè)計(jì) 5.5端到端全流程自動(dòng)化 6.SDN架構(gòu)的關(guān)鍵特性 36 6.3云網(wǎng)安關(guān)鍵特性 1.1項(xiàng)目背景某股份有限公司是一家擁有10000多人的大型企業(yè),擁有多個(gè)數(shù)據(jù)中心核心機(jī)房,由于建設(shè)的數(shù)據(jù)中心周期時(shí)間較久,核心機(jī)房的設(shè)備已經(jīng)運(yùn)作時(shí)間較長(zhǎng),而且設(shè)備硬件偏舊。已經(jīng)無(wú)法支持未來(lái)的生產(chǎn)系統(tǒng)、業(yè)務(wù)系統(tǒng)部署需求。無(wú)法支撐核心業(yè)務(wù)快速上線(xiàn)時(shí)間,整個(gè)數(shù)據(jù)中心機(jī)房需要進(jìn)行轉(zhuǎn)型化升級(jí)改造來(lái)適應(yīng)未來(lái)數(shù)字化業(yè)務(wù)的發(fā)展。基于以上項(xiàng)目背景和需求,本次數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)設(shè)計(jì)需要滿(mǎn)足未來(lái)較長(zhǎng)一段時(shí)期的基礎(chǔ)設(shè)施部署需求,并借助數(shù)據(jù)中心網(wǎng)絡(luò)部署的獨(dú)立性,運(yùn)用VXLAN、SDN主流技術(shù)對(duì)當(dāng)前數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化,以適應(yīng)未來(lái)網(wǎng)絡(luò)架構(gòu)的發(fā)展需求。本項(xiàng)目的1、數(shù)據(jù)中心機(jī)房網(wǎng)絡(luò)基礎(chǔ)設(shè)施。2、數(shù)據(jù)中心網(wǎng)絡(luò)至少需要支持未來(lái)的生產(chǎn)系統(tǒng)、業(yè)務(wù)系統(tǒng)部署需求。業(yè)務(wù)上線(xiàn)時(shí)間由原先的平均30天,縮短到分鐘級(jí)別。3、結(jié)合XX大型IT總體的規(guī)劃,對(duì)數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu)管理水平的需求,網(wǎng)絡(luò)方案要保持一定的先進(jìn)性。4、采用先進(jìn)的數(shù)據(jù)中心設(shè)計(jì)理念,能夠支持新一代應(yīng)用架構(gòu),適用于未來(lái)5-7年的IT技術(shù)發(fā)展,可以最大程度的保護(hù)數(shù)據(jù)和業(yè)務(wù)連續(xù)性。如何更加快速地部署業(yè)務(wù)應(yīng)用,為企業(yè)業(yè)務(wù)系統(tǒng)提供更及時(shí)、更便利的網(wǎng)絡(luò)服務(wù),提升企業(yè)的運(yùn)行效率與競(jìng)爭(zhēng)實(shí)力,也是當(dāng)前企業(yè)數(shù)據(jù)中心使用中面臨的挑戰(zhàn)之一。因此,當(dāng)前數(shù)據(jù)中心的建設(shè)必須考慮如何實(shí)現(xiàn)快速上線(xiàn)業(yè)務(wù)、快速響應(yīng)需求、提高部署效服務(wù)器虛擬化使高效利用IT資源,降低企業(yè)運(yùn)營(yíng)成本成為可能。服務(wù)器內(nèi)多虛擬機(jī)之間的交互流量,傳統(tǒng)網(wǎng)絡(luò)設(shè)備無(wú)法感知,也不能進(jìn)行流量監(jiān)控和必要的策略控制。虛擬機(jī)的靈活部署和動(dòng)態(tài)遷移需要網(wǎng)絡(luò)接入側(cè)做相應(yīng)的調(diào)整,在遷移時(shí)保持業(yè)務(wù)不中斷。虛擬機(jī)遷移的物理范圍不應(yīng)過(guò)小,否則無(wú)法充分利用空閑的服務(wù)器資源。遷移后虛擬機(jī)的IP地址不改變,以保持業(yè)務(wù)不中斷,因此對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)提出了大二層的需求。數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)安全性的需求是最基本的需求。安全性設(shè)計(jì)包括物理空間的安全控制及網(wǎng)絡(luò)的安全控制。系統(tǒng)設(shè)計(jì)從整體方案上需要考慮端對(duì)端的安全,保證安全、綠色的使用資源。高效的運(yùn)維是數(shù)據(jù)中心運(yùn)營(yíng)成功的基礎(chǔ)。數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)備和IT資源呈現(xiàn)數(shù)量大、廠商多、運(yùn)行配置復(fù)雜的特點(diǎn),如何簡(jiǎn)化企業(yè)數(shù)據(jù)中心的運(yùn)維管理、降低人工運(yùn)維成本,是當(dāng)前企業(yè)數(shù)據(jù)中心發(fā)展面臨的重要挑戰(zhàn)。在采用虛擬化技術(shù)后,數(shù)據(jù)中心網(wǎng)絡(luò)延伸到服務(wù)器內(nèi)部,如何對(duì)包括虛擬設(shè)備在內(nèi)的多類(lèi)設(shè)備進(jìn)行統(tǒng)一管理、實(shí)現(xiàn)網(wǎng)絡(luò)流量的精細(xì)化管理和網(wǎng)絡(luò)故障的快速定位,都是對(duì)云計(jì)算時(shí)代數(shù)據(jù)中心運(yùn)維的基本需求。在數(shù)據(jù)中心業(yè)務(wù)場(chǎng)景中,面向應(yīng)用的運(yùn)維管理目前正變得越來(lái)越迫切,如應(yīng)用間/內(nèi)的交互數(shù)據(jù)統(tǒng)計(jì),帶寬占用情況,數(shù)據(jù)轉(zhuǎn)發(fā)路徑鏈路質(zhì)量,會(huì)話(huà)連接故障分析等精細(xì)化運(yùn)維管理正成為用戶(hù)廣泛的訴求,上述運(yùn)維手段的實(shí)現(xiàn)將對(duì)減輕人工運(yùn)維壓力,快速故障響應(yīng),提升用戶(hù)業(yè)務(wù)體驗(yàn)等方面都將獲得顯著效果。2傳統(tǒng)網(wǎng)絡(luò)面臨的問(wèn)題署和減少投入成為主要需求,云計(jì)算可以提供可用的、便捷的、按需的資源提供,成為當(dāng)前企業(yè)IT建設(shè)的常規(guī)形態(tài),而在云計(jì)算中大量采用和部署的虛擬化幾乎成為一個(gè)基本的技術(shù)模式。部署虛擬機(jī)需要在網(wǎng)絡(luò)中無(wú)限制地遷移到目的物理位置,虛機(jī)增長(zhǎng)的快速性以及虛機(jī)遷移成為一個(gè)常態(tài)性業(yè)務(wù)。服務(wù)器虛擬化在經(jīng)過(guò)多年的發(fā)展后已經(jīng)越來(lái)越成熟,被應(yīng)用的領(lǐng)域也越來(lái)越廣泛。它有效降低了成本,提高了資源利用率和可用性,同時(shí)使運(yùn)維效率也得到了較大提升,進(jìn)而緩解了信息化建設(shè)所面對(duì)的諸多壓力。雖然服務(wù)器虛擬化的普及徹底改變了應(yīng)用的調(diào)配和管理,但是,這些動(dòng)態(tài)工作負(fù)載所連接的網(wǎng)絡(luò)卻未能跟上它的發(fā)展步伐。網(wǎng)絡(luò)調(diào)配仍然極其緩慢,甚至一個(gè)簡(jiǎn)單的拓?fù)浣Y(jié)構(gòu)的創(chuàng)建也需要數(shù)天或數(shù)周時(shí)間。傳統(tǒng)的網(wǎng)絡(luò)已經(jīng)不能很好滿(mǎn)足企業(yè)邁向云時(shí)代的這種需求,面臨著如下挑戰(zhàn):2.1業(yè)務(wù)規(guī)劃與網(wǎng)絡(luò)架構(gòu)緊耦合務(wù)。此種網(wǎng)絡(luò)架構(gòu)規(guī)劃清晰,維護(hù)簡(jiǎn)單,但是不足之處就是業(yè)務(wù)擴(kuò)容受限,假設(shè)業(yè)務(wù)1部署在POD1內(nèi),如果POD1內(nèi)無(wú)法擴(kuò)云業(yè)務(wù)中虛擬機(jī)的大規(guī)模部署,使二層地址(MAC)表項(xiàng)傳統(tǒng)模式下的安全部署都是基于路徑基于拓?fù)涞陌踩呗詳?shù)據(jù)會(huì)在整個(gè)數(shù)據(jù)中心內(nèi)泛濫,大量消耗網(wǎng)絡(luò)帶寬,同時(shí)帶來(lái)維護(hù)的困難。3.數(shù)據(jù)中心解決方案的概述3.1數(shù)據(jù)中心演進(jìn)節(jié)奏DC1.0是傳統(tǒng)數(shù)據(jù)中心所采用模塊化、層次化的建設(shè)模式,針對(duì)不同類(lèi)型及批次的業(yè)務(wù)進(jìn)行分區(qū)分期建設(shè)。這種“煙囪式”的建設(shè)方式存在著重復(fù)投資、資源利用率低、建設(shè)及交付周期長(zhǎng)、網(wǎng)絡(luò)規(guī)劃復(fù)雜僵化、業(yè)務(wù)擴(kuò)容困難等問(wèn)題。隨著計(jì)算虛擬化技術(shù)的普及應(yīng)用,數(shù)據(jù)中心實(shí)現(xiàn)了計(jì)算資源池化,不同業(yè)務(wù)可以按需申請(qǐng)計(jì)算資源;同時(shí),為了滿(mǎn)足計(jì)算虛擬化對(duì)網(wǎng)絡(luò)技術(shù)提出的大二層互通等新需求,開(kāi)始應(yīng)用VxLANIT各部門(mén)負(fù)責(zé)前期統(tǒng)一規(guī)劃建設(shè)和定期擴(kuò)容,業(yè)務(wù)部門(mén)按需申請(qǐng)池化資源配額,項(xiàng)目建設(shè)及擴(kuò)容不再和業(yè)務(wù)部門(mén)具體項(xiàng)目強(qiáng)相關(guān)。計(jì)算和網(wǎng)絡(luò)虛擬化技術(shù)的融合,有效提高了資源利用率,縮短了資源交付周期。隨著云計(jì)算技術(shù)的發(fā)展,數(shù)據(jù)中心跨入DC3.0時(shí)代。云平臺(tái)作為面向業(yè)務(wù)部門(mén)的用戶(hù)界面,統(tǒng)一整合了對(duì)數(shù)據(jù)中心的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)池化資源,同時(shí)提供實(shí)時(shí)自助申請(qǐng)界面,幫助業(yè)務(wù)部門(mén)將業(yè)務(wù)開(kāi)通時(shí)間縮短到分鐘級(jí)別,真正實(shí)現(xiàn)了面向應(yīng)用的自動(dòng)3.2數(shù)據(jù)中心解決方案架構(gòu)組成Cloud(openStack)Cloud(openStack)DirectorLeaf3.3數(shù)據(jù)中心解決方案特點(diǎn)IT業(yè)務(wù)平面和運(yùn)維平面無(wú)縫融合,支撐面向應(yīng)用的自動(dòng)化FabricDirector作為面向監(jiān)控運(yùn)維的基礎(chǔ)架構(gòu)管理平面,負(fù)責(zé)數(shù)據(jù)中心物理資源的部署、納管,物理及虛擬資源的運(yùn)維和監(jiān)控;云平臺(tái)作為面向交付的云&租戶(hù)管理平面,負(fù)責(zé)數(shù)據(jù)中心虛擬資源部署,同時(shí)為PaaS及SaaS層面的應(yīng)用自動(dòng)化部署提供支持。兩者以數(shù)據(jù)中心資源生命周期管理為軸,實(shí)現(xiàn)了無(wú)縫融合。開(kāi)放、自動(dòng)化、可編程的下一代網(wǎng)絡(luò)架構(gòu),適用多種典型場(chǎng)景1、SDN場(chǎng)景:SDN控制器承上啟下,北向提供完整的RestfulAPI,通過(guò)Neutron插件與OpenStack對(duì)接,同時(shí)支持各類(lèi)第三方云平臺(tái)對(duì)接;南向納管Openflow及EVPN兩種組網(wǎng)形式;是當(dāng)前數(shù)據(jù)中心解決方案的主打場(chǎng)景2、OpenStackPlugin場(chǎng)景:無(wú)SDN控制器,由網(wǎng)元上運(yùn)ComwareOpenStackNeutr3、第三方自動(dòng)化軟件場(chǎng)景:針對(duì)特定用戶(hù)需求,支持Ansible、Puppet等第三方自動(dòng)化軟件,為用戶(hù)業(yè)務(wù)提供更多靈活性完整的軟件定義網(wǎng)絡(luò)模型SDN+,助力用戶(hù)自描述網(wǎng)絡(luò)用戶(hù)通過(guò)云平臺(tái)申請(qǐng)計(jì)算資源、存儲(chǔ)資源、租戶(hù)虛擬網(wǎng)絡(luò),其中的計(jì)算和存儲(chǔ)資源是業(yè)務(wù)部署需要,而虛擬網(wǎng)絡(luò)負(fù)責(zé)將計(jì)算和存儲(chǔ)資源連接起來(lái)。為了滿(mǎn)足不同業(yè)務(wù)的網(wǎng)絡(luò)互通及隔離需求,必須支持完整的軟件定義網(wǎng)絡(luò)模型,包括:1、提供完整的網(wǎng)絡(luò)抽象模型層網(wǎng)絡(luò)服務(wù)。2、基于網(wǎng)絡(luò)抽象模型,用戶(hù)自描述/自定義網(wǎng)絡(luò)租戶(hù)虛擬網(wǎng)絡(luò)根據(jù)自身需求可靈活自定義,而物理網(wǎng)絡(luò)可保持不變。3、分配、管控、呈現(xiàn)以及運(yùn)維自定義網(wǎng)絡(luò)網(wǎng)絡(luò)資源可基于租戶(hù)、租戶(hù)不同業(yè)務(wù)進(jìn)行細(xì)分;支持查看租戶(hù)虛擬網(wǎng)絡(luò)拓?fù)浜臀锢砭W(wǎng)絡(luò)拓?fù)涞挠成潢P(guān)系,并基于該統(tǒng)一拓?fù)溥M(jìn)行運(yùn)維和排障。VCFFabric網(wǎng)絡(luò)架構(gòu)在實(shí)現(xiàn)完整的軟件定義網(wǎng)絡(luò)模型的同時(shí),還提供了多樣化的網(wǎng)絡(luò)轉(zhuǎn)發(fā)控制平面模型和Overlay組網(wǎng)方式,充分滿(mǎn)足用戶(hù)各類(lèi)網(wǎng)絡(luò)場(chǎng)景需求。4.某大型企業(yè)項(xiàng)目數(shù)據(jù)中心SDN網(wǎng)絡(luò)解決方案4.1方案設(shè)計(jì)原則某大型企業(yè)數(shù)據(jù)中心項(xiàng)目從業(yè)務(wù)實(shí)際需求出發(fā),充分利用信息技術(shù)優(yōu)勢(shì),從大處著眼,小處著手,與用戶(hù)共同建設(shè)一個(gè)目標(biāo)明確、管理清晰、執(zhí)行順利、平穩(wěn)運(yùn)行的項(xiàng)目,在系統(tǒng)的建設(shè)和管理過(guò)程中,我們將遵循以下原則:1、注重頂層設(shè)計(jì)、統(tǒng)籌規(guī)劃,分步實(shí)施原則在項(xiàng)目的整體規(guī)劃和總體設(shè)計(jì)階段做好統(tǒng)一設(shè)計(jì)、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一規(guī)范,然后分層、分階段、逐步建設(shè),關(guān)注每個(gè)階段的產(chǎn)出設(shè)計(jì)、研發(fā)、測(cè)試、部署、試運(yùn)行、培訓(xùn)、運(yùn)維等工作。同時(shí)充分發(fā)揮各類(lèi)項(xiàng)目相關(guān)人的知識(shí)能動(dòng)性,提供信息化建設(shè)的咨詢(xún)指2、強(qiáng)化應(yīng)用建設(shè),突出應(yīng)用,關(guān)注實(shí)用原則數(shù)據(jù)中心建設(shè)項(xiàng)目的建設(shè)效果和建設(shè)思路直接體現(xiàn)了建設(shè)項(xiàng)目最直接的產(chǎn)出。因此,我們?cè)诮ㄔO(shè)項(xiàng)目過(guò)程中,將重點(diǎn)突出項(xiàng)目的應(yīng)用目的,關(guān)注實(shí)用價(jià)值,以應(yīng)用和需求為主導(dǎo),并在建開(kāi)發(fā)、邊應(yīng)用、邊完善,讓?xiě)?yīng)用的實(shí)際效果作為項(xiàng)目直接驅(qū)動(dòng)要3、追求架構(gòu)先進(jìn)、技術(shù)成熟,擴(kuò)展性強(qiáng)原則項(xiàng)目建設(shè)中所采用的技術(shù)架構(gòu),在一定程度上影響著項(xiàng)目的穩(wěn)定性,也影響到項(xiàng)目未來(lái)的發(fā)展。因此在實(shí)施過(guò)程中我們將放眼長(zhǎng)遠(yuǎn),在保證可靠的基礎(chǔ)上,盡量采用先進(jìn)的網(wǎng)絡(luò)技術(shù)、應(yīng)用平臺(tái)和開(kāi)發(fā)工具,使數(shù)據(jù)中心系統(tǒng)建設(shè)項(xiàng)目具有較長(zhǎng)的生命周期。4、經(jīng)濟(jì)實(shí)用、節(jié)約成本原則無(wú)論在產(chǎn)品的選型、技術(shù)的選擇中,我們都要考慮成本的約束,其中不僅考慮當(dāng)前采購(gòu)的經(jīng)濟(jì)性,還要考慮系統(tǒng)長(zhǎng)期運(yùn)維的經(jīng)濟(jì)性,即系統(tǒng)的總擁有成本,盡力選擇既經(jīng)濟(jì)可行又長(zhǎng)期保障的產(chǎn)品和技術(shù)。5、確保安全、保護(hù)隱私原則在系統(tǒng)建設(shè)中要充分考慮到系統(tǒng)安全性以及敏感信息的隱私性,避免數(shù)據(jù)出現(xiàn)在共享信息里,從網(wǎng)絡(luò)系統(tǒng)、硬件子系統(tǒng)、軟件子系統(tǒng)的設(shè)計(jì)都要充分考慮安全保密,采用安全可靠的技術(shù),保證建成的系統(tǒng)穩(wěn)定運(yùn)行。6、重視資源、強(qiáng)調(diào)成長(zhǎng)原則在項(xiàng)目建設(shè)的過(guò)程中,注重信息資源和人力資源的管理,在數(shù)據(jù)資源方面,注重網(wǎng)絡(luò)資源共享的效率性,實(shí)現(xiàn)網(wǎng)絡(luò)互連、信息互通、資源共享,應(yīng)用交互與協(xié)同的網(wǎng)絡(luò)環(huán)境,同時(shí)注重各級(jí)人力資源配置的合理性,做好培訓(xùn)工作,與甲方的工作人員共同成長(zhǎng),充分發(fā)揮資源效能。7、保護(hù)投資、充分利舊原則在本項(xiàng)目建設(shè)過(guò)程中,充分利用現(xiàn)有資源,防止新鋪攤子和重復(fù)建設(shè),所有建設(shè)內(nèi)容都依托現(xiàn)有條件和隊(duì)伍進(jìn)行建設(shè),充分利用現(xiàn)有的資源、成果、設(shè)備,不搞重復(fù)建設(shè)。8、先進(jìn)性和成熟性遵守先進(jìn)性、可行性、成熟性,以保證系統(tǒng)的互操作性、兼容性、可維護(hù)性、可擴(kuò)展性,并對(duì)前期投資有較好的保護(hù)。9、一致性和復(fù)用性本項(xiàng)目建設(shè)應(yīng)充分考慮業(yè)務(wù)需求,要最大限度利用已有的資源,以減少重復(fù)投資,提高投資收益率。統(tǒng)籌協(xié)調(diào),建立相關(guān)管理制度,加強(qiáng)管理和指導(dǎo),確保協(xié)調(diào)推進(jìn),有序?qū)嵤?,保證項(xiàng)目能夠順利、按時(shí)完成。4.2整體組網(wǎng)設(shè)計(jì)典型的ADDC組網(wǎng)圖如上圖所述,在這個(gè)圖中,轉(zhuǎn)發(fā)層的設(shè)VCF控制器。管理層設(shè)備為VCFD(ADDCDirector)??刂茖釉O(shè)備和管理層設(shè)備可以集中部署在網(wǎng)絡(luò)管理區(qū)。物理設(shè)備由Director進(jìn)行管理,可一鍵完成基礎(chǔ)underlay網(wǎng)絡(luò)、服務(wù)器和存儲(chǔ)的自動(dòng)化部署;在業(yè)務(wù)網(wǎng)絡(luò)層面,通過(guò)VXLAN技術(shù)構(gòu)建的Overlay網(wǎng)絡(luò)可以實(shí)現(xiàn)與物理網(wǎng)絡(luò)的解耦,大大提高網(wǎng)絡(luò)的對(duì)于一個(gè)用戶(hù)的數(shù)據(jù)中心來(lái)說(shuō),服務(wù)器包含兩種類(lèi)型,即虛擬化服務(wù)器和非虛擬化服務(wù)器,虛擬化的服務(wù)器可以采用vswitch作為vtep,物理服務(wù)器則采用支持Vxlan的物理交面,VCFD負(fù)責(zé)管理平面,減少了傳統(tǒng)設(shè)備管理的復(fù)雜性。同時(shí)當(dāng)用戶(hù)業(yè)務(wù)擴(kuò)展時(shí),通過(guò)集中管理用戶(hù)可以方便快速的部署網(wǎng)絡(luò)設(shè)備,完成Overlay和Underlay網(wǎng)絡(luò)的自動(dòng)化交付,便于網(wǎng)絡(luò)的擴(kuò)展和管理。核心Spine設(shè)備核心系列交換機(jī)主要提供VXLAN三層網(wǎng)關(guān)功能,網(wǎng)關(guān)之間可以采用堆疊方式部署;支持VXLAN報(bào)文的封裝與解封裝,并根據(jù)內(nèi)層報(bào)文的IP頭部進(jìn)行三層轉(zhuǎn)發(fā),支持跨VXLAN之間的轉(zhuǎn)發(fā),支持VXLAN和傳統(tǒng)VLAN之間的互通。如果采用網(wǎng)絡(luò)Overlay方式部署,即VXLAN協(xié)議由物理網(wǎng)絡(luò)交換機(jī)處理,作為vSwith下的VM或物理服務(wù)器的接入設(shè)備;采用該方式可以最大利用硬件交換機(jī)的芯片高速轉(zhuǎn)發(fā),對(duì)于新建的數(shù)據(jù)中心推薦或增加新的業(yè)務(wù)單元模塊時(shí)推薦使用。如果采用主機(jī)Overlay方式部署,即VXLAN協(xié)議由虛擬網(wǎng)絡(luò)交換機(jī)處理,虛擬交換機(jī)可以提供VXLAN協(xié)議封裝、解封最大利用現(xiàn)有的網(wǎng)絡(luò)交換機(jī)進(jìn)行部署,無(wú)需更換,對(duì)于已建成的數(shù)據(jù)中心SDN改造場(chǎng)景可以采用。服務(wù)鏈功能主要是用來(lái)提供租戶(hù)內(nèi)東西向流量的安全服務(wù),此功能由硬件安全設(shè)備或基于NFV形態(tài)的軟件安全設(shè)備來(lái)承擔(dān);控制器支持集中控制整個(gè)服務(wù)鏈的構(gòu)建與部署,將NFV形態(tài)或硬件形態(tài)的的服務(wù)資源抽象為統(tǒng)一的服務(wù)資源池,數(shù)據(jù)需要按照業(yè)務(wù)邏輯所定義的順序,依次經(jīng)過(guò)這些服務(wù)節(jié)點(diǎn),實(shí)現(xiàn)服務(wù)鏈的自定義和統(tǒng)一編排。4.3數(shù)據(jù)中心SDN網(wǎng)絡(luò)基礎(chǔ)架構(gòu)0verlay網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)如下圖所示:0verlay網(wǎng)絡(luò)的基礎(chǔ)架構(gòu)在一臺(tái)服務(wù)器上可以創(chuàng)建多臺(tái)虛擬機(jī),不同的虛擬機(jī)可以屬于不同的VXLAN。屬于相同VXLAN的虛擬機(jī)處于同一個(gè)邏輯二層網(wǎng)絡(luò),彼此之間二層互通。兩個(gè)VXLAN可以具有相同的MAC地址,但一個(gè)段不能有/解封裝VXLAN報(bào)文等。VXLAN通過(guò)在物理網(wǎng)絡(luò)的邊緣設(shè)置智VTEP從虛擬機(jī)發(fā)出/接受的幀封裝/解封裝,而虛擬機(jī)并不區(qū)分VNI(VXLANNetworkIdentifier,VXLAN網(wǎng)絡(luò)標(biāo)識(shí)符)VXLAN采用24比特標(biāo)識(shí)二層網(wǎng)絡(luò)分段,使用VNI來(lái)標(biāo)識(shí)裝有助于VXLAN建立隧道,該隧道在第3層網(wǎng)絡(luò)之上覆蓋率4.4詳細(xì)設(shè)計(jì)內(nèi)容邏輯鏈路構(gòu)成了0verlay網(wǎng)絡(luò)。Overlay網(wǎng)絡(luò)是具有獨(dú)立的控制和轉(zhuǎn)發(fā)平面,對(duì)于連接在VPN技術(shù),具體封裝的報(bào)文格式如圖2所示。VXLAN可以基于使用24位的標(biāo)識(shí)符,最多可支持16M個(gè)VXLAN,解決了它是MACinUDP的封裝,允許主機(jī)間通信通過(guò)一個(gè)0verlay網(wǎng)絡(luò),這個(gè)0verlay網(wǎng)絡(luò)可以橫跨多個(gè)物理網(wǎng)絡(luò)。這是一個(gè)獨(dú)立于底層物理網(wǎng)絡(luò)的邏輯網(wǎng)絡(luò),虛機(jī)遷移時(shí)不再需要改動(dòng)物理設(shè)備的配置。VXLAN用24-bit的標(biāo)識(shí)符,表示一個(gè)物理網(wǎng)絡(luò)可以支持1600萬(wàn)個(gè)邏輯網(wǎng)段。數(shù)量級(jí)大大超過(guò)數(shù)據(jù)中心VLAN的限制三層網(wǎng)絡(luò)來(lái)說(shuō)都是透明的。VXLAN和VXLAN理服務(wù)器或Internet路由器)之間的網(wǎng)關(guān)服務(wù)由VXLAN三層ID,因此非VXLAN主機(jī)可以與VXLAN虛擬服務(wù)器通信。0verlay網(wǎng)絡(luò)分為2個(gè)平面,數(shù)據(jù)平面和控制平面。Overlay數(shù)據(jù)平面提供提供數(shù)據(jù)封裝,基于承載網(wǎng)絡(luò)傳輸,VXLAN使用MACoverUDP封裝Overlay控制平面提供1、服務(wù)發(fā)現(xiàn)(ServiceDiscovery)0verlay邊緣設(shè)備如何發(fā)現(xiàn)彼此,以便建立Overlay隧道關(guān)系Overlay邊緣設(shè)備如何交換其學(xué)習(xí)到的主機(jī)可達(dá)性信息(包括但不限于MAC地址、或IP地址、或其他地址信息)0verlay邊緣設(shè)備到主機(jī)的可達(dá)性問(wèn)題,物理網(wǎng)絡(luò)和0verlay網(wǎng)絡(luò)地址映射ADDC1.0強(qiáng)控解決方案VXLAN的控制平面是通過(guò)SDN控制器學(xué)習(xí),由于控制器了解整網(wǎng)的拓?fù)浣Y(jié)構(gòu),VM管理器知就可以很容易實(shí)現(xiàn)基于控制器完成控制平面的地址學(xué)習(xí),然后通過(guò)標(biāo)準(zhǔn)0penFlow協(xié)議下發(fā)到網(wǎng)絡(luò)設(shè)備??刂破髦С侄鄠€(gè)節(jié)點(diǎn)集群,提供了高可靠性和極強(qiáng)的擴(kuò)展性。4.4.2主機(jī)部署與物理位置解耦和終端能看到的只是虛擬的二層連接關(guān)系,完全意識(shí)不到物理網(wǎng)絡(luò)更重要的是,這種技術(shù)支持跨傳統(tǒng)網(wǎng)絡(luò)邊界的虛擬化,由此支持虛擬機(jī)可以自由遷移,甚至可以跨越不同地理位置數(shù)據(jù)中心進(jìn)行遷移。如此以來(lái),可以支持虛擬機(jī)隨時(shí)隨地接入,不受實(shí)際所在物理位置的限制。所以VXLAN的位置無(wú)關(guān)性,不僅使得業(yè)務(wù)可在任意位置靈活部署,緩解了服務(wù)器虛擬化后相關(guān)的網(wǎng)絡(luò)擴(kuò)展問(wèn)題;而且使得虛擬機(jī)可以隨時(shí)隨地接入、遷移,是網(wǎng)絡(luò)資源池化的最佳解決方式,可以有力地支持云業(yè)務(wù)、大數(shù)據(jù)、虛擬化的迅猛發(fā)展。對(duì)于虛擬化環(huán)境來(lái)說(shuō),當(dāng)一個(gè)虛擬機(jī)需要和另一個(gè)虛擬機(jī)進(jìn)行通信時(shí),首先需要通過(guò)ARP的廣播請(qǐng)求獲得對(duì)方的MAC地址。由于VXLAN網(wǎng)絡(luò)復(fù)雜,廣播流量浪費(fèi)帶寬,所以需要在控制器上實(shí)現(xiàn)ARP代答功能。即由控制器對(duì)ARP請(qǐng)求報(bào)文統(tǒng)一進(jìn)行應(yīng)答,而不創(chuàng)建廣播流表。ARP代答的大致流程:控制器收到OVS上送的ARP請(qǐng)求報(bào)文,做IP-MAC防欺騙處理確認(rèn)報(bào)文合法后,從ARP請(qǐng)求報(bào)文中獲取目的IP,以目的IP為索引查找全局表獲取對(duì)應(yīng)MAC,以查到的MAC作為源MAC構(gòu)建ARP應(yīng)答報(bào)文,通過(guò)4.4.4強(qiáng)控方案模式主機(jī)遷移策略跟隨在虛擬化環(huán)境中,虛擬機(jī)故障、動(dòng)態(tài)資源調(diào)度功能、服務(wù)器主機(jī)故障或計(jì)劃內(nèi)停機(jī)等都會(huì)造成虛擬機(jī)遷移動(dòng)作的發(fā)生。虛擬機(jī)的遷移,需要保證遷移虛擬機(jī)和其他虛擬機(jī)直接的業(yè)務(wù)不能中斷,而且虛擬機(jī)對(duì)應(yīng)的網(wǎng)絡(luò)策略也必須同步遷移。網(wǎng)絡(luò)管理員通過(guò)虛擬機(jī)管理平臺(tái)下發(fā)虛擬機(jī)遷移指令,虛擬機(jī)管理平臺(tái)通知控制器預(yù)遷移,控制器標(biāo)記遷移端口,并向源主機(jī)和目的主機(jī)對(duì)應(yīng)的主備控制器分布發(fā)送同步消息,通知遷移的VPort,增加遷移標(biāo)記。同步完成后,控制器通知虛擬機(jī)管理平臺(tái)可以進(jìn)行遷移了。虛擬機(jī)管理平臺(tái)收到控制器的通知后,開(kāi)始遷移,創(chuàng)建VM分配IP等資源并啟動(dòng)VM。啟動(dòng)后目的主機(jī)上報(bào)端口添加事件,通知給控制器,控制器判斷遷移標(biāo)記,遷移端口,保存新上報(bào)端口和舊端口信息。然后控制器向目的主機(jī)下發(fā)網(wǎng)絡(luò)策略。源VM和目的執(zhí)行內(nèi)存拷貝,內(nèi)存拷貝結(jié)束后,源VM關(guān)機(jī),目的VM上線(xiàn)。源VM關(guān)機(jī)后,遷移源主機(jī)上報(bào)端口刪除事件,通知給控制器,控制器判斷遷移標(biāo)記,控制器根據(jù)信息刪除舊端口信息并同時(shí)刪除遷移前舊端口對(duì)應(yīng)的流表信息。主控制器完成上述操作后在控制器集群內(nèi)進(jìn)行刪除端口消息的通知。其他控制器收到刪除端口信息后,也刪除本控制器的端口信息,同時(shí)刪除對(duì)應(yīng)端的流表信息。源控制器需要把遷移后新端口通知控制器集群的其他控制器。其他控制器收到遷移后的端口信息,更新端口信息。當(dāng)控制器重新收到Packet-in報(bào)文后,重新觸發(fā)新的流表生成。4.4.5安全服務(wù)鏈部署傳統(tǒng)的安全防護(hù)流量走向依賴(lài)于拓?fù)浣Y(jié)構(gòu),各種的手工配置方式,靜態(tài)、分散的配置方式,設(shè)備處理能力不可復(fù)用,單設(shè)備縱向擴(kuò)展。這種防護(hù)模式不適應(yīng)云計(jì)算時(shí)代對(duì)于安全防護(hù)的要求。云計(jì)算時(shí)代,計(jì)算資源池化,計(jì)算資源可以自由調(diào)度、動(dòng)態(tài)擴(kuò)展,網(wǎng)絡(luò)資源通過(guò)VXLAN技術(shù)池化,那么安全作為一種重要的網(wǎng)絡(luò)服務(wù)是不是也能夠彈性資源化,能夠?qū)崿F(xiàn)與拓?fù)錈o(wú)關(guān)的自動(dòng)化部署與管理?服務(wù)鏈的定義由VCF控制器來(lái)統(tǒng)一定義規(guī)劃,實(shí)現(xiàn)安全資源與拓?fù)錈o(wú)關(guān)。帶來(lái)的好處有:服務(wù)自動(dòng)化部署。給用戶(hù)帶來(lái)業(yè)務(wù)快速上線(xiàn),業(yè)務(wù)遷移服務(wù)自動(dòng)跟隨的好處。2、服務(wù)資源池化按需使用、線(xiàn)性擴(kuò)展形態(tài)多樣、位置無(wú)關(guān)。使得業(yè)務(wù)成本降低,業(yè)務(wù)可擴(kuò)展性強(qiáng)。需求對(duì)服務(wù)進(jìn)行編排。RLB1)整網(wǎng)架構(gòu)采用Spine+Leaf兩層結(jié)構(gòu)設(shè)計(jì),Leaf分ServiceLeaf(安全資源池接入),將支持MP-BGPEVPN功能的交換機(jī)作為數(shù)據(jù)中心架構(gòu)中的Spine交換設(shè)備;2)TOR接入?yún)^(qū)分為計(jì)算資源接入和安全資源池接入。3)控制平面采用MP-BGPEVPN協(xié)議,數(shù)據(jù)平面采用采用40G上行接入SPINE節(jié)點(diǎn)。同時(shí)LEAF可以為服務(wù)器提6)東西向安全,利用安全資源池為邏輯區(qū)域間訪(fǎng)問(wèn)提供安全控制和LB服務(wù)。0verlay網(wǎng)絡(luò)的調(diào)度管理,通過(guò)帶外管理方式管理業(yè)務(wù)區(qū),其中SDN控制器可以與原生標(biāo)準(zhǔn)OpenStack云平臺(tái)對(duì)接,對(duì)于其他非Openstack云平臺(tái)或非原生Openstack云平臺(tái)(經(jīng)過(guò)二次開(kāi)發(fā)),可以通過(guò)控制器RestfulApi方式進(jìn)行對(duì)接,需要評(píng)估開(kāi)發(fā)工作量。4.6方案主要功能術(shù),支持業(yè)務(wù)應(yīng)用系統(tǒng)運(yùn)行自虛擬網(wǎng)絡(luò)環(huán)境中,使得業(yè)務(wù)網(wǎng)絡(luò)不再受限于物理網(wǎng)絡(luò)設(shè)備位置限制,實(shí)現(xiàn)業(yè)務(wù)網(wǎng)絡(luò)按需自動(dòng)化部署。服務(wù)鏈:當(dāng)通過(guò)服務(wù)鏈,用戶(hù)可以依據(jù)自身業(yè)務(wù)需求,自定義業(yè)務(wù)的安全訪(fǎng)問(wèn)路徑。這樣使得用戶(hù)可以對(duì)業(yè)務(wù)應(yīng)用系統(tǒng)靈活的實(shí)施安全防護(hù)策略。VPC租戶(hù):在云平臺(tái)為租戶(hù)提供私有云環(huán)境,這樣使得租戶(hù)支持多層級(jí)端口綁定特性,突破4KVXLAN限制特性,可對(duì)(1)兼容第三方設(shè)備的全網(wǎng)絡(luò)虛擬化能力,構(gòu)建“一網(wǎng)(2)豐富的云特性,業(yè)界最佳的將“計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和安全資源"統(tǒng)一靈活部署的多租戶(hù)方案。和XEN等主流虛擬化平臺(tái)。(5)原生的災(zāi)備建設(shè)能力。(6)網(wǎng)絡(luò)配置一次成型,業(yè)務(wù)擴(kuò)容與變更無(wú)需改動(dòng)網(wǎng)絡(luò),L3等,無(wú)需運(yùn)行LAN協(xié)議,骨干網(wǎng)絡(luò)無(wú)需大量VLANTrunk。段和用于業(yè)務(wù)通信的IP網(wǎng)段互相不重疊。(8)加快應(yīng)用部署速度,應(yīng)用可以在任意位置部署,配置好自己的IP地址即可實(shí)現(xiàn)通信,無(wú)需變更網(wǎng)絡(luò),應(yīng)用部署速度從以周計(jì)縮短為以天計(jì)。(9)轉(zhuǎn)發(fā)優(yōu)化和表項(xiàng)容量增大。消除了MAC表項(xiàng)學(xué)習(xí)泛濫,ARP等泛洪流量可達(dá)范圍可控,且東西向流量無(wú)需經(jīng)過(guò)網(wǎng)5.1整網(wǎng)設(shè)計(jì)架構(gòu)開(kāi)放、標(biāo)準(zhǔn)、兼容1、L4-L7層開(kāi)放兼容,可以納管第三方安全品牌的設(shè)備、F5的設(shè)備,對(duì)于第三方安全設(shè)備納管采用openstack標(biāo)準(zhǔn)的FWaas/LBaas等安全云插件形式,提升異構(gòu)廠商組網(wǎng)的開(kāi)放能力和標(biāo)準(zhǔn)化程度;2、北向接口開(kāi)放,不同于傳統(tǒng)SDN控制器只提供Rest給用戶(hù)更多靈活的選擇。理論上可以對(duì)接任何品牌的云平臺(tái)、客戶(hù)自身的應(yīng)用APP,但實(shí)際部署中主要考慮基于Openstack平臺(tái)的商用產(chǎn)品,有標(biāo)準(zhǔn)的插件進(jìn)行對(duì)接;3、南向接口開(kāi)放,有利于基礎(chǔ)設(shè)施層設(shè)備納管,不會(huì)被綁定,即使需要管理第三方品牌的交換機(jī),也可以考慮定制化;4、0verlay網(wǎng)絡(luò)的控制層面采用標(biāo)準(zhǔn)RFC定義的EVPN協(xié)議,不摻雜私有協(xié)議;5、可視化采集使用SNMP、NETCONF等標(biāo)準(zhǔn)協(xié)制器之外的,服務(wù)器、存儲(chǔ)等運(yùn)行狀態(tài)。5.2可靠性保證新型數(shù)據(jù)中心承載者用戶(hù)80%以上的核心業(yè)務(wù),對(duì)于企業(yè)的重要程度不言而喻。其可靠性需要全方位保證方案提供從設(shè)備級(jí)到方案級(jí)的各層次可靠性保證機(jī)制。leaf采用虛擬化技術(shù),保證設(shè)備和鏈路的冗余可靠;ECMP提升業(yè)務(wù)轉(zhuǎn)發(fā)的可靠性;Border設(shè)備采用對(duì)稱(chēng)式和非對(duì)稱(chēng)結(jié)合部署,保證出口區(qū)設(shè)SDN控制器提供集群機(jī)制,集群內(nèi)通過(guò)region機(jī)制,既保證SDN網(wǎng)絡(luò)規(guī)模的可持續(xù)增加,也保證了SDN控制器側(cè)的穩(wěn)定可靠,同時(shí)為了保證SDN控制器的安全性,可提供基于本地認(rèn)證或者AAA認(rèn)證的方式,同時(shí)基于角色來(lái)控制權(quán)限,區(qū)分前端權(quán)限和后端權(quán)限,保證用戶(hù)靈活使用的同時(shí),把安全做到最極采用三平面分離架構(gòu)設(shè)計(jì),采用MP-BGPEVPN作為VxLAN控制面的弱控組網(wǎng)模型,管理面由SDN控制器承擔(dān),進(jìn)行業(yè)務(wù)驅(qū)動(dòng)的流量調(diào)度;數(shù)據(jù)轉(zhuǎn)發(fā)面依賴(lài)underlay強(qiáng)壯的IP網(wǎng)絡(luò)件,基于SDN理念設(shè)計(jì))的設(shè)備;可以做細(xì)顆粒度的安全引流和防護(hù),可以進(jìn)行第三方安全資源納管,實(shí)現(xiàn)東西向防護(hù)的引流和策略端到端自動(dòng)化配置和打整網(wǎng)安全設(shè)計(jì)考慮數(shù)據(jù)中心以及業(yè)務(wù)等保建設(shè)要求,同時(shí)結(jié)合后續(xù)云環(huán)境下的安全建設(shè)要求設(shè)計(jì),滿(mǎn)足未來(lái)上云計(jì)算的安全5.3安全融合,符合等保建設(shè)要求2、安全設(shè)備形態(tài)多樣,可以用硬件的設(shè)備,也可以用NFV(軟件,基于SDN理念設(shè)計(jì))的設(shè)備;3、可以做細(xì)顆粒度的安全引流和防護(hù),可以進(jìn)行第三方安全資源納管,實(shí)現(xiàn)東西向防護(hù)的引流和策略端到端自動(dòng)化配置4、整網(wǎng)安全設(shè)計(jì)考慮數(shù)據(jù)中心以及業(yè)務(wù)等保建設(shè)要求,同時(shí)結(jié)合后續(xù)云環(huán)境下的安全建設(shè)要求設(shè)計(jì),滿(mǎn)足未來(lái)上云計(jì)算的安全需求。5.4架構(gòu)彈性設(shè)計(jì)Fabric彈性設(shè)計(jì)1、單一位置單Fabric部署:控制器集群1:1納管控制器單機(jī)房部署避免少數(shù)派問(wèn)題border采用組內(nèi)對(duì)稱(chēng)式部署,面向業(yè)務(wù),關(guān)聯(lián)不同的出口,互資源彈性設(shè)計(jì)1)多個(gè)計(jì)算資源池,獨(dú)立接入網(wǎng)絡(luò),用戶(hù)規(guī)劃多個(gè)Fabric2)多個(gè)資源池公用一個(gè)外部網(wǎng)絡(luò)出口3)出口邊界設(shè)備組與接入設(shè)備組(VDS)為1:N關(guān)系1)單一計(jì)算資源池,單一接入網(wǎng)絡(luò),用戶(hù)規(guī)劃一個(gè)Fabric2)資源池中不同租戶(hù)分別有各自外部網(wǎng)絡(luò)出口3)出口邊界設(shè)備組與接入設(shè)備組(VDS)為N:1關(guān)系1)多個(gè)計(jì)算資源池,獨(dú)立接入網(wǎng)絡(luò),用戶(hù)規(guī)劃多個(gè)Fabric2)資源池中不同租戶(hù)分別有各自外部網(wǎng)絡(luò)出口3)出口邊界設(shè)備組與接入設(shè)備組(VDS)為N:M關(guān)系動(dòng)完成設(shè)備管理IP獲取、版本獲取加載、配置信息下發(fā)2、0verlay層面,借助VCFController,面向運(yùn)營(yíng),對(duì)接云管理平臺(tái),完成Overlay配置的自動(dòng)化關(guān)聯(lián)和下發(fā);3、業(yè)務(wù)層面,聯(lián)動(dòng)云平臺(tái),完成租戶(hù)業(yè)務(wù)指令的自動(dòng)化下發(fā)。5.6可視化運(yùn)維管理便捷VCFDirector提供可視化的資源、容量、健康度展示,分析呈現(xiàn),幫助故障檢測(cè)、運(yùn)維和決策,包括但不限于對(duì)于鏈路狀態(tài)監(jiān)控、流量監(jiān)管、硬件使用率展示、配置列表管理、策略模板創(chuàng)建一鍵下發(fā)等功能。6.SDN架構(gòu)的關(guān)鍵特性Fabric規(guī)劃開(kāi)始自動(dòng)化部署之前,需要先根據(jù)用戶(hù)需求完成準(zhǔn)備工作,1、物理設(shè)備連線(xiàn),安裝Director軟件,通過(guò)帶外管理交換機(jī)將Director和物理設(shè)備管理口接入三層可達(dá)的管理網(wǎng)絡(luò)。可靠性、路由部署規(guī)劃等,規(guī)劃完成后,自動(dòng)生成Spine-Leaf規(guī)劃拓?fù)洹J鸷蛥?shù)設(shè)置2)基于Spine/Leaf角色,通過(guò)Director完成設(shè)備軟件版本和配置模板文件的準(zhǔn)備3)指定Fabric的RR、Border角色,支持指定多個(gè)Spine/Leaf作為BorderUnderlay網(wǎng)絡(luò)自動(dòng)配置的目的是為Overlay自動(dòng)化提供一個(gè)IP路由可達(dá)的三層網(wǎng)絡(luò),包括以下步驟:版本文件、配置模板2、根據(jù)拓?fù)鋭?dòng)態(tài)生成配置可視化部署Director根據(jù)IP地址段掃描已經(jīng)上線(xiàn)的設(shè)備,生成Underlay自動(dòng)化過(guò)程中的動(dòng)態(tài)拓?fù)洌⒃谠撏負(fù)渖蠈?shí)時(shí)呈現(xiàn)自動(dòng)化狀態(tài)和進(jìn)度:設(shè)備根據(jù)角色加載版本,并獲取配置文件模板,開(kāi)始自動(dòng)化配置過(guò)程,進(jìn)入設(shè)備自動(dòng)化開(kāi)始狀態(tài)。完成后,支持上報(bào)設(shè)備IRF結(jié)束;設(shè)備出IRF裂,支持上報(bào)設(shè)備離開(kāi)IRF。3、查看實(shí)時(shí)拓?fù)錉顟B(tài)支持上報(bào)設(shè)備互連接口UP、DOWN狀態(tài);設(shè)備互連接口獲取IP,路由收斂后,支持上報(bào)設(shè)備間
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 安徽省-2023年-社區(qū)工作者-上半年筆試真題卷
- 包裝衛(wèi)生材料的防水透氣性和紫外線(xiàn)輻射性鑒定考核試卷
- 福州房產(chǎn)轉(zhuǎn)讓合同起草與審核
- 供水廠改造評(píng)審案例
- 文化產(chǎn)業(yè)項(xiàng)目招投標(biāo)
- 醫(yī)療機(jī)構(gòu)市場(chǎng)營(yíng)銷(xiāo)與市場(chǎng)調(diào)研
- 環(huán)保行業(yè)質(zhì)量獎(jiǎng)評(píng)選
- 短視頻編劇合作合同樣本
- 遼陽(yáng)市物業(yè)應(yīng)急預(yù)案編制
- 眼鏡連鎖店前臺(tái)聘用協(xié)議
- 銀河麒麟高級(jí)服務(wù)器操作系統(tǒng)運(yùn)維管理習(xí)題答案
- 汽車(chē)租賃服務(wù)投標(biāo)方案
- 110報(bào)警服務(wù)臺(tái)接處警登記表
- 干細(xì)胞治療流程
- 環(huán)評(píng)申請(qǐng)表范本
- 公司銷(xiāo)售部職能說(shuō)明書(shū)表格
- 《大學(xué)生心理健康教育》(教案) 第十課 戀愛(ài)與性切勿草率-大學(xué)生戀愛(ài)和性心理健康
- 處方點(diǎn)評(píng)工作表
- 高齡老人租房免責(zé)協(xié)議
- 基地園區(qū)網(wǎng)絡(luò)方案建議書(shū)
- 人教版小學(xué)三年級(jí)數(shù)學(xué)上冊(cè)-倍的認(rèn)識(shí)-名師教學(xué)教案
評(píng)論
0/150
提交評(píng)論