




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 企業(yè)數(shù)據(jù)中心網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)方案目 錄 TOC o 1-2 h z u HYPERLINK l _Toc46865734 第一部分 項(xiàng)目背景 PAGEREF _Toc46865734 h 4 HYPERLINK l _Toc46865735 1.1 項(xiàng)目概述 PAGEREF _Toc46865735 h 4 HYPERLINK l _Toc46865736 1.2 設(shè)計(jì)依據(jù) PAGEREF _Toc46865736 h 4 HYPERLINK l _Toc46865737 1.3 設(shè)計(jì)原則 PAGEREF _Toc46865737 h 5 HYPERLINK l _Toc46865738 第二部
2、分 整體需求分析 PAGEREF _Toc46865738 h 8 HYPERLINK l _Toc46865739 2.1 需求分析 PAGEREF _Toc46865739 h 8 HYPERLINK l _Toc46865740 2.2 拓?fù)湟?guī)劃 PAGEREF _Toc46865740 h 9 HYPERLINK l _Toc46865741 2.3 設(shè)計(jì)思想 PAGEREF _Toc46865741 h 9 HYPERLINK l _Toc46865742 第三部分 數(shù)據(jù)中心設(shè)計(jì) PAGEREF _Toc46865742 h 11 HYPERLINK l _Toc46865743 3
3、.1 傳統(tǒng)架構(gòu)存在的問題 PAGEREF _Toc46865743 h 11 HYPERLINK l _Toc46865744 3.2 數(shù)據(jù)中心目標(biāo)架構(gòu) PAGEREF _Toc46865744 h 12 HYPERLINK l _Toc46865745 3.3 數(shù)據(jù)中心設(shè)計(jì)目標(biāo) PAGEREF _Toc46865745 h 14 HYPERLINK l _Toc46865746 3.4 數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc46865746 h 16 HYPERLINK l _Toc46865747 3.5 數(shù)據(jù)中心核心層設(shè)計(jì) PAGEREF _Toc46865747 h 22 HYPE
4、RLINK l _Toc46865748 3.1 數(shù)據(jù)中心接入層設(shè)計(jì) PAGEREF _Toc46865748 h 24 HYPERLINK l _Toc46865749 3.2 數(shù)據(jù)中心地址路由設(shè)計(jì) PAGEREF _Toc46865749 h 27 HYPERLINK l _Toc46865750 第四部分 園區(qū)網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc46865750 h 29 HYPERLINK l _Toc46865751 4.1 園區(qū)網(wǎng)絡(luò)設(shè)計(jì)概述 PAGEREF _Toc46865751 h 29 HYPERLINK l _Toc46865752 4.2 園區(qū)網(wǎng)結(jié)構(gòu)設(shè)計(jì) PAGEREF _
5、Toc46865752 h 30 HYPERLINK l _Toc46865753 4.3 核心層設(shè)計(jì) PAGEREF _Toc46865753 h 34 HYPERLINK l _Toc46865754 4.4 匯聚層設(shè)計(jì) PAGEREF _Toc46865754 h 43 HYPERLINK l _Toc46865755 4.5 接入層設(shè)計(jì) PAGEREF _Toc46865755 h 47 HYPERLINK l _Toc46865756 4.6 外聯(lián)設(shè)計(jì) PAGEREF _Toc46865756 h 53 HYPERLINK l _Toc46865757 4.7 IP地址規(guī)劃原則 PA
6、GEREF _Toc46865757 h 55 HYPERLINK l _Toc46865758 4.8 路由協(xié)議 PAGEREF _Toc46865758 h 56 HYPERLINK l _Toc46865759 第五部分 無(wú)線網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc46865759 h 58 HYPERLINK l _Toc46865760 5.1 總體設(shè)計(jì)概述 PAGEREF _Toc46865760 h 58 HYPERLINK l _Toc46865761 5.2 無(wú)線AP設(shè)備選型 PAGEREF _Toc46865761 h 99 HYPERLINK l _Toc46865762 第六
7、部分 網(wǎng)絡(luò)安全設(shè)計(jì) PAGEREF _Toc46865762 h 107 HYPERLINK l _Toc46865763 6.1 網(wǎng)絡(luò)安全部署思路 PAGEREF _Toc46865763 h 107 HYPERLINK l _Toc46865764 6.2 網(wǎng)絡(luò)設(shè)備級(jí)安全 PAGEREF _Toc46865764 h 109 HYPERLINK l _Toc46865765 6.3 網(wǎng)絡(luò)級(jí)安全 PAGEREF _Toc46865765 h 113 HYPERLINK l _Toc46865766 6.4 網(wǎng)絡(luò)的智能主動(dòng)防御 PAGEREF _Toc46865766 h 117 HYPERL
8、INK l _Toc46865767 6.5 網(wǎng)絡(luò)安全設(shè)備選型 PAGEREF _Toc46865767 h 127 HYPERLINK l _Toc46865768 第七部分 網(wǎng)絡(luò)管理和業(yè)務(wù)調(diào)度自動(dòng)化 PAGEREF _Toc46865768 h 138 HYPERLINK l _Toc46865769 7.1 業(yè)務(wù)概述 PAGEREF _Toc46865769 h 138 HYPERLINK l _Toc46865770 7.2 技術(shù)概述 PAGEREF _Toc46865770 h 138 HYPERLINK l _Toc46865771 7.3 Cisco Prime Infrastr
9、ucture管理平臺(tái) PAGEREF _Toc46865771 h 139 HYPERLINK l _Toc46865772 第八部分 與G5.5的網(wǎng)絡(luò)互聯(lián)規(guī)劃 PAGEREF _Toc46865772 h 144項(xiàng)目背景項(xiàng)目概述公司成立于1983年,是一家在全球范圍內(nèi)提供顯示解決方案和快速服務(wù)支持的創(chuàng)新型科技企業(yè)。公司制造基地分布在深圳、上海、成都、武漢等全國(guó)各地,同時(shí),在美國(guó)、德國(guó)、韓國(guó)、臺(tái)灣、香港等主要發(fā)達(dá)國(guó)家與地區(qū)設(shè)有全球營(yíng)銷網(wǎng)絡(luò)和技術(shù)服務(wù)支持平臺(tái)。而目前建設(shè)中的廈門天馬項(xiàng)目是廈門高新區(qū)著力打造千億元光電產(chǎn)業(yè)集群、強(qiáng)化全國(guó)的光電顯示產(chǎn)業(yè)集群試點(diǎn)基地的又一力作。針對(duì)其生產(chǎn)要求,結(jié)合我公司
10、對(duì)于網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)的理念和多年來(lái)在網(wǎng)絡(luò)工程建設(shè)中的經(jīng)驗(yàn),以實(shí)現(xiàn)高可靠、高性能、可擴(kuò)充為前提,遵循開放、標(biāo)準(zhǔn)、安全和實(shí)用的原則,追求網(wǎng)絡(luò)性能的最佳化、合理化、節(jié)省費(fèi)用,技術(shù)上的先進(jìn)性與成熟性、實(shí)用性相結(jié)合,為廈門G6網(wǎng)絡(luò)系統(tǒng)提供合理有效的解決方案,滿足其辦公需求,保證在未來(lái)的信息化建設(shè)中高效穩(wěn)定運(yùn)行。設(shè)計(jì)依據(jù)數(shù)據(jù)中心由于其特殊性,需嚴(yán)格遵循國(guó)家GB標(biāo)準(zhǔn)所定義的電子信息系統(tǒng)機(jī)房設(shè)計(jì)等相關(guān)規(guī)范數(shù)據(jù)中心設(shè)計(jì)規(guī)范GB/T50174-2014電子信息系統(tǒng)機(jī)房設(shè)計(jì)規(guī)范GB50174-2008智能建筑設(shè)計(jì)標(biāo)準(zhǔn)GB/T50314-2006民用建筑設(shè)計(jì)通則GB50352-2005電力裝置的繼電保護(hù)和自動(dòng)裝置設(shè)計(jì)規(guī)范
11、GB50062-92高層民用建筑設(shè)計(jì)防火規(guī)范GB50045-95民用建筑電氣設(shè)計(jì)規(guī)范JGJ/T16-92建筑與建筑群綜合布線工程設(shè)計(jì)規(guī)范GB/T50311-2000弱電系統(tǒng)技術(shù)要求GA/T367-2001(2005年版)公共安全工程技術(shù)規(guī)范GB50348-2004電子計(jì)算機(jī)房設(shè)計(jì)規(guī)范GB50174-93建筑物防雷設(shè)計(jì)規(guī)范GB50057-94建筑物電子信息系統(tǒng)防雷技術(shù)規(guī)范GB50343-2004工業(yè)與民用電力裝置的接地設(shè)計(jì)規(guī)范GBJ65-83工業(yè)企業(yè)通信接地設(shè)計(jì)規(guī)范GBJ79-85通信管道工程施工及驗(yàn)收規(guī)范GB50374-2006設(shè)計(jì)原則以安全、實(shí)用、冗余、先進(jìn)、適應(yīng)發(fā)展為總建設(shè)原則。1、實(shí)用性
12、原則:以現(xiàn)行需求為基礎(chǔ),充分考慮發(fā)展的需要來(lái)確定規(guī)模。2、冗余性原則:特別注重網(wǎng)絡(luò)硬件系統(tǒng)自身在突發(fā)事件時(shí)的可用性,以冗余備份的設(shè)計(jì)方式加以保障。在核心位置提供設(shè)備級(jí)冗余,在主干設(shè)備與匯聚設(shè)備之間提供可靠的線路及模塊冗余,當(dāng)其中一個(gè)部件因故障停止工作時(shí),另一部件自動(dòng)接替其工作,并且不引起其他節(jié)點(diǎn)的路由表重新計(jì)算,從而提高網(wǎng)絡(luò)的穩(wěn)定性和可靠性。3、安全性原則:安全性是信息化建設(shè)的基礎(chǔ)保障。出于安全及保密因素,現(xiàn)在信息化建設(shè)工程對(duì)安全性有很高的要求。設(shè)計(jì)的過程中必須依據(jù)國(guó)家各種有關(guān)安全法規(guī)政策,對(duì)硬件支撐平臺(tái)的訪問控制、在線監(jiān)視、信息加密等方面進(jìn)行完善考慮,在網(wǎng)絡(luò)建構(gòu)上根據(jù)功能劃分相應(yīng)的區(qū)域,使用
13、如防火墻、入侵檢測(cè)、信息過濾等手段,防止非法用戶、非法信息及病毒的入侵和泄密事件的發(fā)生。同時(shí)還要在企業(yè)內(nèi)部建立健全各種相關(guān)安全管理制度,確保全網(wǎng)的安全。4、先進(jìn)性原則:系統(tǒng)采用國(guó)際上先進(jìn)的前沿網(wǎng)絡(luò)技術(shù),滿足今后一段時(shí)期的需要。5、可靠性原則:要保證系統(tǒng)運(yùn)行可靠,極高的平均無(wú)故障時(shí)間和極短的設(shè)備修復(fù)時(shí)間。網(wǎng)絡(luò)的運(yùn)行必須保證相當(dāng)高的可靠性,以滿足工作及信息的安全與穩(wěn)定。防止局部故障引起整個(gè)網(wǎng)絡(luò)系統(tǒng)的癱瘓,避免網(wǎng)絡(luò)出現(xiàn)單點(diǎn)故障。6、易維護(hù)原則:系統(tǒng)要易于管理、易于維護(hù)。網(wǎng)絡(luò)需要很高的可管理性,特別是在數(shù)據(jù)、視頻等多業(yè)務(wù)的網(wǎng)絡(luò)系統(tǒng)里,要使用可管理的網(wǎng)絡(luò)設(shè)備,可以識(shí)別關(guān)鍵資源,根據(jù)流量狀況以及網(wǎng)絡(luò)性能配
14、置閾值并為不同的應(yīng)用提供不同的帶寬,使所有的服務(wù)能夠順利完成。隨著系統(tǒng)的投入運(yùn)行和系統(tǒng)資源的不斷增加,網(wǎng)絡(luò)系統(tǒng)應(yīng)具有很好的易維護(hù)性,使管理人員易于維護(hù),減少不必要的額外勞動(dòng),提高工作效率。7、易擴(kuò)展原則:設(shè)計(jì)過程中應(yīng)當(dāng)保證在用戶業(yè)務(wù)量和業(yè)務(wù)類型的變化增長(zhǎng)的情況下,硬件支撐平臺(tái)能夠方便的升級(jí)并擴(kuò)展,網(wǎng)絡(luò)可以自如地?cái)U(kuò)充容量,支持更多的用戶及應(yīng)用。網(wǎng)絡(luò)平臺(tái)設(shè)計(jì)時(shí)必須按照各種國(guó)際通用標(biāo)準(zhǔn)進(jìn)行,以保證各種設(shè)備、網(wǎng)絡(luò)的兼容通用,將來(lái)網(wǎng)絡(luò)在實(shí)現(xiàn)擴(kuò)容、升級(jí)時(shí)不會(huì)受到某些廠家專有標(biāo)準(zhǔn)的限制。網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)技術(shù)的選擇,要具有相當(dāng)?shù)那罢靶裕源_保隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展,網(wǎng)絡(luò)能夠平滑地過渡到更先進(jìn)的技術(shù)和設(shè)備,充分保
15、障用戶現(xiàn)有的投資和利益。整體需求分析需求分析根據(jù)前期和客戶溝通匯總的需求,本次項(xiàng)目規(guī)劃涉及網(wǎng)絡(luò)包括:園區(qū)有線網(wǎng)絡(luò)、園區(qū)無(wú)線網(wǎng)絡(luò)、數(shù)據(jù)中心網(wǎng)絡(luò)、管理控制網(wǎng)絡(luò)、外聯(lián)網(wǎng)絡(luò)、互聯(lián)網(wǎng)絡(luò)等網(wǎng)絡(luò)。按照模塊化、層次化、區(qū)域化、可擴(kuò)展的規(guī)劃原則,廈門G6總體網(wǎng)絡(luò)可進(jìn)行以下模塊化劃分:園區(qū)網(wǎng)核心交換區(qū)域:VSS系統(tǒng)架構(gòu),高可靠性和提升網(wǎng)絡(luò)性能;部署冗余無(wú)線控制器,實(shí)現(xiàn)無(wú)線快速切換園區(qū)網(wǎng)絡(luò)接入?yún)^(qū)域:萬(wàn)兆光纖主干,通過VSS實(shí)現(xiàn)鏈路的捆綁,提高鏈路利用率,包括有線和無(wú)線接入方式.數(shù)據(jù)中心核心交換區(qū)域:VPC+系統(tǒng)架構(gòu),高性能高擴(kuò)展性數(shù)據(jù)中心主機(jī)接入?yún)^(qū)域:公司辦公業(yè)務(wù)系統(tǒng)的各種服務(wù)器外聯(lián)區(qū)域:雙機(jī)SSL VPN終結(jié)設(shè)備
16、,提供外聯(lián)及接入的高可靠架構(gòu)員工上網(wǎng)區(qū)域:鏈路負(fù)載均衡、防火墻設(shè)備整合應(yīng)用。管理控制區(qū)域:管理控制區(qū)域,主要都由各種服務(wù)器系統(tǒng)組成,是整個(gè)網(wǎng)絡(luò)運(yùn)維管理的核心區(qū)域,網(wǎng)絡(luò)管理系統(tǒng)、網(wǎng)絡(luò)安全審計(jì)及授權(quán)系統(tǒng)、無(wú)線覆蓋的管理系統(tǒng)、移動(dòng)終端的認(rèn)證管理系統(tǒng)等網(wǎng)絡(luò)運(yùn)維的管理系統(tǒng)均部署于該區(qū)域拓?fù)湟?guī)劃設(shè)計(jì)思想園區(qū)有線采用兩種方案: 方案一:針對(duì)M3區(qū)采用兩層架構(gòu),核心采用Cat6807交換機(jī),接入層采用Cat6800ia交換機(jī),實(shí)現(xiàn)即時(shí)接入。該接入交換機(jī)可提供48端口接入且最大24端口802.3at 30W供電能力。通過VSS+IA技術(shù)實(shí)現(xiàn)園區(qū)簡(jiǎn)化架構(gòu)、提高轉(zhuǎn)發(fā)效率的要求。 方案二:針對(duì)M4廠區(qū)由于受限于光纖等
17、資源情況,需在M4樓部署匯聚設(shè)備;即采用傳統(tǒng)三層架構(gòu)方式園區(qū)無(wú)線采用CT5520作為無(wú)線控制器,接入層AP采用支持802.11ac的1700/2700系列。無(wú)線AP2702E可實(shí)現(xiàn)高密度無(wú)線接入。方案中采用FlaxConnect集中認(rèn)證、本地轉(zhuǎn)發(fā)模式。管理控制層使用Cisco ISE作為整網(wǎng)管理控制平臺(tái),Cisco ISE支持有線無(wú)線準(zhǔn)入控制一體化。將無(wú)線訪客網(wǎng)絡(luò)通過Cat6807的VRF特性進(jìn)行流量隔離,并指定網(wǎng)關(guān)至深信服AC。深信服AC上對(duì)此網(wǎng)段進(jìn)行Portal認(rèn)證,實(shí)現(xiàn)對(duì)無(wú)線訪客的Portal認(rèn)證。數(shù)據(jù)中心設(shè)計(jì)傳統(tǒng)架構(gòu)存在的問題 以往傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)采用以太網(wǎng)技術(shù)構(gòu)建,隨著各類業(yè)務(wù)應(yīng)用對(duì)
18、IT需求的深入發(fā)展,業(yè)務(wù)部門對(duì)資源的需求正以幾何級(jí)數(shù)增長(zhǎng),傳統(tǒng)的IT基礎(chǔ)架構(gòu)方式給管理員和未來(lái)業(yè)務(wù)的擴(kuò)展帶來(lái)巨大挑戰(zhàn)。具體而言存在如下問題: 維護(hù)管理難:在傳統(tǒng)構(gòu)架的網(wǎng)絡(luò)中進(jìn)行業(yè)務(wù)擴(kuò)容、遷移或增加新的服務(wù)功能越來(lái)越困難,每一次變更都將牽涉相互關(guān)聯(lián)的、不同時(shí)期按不同初衷建設(shè)的多種物理設(shè)施,涉及多個(gè)不同領(lǐng)域、不同服務(wù)方向,工作繁瑣、維護(hù)困難,而且容易出現(xiàn)漏洞和差錯(cuò)。比如數(shù)據(jù)中心新增加一個(gè)業(yè)務(wù)類型,需要調(diào)整新的應(yīng)用訪問控制需求,此時(shí)管理員不僅要了解新業(yè)務(wù)的邏輯訪問策略,還要精通物理的防火墻實(shí)體的部署、連接、安裝,要考慮是增加新的防火墻端口、還是需要添置新的防火墻設(shè)備,要考慮如何以及何處接入,有沒有相
19、應(yīng)的接口,如何跳線,以及隨之而來(lái)的VLAN、路由等等,如果網(wǎng)絡(luò)中還有諸如地址轉(zhuǎn)換、7層交換等等服務(wù)與之相關(guān)聯(lián),那將是非常繁雜的任務(wù)。當(dāng)這樣的IT資源需求在短期內(nèi)累積,將極易在使得系統(tǒng)維護(hù)的質(zhì)量和穩(wěn)定性下降,同時(shí)反過來(lái)減慢新業(yè)務(wù)的部署,進(jìn)而阻礙公司業(yè)務(wù)的推進(jìn)和發(fā)展。資源利用率低:傳統(tǒng)架構(gòu)方式對(duì)底層資源的投入與在上層業(yè)務(wù)所收到的效果很難得到同比發(fā)展,最普遍的現(xiàn)象就是忙的設(shè)備不堪重負(fù),閑的設(shè)備資源儲(chǔ)備過多,二者相互之間又無(wú)法借用和共用。這是由于對(duì)底層網(wǎng)絡(luò)建設(shè)是以功能單元為中心進(jìn)行建設(shè)的,并不考慮上層業(yè)務(wù)對(duì)底層資源調(diào)用的優(yōu)化,這使得對(duì)網(wǎng)絡(luò)的投入往往無(wú)法取得同樣的業(yè)務(wù)應(yīng)用效果的改善,反而浪費(fèi)了較多的資源
20、和維護(hù)成本。服務(wù)策略不一致:傳統(tǒng)架構(gòu)最嚴(yán)重的問題是這種以孤立的設(shè)備功能為中心的設(shè)計(jì)思路無(wú)法真正從整個(gè)系統(tǒng)角度制訂統(tǒng)一的服務(wù)策略,比如安全策略、高可用性策略、業(yè)務(wù)優(yōu)化策略等等,造成跨平臺(tái)策略的不一致性,從而難以將所投入的產(chǎn)品能力形成合力為上層業(yè)務(wù)提供強(qiáng)大的服務(wù)支撐。因此,按傳統(tǒng)底層基礎(chǔ)設(shè)施所提供的服務(wù)能力已無(wú)法適應(yīng)當(dāng)前業(yè)務(wù)急劇擴(kuò)展所需的資源要求,本次數(shù)據(jù)中心建設(shè)必須從根本上改變傳統(tǒng)思路,遵照一種嶄新的體系結(jié)構(gòu)思路來(lái)構(gòu)造新的數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)。數(shù)據(jù)中心目標(biāo)架構(gòu) 面向服務(wù)的設(shè)計(jì)思想已經(jīng)成為Web2.0下解決來(lái)自業(yè)務(wù)變更、業(yè)務(wù)急劇發(fā)展所帶來(lái)的資源和成本壓力的最佳途徑。于是業(yè)界就提出了摒棄傳統(tǒng)的“面向
21、組件(Component)”的開發(fā)方式,而轉(zhuǎn)向“面向服務(wù)”的開發(fā)方式,即應(yīng)用軟件應(yīng)當(dāng)看起來(lái)是由相互獨(dú)立、松耦合的服務(wù)構(gòu)成,而不是對(duì)接口要求嚴(yán)格、變更復(fù)雜、復(fù)用性差的緊耦合組件構(gòu)成,這樣可以以最小的變動(dòng)、最佳的需求溝通方式來(lái)適應(yīng)不斷變化的業(yè)務(wù)需求增長(zhǎng)。鑒于此,數(shù)據(jù)中心業(yè)務(wù)應(yīng)用正在朝“面向服務(wù)的架構(gòu)Service Oriented Architecture(SOA)”轉(zhuǎn)型。與業(yè)務(wù)的SOA相適應(yīng),提出支撐業(yè)務(wù)運(yùn)行的底層基礎(chǔ)設(shè)施也應(yīng)當(dāng)向“面向服務(wù)”的設(shè)計(jì)思想轉(zhuǎn)變,構(gòu)造“面向服務(wù)的數(shù)據(jù)中心”(Service Oriented Data Center,SODC)。 傳統(tǒng)組網(wǎng)觀念是根據(jù)功能需求的變化實(shí)現(xiàn)對(duì)應(yīng)
22、的硬件功能盒子堆砌而構(gòu)建企業(yè)網(wǎng)絡(luò)的,這非常類似于傳統(tǒng)軟件開發(fā)的組件堆砌,被已經(jīng)證明為是一種較低效率的資源調(diào)用方式,而如果能夠?qū)⒄麄€(gè)網(wǎng)絡(luò)的構(gòu)建看成是由封裝完好、相互耦合松散、但能夠被標(biāo)準(zhǔn)化和統(tǒng)一調(diào)度的“服務(wù)”組成,那么業(yè)務(wù)層面的變更、物理資源的復(fù)用都將是輕而易舉的事情。SODC就是要求當(dāng)SOA架構(gòu)下業(yè)務(wù)的變更,導(dǎo)致軟件部分的服務(wù)模塊的組合變化時(shí),松耦合的網(wǎng)絡(luò)服務(wù)也能根據(jù)應(yīng)用的變化自動(dòng)實(shí)現(xiàn)重組以適配業(yè)務(wù)變更所帶來(lái)的資源要求的變化,而盡可能少的減少?gòu)?fù)雜硬件的相關(guān)性,從運(yùn)行維護(hù)、資源復(fù)用效率和策略一致性上徹底解決傳統(tǒng)設(shè)計(jì)帶來(lái)的頑疾。具體而言SODC應(yīng)形成這樣的資源調(diào)用方式:底層資源對(duì)于上層應(yīng)用就象由服
23、務(wù)構(gòu)成的“資源池”,需要什么服務(wù)就自動(dòng)的會(huì)由網(wǎng)絡(luò)調(diào)用相關(guān)物理資源來(lái)實(shí)現(xiàn),管理員和業(yè)務(wù)用戶不需要或幾乎可以看不見物理設(shè)備的相互架構(gòu)關(guān)系以及具體存在方式。SODC的框架原型應(yīng)如下所示: 交互服務(wù)層實(shí)現(xiàn)了向上提供服務(wù)、向下屏蔽復(fù)雜的物理結(jié)構(gòu)的作用,使得網(wǎng)絡(luò)使用者看到的網(wǎng)絡(luò)不是由復(fù)雜的基礎(chǔ)物理功能實(shí)體構(gòu)成的,而是一個(gè)個(gè)智能服務(wù)安全服務(wù)、移動(dòng)服務(wù)、計(jì)算服務(wù)、存儲(chǔ)服務(wù)等等,至于這些服務(wù)是由哪些實(shí)際存在的物理資源所提供,管理員和上層業(yè)務(wù)都無(wú)需關(guān)心,交互服務(wù)層解決了一切資源的調(diào)度和高效復(fù)用問題。 SODC和SOA構(gòu)成的數(shù)據(jù)中心IT架構(gòu)必將是整個(gè)數(shù)據(jù)中心未來(lái)發(fā)展的趨勢(shì),雖然實(shí)現(xiàn)真正理想的SODC和SOA融合的架
24、構(gòu)將是一個(gè)長(zhǎng)期的歷程,但在向該融合框架邁進(jìn)的每一步實(shí)際上都將會(huì)形成對(duì)網(wǎng)絡(luò)靈活性、網(wǎng)絡(luò)維護(hù)、資源利用效率、投資效益等等方面的巨大改善。因此本次數(shù)據(jù)中心的網(wǎng)絡(luò)建設(shè),要求盡可能的遵循如上所述的新一代面向服務(wù)的數(shù)據(jù)中心設(shè)計(jì)框架。數(shù)據(jù)中心設(shè)計(jì)目標(biāo) SODC架構(gòu)是一種資源調(diào)度的全新方式,資源被調(diào)用方式是面向服務(wù)而非象以前一樣面向復(fù)雜的物理底層設(shè)施進(jìn)行設(shè)計(jì)的,而其中交互服務(wù)層是基于服務(wù)調(diào)用的關(guān)鍵環(huán)節(jié)。交互服務(wù)層的形成是由網(wǎng)絡(luò)智能化進(jìn)一步發(fā)展而實(shí)現(xiàn)的,它是底層的物理網(wǎng)絡(luò)通過其內(nèi)在的智能服務(wù)功能,使得其上的業(yè)務(wù)層面看不到底層復(fù)雜的結(jié)構(gòu),不用關(guān)心資源的物理調(diào)度,從而最大化的實(shí)現(xiàn)資源的共享和復(fù)用。要形成SODC要求
25、的交互服務(wù)層,必須對(duì)網(wǎng)絡(luò)提出以下要求:整合能力 SODC要求將數(shù)據(jù)中心所需的各種資源實(shí)現(xiàn)基于網(wǎng)絡(luò)的整合,這是后續(xù)上層業(yè)務(wù)能看到底層網(wǎng)絡(luò)提供各類SODC服務(wù)的基礎(chǔ)。整合的概念不是簡(jiǎn)單的功能增多,雖然整合化的一個(gè)體現(xiàn)是很多獨(dú)立設(shè)備的功能被以特殊硬件的方式整合到網(wǎng)絡(luò)設(shè)備中,但其真正的核心思想是將資源盡可能集中化以便于跨平臺(tái)的調(diào)用,而物理存在方式則可自由的根據(jù)需要而定。數(shù)據(jù)中心網(wǎng)絡(luò)所必須提供的資源包括:智能業(yè)務(wù)網(wǎng)絡(luò)所必須的智能功能,比如服務(wù)質(zhì)量保證、安全訪問控制、設(shè)備智能管理等等;數(shù)據(jù)中心的三大資源網(wǎng)絡(luò):高性能計(jì)算網(wǎng)絡(luò);存儲(chǔ)交換網(wǎng)絡(luò);數(shù)據(jù)應(yīng)用網(wǎng)絡(luò)。這兩類資源的整合將是檢驗(yàn)新一代數(shù)據(jù)中心網(wǎng)絡(luò)SODC能力
26、的重要標(biāo)準(zhǔn)。虛擬化能力虛擬化其實(shí)就是把已整合的資源以一種與物理位置、物理存在、物理狀態(tài)等無(wú)關(guān)的方式進(jìn)行調(diào)用,是從物理資源到服務(wù)形態(tài)的質(zhì)變過程。虛擬化是實(shí)現(xiàn)物理資源復(fù)用、降低管理維護(hù)復(fù)雜度、提高設(shè)備利用率的關(guān)鍵,同時(shí)也是為未來(lái)自動(dòng)實(shí)現(xiàn)資源協(xié)調(diào)和配置打下基礎(chǔ)。新一代數(shù)據(jù)中心網(wǎng)絡(luò)要求能夠提供多種方式的虛擬化能力,不僅僅是傳統(tǒng)的網(wǎng)絡(luò)虛擬化(比如VLAN、VPN等),還必須做到:交換虛擬化智能服務(wù)虛擬化服務(wù)器虛擬化自動(dòng)化能力自動(dòng)化是SODC架構(gòu)中上層自動(dòng)優(yōu)化的實(shí)現(xiàn)服務(wù)調(diào)用必須條件。在高度整合化和虛擬化的基礎(chǔ)上,服務(wù)的部署完全不需要物理上的動(dòng)作,資源在虛擬化平臺(tái)上可以與物理設(shè)施無(wú)關(guān)的進(jìn)行分配和整合,這樣我
27、們只需要將一定的業(yè)務(wù)策略輸入給智能網(wǎng)絡(luò)的策略服務(wù)器,一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進(jìn)行計(jì)算、評(píng)估、決策和調(diào)配實(shí)現(xiàn)。這部分需要做到兩方面的自動(dòng)化:網(wǎng)絡(luò)管理的自動(dòng)化業(yè)務(wù)部署的自動(dòng)化數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)總體網(wǎng)絡(luò)結(jié)構(gòu)本次數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)將采用新一代的DCE技術(shù),并使用DCE技術(shù)的代表廠商Cisco公司的Nexus系列產(chǎn)品。網(wǎng)絡(luò)結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模塊化組網(wǎng)結(jié)構(gòu)。層次化結(jié)構(gòu)的優(yōu)勢(shì)采用層次化結(jié)構(gòu)有如下好處:節(jié)約成本:園區(qū)網(wǎng)絡(luò)意味著巨大的業(yè)務(wù)投資正確設(shè)計(jì)的園區(qū)網(wǎng)絡(luò)可以提高業(yè)務(wù)效率和降低運(yùn)營(yíng)成本。便于擴(kuò)展:一個(gè)模塊化的或者層次化的網(wǎng)絡(luò)由很多更加便于復(fù)制、改造和擴(kuò)展的模塊所構(gòu)成,在添加或者
28、移除一個(gè)模塊時(shí),并不需要重新設(shè)計(jì)整個(gè)網(wǎng)絡(luò)。每個(gè)模塊可以在不影響其他模塊或者網(wǎng)絡(luò)核心的情況下投入使用或者停止使用。加強(qiáng)故障隔離能力:通過將網(wǎng)絡(luò)分為多個(gè)可管理的小型組件,企業(yè)可以大幅度簡(jiǎn)化故障定位和排障處理時(shí)效。標(biāo)準(zhǔn)的網(wǎng)絡(luò)分層結(jié)構(gòu)層次化結(jié)構(gòu)包括三個(gè)功能部分,即接入層、分布層和核心層,各層次定位分別如下:核心層:是企業(yè)數(shù)據(jù)交換網(wǎng)絡(luò)的骨干,本層的設(shè)計(jì)目的是實(shí)現(xiàn)快速的數(shù)據(jù)交換,并且提供高可靠性和快速的路由收斂。分布層:也稱為匯聚層。主要匯聚來(lái)自接入層的流量和執(zhí)行策略,當(dāng)?shù)谌龑訁f(xié)議被用于這一層時(shí)可以獲得路由負(fù)載均衡,快速收斂和可擴(kuò)展性等好處。分布層還是網(wǎng)絡(luò)智能服務(wù)的實(shí)施點(diǎn),包括安全控制、應(yīng)用優(yōu)化等智能功能
29、都在此實(shí)施。接入層:負(fù)責(zé)提供服務(wù)器、用戶終端、存儲(chǔ)設(shè)施等等的網(wǎng)絡(luò)第一級(jí)接入功能,另外網(wǎng)絡(luò)智能服務(wù)的初始分類,比如安全標(biāo)識(shí)、QoS分類將也是這一層的基本功能。數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì) 結(jié)合的業(yè)務(wù)現(xiàn)狀及發(fā)展趨勢(shì),我們可以看到未來(lái)幾年內(nèi)業(yè)務(wù)處于一個(gè)高速成長(zhǎng)期,必須在本期網(wǎng)絡(luò)架構(gòu)中充分考慮未來(lái)的可擴(kuò)展性。因此,在本次數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃中,整個(gè)網(wǎng)絡(luò)劃分為兩層結(jié)構(gòu),萬(wàn)兆接入,核心間40G線路(兩條萬(wàn)兆用于控制層面的同步,一條鏈路作為檢測(cè)線纜),接入層單臺(tái)上聯(lián)40G,并且數(shù)據(jù)中心與園區(qū)網(wǎng)絡(luò)獨(dú)立設(shè)計(jì),以保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴(kuò)展性,適應(yīng)未來(lái)業(yè)務(wù)的發(fā)展。 數(shù)據(jù)中心網(wǎng)絡(luò)按高可靠、高穩(wěn)定、可擴(kuò)展、易管理的原則進(jìn)行設(shè)計(jì)。
30、服務(wù)器區(qū)的匯聚交換機(jī)與核心層交換機(jī)互聯(lián)建議采用上述Cisco N9504 vPC技術(shù)實(shí)現(xiàn)。核心兩臺(tái)采用 vPC技術(shù)(Virtual Port-Channel)技術(shù),即可以實(shí)現(xiàn)跨交換機(jī)的端口捆綁,這樣在下級(jí)交換機(jī)上連屬于不同機(jī)箱的虛擬交換機(jī)時(shí),可以把分別連向不同機(jī)箱的萬(wàn)兆鏈路用與IEEE 802.3ad兼容的技術(shù)實(shí)現(xiàn)以太網(wǎng)鏈路捆綁,提高冗余能力和鏈路互連帶寬的同時(shí),大大簡(jiǎn)化網(wǎng)絡(luò)維護(hù)。如下圖所示。 在核心層采用了“二合一”的虛擬化技術(shù)后,對(duì)于每一臺(tái)接入層交換機(jī)來(lái)說,就可以實(shí)現(xiàn)跨機(jī)箱的鏈路捆綁,不再存在生成樹問題,可以充分利用上行鏈路帶寬。 VPC(Virtual port-channel)是新近發(fā)
31、展的用于避免環(huán)路和有效使用鏈路資源的二層網(wǎng)絡(luò)技術(shù),它是Port-channel技術(shù)的進(jìn)一步發(fā)展,VPC可以實(shí)現(xiàn)跨機(jī)箱多鏈路捆綁,它一方面采用負(fù)載均衡的方法充分使用網(wǎng)絡(luò)鏈路,另一方面利用port channel方式避免二層環(huán)路的產(chǎn)生,消除Spanning-Tree的阻塞接口,在冗余鏈路中弱化對(duì)Spanning-Tree的依賴,在鏈路或設(shè)備失效的情況下提供快速收斂。 使用vPC技術(shù)方面優(yōu)勢(shì)如下:可靠性:每臺(tái)設(shè)備還是運(yùn)行獨(dú)自的控制平面,網(wǎng)絡(luò)中的設(shè)備控制平面工作狀態(tài)為Active-Active模式,單點(diǎn)設(shè)備故障時(shí),其他設(shè)備并不受影響;穩(wěn)定性:控制平面各自獨(dú)立,只需進(jìn)行鏈路捆綁信息交互;可擴(kuò)展性:設(shè)備各
32、自引擎分別運(yùn)行控制平面,處理能力相互獨(dú)立;故障倒換時(shí)間:設(shè)備故障僅影響本地,其余設(shè)備控制平面不受影響,數(shù)據(jù)平面流量倒換快 。如下圖: 網(wǎng)絡(luò)虛擬化技術(shù)對(duì)比集群/堆疊技術(shù)(VSS/IRF/CSS)跨機(jī)箱鏈路捆綁技術(shù)(VPC)方案描述廠家通過私有協(xié)議實(shí)現(xiàn)設(shè)備集群/堆疊,原有兩臺(tái)設(shè)備的控制平面整合在一臺(tái)設(shè)備上,體現(xiàn)為設(shè)備多合一。二層網(wǎng)絡(luò)設(shè)備間所有鏈路共同轉(zhuǎn)發(fā)流量,解決二層環(huán)路問題在原有的鏈路捆綁技術(shù)基礎(chǔ)上進(jìn)行擴(kuò)展,實(shí)現(xiàn)跨機(jī)箱。只是二層轉(zhuǎn)發(fā)平面進(jìn)行整合,設(shè)備的控制平面彼此獨(dú)立,所有鏈路均可轉(zhuǎn)發(fā)流量,解決二層環(huán)路問題可靠性差控制平面合一,控制引擎被集中在主機(jī)箱上,備機(jī)箱雖配有控制引擎,但正常狀態(tài)不工作,只
33、在主用機(jī)箱出現(xiàn)故障時(shí),才起作用,實(shí)際上控制平面為Active-Standby的工作模式高每臺(tái)設(shè)備還是運(yùn)行獨(dú)自的控制平面,網(wǎng)絡(luò)中的設(shè)備控制平面工作狀態(tài)為Active-Active模式,單點(diǎn)設(shè)備故障時(shí),其他設(shè)備并不受影響穩(wěn)定性差集群設(shè)備內(nèi)部需要同步大量的控制信息高控制平面各自獨(dú)立,只需進(jìn)行鏈路捆綁信息交互可擴(kuò)展性差將原有的控制平面合一,所有的設(shè)備的處理能力被集中在一臺(tái)設(shè)備控制引擎上,整個(gè)集群處理能力為單引擎能力,性能差。高設(shè)備各自引擎分別運(yùn)行控制平面,處理能力相互獨(dú)立故障倒換時(shí)間差主用機(jī)箱故障時(shí),集群需要將主用引擎信息切換到備用機(jī)箱控制平面,完成切換后才能轉(zhuǎn)發(fā)流量,數(shù)據(jù)平面故障倒換時(shí)間長(zhǎng)高設(shè)備故障
34、僅影響本地,其余設(shè)備控制平面不受影響,數(shù)據(jù)平面流量倒換快Cisco VSS、H3C IRF和Huawei CSS是同一類技術(shù)。它們通過私有信令將兩臺(tái)設(shè)備的控制平面合二為一,虛擬為一臺(tái)設(shè)備。Cisco vPC是對(duì)標(biāo)準(zhǔn)鏈路捆綁(LACP)協(xié)議的擴(kuò)展,兩臺(tái)vPC設(shè)備獨(dú)立運(yùn)作。通過標(biāo)準(zhǔn)LACP協(xié)議連接下游設(shè)備。VSS/IRF/CSS在穩(wěn)定性、擴(kuò)展性等方面弱于vPC,因此主要使用在園區(qū)網(wǎng)絡(luò)中。vPC適合數(shù)據(jù)中心和園區(qū)網(wǎng)絡(luò)使用。 綜上所述,在本次核心交換機(jī)采用思科數(shù)據(jù)中心交換機(jī)N9504,利用思科的VPC技術(shù)實(shí)現(xiàn)核心層的高可靠性。 對(duì)于接入層面 X86機(jī)架服務(wù)服務(wù)器接入層通過Nexus 9000使用FEX
35、技術(shù)鏈接其遠(yuǎn)程擴(kuò)展板卡Nexus 2000來(lái)實(shí)現(xiàn)。Nexus 2000作為柜頂交換機(jī)使用,但是該交換機(jī)的配置、管理、維護(hù)都是通過Nexus 9000實(shí)現(xiàn)的,因此既簡(jiǎn)化了布線,也減少了管理節(jié)點(diǎn),同時(shí)還使得VLAN在不同機(jī)架之間擴(kuò)展更容易。數(shù)據(jù)中心核心層設(shè)計(jì)目前數(shù)據(jù)中心服務(wù)器及端口統(tǒng)計(jì)數(shù)量:應(yīng)用數(shù)量端口總計(jì)虛擬化服務(wù)器(桌面承載)3個(gè)刀片庫(kù)3*16個(gè)萬(wàn)兆48虛擬化服務(wù)器(功能)5臺(tái)(冗余2臺(tái))5*2個(gè)萬(wàn)兆10圖形化服務(wù)器2臺(tái)2*4 個(gè)萬(wàn)兆8郵件4臺(tái)4*4個(gè)萬(wàn)兆16備用文件服務(wù)器2臺(tái)2*2個(gè)萬(wàn)兆4基礎(chǔ)應(yīng)用宿主機(jī)2臺(tái)2*4個(gè)萬(wàn)兆8域控1臺(tái)1*2個(gè)萬(wàn)兆2存儲(chǔ)服務(wù)器2臺(tái)2*8個(gè)萬(wàn)兆16端口合計(jì):112經(jīng)過
36、對(duì)數(shù)據(jù)中心整體規(guī)模的需求收集,以及隨著發(fā)展未來(lái)發(fā)展趨勢(shì)我們采用能擴(kuò)展到30Tbps以上的Cisco Nexus 9000系列大型DCE交換機(jī)。并且能平滑過渡到未來(lái)SDN 網(wǎng)絡(luò)。 Cisco Nexus 9500 系列是模塊化交換機(jī)系列,旨在提供行業(yè)領(lǐng)先的高性能、高密度和低延遲 1 千兆、10 千兆、40 千兆以太網(wǎng)連接,乃至未來(lái)的 100 千兆以太網(wǎng)連接。Nexus 9500 系列交換機(jī)既可以在以應(yīng)用為中心的基礎(chǔ)設(shè)施 (ACI) 模式下運(yùn)行,又可以在傳統(tǒng) NX-OS 模式下運(yùn)行。在 ACI 模式下運(yùn)行時(shí),Nexus 9500 系列交換機(jī)可作為過渡ACI 架構(gòu)的基礎(chǔ),從而實(shí)現(xiàn)由應(yīng)用網(wǎng)絡(luò)配置文件驅(qū)
37、動(dòng)的完全集成的自動(dòng)化網(wǎng)絡(luò)交換矩陣解決方案。而在傳統(tǒng) NX-OS模式下運(yùn)行時(shí),Nexus 9500 系列交換機(jī)是同類產(chǎn)品中第一款適用于可高度擴(kuò)展的高性能數(shù)據(jù)中心接入層和匯聚層,并具有增強(qiáng)的自動(dòng)化和可編程性功能的交換機(jī)。Nexus 9500 系列交換機(jī)還可以提供適合 1G SFP/1GBase-T 和 10G SFP+/10GBaseT 連接的高端口密度。憑借各種機(jī)箱外形、不同線卡類型和靈活的前面板端口速度,Cisco Nexus 9500 系列可以為所有規(guī)模的任務(wù)關(guān)鍵型數(shù)據(jù)中心提供出色的網(wǎng)絡(luò)解決方案。Cisco Nexus 9504 交換機(jī)Cisco Nexus 9504 交換機(jī)是一款 7 RU
38、 交換機(jī),支持 960 Gbps 帶寬,576 個(gè)固定 10 Gbps 增強(qiáng)型小型封裝熱插拔 (SFP+) 端口和 144 個(gè)固定 40 Gbps QSFP+ 端口。上行鏈路模塊提供 40-Gbps 端口,用戶可對(duì)其進(jìn)行維修和更換。提供的這款產(chǎn)品具有以下特點(diǎn)和優(yōu)勢(shì):1 至 2 微秒的延遲以及高達(dá) 1.28 Tbps 的帶寬使客戶能夠建立一個(gè)強(qiáng)大的交換矩陣,規(guī)模從少達(dá) 200 個(gè) 10-Gbps 服務(wù)器端口到多達(dá) 20 萬(wàn)個(gè) 10-Gbps 服務(wù)器端口。集成共享緩存空間總計(jì)為 50 MB,可以更好地管理接入端口和上行鏈路端口之間的速度不匹配為聚合交換機(jī)或主干交換機(jī)的上行鏈路提供 40 GbE 連
39、接;高級(jí) QSFP+ 光纖通過現(xiàn)有 10 GbE 光纖即可建立連接提供由所有端口共享的額外的 40 MB 數(shù)據(jù)包緩存空間,以增強(qiáng)運(yùn)營(yíng)彈性熱插拔、冗余電源和風(fēng)扇托架提高可用性支持自前而后氣流和自后而前氣流配置80 Plus 鉑金級(jí)電源,能以 20% 利用率實(shí)現(xiàn)不低于 90% 的效率數(shù)據(jù)中心接入層設(shè)計(jì) 本次項(xiàng)目中我們使用Cisco Nexus 3000作為刀片服務(wù)器的匯聚,機(jī)架服務(wù)器通過N2000系列DCE接入交換機(jī),以實(shí)現(xiàn)數(shù)據(jù)中心接入層的分級(jí)設(shè)計(jì)。Cisco Nexus 3548 交換機(jī) Cisco Nexus 3548 交換機(jī)為 Cisco Nexus 3500 平臺(tái)的第一個(gè)成員,是緊湊的單機(jī)
40、架單元 (1RU) 封裝 10 Gb 以太網(wǎng)交換機(jī),以超低的延遲提供線速第 2 層和第 3 層交換。此交換機(jī)運(yùn)行業(yè)內(nèi)領(lǐng)先的 Cisco NX-OS 軟件操作系統(tǒng),可為客戶提供在全球廣泛部署的全面特性和功能。Cisco Nexus 3548 不包含物理層 (PHY) 芯片,允許低延遲和低功耗。此交換機(jī)支持前進(jìn)和后退氣流方案以及交流和直流功率輸入。Cisco Nexus 3548 具有以下硬件配置: 48 個(gè)固定增強(qiáng)型小型封裝可插拔 (SFP+) 端口(1 Gbps 或 10 Gbps) 兩個(gè)冗余、熱插拔電源 四個(gè)獨(dú)立、冗余的熱插拔風(fēng)扇 一個(gè) 1-PPS 定時(shí)端口,包含 RF1.0/2.3 快速連
41、接連接器類型 兩個(gè) 10/100/1000 管理端口 一個(gè) RS-232 串行控制臺(tái)端口 一個(gè) USB 端口 Locator LED 支持前進(jìn)(端口側(cè)排氣扇)和后退(端口側(cè)引入)空氣流方案。每個(gè)電扇上的彩色手柄或電源清楚地表示空氣流方向。Cisco Nexus 2000 系列陣列擴(kuò)展卡提供的 Cisco Nexus 2000 系列交換矩陣擴(kuò)展器包含一系列專為簡(jiǎn)化數(shù)據(jù)中心接入架構(gòu)和運(yùn)營(yíng)而設(shè)計(jì)的數(shù)據(jù)中心產(chǎn)品。此系列使用思科交換矩陣擴(kuò)展器架構(gòu)提供可高度擴(kuò)展的統(tǒng)一服務(wù)器接入平臺(tái),支持范圍涵蓋 100 Mb 以太網(wǎng) (MbE)、GbE、10 GbE、統(tǒng)一交換矩陣、銅纜和光纖連接、機(jī)架以及刀片服務(wù)器等各種
42、環(huán)境。該平臺(tái)非常適合為當(dāng)今的傳統(tǒng) GbE 提供支持,同時(shí)可透明遷移至 10 GbE、虛擬機(jī)感知統(tǒng)一交換矩陣技術(shù)。Cisco Nexus 交換矩陣擴(kuò)展器型號(hào)包括:2248PQ、2232PP、2232TM-E、2232TM、2248TP-E、2248TP、2224TP 和 B22。提供的這些交換矩陣擴(kuò)展器可在以下部署場(chǎng)景使用:使用 100 MbE、GbE 或 10 GbE 網(wǎng)絡(luò)接口卡 (NIC) 的機(jī)架式服務(wù)器;交換矩陣擴(kuò)展器可以放置在機(jī)架頂端,Cisco Nexus 父交換機(jī)可置于行間或行尾,或者,交換矩陣擴(kuò)展器和 Cisco Nexus 父交換機(jī)均置于行尾或行間混合 GbE 和 10 GbE
43、環(huán)境,在這種環(huán)境下機(jī)架服務(wù)器能夠在同一個(gè)機(jī)架或相鄰機(jī)架中以兩種速度運(yùn)行10 GbE 和 FCoE 部署,使用配有融合網(wǎng)絡(luò)適配器 (CNA) 的服務(wù)器,適用于使用 Cisco Nexus 2232PP 的統(tǒng)一交換矩陣環(huán)境支持1/10GBASE-T 服務(wù)器連接,易于從 1GBASE-T 遷移到 10GBASE-T,并能有效重新利用結(jié)構(gòu)化布線。數(shù)據(jù)中心地址路由設(shè)計(jì)核心層 數(shù)據(jù)中心核心層與分布匯聚層之間采用路由端口,實(shí)現(xiàn)三層交換,建議使用OSPF路由協(xié)議。接入層 接入層使用交換端口,實(shí)現(xiàn)二層交換。如前所述,當(dāng)前的主流虛擬機(jī)軟件,如VMware、Virtual Server等都需要在二層交換下實(shí)現(xiàn)虛擬機(jī)
44、遷移,因此在數(shù)據(jù)中心接入層使用二層交換將方便虛擬機(jī)的遷移和調(diào)度。當(dāng)前由于Cisco獨(dú)特的VSS虛擬交換機(jī)技術(shù)和vPC跨設(shè)備端口捆綁技術(shù)的使用,可以實(shí)現(xiàn)在二層結(jié)構(gòu)下完全沒有環(huán)路,從根本上解決了生成樹算法收斂慢、不穩(wěn)定、故障多的問題,也使得在一個(gè)數(shù)據(jù)中心內(nèi)二層結(jié)構(gòu)下的可擴(kuò)展性與三層結(jié)構(gòu)沒有根本的區(qū)別。如下圖所示,只要經(jīng)過適當(dāng)設(shè)計(jì),本項(xiàng)目接入層的二層部分將沒有環(huán)路,快速生成樹算法將只用于在誤操作等極端情況下的防范手段。 當(dāng)IEEE的改進(jìn)生成樹協(xié)議或者IETF的二層路由協(xié)議技術(shù)成熟,或者直接使用思科當(dāng)前就可以提供的OTV以及VXLAN技術(shù),二層結(jié)構(gòu)還可以擴(kuò)展到城域和廣域網(wǎng)中去,擴(kuò)大服務(wù)器虛擬化的調(diào)度范
45、圍,向云計(jì)算的理想邁進(jìn)。VLAN/VSAN和地址規(guī)劃 在DCE的一體化交換架構(gòu)下,數(shù)據(jù)網(wǎng)絡(luò)部分的邏輯結(jié)構(gòu)設(shè)計(jì)(地址和路由)與分層設(shè)計(jì)的傳統(tǒng)網(wǎng)絡(luò)完全兼容,因此用戶現(xiàn)有的主機(jī)、服務(wù)器在割接到新數(shù)據(jù)中心時(shí)無(wú)需變更地址,實(shí)現(xiàn)平滑過度。園區(qū)網(wǎng)絡(luò)設(shè)計(jì)園區(qū)網(wǎng)絡(luò)設(shè)計(jì)概述 數(shù)據(jù)網(wǎng)絡(luò)對(duì)于提高企業(yè)的生存能力和生產(chǎn)力至關(guān)重要。只有數(shù)據(jù)網(wǎng)絡(luò)能夠提供可靠的信息資源訪問能力,員工在線支持工具才能發(fā)揮優(yōu)勢(shì)。 因?yàn)榫W(wǎng)絡(luò)對(duì)于企業(yè)的運(yùn)作和創(chuàng)新如此關(guān)鍵,所以能夠不間斷地通信和訪問資源是提高員工工作效率的基礎(chǔ)。隨著網(wǎng)絡(luò)日益復(fù)雜,以滿足任意設(shè)備、任意連接類型和任意地點(diǎn)的需要,因設(shè)計(jì)不佳、配置繁復(fù)、維修增多或軟硬件故障而導(dǎo)致的停機(jī)風(fēng)險(xiǎn)也在
46、不斷加大。與此同時(shí),企業(yè)希望通過盡可能快速、高效地利用投資,來(lái)找到簡(jiǎn)化運(yùn)營(yíng)、降低成本和提高投資回報(bào)的方法。企業(yè)能夠通過思科所設(shè)計(jì)的智能業(yè)務(wù)平臺(tái)園區(qū)網(wǎng)架構(gòu),而從多方面受益:基于思科公認(rèn)最佳案例降低部署標(biāo)準(zhǔn)化設(shè)計(jì)的成本。多種園區(qū)網(wǎng)可擴(kuò)展性設(shè)計(jì)模式,能滿足各種規(guī)模、位于不同地點(diǎn)的企業(yè)的需求,且升級(jí)方便易行 。為有園區(qū)網(wǎng)連接需求的企業(yè)提供建立統(tǒng)一、穩(wěn)固的園區(qū)網(wǎng)基礎(chǔ)的重要法,可滿足從只有幾名聯(lián)網(wǎng)用戶的小型站點(diǎn),到擁有多達(dá)幾萬(wàn)名聯(lián)網(wǎng)用戶的大型站點(diǎn)的廣泛需求。經(jīng)過測(cè)試的有線和無(wú)線局域網(wǎng)連接集成解決方案,能夠滿足連接、移動(dòng)和性能需求。以方便、安全、經(jīng)濟(jì)高效的方式,在企業(yè)辦公地點(diǎn)為來(lái)訪者和承包商提供訪客互聯(lián)網(wǎng)接
47、入。通過正確使用網(wǎng)絡(luò)設(shè)計(jì)、優(yōu)化鏈路拓?fù)浣Y(jié)構(gòu)、平臺(tái)特性和系統(tǒng)安全性,提供永續(xù)、高度可用的網(wǎng)絡(luò)接入功能。精練、簡(jiǎn)化的設(shè)計(jì)選項(xiàng),使得所有的IT人員都能部署和運(yùn)行網(wǎng)絡(luò)。園區(qū)網(wǎng)結(jié)構(gòu)設(shè)計(jì) 依客戶信息統(tǒng)計(jì),本次項(xiàng)目中園區(qū)網(wǎng)絡(luò)包含有3771個(gè)信息點(diǎn)位,按15%冗余565個(gè),接入點(diǎn)位按 4336個(gè)設(shè)計(jì)。為滿足高密度的有線接入需求,在邏輯網(wǎng)絡(luò)設(shè)計(jì)中,同樣采用分層設(shè)計(jì)的思路,每一層的任務(wù)都集中在一些特定的功能上,推薦采用三層網(wǎng)絡(luò)設(shè)計(jì)模型,將網(wǎng)絡(luò)設(shè)備按照3個(gè)層次進(jìn)行分組:核心層(corelayer)、匯聚層(distributionlayer)和接入(accesslayer), 在此次系統(tǒng)設(shè)計(jì)中,我們采用分層設(shè)計(jì)方法
48、,將網(wǎng)絡(luò)的邏輯結(jié)構(gòu)化整為零,分層討論設(shè)計(jì)與實(shí)現(xiàn)的細(xì)節(jié)問題。將網(wǎng)絡(luò)拓?fù)浒凑諏?shí)際結(jié)構(gòu)劃分兩種方案:其一為傳統(tǒng)三個(gè)層次,即核心層、匯聚層和接入層; 其二采用IA架構(gòu)方式。兩種方案各有特色其中三層架構(gòu)設(shè)計(jì)亮點(diǎn)如下: 1、節(jié)約成本流量從接入層流向核心層時(shí),被收斂在高速的鏈接上;流量從核心層流向接入時(shí),被發(fā)散到低速鏈接上,因此接入層路由器可以采用較小的設(shè)備。在采用分層設(shè)計(jì)方法之后,各層次負(fù)責(zé)不同的數(shù)據(jù)傳送,不再需要同時(shí)考慮同一個(gè)問題。層次模型模塊化的特性使網(wǎng)絡(luò)中的每一層都能夠很好地利用帶寬,減少了對(duì)系統(tǒng)資源的浪費(fèi)。 但需要注意在此項(xiàng)目?jī)?nèi)并不能展現(xiàn)出其節(jié)約成本優(yōu)勢(shì)。2、易于理解采用分成設(shè)計(jì)方法設(shè)計(jì)出來(lái)的網(wǎng)絡(luò)
49、拓?fù)浣Y(jié)構(gòu)層次結(jié)構(gòu)清楚,結(jié)晰,可以在不同層次上實(shí)施不同難度的管理,降低了管理的成本。 3、易于排錯(cuò)層次模塊化能夠使網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)分解成易于理解的子網(wǎng)結(jié)構(gòu),管理者能夠更方便的確定網(wǎng)絡(luò)故障的范圍,從而更快的排出網(wǎng)絡(luò)故障。那么傳統(tǒng)架構(gòu)除了以上優(yōu)點(diǎn)外也難免暴露了一些問題,如:傳統(tǒng)園區(qū)面臨的問題:管理和配置復(fù)雜每臺(tái)交換機(jī)都是一個(gè)單獨(dú)的管理節(jié)點(diǎn),數(shù)據(jù)中心園區(qū)交換機(jī)可能多達(dá)幾百臺(tái),管理和配置復(fù)雜,運(yùn)維風(fēng)險(xiǎn)大樓主交換機(jī)到樓層之間普遍采用傳統(tǒng)STP技術(shù),二層域較大,很容易導(dǎo)致二層環(huán)路和廣播風(fēng)暴日常變更繁瑣每一次的配置和變更都需要反復(fù)登錄到不同的交換設(shè)備而針對(duì)以上這些問題往往新一代 IA 架構(gòu)卻能很好解決。 新一代園
50、區(qū)架構(gòu)如下圖(VSS+IA 架構(gòu)):IA接入方案亮點(diǎn)如下: 單一節(jié)點(diǎn):管理,配置,故障排查;大大簡(jiǎn)化運(yùn)維管理 集中部署, 簡(jiǎn)便規(guī)劃:VLAN、鏈路捆綁等, 消除環(huán)路 高容錯(cuò)能力:四引擎VSS SSO, FlexStack+多上聯(lián)部署,大大提高可靠能力 靈活的基礎(chǔ)架構(gòu):增加網(wǎng)絡(luò)功能、統(tǒng)一服務(wù)、統(tǒng)一接入/核心設(shè)備功能根據(jù)集團(tuán)實(shí)際情況建議才有兩種方案混合方式。核心層設(shè)計(jì) 核心層是互聯(lián)網(wǎng)絡(luò)的高速主干,他的主要任務(wù)是交換數(shù)據(jù)分組,核心層的性能決定了整個(gè)網(wǎng)絡(luò)的整體性能,因此核心層的設(shè)計(jì)成功與否關(guān)系著整個(gè)網(wǎng)絡(luò)的成敗。核心層設(shè)計(jì)原則 核心層的任務(wù)是在網(wǎng)絡(luò)中的任意兩個(gè)節(jié)點(diǎn)之間提供最優(yōu)的傳送路徑,這兩個(gè)節(jié)點(diǎn)可能在
51、不同的子網(wǎng)中,因此,核心層需要提供最佳的路由選擇。核心層的設(shè)計(jì)任務(wù)是高速的傳輸、冗余能力及可靠性,而網(wǎng)絡(luò)的控制功能盡量不在核心層上實(shí)施。總體上說,核心層是所有流量的最終承受者和匯聚者,所以對(duì)核心層的設(shè)計(jì)以及網(wǎng)絡(luò)設(shè)備的要求都十分嚴(yán)格,核心層的設(shè)備也會(huì)占投資的主要部分。在進(jìn)行核心層設(shè)計(jì)時(shí),要注意以下幾點(diǎn):(1) 不要在核心層執(zhí)行網(wǎng)絡(luò)策略,盡量避免增加核心層路由器配置的復(fù)雜程度(2) 核心層所有設(shè)備應(yīng)具有足夠的路由信息,保證充分的可達(dá)性。但在設(shè)計(jì)時(shí)應(yīng)考慮路徑的聚合,聚合路徑能夠用來(lái)減少核心層路由表的大小,提高效率。(3) 為了保障核心網(wǎng)絡(luò)的可靠性,通常核心層可以采用設(shè)備冗余、模塊冗余和鏈路冗余來(lái)達(dá)到
52、可靠性的目標(biāo)。 核心層一般都是由高端三層交換機(jī)或路由器實(shí)現(xiàn)。對(duì)于大型的園區(qū)網(wǎng)或重要部門的局域網(wǎng),為了保證網(wǎng)絡(luò)的可靠性,核心層一般采用設(shè)備冗余技術(shù),即多臺(tái)核心交換機(jī),它們互為備份,也可以實(shí)現(xiàn)負(fù)載均衡。當(dāng)網(wǎng)絡(luò)很小時(shí),通常核心層只包含一個(gè)三層設(shè)備,該設(shè)備與匯聚層上所有的設(shè)備相連。如果網(wǎng)絡(luò)更小的話,核心層交換機(jī)可以直接與接入層交換機(jī)連接,匯聚層就被壓縮掉了。單核心設(shè)計(jì)的網(wǎng)絡(luò)易于配置和管理,但是其擴(kuò)展性不好,容錯(cuò)能力差,所以在資金足夠的前提下,可以充分考慮設(shè)備冗余,鏈路熔體,提高網(wǎng)絡(luò)的健壯性和自愈性。本方案 采用新一代園區(qū)交換機(jī)C6800,滿足集團(tuán)未來(lái)3-5年的網(wǎng)絡(luò)發(fā)展規(guī)模。Cisco Instant
53、Access 即時(shí)接入解決方案 隨著用戶的網(wǎng)絡(luò)需求由傳統(tǒng)的基本聯(lián)通到今天需要滿足豐富的業(yè)務(wù)應(yīng)用,網(wǎng)絡(luò)的架構(gòu)也在隨之而創(chuàng)新改變。為了滿足用戶對(duì)網(wǎng)絡(luò)既能支持豐富的業(yè)務(wù),又能夠簡(jiǎn)單化管理降低TCO的需求,思科“即時(shí)接入”(Instant Access)解決方案應(yīng)運(yùn)而生,該解決方案使傳統(tǒng)的三層網(wǎng)絡(luò)架構(gòu)簡(jiǎn)化為一層網(wǎng)絡(luò)架構(gòu),網(wǎng)絡(luò)管理員可以將園區(qū)網(wǎng)絡(luò)中的建筑作為整合在一起的單一交換機(jī)看待,這樣整個(gè)建筑可以被看做是單一的管理模塊,極大地簡(jiǎn)化運(yùn)維管理,減少TCO。該解決方案使思科創(chuàng)新的解決方案,極大地引領(lǐng)市場(chǎng),區(qū)別于競(jìng)爭(zhēng)對(duì)手。該解決方案的組成部分包括 Cisco Catalyst 6500 或 6800 核心交
54、換機(jī)和 Cisco Catalyst 6800ia 系列交換機(jī)??蓮V泛應(yīng)用在銀行的園區(qū)接入,教育行業(yè)的教學(xué)樓接入,政府行業(yè)的辦公接入等。CiscoCatalyst Instant Access 即時(shí)接入解決方案包含 2 個(gè)部分,分別是:InstantAccess 父交換機(jī):父交換機(jī)由運(yùn)行在VSS模式下的1-2臺(tái) Cisco Catalyst 6500E 或 6800 系列(6807-XL或6880-X或6880-X-LE)機(jī)箱構(gòu)成,對(duì)于6500E或6807-XL機(jī)箱,需要配置sup2T系列引擎及6904系列線卡,其中6904系列線卡可同時(shí)支持40G模式及10G模式(需配合CVR-CFP-4SF
55、P10G)。6500或6800交換機(jī)需運(yùn)行 VSS 或 VSS Quad-Sup SSO1 模式,而6904線卡需使用10G端口來(lái)連接6800IA客戶端線卡,不需要連接6800IA的端口仍然可以工作在40G模式下。 某些部署場(chǎng)景可能在核心層僅使用一臺(tái)6500或6800交換機(jī)。在這種情況下,此交換機(jī)仍然需要在 VSS 模式下進(jìn)行配置和運(yùn)行,所有的功能特性與Standalone模式時(shí)基本一致。我們不建議在核心層僅部署一臺(tái)6500或6800交換機(jī)來(lái)使用 Instant Access即時(shí)接入解決方案,因?yàn)殡p機(jī)VSS能提供更好的可靠性。如果已經(jīng)進(jìn)行了此類單機(jī)配置,建議在機(jī)箱中配置 2 個(gè)sup2T引擎(
56、非必備),以便可在其中一臺(tái)管理引擎出現(xiàn)故障時(shí)提供引擎冗余。InstantAccess 客戶端:客戶端是指Cisco Catalyst 6800IA 交換機(jī),該交換機(jī)直接作為6500或6800核心交換機(jī)的擴(kuò)展板卡來(lái)工作。當(dāng)前的Instant Access 客戶端支持 48 個(gè) 10/100/1000 電接口和 2 個(gè) 10Gbps SFP+上行端口。Instant Access 客戶端的特性及功能如下: 1. 48 個(gè)具有 PoE+ 或非 PoE 選項(xiàng)的10/100/1000 BASE-T 主機(jī)端口 2. 2 個(gè) 10Gbps 上行鏈路端口,2個(gè)專用堆疊端口,支持80Gbps雙向堆疊帶寬 3.
57、740W PoE 功率:在所有 48 個(gè)端口上完全 PoE (15W) 或在任何 24 個(gè)端口上完全 PoE+ (30W) 4. 最多可堆疊 3-5*個(gè)客戶端,堆疊模式下仍然可作為Instant Access即時(shí)接入客戶端工作 5. Instant Access客戶端交換機(jī)下行端口支持生成樹STP協(xié)議,可任意連接以太網(wǎng)交換機(jī),PC,服務(wù)器,無(wú)線接入點(diǎn)AP,PoE話機(jī)或其他PoE設(shè)施。 6. Instant Access客戶端可以繼承6500或6800核心功能特性,包括但不限于mpls,vpls,GRE,NAT,PBR等,相關(guān)功能配置與6500上原生端口完全一致。除父交換機(jī)和客戶端之外,Inst
58、ant Access 父交換機(jī)和客戶端之間的 FEX 交換矩陣鏈路還借助跨交換矩陣的 Cisco 10GBase SFP+ 鏈路支持短距、長(zhǎng)距多模、長(zhǎng)距以及超長(zhǎng)距光纖接口(ER模塊支持40公里)。 本項(xiàng)目中由于M3 樓與機(jī)房物理位置是在同一棟樓,網(wǎng)絡(luò)可以不規(guī)劃匯聚層設(shè)備,直接 采用IA方式解決方案。不僅可以簡(jiǎn)化網(wǎng)絡(luò)網(wǎng)管,另一方面也可以減少一對(duì)匯聚設(shè)備;也大大提升網(wǎng)絡(luò)的管理維護(hù)工作。 IA 的接入設(shè)備上利用堆疊技術(shù)將兩臺(tái)堆疊起來(lái)。有效減少光纖資源的同時(shí)增強(qiáng)了網(wǎng)絡(luò)可靠性。整體IA方案優(yōu)勢(shì)如下:核心層網(wǎng)絡(luò)組件Catalyst 6800 系列交換機(jī)通過 Cisco Catalyst 6800 系列交換
59、機(jī)遠(yuǎn)程對(duì)網(wǎng)絡(luò)進(jìn)行有效的擴(kuò)展、虛擬化、保護(hù)和管理。Cisco Catalyst 6800 系列提供功能豐富的高性能平臺(tái),適合在園區(qū)、數(shù)據(jù)中心、WAN 和城域以太網(wǎng)網(wǎng)絡(luò)部署,為無(wú)邊界網(wǎng)絡(luò)奠定了堅(jiān)實(shí)的基礎(chǔ),從而讓您能夠隨時(shí)隨地任意連接。擴(kuò)展性能與網(wǎng)絡(luò)服務(wù)已針對(duì) 1GB 和 10GB 服務(wù)優(yōu)化,提供更高的插槽容量(高達(dá) 880 GB)和交換容量(高達(dá) 11.4 TB)智能服務(wù),支持 Catalyst 6800 DNA 和應(yīng)用策略基礎(chǔ)架構(gòu)控制器企業(yè)模塊 (APIC-EM)利用 Catalyst 即時(shí)訪問簡(jiǎn)化操作借助全面的有線、無(wú)線和 VPN 安全性,保證用戶和應(yīng)用程序的高度安全提供較大的表,可實(shí)現(xiàn)可擴(kuò)展
60、部署,并具有受保護(hù)的控制平面。虛擬交換系統(tǒng)激活冗余 Catalyst 6800 系統(tǒng)間的所有可用帶寬,并消除不對(duì)稱路由支持機(jī)箱間狀態(tài)故障切換,并提供決定性的次秒級(jí)恢復(fù)提供單點(diǎn)管理功能無(wú)需第一跳彈性協(xié)議 (FHRP),支持簡(jiǎn)化的無(wú)環(huán)路拓?fù)渚W(wǎng)絡(luò)虛擬化通過提供分段、路徑隔離、隱私、有限命運(yùn)共享、成員資格定義和地址空間分離技術(shù)來(lái)實(shí)現(xiàn)基礎(chǔ)架構(gòu)整合使用 IP/MPLS 技術(shù)提供端到端網(wǎng)絡(luò)虛擬化。安全通過 Cisco TrustSec 識(shí)別(802.1x 套件)、標(biāo)記 (SGT)、加密 (MacSec) 并實(shí)施(安全組訪問控制列表)支持網(wǎng)絡(luò)設(shè)備準(zhǔn)入控制 (NDAC) 和端點(diǎn)準(zhǔn)入控制 (EAC)通過 Trus
溫馨提示
- 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年鎮(zhèn)江資格證模擬考試
- 公司合作養(yǎng)豬合同范本
- 冷鐓模具合同范本
- 冰箱售后服務(wù)合同范本
- 農(nóng)村水田改造合同范本
- 代理交易合同范本
- 兄妹贈(zèng)予房產(chǎn)合同范本
- 北京出租車司機(jī)合同范本
- 農(nóng)村承包經(jīng)營(yíng)戶合同范本
- 臨時(shí)店面員工合同范本
- 防災(zāi)減災(zāi)工程學(xué)第六章火災(zāi)害課件
- DB11 938-2022 綠色建筑設(shè)計(jì)標(biāo)準(zhǔn)
- 部編版語(yǔ)文八年級(jí)下冊(cè)第六單元名著導(dǎo)讀《鋼鐵是怎樣煉成的》問答題 (含答案)
- 2022譯林版新教材高一英語(yǔ)必修二單詞表及默寫表
- 全國(guó)青少年機(jī)器人技術(shù)等級(jí)考試:二級(jí)培訓(xùn)全套課件
- 九種中醫(yī)體質(zhì)辨識(shí)概述課件
- 小學(xué)數(shù)學(xué)計(jì)算能力大賽實(shí)施方案
- 古詩(shī)詞誦讀《虞美人》課件-統(tǒng)編版高中語(yǔ)文必修上冊(cè)
- 文物學(xué)概論-中國(guó)古代青銅器(上)
- 制作拉線課件
- 某物業(yè)公司能力素質(zhì)模型庫(kù)(參考)
評(píng)論
0/150
提交評(píng)論