




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
XX大學MSTP+VRRP應用技術姓名學號專業(yè)班級2013/7/4目錄TOC\o"1-5"\h\z\o"CurrentDocument"1技術介紹 2\o"CurrentDocument"1.1 層次化的網絡設計架構 2\o"CurrentDocument"1.1.1 核心層 2\o"CurrentDocument"1.1.2 匯聚層 2\o"CurrentDocument"1.1.3 接入層 3\o"CurrentDocument"VRRP協(xié)議 3\o"CurrentDocument"1.2.1 概述 31.2.2 協(xié)議基本原理 3\o"CurrentDocument"1.2.3 應用舉例 4\o"CurrentDocument"MSTP協(xié)議 4\o"CurrentDocument"1.3.1 概述 41.3.2 協(xié)議基本原理 41.3.3 應用舉例 5\o"CurrentDocument"MSTP+VRRP雙核心應用方案 6\o"CurrentDocument"應用說明 6常用配置說明 6\o"CurrentDocument"常見問題及解決對策 6VRRP協(xié)議監(jiān)控主路由設備上行鏈路 6\o"CurrentDocument"VRRP通告定時設備學習 7\o"CurrentDocument"MSTP防止BPDU攻擊 7\o"CurrentDocument"1.6 典型故障排查 8同一個備份組出現多個master路由器 81.6.2核心層設備沒有開啟MSTP協(xié)議卻收到大量BPDU報文 9雙核心拓撲出現廣播風暴 9雙核心網絡持續(xù)發(fā)生MSTP振蕩 9\o"CurrentDocument"其他MSTP可能的故障 9\o"CurrentDocument"1.7配置實例 10教育市場應用 10金融市場應用 14\o"CurrentDocument"2 結束語 211技術介紹1.1層次化的網絡設計架構隨著計算機技術和通信技術的飛速發(fā)展,以太網技術已經普遍應用。能實現高速數據交換的以太網交換機以較高的性價比在市場上得到了廣泛的應用。同時,不同性能的交換機產品依據層次化網絡設計方案,分別處于接入層(accesslayer),匯聚層(distributionlayer)和核心層(corelayer),共同組成交換網絡系統(tǒng),提供數據交換服務。接入層,匯聚層和核心層是這個層次化網絡設計架構的三個組件,如圖1所示。□□□口corelayer核心層A□□□口corelayer核心層A匚匚esslayer接凡層distribut-ionlayer-匯聚層圖1層次化網絡設計架構這種架構的主要優(yōu)點在于其層次化的結構和組件模塊化。在層次化網絡設計架構中,每一個層次網絡設備的各種容量指標,特性和功能都針對其所在的網絡位置和作用進行了優(yōu)化,穩(wěn)定性和可用性都得到了加強。同時,模塊化網絡的組件非常容易復制,重新設計并隨時可以進行擴展和更新。在這個過程中,并不需要每次都重新設計整個網絡。采用層次化的網絡設計架構,用戶可以隨時中斷網絡中任意組件的運行,而不會影響到整個網絡。這個優(yōu)點在進行網絡升級,網絡故障排查,故障隔離和進行網絡管理時顯得尤為重要。1.1.1核心層核心層也被稱為整個網絡的主干,用來連接網絡中的其他組件,主要目的就是盡可能快的交換數據。核心層交換機一般采用L3路由交換作為基礎。核心層主要任務是:連接網絡中其他組件;根據設定的訪問策略,提供組件到組件的訪問;快速交換數據;1.1.2匯聚層匯聚層是處于網絡接入層和核心層之間的分界點,匯聚來自接入層節(jié)點的網絡流量,同時作為網絡故障隔離邊界,在接入層發(fā)生故障時提供隔離點。匯聚層通常采用雙L3交換機進行部署,也就是我們平常說的雙核心匯聚。雙核心匯聚層上的高可用性通過兩條等價路徑提供,包括從匯聚層到核心層以及從接入層到匯聚層的鏈路。其中從匯聚層到核心層主要采用L3進行鏈路備份,從接入層到匯聚層的鏈路主要采用L2進行鏈路備份。雙鏈路備份可以在鏈路或節(jié)點發(fā)生故障時提供快速收斂。L3路由負載分擔技術允許同時利用從匯聚層到核心層的兩條上行鏈路,一般由采用的路由協(xié)議保證。匯聚層則使用VRRP協(xié)議對終端用戶提供缺省的用戶網關冗余,網關對用戶是透明的,當一個匯聚層節(jié)點發(fā)生單點故障時,并不會影響終端用戶與缺省網關的連接。匚聚層和接入層間的L2鏈路冗余則通過MSTP協(xié)議進行保證。當匯聚層和接入層間的某條物理鏈路出現故障而無法進行L2交換時,MSTP會自動檢測到故障的發(fā)生,并立即啟用備份物理鏈路,保證L2交換的暢通。匯聚層的主要任務是:VLAN的聚合;同VLAN內數據的L2交換和VLAN間數據的L3交換;安全策略的應用廣播域或多點廣播域的定義;介質轉換;1.1.3接入層接入層是連接終端用戶的網絡節(jié)點,可以通過安全策略的設置對用戶流量做初步的控制。接入層中的交換機以兩個上行鏈路連接匯聚層雙核心交換機,采用物理鏈路冗余的方式保證L2交換。接入層和匯聚層設備通過MSTP協(xié)議,共同完成物理鏈路的冗余備份。接入層的主要任務是:共享的帶寬;根據設置的安全策略對用戶進行初步的訪問控制和流量控制;提供L2服務。比如基于VLAN的用戶數據隔離和基于MAC的L2數據幀交換。VRRP協(xié)議1.2.1概述在局域網內,終端用戶都設置一條相同的以網關為下一跳的缺省路由。主機發(fā)往其他網段的報文將通過缺省路由發(fā)往網關,再由網關進行轉發(fā),從而實現主機與外部網絡的通信。當網關發(fā)生故障時,本網段內所有以網關為缺省路由的主機與外部網絡的通信將中斷。為了避免網絡中斷,可以通過在主機上設置多個網關,但是一般主機只允許設置一個默認網關,此時需要管理員手動添加。這樣大大增加了網絡管理的復雜度。為了更好的解決上述網絡中斷的問題,協(xié)議開發(fā)者提出了VRRP(VirtualRouterRedundancyProtocol,虛擬路由器冗余協(xié)議),一種便于管理的、實現網絡一個網關故障時,保證用戶快速、不間斷、透明地切換到另一個網關的協(xié)議。VRRP。VRRP協(xié)議具體內容在RFC2338中定義,為業(yè)界通用標準。其他廠商的私有協(xié)議有類似的做法,比如cisco的私有協(xié)議HSRP(HotStandbyRouteProtocol,熱備份路由協(xié)議)。協(xié)議基本原理VRRP中只定義了一種協(xié)議報文一VRRP報文,VRRP報文是一類指定目的地址為01-00-5e-00-00-18的組播報文,該報文由主路由設備定時發(fā)出來標志其運行正常,同時該報文也用于選舉主路由設備。VRRP中定義了協(xié)議狀態(tài)機的三種狀態(tài):初始狀態(tài)(Initialize)、主狀態(tài)(Master)和備份狀態(tài)(Backup)。如圖2所示。TOC\o"1-5"\h\zI I IIIV Y.I+ F + FI I >I IIMas| | Eackup |I l< 1 I+ F + F圖2VRRP協(xié)議狀態(tài)轉換圖VRRP協(xié)議采用簡單競選的方法選擇master。首先比較同一個VRRP組內的各臺路由設備對應接口上設置的VRRP優(yōu)先級的大小,優(yōu)先級最大的為主路由設備,它的狀態(tài)變?yōu)閙aster。若路由設備的優(yōu)先級相同,則比較對應網絡接口的主IP地址,主IP地址大的就成為主路由設備,由它提供實際的路由轉發(fā)服務。主路由設備選出后,其它路由設備作為備份路由設備(狀態(tài)變?yōu)锽ackup),并通過主路由設備定時發(fā)出的VRRP報文監(jiān)測主路由設備的狀態(tài)。當正常工作時,主路由設備會每隔一段時間發(fā)送一個VRRP組播報文,稱為通告報文,以通知備份路由設備:主路由設備處于正常工作狀態(tài)。如果組內的備份路由設備在設定的時間段,默認是3個通告周期,一個通告周期為1秒,也就是3秒內沒有接收到來自主路由設備的報文,則將自己狀態(tài)轉為Master。當組內有多臺狀態(tài)為Master路由設備時,重復上述的主路由設備競選過程。通過這樣一個過程就會將優(yōu)先級最大的路由設備選成新的主路由設備,從而實現VRRP的備份功能。1.2.3應用舉例圖3VRRP應用示例圖3中,路由設備R1和R2通過以太網接口fa0/1連接到192.168.10.0/24網段,路由設備R1和R2的fa0/1接口的IP地址分別為192.168.10.2和192.168.10.3,這兩個接口都設置了VRRP,協(xié)議運行出來的虛擬路由設備IP地址為192.168.10.1,R1的fa0/1接口為master,實際的數據轉發(fā)由R1承擔。當R1接口fa0/1down掉,這時VRRP協(xié)議會選擇R2的fa0/1接口為master,實際數據轉發(fā)由R2承擔。這個切換過程對終端用戶而言是透明的,PC的網關地址仍舊是192.168.10.1。1.3MSTP協(xié)議1.3.1概述MSTP(MultipleSpanningTreeProtocol)也稱為多生成樹協(xié)議,在IEEE802.1s中定義。與STP(SpanningTreeProtocol)和RSTP(RapidSpanningTreeProtoco1)相比,MSTP主要引入了“實例(INSTANCE)”的概念。STP/RSTP是基于端口的,而MSTP則是基于實例的。所謂的“實例”是指多個VLAN對應的一個集合,MSTP把一臺設備的一個或多個VLAN劃分為一個INSTANCE,有著相同INSTANCE配置的設備就組成一個MST域(MSTRegion),運行獨立的生成樹(這個內部的生成樹稱為IST,InternalSpanning-tree);這個MSTregion組合就相當于一個大的設備整體,與其他MSTRegion再進行生成樹算法運算,得出一個整體的生成樹,稱為CST(CommonSpanningTree)。實例0具有特殊的作用,稱為CIST,即公共與內部生成樹,其他實例則稱為MSTI,即多生成樹實例。1.3.2協(xié)議基本原理在一個有物理環(huán)路的網絡環(huán)境中,運行MSTP協(xié)議的交換機要生成一個穩(wěn)定的樹型拓撲網絡需要依靠以下元素:每個交換機擁有的唯一的橋ID(BridgeID),橋ID由橋優(yōu)先級和MAC地址組合而成;交換機到根橋的路徑花費(RootPathCost),以下簡稱根路徑花費;每個端口ID(PortID),端口ID由端口優(yōu)先級和端口號組合而成。交換機之間通過交換BPDU(BridgeProtocolDataUnits,網橋協(xié)議數據單元)幀來獲得建立最佳樹形拓撲結構所需要的信息。BPDU是目的MAC為01-80-C2-00-00-00的組播幀。每個BPDU由以下這些要素組成:RootBridgeID(本交換機所認為的根橋ID);RootPathCost(本交換機的根路徑花費);BridgeID(本交換機的橋ID);MessageAge(BPDU報文已存活的時間);PortID(發(fā)送該BPDU報文的端口ID);(6)Forward-DelayTime、HelloTime、Max-AgeTime三個協(xié)議規(guī)定的時間參數;(7)其他一些諸如表示發(fā)現網絡拓撲變化、本端口狀態(tài)的標志位。當交換機的一個端口收到高優(yōu)先級的BPDU(更小的BridgeID,更小的RootPathCost等),就在該端口保存這些信息,同時向所有端口更新并傳播這些信息。如果收到比自己低優(yōu)先級的BPDU,交換機就丟棄該信息。這樣的機制就使高優(yōu)先級的信息在整個網絡中傳播開,BPDU的交流就有了下面的結果:網絡中選擇了一臺交換機為根橋(RootBridge);除根橋外的每都有一個根端口(RootPort),即提供最短路徑到RootBridge的端口;每臺交換機都計算出了到根橋(RootBridge)的最短路徑;每個LAN都有了指派網橋(DesignatedBridge),位于該LAN與根橋之間的最短路徑中。指派網橋和LAN相連的端口稱為指派端口(DesignatedPort);根口和指派端口進入Forwarding狀態(tài)。Forwarding的端口正常轉發(fā)業(yè)務數據,正常進行源MAC學習;同時選舉出根口的替換端口(Alternateport)和DesignatedPort的備份端口(BackupPort)。替換端口是指一旦根端口失效,該端口就立該變?yōu)楦丝凇L鎿Q端口是當一臺交換機有兩個端口都連在同一個LAN上,那么高優(yōu)先級的端口為DesignatedPort,低優(yōu)先級的端口為BackupPort;替換端口和備份端口,連同其他不在生成樹中的端口進入Discarding狀態(tài)。Discarding是端口的阻塞狀態(tài),阻塞端口除了BPDU報文外,不轉發(fā)業(yè)務數據,不進行源MAC學習。MSTP協(xié)議就是利用這種方法來剪切環(huán)路。MSTP在計算過程中,端口可能會處于一種學習(Learning)狀態(tài),處于學習狀態(tài)的端口,不轉發(fā)業(yè)務數據,但是會進行源MAC學習,這種端口狀態(tài)為過渡狀態(tài)。計算穩(wěn)定后,處于正常轉發(fā)業(yè)務數據的端口,其狀態(tài)為Forwarding。MSTP協(xié)議根據域(Region)進行STP計算,合理劃分域非常重要。域由域名(Name)、修正值(RevisionNumber)、VLAN與實例的映射關系(VLAN—INSTANCE)組成,只有三者都一樣的互連設備才認為在同一個域中,并進行相應的STP計算。缺省時,我司設備域名為空,修正值為0,所有VLAN都映射到實例0上。MSTP協(xié)議依靠BPDU報文傳遞信息。在同一個域中的交換機將互相傳播和接收不同生成樹實例的配置信息,進行本域內STP的計算;不同域的交換機則只是傳播和接收CIST的配置信息。MSTP協(xié)議利用CIST保證全網無環(huán)路,同時利用CIST保持了與STP/RSTP的兼容性。1.3.3應用舉例圖4MSTP應用舉例圖4中,設備A、B在VLAN1內,設備C、D在VLAN2內,然后連成環(huán)路。設備A和B都在MSTPRegion1內,MSTPRegion1沒有環(huán)路產生,所以沒有鏈路Discarding,同理MSTPRegion2的情況也是一樣的。然后Region1和Region2就分別相當于兩個大的設備,這兩臺,設備"間有環(huán)路,因此根據相關配置選擇一條鏈路Discardingo這樣,既避免了環(huán)路的產生,也能讓相同VLAN間的通訊不受影響。1.4MSTP+VRRP雙核心應用方案1.4.1應用說明MSTP+VRRP雙核心應用方案,一般應用于對網絡可用性要求較高的應用環(huán)境,比如中小企業(yè)園區(qū)網,高校校園網等,醫(yī)療,金融行業(yè)網絡環(huán)境中的應用也比較普遍。該應用方案的用戶網關采用VRRP協(xié)議進行備份,雙匯聚設備分別承擔部分用戶流量,實現負載分擔。物理鏈路使用MSTP協(xié)議進行備份。提高網絡整體可用性。1.4.2常用配置說明配置VRRP協(xié)議時,根據網絡規(guī)劃劃分用戶網段,每一個網段中用戶數一般不要超過254個。對每一個用戶網段,雙匯聚設備使用VRRP進行網關備份。配置VRRP協(xié)議時,最好讓雙匯聚設備都承擔部分網段的用戶網關責任,實現負載分擔??梢允褂梅謸?0%左右網絡流量的比例進行設計。配置VRRP協(xié)議時,一般使用默認值配置即可。如果網絡特別容易遭受攻擊,導致VRRP振蕩,可以適當修改VRRP的通告時間間隔(timeradvertise)。比如,默認值是1秒,則VRRP振蕩的時間為3秒。如果修改為2秒,那么VRRP振蕩的時間就延長為6秒。配置MSTP協(xié)議時,域的配置很重要,要域名,域修正值和vlan-instance對應關系都一致才認為是在同一個域中。配置時,一般我們只需要保證雙核心設備中vlan-instance的配置一致,域名和域修正值采用默認值即可。配置MSTP協(xié)議時,在容易遭受BPDU攻擊的網絡中,接入層設備直接接用戶的端口,可以配置BPDUFILTER,過濾掉BPDU報文。同時配置了BPDUFILTER功能的端口就無需再配置上PORTFAST。因為配置BPDUFILTER功能的端口就是直接forwarding的,直接轉發(fā)用戶數據。配置MSTP協(xié)議時,在容易發(fā)生鏈路up/down的端口,比如接用戶的端口。則可以在這些端口上配置TcProtection。防止這些端口up/down引發(fā)MSTP振蕩。配置MSTP協(xié)議時,一般將匯聚設備設置為根橋,這通過修改設備的優(yōu)先級實現。與VRRP協(xié)議一起使用時,可以將本設備上VRRP作為用戶網關的vlan對應的instance,根橋也設置在這臺設備上。這樣的話,接入層的用戶數據直接二層轉發(fā)到用戶網關上,不需要經過其他設備的中轉了。增加了網絡穩(wěn)定性和可靠性。配置MSTP協(xié)議時,一般hello時間可以使用默認值,不必修改。如果網絡特別容易遭受攻擊,導致MSTP振蕩,可以適當修改MSTP的hello時間間隔。比如,默認值是1秒,則MSTP振蕩的時間為3秒。如果修改為2秒,那么MSTP振蕩的時間就延長為6秒。在雙核心拓撲中,匯聚層和接入層互連的端口上,都可以配置TPP(TopologyProtectionProtocol拓撲保護協(xié)議)。防止設備遭受攻擊時,cpu過高導致拓撲振蕩。1.5常見問題及解決對策1.5.1VRRP協(xié)議監(jiān)控主路由設備上行鏈路VRRP協(xié)議通過VRRP報文監(jiān)控VRRP組中主路由設備的活動狀況,但是對主設備上行鏈路發(fā)生故障所導致的網絡中斷故障就無能為力了。在這種情況下,終端用戶的網關正常能ping通,但是無法通過網關進行外界通信。如圖5所示。INTERNETR3giO/1ip:10.0.0.2Loopback:10.10.10.10R4IpAddress:192.168.10.4IGateway:192.168.10.10INTERNETR3giO/1ip:10.0.0.2Loopback:10.10.10.10R4IpAddress:192.168.10.4IGateway:192.168.10.10R2:Backupfa0/1InterfaceAddresh:192.168.10.3R1:Master障二竺上沖詣ip:10.0.0.1VRID:1fa0/1(jSVirtualAddress:192.168.10.1InterfaceAddress92.168.10.2圖5VRRP主路由設備上行鏈路故障圖5中,路由設備R1和R2通過以太網接口fa0/1連接到192.168.10.0/24網段,路由設備R1和R2的fa0/1接口的IP地址分別為192.168.10.2和192.168.10.3,這兩個接口都設置了VRRP,協(xié)議運行出來的虛擬路由設備IP地址為192.168.10.1,R1的fa0/1接口為master,實際的數據轉發(fā)由R1承擔。R1上行鏈路通過接口gi0/1和R3的gi0/1口連接。正常時,終端用戶的數據流流向PC—>R1—>R3。如果R1和R3間的鏈路出現故障,但是VRRP仍運行正常,這時PC到網關路由沒有問題,但是PC無法訪問Internet,業(yè)務中斷。對這種情況,VRRP協(xié)議提供了監(jiān)控主路由設備上行鏈路的功能。VRRP直接監(jiān)控設備中多個三層接口的狀態(tài),當某一個三層接口down掉后,該VRRP組VRRP路由器的優(yōu)先級降低一定的數值,通過優(yōu)先級的變化從而影響VRRP組中主備狀態(tài)的切換。在圖5實例中,在R1上的VRRP組可以做如下配置:Ruijie(config)#intfa0/1Ruijie(config-if)#VRRP1trackgigabitEthernet0/1200上述的配置表示,R1中參與VRRP組1的接口fa0/1監(jiān)控gi0/1接口,如果gi0/1接口down掉,則fa0/1接口參與VRRP組1的優(yōu)先級降低200。假設原先R1的VRRP組1優(yōu)先級為250,R2的優(yōu)先級為100,則R1的gi0/1接口down掉后,R1的優(yōu)先級變?yōu)?0,VRRP組1重新運算的結果是R2變成master,轉發(fā)業(yè)務流量,而R2到R3的路由正常,這樣就保證了業(yè)務不被中斷。1.5.2VRRP通告定時設備學習VRRP協(xié)議一旦啟用了定時設備學習功能,如果當前路由設備是VRRP備份路由設備,在設置了定時設備學習功能后,它會從主路由設備的VRRP通告中學習VRRP通告發(fā)送間隔,并由此來計算master路由設備失效判斷間隔,而不是使用自己本地設置的VRRP通告發(fā)送間隔來計算。對應的配置命令為在接口模式下配置vrrpgrouptimerslearn,其中參數group為參與的VRRP組。本命令可以實現backup路由設備與Master路由設備的VRRP通告發(fā)送定時設備同步。1?5?3MSTP防止BPDU攻擊BPDU是一類特殊的報文,設備在收到BPDU報文后,會將該報文送到cpu處理。BPDU報文過多,會引發(fā)設備cpu高,擠占鏈路帶寬,使原本應該正常處理的協(xié)議沒有運行,導致MSTP振蕩,路由振蕩,影響網絡的正常運行。在雙核心拓撲中,面對這類BPDU報文攻擊,我們可以采用以下幾種方法進行預防。我們以圖5的拓撲為例,BPDU攻擊可以在接入層設備和匯聚層設備上實施。在接入層設備上,由于接入層是連接終端用戶,攻擊者可以使用攻擊工具發(fā)送大量的BPDU報文,造成整網的振蕩。針對這類型的攻擊,我們可以采取如下措施:接入層設備連接用戶的端口打開BPDUFILTER功能。端口上開啟該功能后,該接口不收發(fā)BPDU報文,這樣可以直接將用戶的攻擊報文過濾掉。這是一種最直接的方式,也很簡單方便。(2) 接入層設備連接用戶的端口打開BPDUGUARD功能。端口上開啟該功能后,如果該接口收到BPDU報文,則該接口進入Error-disabled狀態(tài)。在這個狀態(tài),接口被直接關閉。這個功能比(1)在違例規(guī)則處理上更嚴格,設備認為該端口受到攻擊,直接將該端口關閉。要將端口恢復成正常狀態(tài),可以先接口下取消BPDUGUARD配置,然后在接口下使用命令“errdisablerecovery”恢復該接口的正常使用。(3) 接入層設備全局開啟TcProtection功能。攻擊者可以發(fā)送tc位置1的BPDU報文,這類報文表示網絡拓撲發(fā)生了變化,設備收到這類BPDU報文會引發(fā)清除MAC地址的操作。對匯聚層設備而言,清除MAC地址則會影響三層路由轉發(fā),造成路由振蕩,三層轉發(fā)短暫中斷。持續(xù)的tc報文攻擊,會使網絡處于一種持續(xù)振蕩的狀態(tài)。全局開啟TcProtection功能后,接入層設備收到tc報文,不會進行轉發(fā),保護了拓撲中其他設備不受干擾,維護了網絡的穩(wěn)定。該功能在軟件版本RGOS10.2(2)版本開始獲得支持。(4) 接入層設備接用戶的端口上開啟TcGuard功能。(3)中的TcProtection是全局開啟,所有端口都有這個功能。而TcGuard則是配置的接口才不擴散tc報文。因為在實際應用中,接終端用戶的端口是不會收到tc報文的,除非受到攻擊。另一種情況是設備的某個端口連接到一個透明的網絡,且不想接收該網絡的tc報文,避免自身的網絡振蕩。(4) 雙核心拓撲中設備,待網絡MSTP穩(wěn)定后,在所有設備上MSTP狀態(tài)為discarding的端口(Alternateport和backupport)下開啟LoopGuard功能。在網絡應用中,如果設備收到攻擊,導致原先discarding端口在3倍協(xié)議周期內(一個周期默認為2s,3倍周期為6s)沒有收到根橋發(fā)出的BPDU報文,則該discarding端口狀態(tài)要轉化為forwarding狀態(tài),這樣會產生網絡環(huán)路或加劇網絡環(huán)路。Discarding端口上開啟了LoopGuard功能后,在上述的攻擊情況下,該端口狀態(tài)會變?yōu)锽LK狀態(tài),仍維持不轉發(fā)數據流,防止產生網絡環(huán)路。該端口會往外發(fā)BPDU報文,通告網絡出現問題。(5) 雙核心拓撲中所有互連設備的端口可以開啟TPP(TopologyProtectionProtocol,拓撲保護協(xié)議)。TPP是一個拓撲穩(wěn)定保護協(xié)議,主要是針對MSTP,VRRP以及其他分布式網絡協(xié)議可能造成的網絡拓撲振蕩而設計的。當網絡中存在非法攻擊時,可能造成網絡設備的CPU利用率異常、幀通路堵塞等現象,很容易引起網絡拓撲的振蕩。TPP主要通過檢測本地的異?,F象(CPU利用率異常、幀緩沖異常等)和檢測鄰居設備的異?,F象來達到穩(wěn)定網絡拓撲的目的。在雙核心應用環(huán)境下部署TPP時,相鄰網絡設備都必須開啟TPP。另外,部署TPP時,通常需要通過cputopology-limitxx(xx表示cpu利用率,取值區(qū)間為[0,100])命令配置cpu利用率檢測的閥值,當設備的cpu利用率超過該值時,系統(tǒng)會產生拓撲防護通告。我們建議cpu利用率的值設置在一個中等偏上的位置比較合適,比如50-70,這時TPP能夠較為準確地對網絡情況進行判斷。如果該值太低,則可能導致網絡拓撲該切換的時候由于TPP的報警而不切換,如果該值太高,則可能系統(tǒng)已經繁忙到無法產生TPP告警,導致TPP功能失效。圖5中,我們假設R1為MSTP的根橋,R1,R2,R4互連端口的TPP協(xié)議都開啟。TPP可以預防以下兩種情況:R1因遭受網絡攻擊造成CPU異常繁忙,從而導致BPDU報文不能正常發(fā)送。這時,拓撲防護功能檢測到異常后,R1會向鄰居設備R2,R4發(fā)送異常通告報文,這時,設備R2,R4會根據異常通告信息,保持端口的生成樹狀態(tài)不變,從而防止拓撲振蕩。設備R2因遭受大量報文攻擊造成CPU異常繁忙,這時造成收發(fā)包不正常,檢測到異常后,它會向所有的鄰居設備發(fā)送異常通告。R1收到異常報文后,根據來源,發(fā)現異常對其沒有影響,不會進一步處理。而下游的二層接入設備R4接收到異常報文后,發(fā)現異常會影響其拓撲的計算,因此做進一步的防御處理,保持端口的生成樹狀態(tài)不改變,從而保證網絡拓撲保持穩(wěn)定。1.6典型故障排查1.6.1同一個備份組出現多個master路由器故障現象:在雙匯聚設備上通過showVRRPbrief命令,發(fā)現對同一個VRRP組,兩臺匯聚設備都是master路由器。原因分析:這分為兩種情況,一種是多個MASTER并存時間很短,這種情況是正常的,一般在3倍的VRRP通告間隔時間內可以恢復,無需進行人工干預。另一種是多個MASTER長時間共存,這很有可能是由于MASTER之間收不到VRRP報文,或者收到的報文不合法造成的。解決辦法:先互相在多個MASTER之間互相ping,如果ping不通,則是其他問題。如果能ping通,則通常是配置不同造成的,對于同一個VRRP備份組的配置,配置上應該要保證虛擬IP地址個數,每個虛擬IP地址,通告時間間隔,認證模式一樣。1.6?2核心層設備沒有開啟MSTP協(xié)議卻收到大量BPDU報文故障現象:核心層設備上沒有開啟MSTP協(xié)議,但是設備showcpu發(fā)現利用率比較高,通過CPP看到送cpu報文類型中BPDU報文量很大。原因分析:這分為兩種情況,一種是可能收到直連用戶的BPDU報文攻擊,這種情況一般比較少。另一種情況是BPDU報文由匯聚層透傳上去。這種情況一般是匯聚層設備連接核心層設備端口沒有過濾BPDU報文導致,。解決方法:對于第一種情況,解決方法就是找出攻擊源并隔離。對于第二種情況,在匯聚層設備連接核心層設備的端口下配置BPDUFILTER功能可以解決這個問題。雙核心拓撲出現廣播風暴故障現象:雙核心拓撲環(huán)境下,原本穩(wěn)定的網絡中出現了環(huán)路,網絡設備互連的端口計數統(tǒng)計值非常大。原因分析:雙核心拓撲環(huán)境,我們依靠MSTP協(xié)議切換物理環(huán)路,保證拓撲正常使用。正常情況下,拓撲應該是穩(wěn)定,正常的。如果拓撲中出現廣播風暴,一般是MSTP出現了問題。解決方法:我們可以依據以下流程檢查MSTP協(xié)議設置是否正常。檢查拓撲中所有設備是否開啟MSTP協(xié)議。拓撲中所有設備的MSTP設置是否都在同一個域中。域名,域修正值,vlan—instance的映射關系是否正確。檢查端口MSTP是否開啟,設置是否正確。檢查端口是否存在收發(fā)BPDU報文超時。這可以通過打開相應的debug開關查看。比如,通過debugmstprx命令,可以查看本機收到BPDU報文的時間,報文是否合法,收到報文的端口等信息。debugmstptx可以查看本機發(fā)送BPDU報文的時間,發(fā)送報文的端口等信息。雙核心網絡持續(xù)發(fā)生MSTP振蕩故障現象:雙核心拓撲網絡環(huán)境下,原本應該穩(wěn)定的網絡變得不穩(wěn)定,設備控制臺隔段時間打印topochange:topologyischanged等提示信息,網絡中流量不穩(wěn)定,時斷時續(xù)。原因分析:這種情況一般是MSTP出現了問題。解決方法:我們可以依據以下流程檢查MSTP協(xié)議設置是否正常。檢查端口MSTP狀態(tài)是否振蕩;檢查端口MSTP角色是否振蕩;檢查設備是否頻繁收到tc報文??梢酝ㄟ^debugmstprx命令查看。追溯tc報文的源頭并進行消除。其他MSTP可能的故障一般而言,MSTP的故障主要由以下兩個方面引起,用戶配置的錯誤和設備沒有及時收發(fā)BPDU報文導致。下面,就將其他可能出現其他問題的原因和解決方法羅列如下。MSTP配置中vlan和instance配置錯誤導致設備不能在同一個MSTP域里面,或者不同設備間配置了不同的生成樹模式,導致出現了一些和預期不一樣的效果。解決方法:核查拓撲中所有設備的MSTP配置,確保MSTP域配置要一致。端口允許的vlan配置,錯誤導致數據的實際轉發(fā)效果不符合vlan—instance映射關系的預期效果。比如雙核心拓撲下,根據MSTP計算,某個vlan對應的instance在某臺接入層設備上聯(lián)匯聚設備的端口是forwarding的,但是這臺接入設備上forwarding的端口并沒有配置這個vlan,進而導致數據流不通。解決方法:通過端口cost的設置,人為修改生成樹的形狀,讓端口允許的vlan配置和該端口的轉發(fā)狀態(tài)相一致。用戶錯誤地配置了BPDUFILTER導致交換機無法正確地接收和發(fā)送BPDU,從而導致拓撲計算異常。解決方法:取消端口下BPDUFILTER的配置,讓設備能正常收發(fā)BPDU。1.7配置實例下面,我們提供雙核心拓撲在市場上的應用配置。教育和金融市場各一個配置案例。1.7.1教育市場應用圖6某高校宿舍網網絡拓撲圖拓撲說明:某高校宿舍網網絡采用兩臺S8606作為雙核心,運行VRRP和MSTP。S8606上有10個用戶vlan,vlanid為10,20,30???..100。對應svi接口運行VRRP協(xié)議。VRRP協(xié)議設置成對奇數用戶vlan(指vlan10,30,50,70,90),左邊的S8606(圖6S8606A)為master主路由器,作為用戶的網關轉發(fā)用戶數據。對偶數用戶vlan(指vlan20,40,60,80,100),右邊的S8606(圖6S8606B)為master主路由器,作為用戶的網關轉發(fā)用戶數據。Master主路由器的設置通過設置優(yōu)先級為254實現,backup路由器的優(yōu)先級采用默認值,100。S8606上MSTP設置3個vlan-instance的對應關系,域名和域修正值采用默認設置。奇數用戶vlan對應到instance1,偶數用戶vlan對應到instance2。其他vlan對應到instance0Oinstance0和instance1,左邊的S8606(圖6S8606A)作為根橋,instance2,右邊的S8606(圖6S8606B)作為根橋。根橋的設置通過設置優(yōu)先級為4096,備份根橋的優(yōu)先級設置為8192來實現。接入層設備S21_1上面有用戶vlan10,30,50,70,90。在連接用戶的端口上啟用BPDUFILTER功能,直接過濾BPDU報文,可以有效避免BPDU攻擊和防止MSTP信息泄漏,同時端口可以快速Forwarding。通過修改S21_1上鏈端口的生成樹cost為1,讓生成樹在S21_1的兩個端口Forwarding,避免用戶vlan10,30,50,70,90不通。拓撲中互連網絡設備接口上開啟TPP功能,設置cpu利用率閥值為60。在設備cpu利用率超過60時,能保持MSTP和VRRP不發(fā)生振蕩。具體配置:RG_S8606A#showconfigurecputopology-limit60〃設置cpu利用率閥值為60,推薦值為50?70左右!spanning-tree//開啟stp協(xié)議spanning-treemstconfiguration//配置stp的模式為mstpinstance1vlan10,30,50,70,90〃配置instance1對應的vlan,注意mstp域其他兩個參數,域名和域修正值這里都沒有配置,設備自動采用默認值設置,推薦域名和域修正值無需配置instance2vlan20,40,60,80,100//配置instance2對應的vlan,注意mstp域其他兩個參數,域名和域修正值這里都沒有配置,設備自動采用默認值設置,推薦域名和域修正值無需配置spanning-treemst0priority4096//通過修改mst的優(yōu)先級為4096,確定該設備為根橋spanning-treemst1priority4096spanning-treemst2priority8192//通過修改mst的優(yōu)先級為8192,確定該設備為備份根橋interfaceGigabitEthernet2/1//連接S21_1的接口switchportmodetrunk//設置為trunk端口屬性switchporttrunkallowedvlanremove1-9,21-29,31-49,51-69,71-89,91-4093//只允許S21_1上有的用戶vlan10,30,50,70,90tp-guardportenable//端口上開啟TPP功能,當設備cpu利用率超過60時,會保持拓撲中MSTP和VRRP狀態(tài)不變,防止拓撲發(fā)生振蕩descriptionConnect_To_S21_1//設置端口描述信息,該端口是連接到S21_1interfaceVlan10ipaddress172.16.10.251255.255.255.0vrrp10ip172.16.10.254〃配置vrrp組10的虛網關ip地址為:172.16.10.254vrrp10priority254〃配置該接口優(yōu)先級為254,確定該設備的接口為master。這里VRRP通告時間沒有配置,系統(tǒng)自動采用默認值設置,推薦無需配置VRRP通告時間。以下配置類似!interfaceVlan20ipaddress172.16.20.251255.255.255.0vrrp20ip172.16.20.254//沒有配置該接口優(yōu)先級,系統(tǒng)自動采用默認值100,確定該設備的接口為backup。這里VRRP通告時間沒有配置,系統(tǒng)自動采用默認值設置,推薦無需配置VRRP通告時間。以下配置類似!interfaceVlan30ipaddress172.16.30.251255.255.255.0vrrp30ip172.16.30.254vrrp30priority254!interfaceVlan40ipaddress172.16.40.251255.255.255.0vrrp40ip172.16.40.254!interfaceVlan50ipaddress172.16.50.251255.255.255.0vrrp50ip172.16.50.254vrrp50priority254!interfaceVlan60ipaddress172.16.60.251255.255.255.0vrrp60ip172.16.60.254!interfaceVlan70ipaddress172.16.70.251255.255.255.0vrrp70ip172.16.70.254vrrp70priority254!interfaceVlan80ipaddress172.16.80.251255.255.255.0vrrp80ip172.16.80.254!interfaceVlan90ipaddress172.16.90.251255.255.255.0vrrp90ip172.16.90.254vrrp90priority254!interfaceVlan100ipaddress172.16.100.251255.255.255.0vrrp100ip172.16.100.254!endRG_S8606B#showconfigure!cputopology-limit60〃設置cpu利用率閥值為60,推薦值為50?70左右!spanning-tree//這里的配置和RG_S8606Bl類似,注意的是配置MSTP域的時候,需要保證域名,域修正值,instance—vlan對應關系的配置都一致。在本配置實例中,兩臺設備的instance—vlan對應關系配置都一樣,域名和域修正值都沒有配置,系統(tǒng)自動采用默認配置。spanning-treemstconfigurationinstance1vlan10,30,50,70,90instance2vlan20,40,60,80,100!spanning-treemst0priority8192//通過修改mst0優(yōu)先級為8192,設置對應mst0生成樹為備份根橋spanning-treemst1priority8192spanning-treemst2priority4096//通過修改mst2優(yōu)先級為4096,設置對應mst2生成樹為根橋!interfaceGigabitEthernet2/1//連接S21_1的接口switchportmodetrunk//設置為trunk端口屬性switchporttrunkallowedvlanremove1-9,21-29,31-49,51-69,71-89,91-4093//只允許S21_1上有的用戶vlan10,30,50,70,90tp-guardportenable〃端口上開啟TPP功能,當設備cpu利用率超過60時,會保持拓撲中MSTP和VRRP狀態(tài)不變,防止拓撲發(fā)生振蕩descriptionConnect_To_S21_1//設置端口描述信息,該端口是連接到S21_1!interfaceVlan10ipaddress172.16.10.252255.255.255.0vrrp10ip172.16.10.254!interfaceVlan20ipaddress172.16.20.252255.255.255.0vrrp20ip172.16.20.254vrrp20priority254!interfaceVlan30ipaddress172.16.30.252255.255.255.0vrrp30ip172.16.30.254!interfaceVlan40ipaddress172.16.40.252255.255.255.0vrrp40ip172.16.40.254vrrp40priority254!interfaceVlan50ipaddress172.16.50.252255.255.255.0vrrp50ip172.16.50.254!interfaceVlan60ipaddress172.16.60.252255.255.255.0vrrp60ip172.16.60.254vrrp60priority254!interfaceVlan70ipaddress172.16.70.252255.255.255.0vrrp70ip172.16.70.254!interfaceVlan80ipaddress172.16.80.252255.255.255.0vrrp80ip172.16.80.254vrrp80priority254!interfaceVlan90ipaddress172.16.90.252255.255.255.0vrrp90ip172.16.90.254!interfaceVlan100ipaddress172.16.100.252255.255.255.0vrrp100ip172.16.100.254vrrp100priority254!EndS21_1#showrunning-config!cputopology-limit60!spanning-tree//配置MSTP注意的是配置MSTP域的時候,需要保證域名,域修正值,instance—vlan對應關系的配置都一致。spanning-treemstconfigurationinstance1vlan10,30,50,70,90instance2vlan20,40,60,80,100interfaceFastEthernet0/1//連接S8606A的接口switchportmodetrunk//設置為trunk端口屬性switchporttrunkallowedvlanremove1-9,21-29,31-49,51-69,71-89,91-4093//只允許S21_1上有的用戶vlan10,30,50,70,90spanning-treemst1cost1//通過修改端口生成樹的cost,讓本機存在的vlan對應的生成樹在本機端口Forwarding,避免用戶vlan不通tp-guardportenable〃端口上開啟TPP功能,當設備cpu利用率超過60時,會保持拓撲中MSTP和VRRP狀態(tài)不變,防止拓撲發(fā)生振蕩descriptionConnect_To_S8606A//設置端口描述信息,該端口是連接到S8606A!interfaceFastEthernet0/2//連接S8606B的接口switchportmodetrunk//設置為trunk端口屬性switchporttrunkallowedvlanremove1-9,21-29,31-49,51-69,71-89,91-4093//只允許S21_1上有的用戶vlan10,30,50,70,90spanning-treemst1cost1//通過修改端口生成樹的cost,讓本機存在的vlan對應的生成樹在本機端口Forwarding,避免用戶vlan不通tp-guardportenable〃端口上開啟TPP功能,當設備cpu利用率超過60時,會保持拓撲中MSTP和VRRP狀態(tài)不變,防止拓撲發(fā)生振蕩descriptionConnect_To_S8606B//設置端口描述信息,該端口是連接到S8606B!interfaceFastEthernet0/3〃以下端口為直連用戶端口,端口上都配置上BPDUFILTER功能,這樣該端口不收發(fā)BPDU報文,可以有效避免BPDU攻擊和防止MSTP信息泄漏,同時端口可以快速Forwarding。推薦直連用戶的端口都配置上BPDUFILTER功能。spanning-treebpdufilterenable!interfaceFastEthernet0/3tp-guardportenablespanning-treebpdufilterenable!End1.7.2金融市場應用□atalyst3550-12G3、15.1618.20.22.26RG_S8606RG_S8606qd-dl-s2Cisco6509QD-S1Cisco6509QD-S2□atalyst3550-12G3、15.1618.20.22.26RG_S8606RG_S8606qd-dl-s2Cisco6509QD-S1Cisco6509QD-S2qd-dl-s1RG-S2150GICatalyst2950Ty~y~ICatalyst2950Tj~y~00RG-S2150Gj23.24、25.27.28圖7某銀行網絡拓撲圖拓撲說明:(1)生成樹:用戶vlan為300—400,800—900。vlan300-400為instance1,根橋在qd-dl-sl上,vlan800-900為instance2,根橋在qd-dl-s2上,instance0的根橋在qd-dl-s2上。域名為“qddl”域修正值(revision)為“1”(2)VRRP:vlan300-400的svi的master在qd-dl-s1上,vlan800-900的svi的master在qd-dl-s2上。Master的產生通過兩種方法:一種通過設置接口的IP地址和VRRP組的網關IP地址一致,在這種情況下,設置成和VRRP組的網關IP地址相同的接口IP地址優(yōu)先級為最高255,自動成為master,比如VRRP組26就是這種情況。另一種是通過設置接口優(yōu)先級,高優(yōu)先級選舉為master,比如VRRP組31就是這種情況。同時將VRRP通告時間設置為10秒。具體配置qd-dl-s1#shrunspanning-tree//開啟生成樹spanning-treemstconfiguration//配置生成樹的模式為MSTPinstance1vlan300-400//配置vlan—instance的對應關系instance2vlan800-900nameqddl//配置域名revision1〃配置域修正值為1。注意在域名,域修正值,vlan—instance對應關系都要配置一致。!spanning-treemst0priority8192//通過設置mst0優(yōu)先級為8192,設置該設備為備份根橋spanning-treemst1priority4096//通過設置mst1優(yōu)先級為4096,設置該設備為根橋spanning-treemst2priority8192//通過設置mst2優(yōu)先級為8192,設置該設備為備份根橋!interfaceVlan326descriptionshengchanxitongjiankong-yewuipaddress48.2.63.1255.255.255.0vrrp26ip48.2.63.1//實接口的ip地址和vrrp組26虛ip地址配置成一樣,則該接口擁有最高優(yōu)先級255,直接成為master主路由器vrrp26timer10〃修改VRRP的通告時間間隔為10秒,這樣VRRP發(fā)生振蕩時間拉長到30秒。!interfaceVlan331descriptiondl-yw-vlan1ipaddress48.0.44.250255.255.255.0vrrp31ip48.0.44.254vrrp31priority150〃通過設置接口優(yōu)先級為150,競選成為master主路由器(對端設備qd-dl-s2接口優(yōu)先級為120,競選為backup路由器)vrrp31timer10!interfaceVlan332descriptiondl-yw-vlan2ipaddress48.0.45.250255.255.255.0vrrp32ip48.0.45.254vrrp32priority150vrrp32timer10!interfaceVlan333descriptiondl-yw-vlan3ipaddress48.0.46.250255.255.255.0vrrp33ip48.0.46.254vrrp33priority150vrrp33timer10!interfaceVlan334descriptiondl-yw-vlan4ipaddress48.0.47.250255.255.255.0vrrp34ip48.0.47.254vrrp34priority150vrrp34timer10!interfaceVlan335descriptionnamedl-yw-vlan5ipaddress48.0.48.250255.255.255.0vrrp35ip48.0.48.254vrrp35priority150vrrp35timer10!interfaceVlan336descriptionnamedl-yw-vlan6ipaddress48.0.49.250255.255.255.0vrrp36ip48.0.49.254vrrp36priority150vrrp36timer10!interfaceVlan337descriptionnamedl-yw-vlan7ipaddress48.0.50.250255.255.255.0vrrp37ip48.0.50.254vrrp37priority150vrrp37timer10!interfaceVlan338descriptionnamedl-yw-vlan8ipaddress48.0.51.250255.255.255.0vrrp38ip48.0.51.254vrrp38priority150vrrp38timer10!interfaceVlan400descriptionguojiyewubu-yewuipaddress10.106.8.1255.255.255.0vrrp200ip10.106.8.1vrrp200timer10interfaceVlan831descriptiondl-gl-vlan1ipaddress48.0.172.250255.255.255.0vrrp131ip48.0.172.254vrrp131priority120vrrp131timer10!interfaceVlan832descriptiondl-gl-vlan2ipaddress48.0.173.250255.255.255.0vrrp132ip48.0.173.254vrrp132priority120vrrp132timer10!interfaceVlan833descriptiondl-gl-vlan3ipaddress48.0.174.250255.255.255.0vrrp133ip48.0.174.254vrrp133priority120vrrp133timer10!interfaceVlan834descriptiondl-gl-vlan4ipaddress48.0.175.250255.255.255.0vrrp134ip48.0.175.254vrrp134priority120vrrp134timer10!interfaceVlan835descriptionnamedl-gl-vlan5ipaddress48.0.176.250255.255.255.0vrrp135ip48.0.176.254vrrp135priority120vrrp135timer10!interfaceVlan836descriptionnamedl-gl-vlan6ipaddress48.0.177.250255.255.255.0vrrp136ip48.0.177.254vrrp136priority120vrrp136timer10!interfaceVlan837descriptionnamedl-gl-vlan7ipaddress48.0.178.250255.255.255.0vrrp137ip48.0.178.254vrrp137priority120vrrp137timer10interfaceVlan838descriptionnamedl-gl-vlan8ipaddress48.0.179.250255.255.255.0vrrp138ip48.0.179.254vrrp138priority120vrrp138timer10!interfaceVlan899descriptionPBXipaddress48.0.151.250255.255.255.0vrrp99ip48.0.151.254vrrp99priority120vrrp99timer10!!endqd-dl-s2#shrunspanning-tree//開啟生成樹協(xié)議spanning-treemstconfiguration//配置生成樹模式為MSTPinstance1vlan300-400//配置vlan-instance的對應關系instance2vlan800-900nameqddl//配置域名revision1〃配置域修正值為1。注意在域名,域修正值,vlan—instance對應關系都要配置一致。!spanning-treemst0priority4096 //通過設置 mst0 優(yōu)先級為 4096,設置該設備為根橋spanning-treemst1priority8192 //通過設置 mst1 優(yōu)先級為 8192,設置該設備為備份根橋spanning-treemst2priority4096 //通過設置 mst2 優(yōu)先級為 4096,設置該設備為根橋!interfaceVlan326descriptionshengchanxitongjiankong-yewuipaddress48.2.63.2255.255.255.0vrrp26ip48.2.63.1//由于對端設備qd-dl-s1接口ip地址配置成跟vrrp組26虛ip地址一致,因此對端接口直接成為master主路由器,自己變成backup路由器vrrp26timer10〃同一個接口下的VRRP通告時間要配置成一樣!interfaceVlan331descriptiondl-yw-vlan1ipaddress48.0.44.251255.255.255.0vrrp31ip48.0.44.254vrrp31priority12
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024-2025學年浙江省淮南市六年級下學期小升初招生數學試卷含解析
- 大連外國語大學《基礎視覺設計》2023-2024學年第二學期期末試卷
- 退役動力電池回收體系
- 四川建筑職業(yè)技術學院《媒介融合前沿導論》2023-2024學年第二學期期末試卷
- 荊州理工職業(yè)學院《微機控制技術實訓》2023-2024學年第二學期期末試卷
- 甘肅省慶陽市西峰區(qū)肖金小學2025年小升初數學檢測卷含解析
- 通信安裝采購合同范本
- 2025年02月濱州陽信縣事業(yè)單位人員(70人)筆試歷年典型考題(歷年真題考點)解題思路附帶答案詳解
- 2025年安全知識題庫含答案
- 技術推廣服務協(xié)議
- 北京市豐臺區(qū)2024-2025學年高三上學期期末英語試題
- 2025上海市嘉定工業(yè)區(qū)農村青年干部招聘22人歷年高頻重點提升(共500題)附帶答案詳解
- 2025采購部年度工作計劃
- 2024年度個人珠寶首飾分期購買合同范本3篇
- 食為天:2024中國食品飲料行業(yè)白皮書
- 醫(yī)學倫理與醫(yī)患溝通技巧
- 2025年牛津譯林版英語七年級下冊全冊單元重點知識點與語法匯編
- 痔瘡中醫(yī)治療課件
- 污水處理設備的故障處理指南考核試卷
- 華東師范大學《社會研究方法》2023-2024學年第一學期期末試卷
- ps 課件教學課件
評論
0/150
提交評論