IRF2.0網(wǎng)絡(luò)技術(shù)白皮書_第1頁
IRF2.0網(wǎng)絡(luò)技術(shù)白皮書_第2頁
IRF2.0網(wǎng)絡(luò)技術(shù)白皮書_第3頁
IRF2.0網(wǎng)絡(luò)技術(shù)白皮書_第4頁
IRF2.0網(wǎng)絡(luò)技術(shù)白皮書_第5頁
已閱讀5頁,還剩23頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、IRF2.0 網(wǎng)絡(luò)技術(shù)白皮書關(guān)鍵詞:IRF、拓?fù)涫占?、角色選舉、高可靠性、冗余備份摘 要:IRF 是一種將多臺設(shè)備虛擬成一臺設(shè)備來管理和使用的技術(shù)。本文將介紹 IRF 如何將這些設(shè)備進(jìn)行虛擬化,以及在網(wǎng)絡(luò)中的主要應(yīng)用。縮略語:縮略語英文全名中文解釋IRFIntelligent Resilient Framework智能彈性架構(gòu)目 錄 HYPERLINK l _bookmark0 概述 HYPERLINK l _bookmark1 4 HYPERLINK l _bookmark0 產(chǎn)生背景 HYPERLINK l _bookmark2 4 HYPERLINK l _bookmark4 技術(shù)優(yōu)點

2、HYPERLINK l _bookmark5 5 HYPERLINK l _bookmark6 IRF的技術(shù)實現(xiàn) HYPERLINK l _bookmark7 6 HYPERLINK l _bookmark6 基本概念 HYPERLINK l _bookmark8 6 HYPERLINK l _bookmark10 IRF軟件架構(gòu) HYPERLINK l _bookmark12 8 HYPERLINK l _bookmark13 IRF的形成 HYPERLINK l _bookmark15 9 HYPERLINK l _bookmark13 物理連接 HYPERLINK l _bookmark

3、16 9 HYPERLINK l _bookmark19 拓?fù)涫占?HYPERLINK l _bookmark20 11 HYPERLINK l _bookmark19 角色選舉 HYPERLINK l _bookmark21 11 HYPERLINK l _bookmark23 IRF管理 HYPERLINK l _bookmark25 13 HYPERLINK l _bookmark23 配置同步 HYPERLINK l _bookmark26 13 HYPERLINK l _bookmark27 成員編號 HYPERLINK l _bookmark28 14 HYPERLINK l _b

4、ookmark27 IRF維護(hù) HYPERLINK l _bookmark29 14 HYPERLINK l _bookmark27 成員設(shè)備加入 HYPERLINK l _bookmark30 14 HYPERLINK l _bookmark31 成員設(shè)備離開 HYPERLINK l _bookmark32 15 HYPERLINK l _bookmark31 拓?fù)涓?HYPERLINK l _bookmark33 15 HYPERLINK l _bookmark34 成員設(shè)備軟件自動升級 HYPERLINK l _bookmark35 16 HYPERLINK l _bookmark34

5、 IRF的高可靠性 HYPERLINK l _bookmark36 16 HYPERLINK l _bookmark34 3.1 1:N冗余 HYPERLINK l _bookmark37 16 HYPERLINK l _bookmark38 協(xié)議熱備份 HYPERLINK l _bookmark39 17 HYPERLINK l _bookmark41 上/下行鏈路的冗余備份 HYPERLINK l _bookmark43 18 HYPERLINK l _bookmark44 IRF端口的冗余備份 HYPERLINK l _bookmark46 19 HYPERLINK l _bookmar

6、k48 IRF報文轉(zhuǎn)發(fā)原理 HYPERLINK l _bookmark49 20 HYPERLINK l _bookmark52 H3C實現(xiàn)的技術(shù)特色 HYPERLINK l _bookmark54 21 HYPERLINK l _bookmark52 通用虛擬化軟件架構(gòu) HYPERLINK l _bookmark55 21 HYPERLINK l _bookmark56 應(yīng)用成熟的系統(tǒng)結(jié)構(gòu) HYPERLINK l _bookmark57 22 HYPERLINK l _bookmark56 簡化的多框分布式 HYPERLINK l _bookmark58 22 HYPERLINK l _bo

7、okmark56 豐富而穩(wěn)定的功能支持 HYPERLINK l _bookmark59 22 HYPERLINK l _bookmark60 高效的 1:N備份 HYPERLINK l _bookmark61 23 HYPERLINK l _bookmark60 框式設(shè)備成員內(nèi)的冗余保護(hù) HYPERLINK l _bookmark62 23 HYPERLINK l _bookmark60 靈活的設(shè)備間連接 HYPERLINK l _bookmark63 23 HYPERLINK l _bookmark64 典型組網(wǎng)應(yīng)用 HYPERLINK l _bookmark65 24 HYPERLINK

8、l _bookmark64 使用IRF擴(kuò)展端口數(shù)量 HYPERLINK l _bookmark66 24 HYPERLINK l _bookmark64 使用IRF擴(kuò)展系統(tǒng)處理能力 HYPERLINK l _bookmark68 24 HYPERLINK l _bookmark70 使用IRF擴(kuò)展帶寬 HYPERLINK l _bookmark71 25 HYPERLINK l _bookmark70 跨越空間使用IRF. HYPERLINK l _bookmark73 25 HYPERLINK l _bookmark74 使用IRF簡化組網(wǎng) HYPERLINK l _bookmark76 2

9、6概述產(chǎn)生背景目前,網(wǎng)絡(luò)中主要存在兩種形態(tài)的通信設(shè)備:盒式設(shè)備和框式分布式設(shè)備。將它們進(jìn)行比較,我們會發(fā)現(xiàn):盒式設(shè)備成本低廉,但是沒有高可用性支持,缺乏不中斷的業(yè)務(wù)保護(hù),無法應(yīng)用于重要的場合(例如核心層、匯聚層、生產(chǎn)網(wǎng)絡(luò)、數(shù)據(jù)中心等);在復(fù)雜的組網(wǎng)環(huán)境中,盒式設(shè)備擴(kuò)展性差的缺點表現(xiàn)的非常明顯,用戶不得不維護(hù)更多的網(wǎng)絡(luò)設(shè)備, 并且為了增加這些設(shè)備還不得不修改早期的組網(wǎng)結(jié)構(gòu);框式分布式設(shè)備具有高可用性、高性能、高端口密度的優(yōu)點,因此經(jīng)常被應(yīng)用于一些重要場合(例如核心層、匯聚層、生產(chǎn)網(wǎng)絡(luò)、數(shù)據(jù)中心等)。但它相比盒式交換機(jī)也有一些缺點,比如首次投入成本高、單端口成本高等。針對盒式設(shè)備與框式分布式設(shè)備的

10、這些特點,一種結(jié)合了兩種設(shè)備優(yōu)點的IRF虛擬化技術(shù)應(yīng)運而生。IRF就是將多臺設(shè)備通過IRF端口連接起來形成一臺虛擬的邏輯設(shè)備,如 HYPERLINK l _bookmark3 圖 HYPERLINK l _bookmark3 1所示。用戶對這臺虛擬設(shè)備進(jìn)行管理,來實現(xiàn)對虛擬設(shè)備中的所有物理設(shè)備的管理。這種虛擬設(shè)備既具有盒式設(shè)備的低成本優(yōu)點,又具有框式分布式設(shè)備的擴(kuò)展性以及高可靠性優(yōu)點。圖1 IRF 組網(wǎng)應(yīng)用示意圖IP networkMasterSlaveSlaveIRF鏈路IRF鏈路IP network等效于IRF從提出虛擬化理念開始,虛擬化技術(shù)在不斷發(fā)展、變化中,不同廠商的技術(shù)實現(xiàn)也不盡相同

11、,但普遍存在以下問題:支持的功能少。大部分廠商在虛擬化技術(shù)實現(xiàn)時采用了全新的系統(tǒng)架構(gòu),導(dǎo)致在其它設(shè)備上很普通很成熟的技術(shù),在虛擬設(shè)備上都必須進(jìn)行單獨的支持,而多年的技術(shù)積累很難在短時間內(nèi)重新實現(xiàn),因此只能保證虛擬設(shè)備首先支持基本功能,而大量的增值服務(wù)可能缺失。功能支持與其它產(chǎn)品有差異。由于基本架構(gòu)的不同,很多功能在支持虛擬化的產(chǎn)品上的實現(xiàn)不同于任何已有產(chǎn)品,用戶在使用此類產(chǎn)品前必須熟悉這些差異。而在與其它產(chǎn)品混合組網(wǎng)時,更需要了解各產(chǎn)品的不同,給用戶的管理和維護(hù)帶來了很大的不便,增加了維護(hù)成本。技術(shù)不成熟造成運行不穩(wěn)定。這里說的技術(shù)不成熟不是指技術(shù)本身,而是技術(shù)應(yīng)用在虛擬化環(huán)境不成熟。例如虛擬

12、化的一個特點是每個成員都有獨立的控制能力,如何協(xié)調(diào)各成員的控制就是一個問題。再比如成員的地位相互平等,每個成員又都有與其他成員交互的能力,那么隨著成員個數(shù)的增加,成員間的交互將成幾何級數(shù)增加,這就是通常所說的 N 平方問題,虛擬化必須要很好的考慮解決這個問題??傊@些系統(tǒng)相關(guān)的問題對各種特性來說都需要新的技術(shù)加以解決。而這些全新技術(shù)的不成熟,會直接影響產(chǎn)品的性能以至運行的可靠。H3C 也一直致力于 IRF 技術(shù)的研發(fā)和優(yōu)化,繼推出 IRF1.0 之后,現(xiàn)又推出了具有更加完善功能的通用虛擬化技術(shù) IRF2.0。如無特殊說明,下文中的 IRF 特指 IRF2.0,以下將描述 IRF2.0 的技術(shù)實

13、現(xiàn)和典型應(yīng)用。技術(shù)優(yōu)點IRF 具有以下主要優(yōu)點:簡化管理。IRF 形成之后,用戶通過任意成員設(shè)備的任意端口均可以登錄 IRF 系統(tǒng),對 IRF 內(nèi)所有成員設(shè)備進(jìn)行統(tǒng)一管理。而不用物理連接到每臺成員設(shè)備上分別對它們進(jìn)行配置和管理。簡化網(wǎng)絡(luò)運行。IRF 形成的虛擬設(shè)備中運行的各種控制協(xié)議也是作為單一設(shè)備統(tǒng)一運行的,例如路由協(xié)議會作為單一設(shè)備統(tǒng)一計算。這樣省去了設(shè)備間大量協(xié)議報文的交互,簡化了網(wǎng)絡(luò)運行,縮短了網(wǎng)絡(luò)動蕩時的收斂時間。IRF 技術(shù)的這一特性是常見的集群技術(shù)所不具備的,后者僅僅能完成設(shè)備管理上的統(tǒng)一,而集群中的設(shè)備在網(wǎng)絡(luò)中仍然分別作為獨立節(jié)點運行。低成本:IRF 技術(shù)是將一些較低端的設(shè)備虛

14、擬成為一個相對高端的設(shè)備使用,從而具有高端設(shè)備的端口密度和帶寬,以及低端設(shè)備的成本。比直接使用高端設(shè)備具有成本優(yōu)勢。強(qiáng)大的網(wǎng)絡(luò)擴(kuò)展能力。通過增加成員設(shè)備,可以輕松自如的擴(kuò)展 IRF 系統(tǒng)的端口數(shù)、帶寬和處理能力。保護(hù)用戶投資。由于具有強(qiáng)大的擴(kuò)展能力,當(dāng)用戶進(jìn)行網(wǎng)絡(luò)升級時,不需要替換掉原有設(shè)備,只需要增加新設(shè)備既可。很好的保護(hù)了用戶投資。高可靠性。IRF 的高可靠性體現(xiàn)在多個方面,例如:成員設(shè)備之間 IRF 物理端口支持聚合功能,IRF 系統(tǒng)和上、下層設(shè)備之間的物理連接也支持聚合功能,這樣通過多鏈路備份提高了 IRF 系統(tǒng)的可靠性;IRF 系統(tǒng)由多臺成員設(shè)備組成,Master 設(shè)備負(fù)責(zé) IRF

15、系統(tǒng)的運行、管理和維護(hù),Slave 設(shè)備在作為備份的同時也可以處理業(yè)務(wù),一旦 Master 設(shè)備故障,系統(tǒng)會迅速自動選舉新的 Master,以保證通過 IRF 系統(tǒng)的業(yè)務(wù)不中斷,從而實現(xiàn)了設(shè)備的 1:N 備份。IRF 是網(wǎng)絡(luò)可靠性保障的最優(yōu)解決方案。高性能。由于 IRF 系統(tǒng)是由多個支持 IRF 特性的單機(jī)設(shè)備虛擬化而成的,IRF 系統(tǒng)的交換容量和端口數(shù)量就是 IRF 內(nèi)部所有單機(jī)設(shè)備交換容量和端口數(shù)量的總和。因此,IRF 技術(shù)能夠通過多個單機(jī)設(shè)備的虛擬化,輕易的將設(shè)備的核心交換能力、用戶端口的密度擴(kuò)大數(shù)倍,從而大幅度提高了設(shè)備的性能。豐富的功能。IRF 支持包括 IPv4、IPv6、MPLS

16、、安全特性、OAA 插卡、高可用性等全部交換機(jī)特性,并且能夠高效穩(wěn)定地運行這些功能,大大擴(kuò)展了 IRF 設(shè)備的應(yīng)用范圍。廣泛的產(chǎn)品支持。IRF 技術(shù)作為一種通用的虛擬化技術(shù),對不同形態(tài)產(chǎn)品的虛擬化一體化的實現(xiàn),使用同一技術(shù),同時支持盒式設(shè)備的虛擬化,以及框式分布式設(shè)備的虛擬化。IRF的技術(shù)實現(xiàn)基本概念角色I(xiàn)RF 中每臺設(shè)備都稱為成員設(shè)備。成員設(shè)備按照功能不同,分為兩種角色:Master:負(fù)責(zé)管理整個 IRF。Slave:作為 Master 的備份設(shè)備運行。當(dāng) Master 故障時,系統(tǒng)會自動從 Slave 中選舉一個新的 Master 接替原 Master 工作。Master 和 Slave

17、均由角色選舉產(chǎn)生。一個 IRF 中同時只能存在一臺 Master,其它成員設(shè)備都是 Slave。IRF端口一種專用于 IRF 的邏輯接口,分為 IRF-Port1 和 IRF-Port2,需要和 IRF 物理端口綁定之后才能生效。IRF物理端口設(shè)備上可以用于 IRF 連接的物理端口。IRF 物理端口可能是 IRF 專用接口、以太網(wǎng)接口或者光口(設(shè)備上哪些端口可用作 IRF 物理端口與設(shè)備的型號有關(guān),請以設(shè)備的實際情況為準(zhǔn))。通常情況下,以太網(wǎng)接口和光口負(fù)責(zé)向網(wǎng)絡(luò)中轉(zhuǎn)發(fā)業(yè)務(wù)報文,當(dāng)它們與 IRF 端口綁定后就作為 IRF 物理端口,用于成員設(shè)備之間轉(zhuǎn)發(fā)報文??赊D(zhuǎn)發(fā)的報文包括 IRF 相關(guān)協(xié)商報文

18、以及需要跨成員設(shè)備轉(zhuǎn)發(fā)的業(yè)務(wù)報文。IRF合并如 HYPERLINK l _bookmark9 圖 2所示,兩個IRF各自已經(jīng)穩(wěn)定運行,通過物理連接和必要的配置,形成一個IRF, 這個過程稱為IRF合并(merge)。圖2 IRF 合并示意圖IRF分裂如 HYPERLINK l _bookmark11 圖 3所示,一個IRF形成后,由于IRF鏈路故障,導(dǎo)致IRF中兩相鄰成員設(shè)備物理上不連通,一個IRF變成兩個IRF,這個過程稱為IRF分裂(split)。圖3 IRF 分裂示意圖IRFXGE1/3/0/1XGE2/3/0/1IRF鏈路Device ADevice BIRF 2Device BIRF

19、 1Device A=+成員優(yōu)先級成員優(yōu)先級是成員設(shè)備的一個屬性,主要用于角色選舉過程中確定成員設(shè)備的角色。優(yōu)先級越高當(dāng)選為 Master 的可能性越大。設(shè)備的缺省優(yōu)先級均為 1,如果想讓某臺設(shè)備當(dāng)選為 Master,則在組建 IRF 前,可以通過命令行手工提高該設(shè)備的成員優(yōu)先級。IRF軟件架構(gòu)IRF設(shè)備的系統(tǒng)架構(gòu)如 HYPERLINK l _bookmark14 圖 4所示,其中,IRF Virtualization:IRF 虛擬化模塊,它能自動進(jìn)行 IRF 的拓?fù)涫占?、角色選舉, 并將各成員設(shè)備虛擬成一個單一的設(shè)備;Hardware:設(shè)備上的硬件;Device Management:設(shè)備管

20、理層,完成對板、卡等各種設(shè)備資源的管理。這里的設(shè)備即包括對硬件的抽象,也包括通過 IRF 虛擬化發(fā)現(xiàn)的邏輯設(shè)備;System Management and Application Modules:系統(tǒng)管理及應(yīng)用模塊,指運行在設(shè)備上的所有管理、控制程序,例如各種路由協(xié)議模塊、鏈路層協(xié)議模塊等。IRF 虛擬化功能模擬出虛擬的設(shè)備,設(shè)備管理同時管理 IRF 的虛擬設(shè)備與真實的物理設(shè)備,屏蔽其差異。而對于運行在此系統(tǒng)上的各種應(yīng)用軟件來說,通過設(shè)備管理層的屏蔽,它并不關(guān)心物理上的差異,即不管是真實的單一設(shè)備還是 IRF 虛擬出來的設(shè)備,它都不需要做任何的修改。圖4 IRF 軟件架構(gòu)HardwareIRF

21、 VirtualizationDevice ManagementSystem Management and Application ModulesIRF的形成物理連接連接介質(zhì)多臺設(shè)備要形成一個 IRF,需要先將成員設(shè)備的 IRF 物理端口進(jìn)行物理連接。設(shè)備支持的 IRF 物理端口的類型不同使用的連接介質(zhì)不同:如果使用 IRF 專用接口作為 IRF 物理端口,則需要使用 IRF 專用線纜連接 IRF 物理端口。專用線能夠為成員設(shè)備間報文的傳輸提供很高的可靠性和性能。如果使用以太網(wǎng)接口作為 IRF 物理端口,則使用交叉網(wǎng)線連接 IRF 物理端口即可。這種連接方式提高了現(xiàn)有資源的利用率(以太網(wǎng)接口沒

22、有與 IRF 端口綁定時用于上下層設(shè)備間業(yè)務(wù)報文轉(zhuǎn)發(fā),與 IRF 端口綁定后專用于成員設(shè)備間報文轉(zhuǎn)發(fā),這種綁定關(guān)系可以通過命令行配置),有利于節(jié)約成本(不需要購置 IRF 專用接口卡或者光模塊等)。如果使用光口作為 IRF 物理端口,則使用光纖連接 IRF 物理端口。這種連接方式可以將距離很遠(yuǎn)的物理設(shè)備連接組成 IRF,使得應(yīng)用更加靈活。連接要求本設(shè)備上與IRF-Port1 綁定的IRF物理端口只能和鄰居成員設(shè)備IRF-Port2 口上綁定的IRF 物理端口相連,本設(shè)備上與IRF-Port2 口綁定的IRF物理端口只能和鄰居成員設(shè)備IRF-Port1 口上綁定的IRF物理端口相連,如 HYPE

23、RLINK l _bookmark17 圖 5所示,否則,不能形成IRF。一個 IRF 端口可以跟一個 IRF 物理端口綁定,也可以跟多個 IRF 物理端口綁定,以提高IRF 鏈路的帶寬以及可靠性。圖5 IRF 物理連接示意圖連接拓?fù)銲RF的連接拓?fù)溆袃煞N:鏈形連接和環(huán)形連接,如 HYPERLINK l _bookmark18 圖 6所示。相比環(huán)形連接,鏈形連接對成員設(shè)備的物理位置要求更低,主要用于成員設(shè)備物理位置分散的組網(wǎng)。環(huán)形連接比鏈形連接更可靠。因為當(dāng)鏈形連接中出現(xiàn)鏈路故障時,會引起 IRF 分裂;而環(huán)形連接中某條鏈路故障時,會形成鏈形連接,IRF 的業(yè)務(wù)不會受到影響。圖6 IRF 連接

24、拓?fù)涫疽鈭D拓?fù)涫占疘RF 中的每臺設(shè)備都是通過和自己直接相鄰的其它成員設(shè)備之間交互 IRF Hello 報文來收集整個 IRF 的拓?fù)潢P(guān)系。IRF Hello 報文會攜帶拓?fù)湫畔?,包?IRF 端口連接關(guān)系、成員設(shè)備編號、成員設(shè)備優(yōu)先級、成員設(shè)備的成員橋 MAC 等內(nèi)容。每個成員設(shè)備都在本地記錄自己已知的拓?fù)湫畔?。初始時刻,成員設(shè)備只記錄了自身的拓?fù)湫畔?。?dāng) IRF 端口狀態(tài)變?yōu)?up 后,成員設(shè)備會將已知的拓?fù)湫畔⒅芷谛缘膹?up 狀態(tài)的 IRF 端口發(fā)送出去。成員設(shè)備收到直接鄰居的拓?fù)湫畔⒑?,會更新本地記錄的拓?fù)湫畔?。?jīng)過一段時間的收集,所有設(shè)備上都會收集到完整的拓?fù)湫畔ⅲǚQ為拓?fù)涫諗浚?/p>

25、此時會進(jìn)入角色選舉階段。角色選舉IRF 系統(tǒng)由多臺成員設(shè)備組成,每臺成員設(shè)備具有一個確定的角色,即 Master 或者Slave。確定成員設(shè)備角色的過程稱為角色選舉。角色選舉會在拓?fù)渥兏那闆r下產(chǎn)生,比如:IRF 建立、新設(shè)備加入、IRF 分裂或者兩個 IRF 系統(tǒng)合并。角色選舉規(guī)則如下:當(dāng)前 Master 優(yōu)于非 Master 成員;當(dāng)成員設(shè)備均是框式分布式設(shè)備時,本地主用主控板優(yōu)于本地備用主控板;當(dāng)成員設(shè)備均是框式分布式設(shè)備時,原 Master 的備用主控板優(yōu)于非 Master 成員上的主控板;成員優(yōu)先級大的優(yōu)先;系統(tǒng)運行時間長的優(yōu)先(各設(shè)備的系統(tǒng)運行時間信息也是通過 IRF Hello

26、報文來傳遞的);成員橋 MAC 小的優(yōu)先。從第一條開始判斷,如果判斷的結(jié)果是多個最優(yōu),則繼續(xù)判斷下一條,直到找到唯一最優(yōu)的成員設(shè)備才停止選舉。此最優(yōu)成員設(shè)備即為 Master,其它成員設(shè)備則均為 Slave。在角色選舉完成后,IRF 形成,進(jìn)入 IRF 管理與維護(hù)階段。盒式設(shè)備虛擬化形成的IRF相當(dāng)于一臺框式分布式設(shè)備,Master相當(dāng)于IRF的主用主控板,Slave設(shè)備相當(dāng)于備用主控板(同時擔(dān)任接口板的角色),如 HYPERLINK l _bookmark22 圖 7所示。圖7 盒式設(shè)備虛擬化效果圖Device A (MemberID=1)IRF-Port2IRF-Port1Device B

27、 (MemberID=2)IRF鏈路業(yè)務(wù)接口 XGE1/3/0/1IRF物理端口XGE1/3/0/1 IRF物理端口業(yè)務(wù)接口IRF形成之后假設(shè)Device A當(dāng)選為MasterIRFMaster (MemberID=1)Slave (MemberID=2)IRF的備用主控板IRF的主用主控板框式分布式設(shè)備虛擬化形成的IRF也相當(dāng)于一臺框式分布式設(shè)備,只是該虛擬的框式分布式設(shè)備擁有更多的備用主控板和接口板。Master的主用主控板相當(dāng)于IRF的主用主控板,Master的備用主控板以及Slave的主用、備用主控板均相當(dāng)于IRF的備用主控板(同時擔(dān)任接口板的角色),如 HYPERLINK l _bo

28、okmark24 圖 8所示。圖8 框式分布式設(shè)備虛擬化效果圖IRF管理配置同步IRF 的配置同步包括兩個步驟:初始化時的批量同步和穩(wěn)定運行時的實時同步。批量同步當(dāng)多臺設(shè)備組合形成 IRF 時,先選舉出 Master 設(shè)備。Master 設(shè)備使用自己的啟動配置文件啟動,Master 設(shè)備啟動完成后,將配置批量同步給所有 Slave 設(shè)備, Slave 設(shè)備完成初始化,IRF 形成;在 IRF 運行過程中,有新的成員設(shè)備加入時,也會進(jìn)行批量同步。新設(shè)備重啟以Slave 的身份加入 IRF,Mater 會將當(dāng)前的配置批量同步給新設(shè)備。新設(shè)備以同步過來的配置完成初始化,而不再讀取本地的啟動配置文件。

29、實時同步所有設(shè)備初始化完成后,IRF 作為單一網(wǎng)絡(luò)設(shè)備在網(wǎng)絡(luò)中運行。用戶使用 Console 口或者 Telnet 方式登錄到 IRF 中任意一臺成員設(shè)備,都可以對整個 IRF 進(jìn)行管理和配置。Master 設(shè)備作為 IRF 系統(tǒng)的管理中樞,負(fù)責(zé)響應(yīng)用戶的登錄請求,即用戶無論使用什么方式,通過哪臺成員設(shè)備登錄 IRF,最終都是對 Master 設(shè)備進(jìn)行配置。Master 設(shè)備負(fù)責(zé)將用戶的配置同步給各個 Slave 設(shè)備,從而使 IRF 內(nèi)各設(shè)備的配置隨時保持高度統(tǒng)一。成員編號在運行過程中,IRF 系統(tǒng)使用成員編號(Member ID)來標(biāo)志和管理成員設(shè)備。例如, IRF 中接口的編號會加入成員

30、編號信息:對于盒式設(shè)備單機(jī)運行時,接口編號第一維參數(shù)的值通常為 1,加入 IRF 后,接口編號第一維參數(shù)的值會變成成員編號的值;對于框式設(shè)備單機(jī)運行時,接口編號采用三維格式(如 GigabitEthernet3/0/1),加入 IRF 后, 接口編號變成四維格式,第一維表示成員編號(如 GigabitEthernet2/3/0/1)。此外,成員編號還被引入到文件系統(tǒng)管理中。所以,在 IRF 中必須保證所有設(shè)備成員編號的唯一性。如果建立 IRF 時成員設(shè)備的編號不唯一(即存在編號相同的成員設(shè)備),則不能建立IRF;如果新設(shè)備加入 IRF,但是該設(shè)備與已有成員設(shè)備的編號沖突,則該設(shè)備不能加入IRF

31、。請在建立 IRF 前,統(tǒng)一規(guī)劃各成員設(shè)備的編號,并逐一進(jìn)行手工配置,以保證各設(shè)備成員編號的唯一性。IRF維護(hù)IRF 維護(hù)的主要功能是監(jiān)控成員設(shè)備的加入和離開,并隨時收集新的拓?fù)洌S護(hù)現(xiàn)有拓?fù)?。成員設(shè)備加入IRF 維護(hù)過程中,繼續(xù)進(jìn)行拓?fù)涫占ぷ鳎?dāng)發(fā)現(xiàn)有新的成員設(shè)備加入時會根據(jù)新加入設(shè)備的狀態(tài)采取不同的處理:新加入的設(shè)備本身未形成 IRF(比如,新加入的設(shè)備配置了 IRF 功能,之后斷電, 再使用 IRF 電纜連接到已有 IRF 系統(tǒng),上電重啟),則該設(shè)備會被選為 Slave。加入的設(shè)備本身已經(jīng)形成了 IRF(比如,新加入的設(shè)備配置了 IRF 功能,已經(jīng)作為IRF 系統(tǒng)運行,之后使用 IRF

32、 連接到已有 IRF 系統(tǒng)),此時相當(dāng)于兩個 IRF 合并(merge)(請注意,通常情況下,不建議使用這種方式形成 IRF)。在這種情況下,兩個 IRF 會進(jìn)行競選,競選仍然遵循角色選舉的規(guī)則,競選失敗方重啟后所有成員設(shè)備均以 Slave 的角色重新加入 IRF。如果成員設(shè)備加入成功,對 IRF 系統(tǒng)來說,相當(dāng)于增加一個備用主控板以及此板上的接口等物理資源。成員設(shè)備加入可能原因有:人為增加 IRF 系統(tǒng)中的成員;故障恢復(fù),當(dāng)設(shè)備故障或鏈路故障恢復(fù)時,恢復(fù)的設(shè)備會重新加入 IRF。成員設(shè)備離開IRF 通過以下兩種方式能夠準(zhǔn)確、快速的判斷是否有成員設(shè)備離開,是否需要更新拓?fù)洌簩τ卩従釉O(shè)備直連的情

33、況,成員設(shè)備 A down 或者 IRF 鏈路 down,其直接鄰居設(shè)備 B 能迅速感知設(shè)備 A 的離開(不用等到 IRF Hello 報文超時),會立即將“成員設(shè)備 A 離開”的信息廣播通知給 IRF 中的其它設(shè)備。對于鄰居設(shè)備非直連的情況(即兩成員設(shè)備中間跨接了其它設(shè)備,該設(shè)備不屬于IRF),成員設(shè)備 A down 或者 IRF 鏈路 down,其鄰居設(shè)備 B 不能迅速感知。但鄰居設(shè)備 B 能夠通過 IRF Hello 報文超時機(jī)制發(fā)覺設(shè)備 A 的離開,并將“成員設(shè)備A 離開”的信息廣播通知 IRF 中的其它設(shè)備。獲取到離開消息的成員設(shè)備會根據(jù)本地維護(hù)的 IRF 拓?fù)湫畔⒈韥砼袛嚯x開的是

34、Master 還是 Slave,如果離開的是 Master,則觸發(fā)新的角色選舉,再更新本地的 IRF 拓?fù)?;如果離開的是 Slave,則直接更新本地的 IRF 拓?fù)?,以保證 IRF 拓?fù)淠苎杆偈諗俊3蓡T設(shè)備之間會定期(通常一個周期為 200ms)交互 IRF Hello 報文來維護(hù)鄰居關(guān)系以及傳遞 IRF 的運行參數(shù)。IRF Hello 報文超時機(jī)制的原理是如果持續(xù)多個周期(通常為10 個周期)未收到鄰居的 IRF Hello 報文,則認(rèn)為該成員設(shè)備的 IRF Hello 報文超時, 該成員設(shè)備已經(jīng)離開 IRF,IRF 需要將該成員設(shè)備從拓?fù)渲懈綦x。成員設(shè)備離開可能原因有:人為改變拓?fù)?,取走?/p>

35、員設(shè)備;成員設(shè)備故障;鏈接故障。拓?fù)涓聠渭兊耐負(fù)渥兓冈O(shè)備的拓?fù)溆森h(huán)形鏈接變?yōu)殒溞捂溄?,或者由鏈形鏈接變?yōu)榄h(huán)形鏈接。例如對于環(huán)形鏈接的設(shè)備,當(dāng)鏈路發(fā)生故障時可能變?yōu)殒溞捂溄?;又比如在增加設(shè)備時,對于原有的環(huán)形鏈接,需要先將原有的環(huán)形鏈接變?yōu)殒溞捂溄?,才能接入新的設(shè)備。對于單純的拓?fù)渥兓琁RF 的成員構(gòu)成以及 Master 均不會發(fā)生變化,僅僅會在必要時自動改變轉(zhuǎn)發(fā)的路徑,不會影響設(shè)備的正常使用。成員設(shè)備軟件自動升級IRF 具有自動加載功能。在進(jìn)行 IRF 擴(kuò)展增加新成員設(shè)備時,并不需要新加入的成員設(shè)備與原有虛擬設(shè)備具有相同軟件版本,只要具有兼容的版本既可。新設(shè)備加入 IRF 時, 會與 M

36、aster 設(shè)備的軟件版本號進(jìn)行比較,如果不一致,則自動從 Master 設(shè)備下載系統(tǒng)啟動文件,然后使用新的啟動文件重啟,重新加入 IRF。如果產(chǎn)品不支持該功能,則需要用戶手工配置確保新加入的成員設(shè)備與原有虛擬設(shè)備版本一致后,新設(shè)備才能加入IRF。IRF的高可靠性因為 IRF 設(shè)備通常用于接入層、匯聚層和數(shù)據(jù)中心,所以對可靠性要求很高。為了盡量縮短因日常維護(hù)操作和突發(fā)的系統(tǒng)崩潰所導(dǎo)致的停機(jī)時間,以提高 IRF 系統(tǒng)和應(yīng)用的可靠性,IRF 采用了一系列的冗余備份技術(shù)來保證 IRF 系統(tǒng)的高可靠性:1:N 備份冗余協(xié)議的熱備份上/下行鏈路的冗余備份IRF 端口的冗余備份1:N冗余普通框式分布式設(shè)備

37、采用的是 1:1 冗余,即框式分布式設(shè)備配備了兩塊主控板,主用主控板負(fù)責(zé)處理業(yè)務(wù),備用主控板僅作為主用主控板的備份,隨時與主用主控板保持同步,當(dāng)主用主控板異常時立即取代其成為新的主用主控板繼續(xù)工作。而 IRF 中采用的是 1:N 冗余,即 Master 負(fù)責(zé)處理業(yè)務(wù),Slave 作為 Master 的備份,隨時與 Master 保持同步。當(dāng) Master 工作異常時,IRF 將選擇其中一臺 Slave 成為新的Master,由于在 IRF 系統(tǒng)運行過程中進(jìn)行了嚴(yán)格的配置同步和數(shù)據(jù)同步,因此新 Master 能接替原 Master 繼續(xù)管理和運營 IRF 系統(tǒng),不會對原有網(wǎng)絡(luò)功能和業(yè)務(wù)造成影響,

38、同時,由于有多個 Slave 設(shè)備存在,因此可以進(jìn)一步提高系統(tǒng)的可靠性。對于框式分布式設(shè)備的虛擬化,IRF并沒有因為IRF技術(shù)具有備份功能而放棄每個框式分布式成員設(shè)備本身的主用主控板和備用主控板的冗余保護(hù),而是將各個成員設(shè)備的主用主控板和備用主控板作為主控板資源統(tǒng)一管理,進(jìn)一步提高了系統(tǒng)可靠性(如 HYPERLINK l _bookmark24 圖 8所示)。協(xié)議熱備份在 1:N 冗余環(huán)境下,協(xié)議熱備份負(fù)責(zé)將協(xié)議的配置信息以及支撐協(xié)議運行的數(shù)據(jù)(比如狀態(tài)機(jī)或者會話表項等)備份到其它所有成員設(shè)備,從而使得 IRF 系統(tǒng)能夠作為一臺獨立的設(shè)備在網(wǎng)絡(luò)中運行。以路由協(xié)議為例,如 HYPERLINK l

39、 _bookmark40 圖 9所示,IRF設(shè)備左側(cè)網(wǎng)絡(luò)使用的是RIP路由協(xié)議,右側(cè)網(wǎng)絡(luò)使用的是OSPF路由協(xié)議。當(dāng)Master收到鄰居路由器發(fā)送過來的Update報文時,一方面它會更新本地的路由表,同時它會立即將更新的路由表項以及協(xié)議狀態(tài)信息發(fā)給其它所有成員設(shè)備,其它成員設(shè)備收到后會立即更新本地的路由表及協(xié)議狀態(tài),以保證IRF系統(tǒng)中各個物理設(shè)備上路由相關(guān)信息的嚴(yán)格同步。當(dāng)Slave收到鄰居路由器發(fā)送過來的Update 報文時,Slave設(shè)備會將該報文交給Master處理。當(dāng)Master故障時,新選舉的Master可以無縫的接手舊Master的工作,新的Master接收到鄰居路由器過來的OSP

40、F報文后,會將更新的路由表項以及協(xié)議狀態(tài)信息發(fā)給其它所有成員設(shè)備,并不會影響IRF中OSPF協(xié)議的運行,如 HYPERLINK l _bookmark42 圖 10所示。這樣就保證了當(dāng)成員設(shè)備出現(xiàn)故障的時候,其它成員設(shè)備可以照常運行并迅速接管故障的物理設(shè)備功能,此時,域內(nèi)路由協(xié)議不會隨之出現(xiàn)中斷,二三層轉(zhuǎn)發(fā)流量和業(yè)務(wù)也不會出現(xiàn)中斷,從而實現(xiàn)了不中斷業(yè)務(wù)的故障保護(hù)和設(shè)備切換功能。圖9 協(xié)議熱備份示意圖(成員設(shè)備故障前)RIPOSPFSlave備份信息MasterSlaveSlave圖10 協(xié)議熱備份示意圖(成員設(shè)備故障后)RIPOSPFMaster備份信息SlaveSlave上/下行鏈路的冗余備

41、份IRF采用分布式聚合技術(shù)來實現(xiàn)上/下行鏈路的冗余備份。傳統(tǒng)的聚合技術(shù)將一臺設(shè)備的多個物理以太網(wǎng)端口(被稱為成員端口)聚合在一起,它只能實現(xiàn)對鏈路故障的備份, 而對于設(shè)備的單點故障沒有備份機(jī)制。IRF支持的新型分布式聚合技術(shù)則可以跨設(shè)備配置鏈路備份,用戶可以將不同成員設(shè)備上的物理以太網(wǎng)端口配置成一個聚合端口,這樣即使某些端口所在的設(shè)備出現(xiàn)故障,也不會導(dǎo)致聚合鏈路完全失效,其它正常工作的成員設(shè)備會繼續(xù)管理和維護(hù)剩下的聚合端口。這對于核心交換系統(tǒng)和要求高質(zhì)量服務(wù)的網(wǎng)絡(luò)環(huán)境意義重大,它不但進(jìn)一步消除了聚合設(shè)備單點失效的問題,還極大提高全網(wǎng)的可用性。如 HYPERLINK l _bookmark45

42、圖 11所示,流向網(wǎng)絡(luò)核心的流量將均勻分布在聚合鏈路上,當(dāng)某一條聚合鏈路失效時,分布式鏈路聚合技術(shù)能夠?qū)⒘髁孔詣又匦路植嫉狡溆嗑酆湘溌芬詫崿F(xiàn)鏈路的彈性備份和提高網(wǎng)絡(luò)可靠性。數(shù)據(jù)報文IRF數(shù)據(jù)報文圖11 上/下行鏈路的冗余備份示意圖IRFIRF端口的冗余備份IRF采用聚合技術(shù)來實現(xiàn)IRF端口的冗余備份。IRF端口的連接可以由多條IRF物理鏈路聚合而成(如 HYPERLINK l _bookmark47 圖 12所示),多條IRF物理鏈路之間可以對流量進(jìn)行負(fù)載分擔(dān),這樣能夠有效提高帶寬,增強(qiáng)性能;同時,多條IRF物理鏈路之間互為備份,保證即使其中一條IRF 物理鏈路出現(xiàn)故障,也不影響IRF功能,從

43、而提高了設(shè)備的可靠性。圖12 IRF 端口的冗余備份示意圖對于由框式分布式設(shè)備形成的 IRF 設(shè)備,聚合的 IRF 物理端口可以位于同一塊接口板上也可以位于不同的接口板上,即支持 IRF 物理端口的跨板聚合,這樣即使其中一塊接口板發(fā)生故障也不會影響 IRF 功能。IRF報文轉(zhuǎn)發(fā)原理IRF 采用分布式彈性轉(zhuǎn)發(fā)技術(shù)實現(xiàn)報文的二/三層轉(zhuǎn)發(fā),最大限度的發(fā)揮了每個成員的處理能力。IRF 系統(tǒng)中的每個成員設(shè)備都有完整的二/三層轉(zhuǎn)發(fā)能力,當(dāng)它收到待轉(zhuǎn)發(fā)的二/ 三層報文時,可以通過查詢本機(jī)的二/三層轉(zhuǎn)發(fā)表得到報文的出接口(以及下一跳),然后將報文從正確的出接口送出去,這個出接口可以在本機(jī)上也可以在其它成員設(shè)備

44、上, 并且將報文從本機(jī)送到另外一個成員設(shè)備是一個純粹內(nèi)部的實現(xiàn),對外界是完全屏蔽的,即對于三層報文來說,不管它在 IRF 系統(tǒng)內(nèi)部穿過了多少成員設(shè)備,在跳數(shù)上只增加 1,即表現(xiàn)為只經(jīng)過了一個網(wǎng)絡(luò)設(shè)備。如 HYPERLINK l _bookmark50 圖 13所示,轉(zhuǎn)發(fā)報文的入接口和出接口在同一臺成員設(shè)備上。當(dāng)Slave 1 收到報文后,查找本地轉(zhuǎn)發(fā)表,發(fā)現(xiàn)出接口就在本機(jī)上,則Slave 1 直接將報文從這個出接口發(fā)送出去。圖13 物理設(shè)備內(nèi)轉(zhuǎn)發(fā)MasterSlave 1IRFSlave 3Slave 2如 HYPERLINK l _bookmark51 圖 14所示,轉(zhuǎn)發(fā)報文的入接口和出接口

45、在不同的成員設(shè)備上。當(dāng)Slave 1 收到報文后,查找本地轉(zhuǎn)發(fā)表,發(fā)現(xiàn)出接口在Master上,則Slave 1 按照最優(yōu)路徑先將報文轉(zhuǎn)發(fā)給Master,Master通過出接口將報文轉(zhuǎn)發(fā)給最終用戶。圖14 跨物理設(shè)備轉(zhuǎn)發(fā) HYPERLINK l _bookmark53 圖 15描述的是IRF對組播報文的處理示意圖。Slave 1 收到一個組播報文,通過查找本地的組播轉(zhuǎn)發(fā)表,Slave 1 知道Master和Slave 3 上均有組播成員的接入,而且Slave 1 到達(dá)Slave 3 的最優(yōu)路徑是通過Master,于是Slave 1 將組播報文轉(zhuǎn)發(fā)給Master,Master將報文復(fù)制三份,其中兩

46、份直接發(fā)給本地連接的組播組成員,另外一份轉(zhuǎn)發(fā)給Slave 3,通過Slave 3 發(fā)送給其它的組播組成員。這樣對于組播報文,每個成員只會根據(jù)需要復(fù)制報文,保證設(shè)備間只有一份報文傳送,節(jié)省了IRF系統(tǒng)內(nèi)部資源,提高了組播報文的處理速度。圖15 組播報文轉(zhuǎn)發(fā)轉(zhuǎn)發(fā)報文MasterSlave 1IRFSlave 3Slave 2H3C實現(xiàn)的技術(shù)特色通用虛擬化軟件架構(gòu)IRF 與其他虛擬化技術(shù)的最大區(qū)別就在于它不再針對特定產(chǎn)品,而是一種通用的虛擬化軟件架構(gòu)。利用這個軟件架構(gòu),可以將同一系列的設(shè)備進(jìn)行虛擬化,形成各種形態(tài)的一個單一的虛擬設(shè)備,適應(yīng)所有這一類的虛擬化需要。例如目前 IRF 可以將盒式交換機(jī)設(shè)備

47、進(jìn)行虛擬化,也可以將框式分布式交換機(jī)設(shè)備虛擬化。這樣保證各種產(chǎn)品虛擬化功能的一致性,IRF 只會通過不斷完善、發(fā)展,使其功能越來越強(qiáng)大,而不會不斷顛覆,這樣一方面保證了使用上的方便,另一方面使得技術(shù)會越來越成熟,而不是不斷變化的實驗品。在這個軟件架構(gòu)里,IRF 虛擬化只是系統(tǒng)中一個相對獨立的局部功能,它對整個系統(tǒng)的影響是局部的,因此 IRF 虛擬化功能的加入并不會影響整個系統(tǒng)的穩(wěn)定性。應(yīng)用成熟的系統(tǒng)結(jié)構(gòu)與其他虛擬化技術(shù)不同,IRF 沒有追求系統(tǒng)架構(gòu)的創(chuàng)新,而是采用了應(yīng)用成熟的系統(tǒng)結(jié)構(gòu)。IRF 形成的虛擬設(shè)備采用通用的分布式系統(tǒng)架構(gòu),目前,分布式系統(tǒng)架構(gòu)已經(jīng)在 H3C 的多款設(shè)備得到了很好的實現(xiàn)

48、,早已趨于成熟。一個成熟的架構(gòu)顯然比一個全新的架構(gòu)在商用上有更多優(yōu)勢:首先是系統(tǒng)的穩(wěn)定,經(jīng)過長時間千錘百煉,基于成熟的架構(gòu)開發(fā)的系統(tǒng)的瑕疵早已得到彌補(bǔ),而一個全新的系統(tǒng)架構(gòu),勢必會引入一些此架構(gòu)獨有的問題;其次經(jīng)過不斷的優(yōu)化,成熟架構(gòu)的性能也是最優(yōu)的,因此可以保證 IRF 系統(tǒng)穩(wěn)定、可靠、高效的運行。簡化的多框分布式將框式分布式設(shè)備進(jìn)行虛擬化的技術(shù)目前還比較少,即使有個別技術(shù)支持,其形成的虛擬設(shè)備的功能也非常有限,并且支持的成員設(shè)備的數(shù)量也非常少,例如只能將兩個設(shè)備進(jìn)行虛擬化。這是由于按照一般的設(shè)計,多框分布式比普通分布式增加了框一級的管理,成為了兩級的分布式,第一級是框之間的分布式,第二級是

49、框內(nèi)各板的分布式。兩級的分布式需要增強(qiáng)現(xiàn)有的分布式多層交換架構(gòu),再增加一層結(jié)構(gòu),但是實現(xiàn)的復(fù)雜度上卻在現(xiàn)有的基礎(chǔ)上劇增。這種方案實現(xiàn)起來復(fù)雜度高、性能低、可靠性差,不實用。而 IRF 卻從根本上解決了這個問題。在 IRF 中,多框分布式?jīng)]有引入多級分布式的技術(shù),而是將多框分布式,虛擬成為 1 個主板、多個備板、多個接口板的普通的框式分布式。這種分布式與現(xiàn)有框式分布式的差異僅僅是備板、接口板的個數(shù),從架構(gòu)上看完全沒有區(qū)別,其復(fù)雜度與普通的框式分布式基本沒有差異,因此成員設(shè)備的個數(shù)不再受系統(tǒng)架構(gòu)的約束,而僅僅取決于硬件的能力。豐富而穩(wěn)定的功能支持IRF 支持全部的 IPv4、IPv6、MPLS、安

50、全特性、OAA 插卡、高可用性等功能,并且保證這些功能高效穩(wěn)定的對用戶提供。其它虛擬化技術(shù)因為采用全新的架構(gòu)方案,導(dǎo)致在其他設(shè)備上很普通很成熟的技術(shù),在虛擬化設(shè)備上都必須進(jìn)行單獨的支持。例如框式分布式上普遍支持的高可用性技術(shù),在很多虛擬化技術(shù)上支持都非常有限,功能上也有大量缺失。而 IRF 是基于通用軟件架構(gòu)的,它的加入是對原系統(tǒng)功能的增強(qiáng),使得原系統(tǒng)可以用于虛擬化環(huán)境,但并沒有修改原系統(tǒng)的接口和運行機(jī)制,因此,原系統(tǒng)支持的各種功能能自然而然地繼承到 IRF 系統(tǒng)中,保證了技術(shù)的延續(xù)性,以及功能的完整豐富。這樣用戶不再需要單獨了解各種功能在 IRF 上是否支持,以及如何工作,保證了使用上的方便

51、。高效的 1:N備份普通框式分布式設(shè)備的分布式采用的是 1:1 備份,而 IRF 中采用的是 1:N 備份,由于有多個備用板存在,因此可以進(jìn)一步提高系統(tǒng)的可靠性。在性能方面,一般來說 1:N 備份會占用大量帶寬,并且隨著 N 的增加不斷惡化。我們看到其他虛擬化技術(shù)在面對 1:N 備份的這個問題時有兩種解決方法,一種是減少支持高可用性的功能,將有限的資源應(yīng)用到關(guān)鍵業(yè)務(wù)上;另一種是僅僅實現(xiàn)冷備份,即只備份靜態(tài)配置數(shù)據(jù),依靠犧牲倒換的性能,增加業(yè)務(wù)中斷時間來換取更少的數(shù)據(jù)同步量。顯然這兩種方法都是通過犧牲功能、性能來換取 1:N 備份實現(xiàn)的可能,并沒有真正解決問題。而 IRF 并沒有以犧牲為代價,它通過組播組來備份很好的解決了備份數(shù)據(jù)的 O(N)復(fù)雜度問題,實現(xiàn)了復(fù)雜度為 O(1)的算法,使得多備板對系統(tǒng)資源的占用是固定的, 不會由于備

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論