版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
1、1用以太網(wǎng)和用以太網(wǎng)和TCP/IP連接存儲網(wǎng)絡連接存儲網(wǎng)絡 傳統(tǒng)的觀點把存儲作為系統(tǒng)的一部分。直到最近存?zhèn)鹘y(tǒng)的觀點把存儲作為系統(tǒng)的一部分。直到最近存儲網(wǎng)絡才被作為全新和獨立的技術(shù)來看待。隨著以太網(wǎng)和儲網(wǎng)絡才被作為全新和獨立的技術(shù)來看待。隨著以太網(wǎng)和TCP/IP技術(shù)用在存儲網(wǎng)絡傳輸方面研究的發(fā)展,網(wǎng)絡存儲技術(shù)用在存儲網(wǎng)絡傳輸方面研究的發(fā)展,網(wǎng)絡存儲將成為網(wǎng)絡工業(yè)的主流之一。將成為網(wǎng)絡工業(yè)的主流之一。下面將概要介紹使用以太網(wǎng)和下面將概要介紹使用以太網(wǎng)和TCP/IP網(wǎng)絡實現(xiàn)交叉存儲技網(wǎng)絡實現(xiàn)交叉存儲技術(shù),并分析已出現(xiàn)一些技術(shù)的功能及其不足。術(shù),并分析已出現(xiàn)一些技術(shù)的功能及其不足。第九講第九講 IP網(wǎng)
2、絡與網(wǎng)絡與SAN2存儲網(wǎng)絡和以太網(wǎng)存儲網(wǎng)絡和以太網(wǎng)/TCP/IP的結(jié)合的結(jié)合 對于結(jié)合存儲網(wǎng)絡和以太網(wǎng)對于結(jié)合存儲網(wǎng)絡和以太網(wǎng)/TCP/IP,目前已有幾,目前已有幾種不同方法和可行性解決方案。主要如下:種不同方法和可行性解決方案。主要如下: 服務器邊界;主要用于服務器邊界;主要用于NAS,主要思想是:以太,主要思想是:以太網(wǎng)網(wǎng)/IP網(wǎng)絡提供前端網(wǎng)絡,而存儲連接作為后端網(wǎng)絡。網(wǎng)絡提供前端網(wǎng)絡,而存儲連接作為后端網(wǎng)絡。 存儲隧道;存儲隧道; 本地存儲傳輸;本地存儲傳輸; 跨網(wǎng)絡橋接??缇W(wǎng)絡橋接。3存儲隧道存儲隧道 存儲隧道的基本思想是:把以太網(wǎng)存儲隧道的基本思想是:把以太網(wǎng)/TCP/IP作為傳輸管
3、作為傳輸管道,將兩個獨立的光纖通道網(wǎng)絡連接起來。道,將兩個獨立的光纖通道網(wǎng)絡連接起來。在存儲隧道的設計中,需要考慮的主要問題:在存儲隧道的設計中,需要考慮的主要問題: 用何種方式對穿越網(wǎng)絡的數(shù)據(jù)進行封裝;用何種方式對穿越網(wǎng)絡的數(shù)據(jù)進行封裝; 傳輸數(shù)據(jù)的尋址、命名和路由方法;傳輸數(shù)據(jù)的尋址、命名和路由方法; 差錯恢復和流量控制策略,及其實現(xiàn)方法差錯恢復和流量控制策略,及其實現(xiàn)方法。41封裝封裝 對于數(shù)據(jù)傳輸,不同的網(wǎng)絡技術(shù)有不同的方式和結(jié)構(gòu)。但對于數(shù)據(jù)傳輸,不同的網(wǎng)絡技術(shù)有不同的方式和結(jié)構(gòu)。但我們可以把網(wǎng)絡數(shù)據(jù)先放到我們可以把網(wǎng)絡數(shù)據(jù)先放到“協(xié)議集裝箱協(xié)議集裝箱”中,再通過不同中,再通過不同的網(wǎng)
4、絡來傳輸。這種的網(wǎng)絡來傳輸。這種“協(xié)議集裝箱協(xié)議集裝箱”作為基本的傳輸數(shù)據(jù)單作為基本的傳輸數(shù)據(jù)單元在光纖通道和以太網(wǎng)的傳輸中稱為元在光纖通道和以太網(wǎng)的傳輸中稱為幀幀 。標準文檔將這。標準文檔將這些傳輸段統(tǒng)稱為些傳輸段統(tǒng)稱為“協(xié)議數(shù)據(jù)單元協(xié)議數(shù)據(jù)單元”,簡稱,簡稱PDU,也可稱為幀。也可稱為幀。 隧道中的主要概念就是封裝并運載整個網(wǎng)絡幀。隧道中的主要概念就是封裝并運載整個網(wǎng)絡幀。5 協(xié)議封裝的概念很簡單,但有很多細節(jié)。如,當幀協(xié)議封裝的概念很簡單,但有很多細節(jié)。如,當幀A比幀比幀B大大時,將時,將A放入放入B中,就要將中,就要將A以分段的方法分成多個較小的幀,以分段的方法分成多個較小的幀,并在分
5、段中加上序列號,以便在接收端在需要時能夠正確組裝成并在分段中加上序列號,以便在接收端在需要時能夠正確組裝成原始幀。原始幀。62尋址與命名尋址與命名 網(wǎng)絡中相互之間要通信的實體需要嚴格和良好的定義方網(wǎng)絡中相互之間要通信的實體需要嚴格和良好的定義方法來正確識別正在通訊的系統(tǒng)。通常可以通過網(wǎng)絡地址方案法來正確識別正在通訊的系統(tǒng)。通??梢酝ㄟ^網(wǎng)絡地址方案來解決,其中也包含某種將數(shù)字網(wǎng)絡地址映射為更直觀的名來解決,其中也包含某種將數(shù)字網(wǎng)絡地址映射為更直觀的名字服務。字服務。 將目的地址和源地址進行關聯(lián)是隧道技術(shù)中的一個要先將目的地址和源地址進行關聯(lián)是隧道技術(shù)中的一個要先解決的問題。這項關聯(lián)可以從兩個不同
6、的網(wǎng)絡技術(shù)中正確識解決的問題。這項關聯(lián)可以從兩個不同的網(wǎng)絡技術(shù)中正確識別網(wǎng)絡實體。例如,別網(wǎng)絡實體。例如,F(xiàn)C與以太網(wǎng)與以太網(wǎng)/IP的地址方案不同,但隧的地址方案不同,但隧道方案需要在兩種不同地址體系上提供透明和準確的道方案需要在兩種不同地址體系上提供透明和準確的I/O路路徑。徑。7圖中的問號部分就是需要解決的圖中的問號部分就是需要解決的地址關聯(lián)地址關聯(lián)問題。問題。83 . 網(wǎng)關網(wǎng)關 由于不同網(wǎng)絡實體不能創(chuàng)建或使用多個網(wǎng)絡地址,這表明必須由于不同網(wǎng)絡實體不能創(chuàng)建或使用多個網(wǎng)絡地址,這表明必須使用一種網(wǎng)絡連接器或某種類型的網(wǎng)關,以準確表示不同光纖通使用一種網(wǎng)絡連接器或某種類型的網(wǎng)關,以準確表示不
7、同光纖通道地址和以太網(wǎng)道地址和以太網(wǎng)/IP地址。按照此理論,上例中就需要兩個網(wǎng)關,地址。按照此理論,上例中就需要兩個網(wǎng)關,一個在網(wǎng)絡一個在網(wǎng)絡A和網(wǎng)絡和網(wǎng)絡B之間,另一個在網(wǎng)絡之間,另一個在網(wǎng)絡B和網(wǎng)絡和網(wǎng)絡C之間。之間。 假設網(wǎng)絡假設網(wǎng)絡A中的中的HBA需要向網(wǎng)絡需要向網(wǎng)絡C的子系統(tǒng)傳輸數(shù)據(jù),網(wǎng)關就的子系統(tǒng)傳輸數(shù)據(jù),網(wǎng)關就必須能夠識別那些試圖穿過隧道的數(shù)據(jù)。這可以通過為網(wǎng)關配置必須能夠識別那些試圖穿過隧道的數(shù)據(jù)。這可以通過為網(wǎng)關配置和制定一個特定的端口來實現(xiàn),或者通過讀取光纖幀中的目的和制定一個特定的端口來實現(xiàn),或者通過讀取光纖幀中的目的ID值,并通過以太網(wǎng)值,并通過以太網(wǎng)/IP網(wǎng)絡發(fā)送進入
8、的流量來實現(xiàn)。網(wǎng)絡發(fā)送進入的流量來實現(xiàn)。 當網(wǎng)關識別出需要通過網(wǎng)絡隧道傳遞的傳輸數(shù)據(jù)后,它就將當網(wǎng)關識別出需要通過網(wǎng)絡隧道傳遞的傳輸數(shù)據(jù)后,它就將光纖通道幀進行分段,并封裝到一些以太網(wǎng)中。光纖通道幀進行分段,并封裝到一些以太網(wǎng)中。 然后還要判斷需要放置在以太網(wǎng)然后還要判斷需要放置在以太網(wǎng)/IP的目的的目的ID值,以正確地將值,以正確地將數(shù)據(jù)傳送到適當?shù)倪h程網(wǎng)關??赡軙嬖诙鄠€可用的網(wǎng)關,每個數(shù)據(jù)傳送到適當?shù)倪h程網(wǎng)關??赡軙嬖诙鄠€可用的網(wǎng)關,每個網(wǎng)關都有他自己在網(wǎng)絡網(wǎng)關都有他自己在網(wǎng)絡B中的中的IP地址,如圖地址,如圖12-8所示。所示。9圖圖12-8 多個可用的網(wǎng)關多個可用的網(wǎng)關10 當接受
9、網(wǎng)關通過隧道接收到傳輸數(shù)據(jù)時,它在必要時對以當接受網(wǎng)關通過隧道接收到傳輸數(shù)據(jù)時,它在必要時對以太網(wǎng)太網(wǎng)/IP幀進行排序,重組光纖通道幀,幀進行排序,重組光纖通道幀,并并將光纖通道幀傳輸將光纖通道幀傳輸?shù)酱鎯ψ酉到y(tǒng)。到存儲子系統(tǒng)。 網(wǎng)關既可以是獨立的產(chǎn)品,也可以集成到網(wǎng)絡交換機中。網(wǎng)關既可以是獨立的產(chǎn)品,也可以集成到網(wǎng)絡交換機中。然而,網(wǎng)關的功能同普通的然而,網(wǎng)關的功能同普通的FC端口功能有很大的不同,因為端口功能有很大的不同,因為它需要管理多個網(wǎng)絡和協(xié)議操作,包括在兩個不同網(wǎng)絡之間它需要管理多個網(wǎng)絡和協(xié)議操作,包括在兩個不同網(wǎng)絡之間進行地址映射。進行地址映射。114. 隧道中的差錯恢復和流量控
10、制隧道中的差錯恢復和流量控制 隧道通訊中的一個很難解決的問題是如何在三個不同物理網(wǎng)絡隧道通訊中的一個很難解決的問題是如何在三個不同物理網(wǎng)絡中管理通信語法。每個網(wǎng)絡都提供特定方法來識別傳輸錯誤,各中管理通信語法。每個網(wǎng)絡都提供特定方法來識別傳輸錯誤,各個網(wǎng)絡也都有各自的某種流量控制手段。個網(wǎng)絡也都有各自的某種流量控制手段。1) 隧道中的差錯恢復隧道中的差錯恢復 由于隧道對于終端用戶來說是透明的,即隧道中的錯誤恢復機制由于隧道對于終端用戶來說是透明的,即隧道中的錯誤恢復機制發(fā)現(xiàn)的那些傳輸實體也許從使用隧道的應用程序的角度來看并不存發(fā)現(xiàn)的那些傳輸實體也許從使用隧道的應用程序的角度來看并不存在。假設光
11、纖通道在。假設光纖通道HBA通過本地網(wǎng)關傳輸一個幀,該幀被分段,通過本地網(wǎng)關傳輸一個幀,該幀被分段,并成為兩個隧道幀通過以太網(wǎng)并成為兩個隧道幀通過以太網(wǎng)/IP傳輸。就可能存在三種類型的潛傳輸。就可能存在三種類型的潛在網(wǎng)絡傳輸錯誤:在網(wǎng)絡傳輸錯誤: 隧道在傳輸兩個隧道幀時都失敗。隧道在傳輸兩個隧道幀時都失敗。 隧道在傳輸一個隧道幀時失敗。隧道在傳輸一個隧道幀時失敗。 在遠程網(wǎng)絡和存儲子系統(tǒng)之間傳輸失敗。在遠程網(wǎng)絡和存儲子系統(tǒng)之間傳輸失敗。12 首先,先討論兩個隧道幀都傳輸失敗的情況。此時,首先,先討論兩個隧道幀都傳輸失敗的情況。此時,HBA和和本地本地網(wǎng)關網(wǎng)關在等待傳輸確認時最終都會出現(xiàn)超時。在
12、本地網(wǎng)管超時的情況在等待傳輸確認時最終都會出現(xiàn)超時。在本地網(wǎng)管超時的情況下,如果該幀還存在于它的緩沖區(qū)中,它將會重發(fā)著兩個隧道幀。下,如果該幀還存在于它的緩沖區(qū)中,它將會重發(fā)著兩個隧道幀。如果網(wǎng)關的緩沖區(qū)中沒有這兩個隧道幀,則將會由如果網(wǎng)關的緩沖區(qū)中沒有這兩個隧道幀,則將會由HBA重新產(chǎn)生數(shù)重新產(chǎn)生數(shù)據(jù)傳輸。據(jù)傳輸。 然而,這將引起一個潛在問題。然而,這將引起一個潛在問題。本地網(wǎng)關本地網(wǎng)關和和HBA可能會在一個相可能會在一個相同的時間段中超時,此時,網(wǎng)關和同的時間段中超時,此時,網(wǎng)關和HBA可能都會重傳該幀,這樣就可能都會重傳該幀,這樣就會在網(wǎng)絡中產(chǎn)生重復的會在網(wǎng)絡中產(chǎn)生重復的錯誤恢復幀錯誤恢
13、復幀。 假設遠程網(wǎng)關沒有收到第二個隧道幀。本地網(wǎng)關將發(fā)覺第假設遠程網(wǎng)關沒有收到第二個隧道幀。本地網(wǎng)關將發(fā)覺第二個隧道幀沒有正確地傳輸,如果它還在緩沖區(qū)中的話,它二個隧道幀沒有正確地傳輸,如果它還在緩沖區(qū)中的話,它將會盡力重傳。如果本地網(wǎng)關中沒有該幀,它將不能響應,將會盡力重傳。如果本地網(wǎng)關中沒有該幀,它將不能響應,而讓發(fā)送端來處理。而讓發(fā)送端來處理。 當發(fā)送端的當發(fā)送端的HBA重傳重復的光纖通道幀時,重傳重復的光纖通道幀時,本地網(wǎng)關將傳送這兩個隧道幀。在這種情況下,重傳將被作為隧道本地網(wǎng)關將傳送這兩個隧道幀。在這種情況下,重傳將被作為隧道中的一個新的傳輸,而發(fā)送和接收的終端節(jié)點將把他們看作原始
14、光中的一個新的傳輸,而發(fā)送和接收的終端節(jié)點將把他們看作原始光纖通道幀的重傳。纖通道幀的重傳。1314 傳輸失敗也可能發(fā)生在遠程網(wǎng)關和光纖通道子系統(tǒng)之間。由于傳輸失敗也可能發(fā)生在遠程網(wǎng)關和光纖通道子系統(tǒng)之間。由于沒有收到目的子系統(tǒng)發(fā)來的確認,遠程網(wǎng)關最終將認識到發(fā)生了沒有收到目的子系統(tǒng)發(fā)來的確認,遠程網(wǎng)關最終將認識到發(fā)生了傳輸錯誤,而且如果該幀還存在于緩沖區(qū)中的話,它將會盡力重傳輸錯誤,而且如果該幀還存在于緩沖區(qū)中的話,它將會盡力重傳。如果網(wǎng)關的緩沖區(qū)中沒有該幀,發(fā)送系統(tǒng)的傳。如果網(wǎng)關的緩沖區(qū)中沒有該幀,發(fā)送系統(tǒng)的HBA將不得不重將不得不重傳原始光纖通道幀。傳原始光纖通道幀。152) 隧道中的流
15、量控制隧道中的流量控制 為了防止向網(wǎng)絡中注入過多的流量,從而避免使得較慢的接為了防止向網(wǎng)絡中注入過多的流量,從而避免使得較慢的接收端負載過重,或在網(wǎng)絡中引起擁塞,就必須進行流量控制。收端負載過重,或在網(wǎng)絡中引起擁塞,就必須進行流量控制。流量控制是根據(jù)期待的傳輸大小和網(wǎng)絡特性來實現(xiàn)的。流量控制是根據(jù)期待的傳輸大小和網(wǎng)絡特性來實現(xiàn)的。 流量控制機制極大地依賴于所使用的網(wǎng)絡。光纖通道在鏈流量控制機制極大地依賴于所使用的網(wǎng)絡。光纖通道在鏈路級和端到端的流量控制中都使用緩沖區(qū)信卡的方式。千兆以路級和端到端的流量控制中都使用緩沖區(qū)信卡的方式。千兆以太網(wǎng)有一個鏈路級的流量控制機制,以防止鏈路的過度負載。太網(wǎng)
16、有一個鏈路級的流量控制機制,以防止鏈路的過度負載。TCP協(xié)議使用協(xié)議使用“滑動窗口滑動窗口”機制的流量控制以動態(tài)分配網(wǎng)絡傳機制的流量控制以動態(tài)分配網(wǎng)絡傳輸中的緩沖區(qū)大小,并調(diào)整包的大小。輸中的緩沖區(qū)大小,并調(diào)整包的大小。16以太網(wǎng)以太網(wǎng)/TCP/IP存儲網(wǎng)絡通道存儲網(wǎng)絡通道 本質(zhì)上說,使用隧道通過以太網(wǎng)本質(zhì)上說,使用隧道通過以太網(wǎng)/TCP/IP網(wǎng)絡的方式,存在兩種類型的開放系統(tǒng)存儲網(wǎng)絡的方式,存在兩種類型的開放系統(tǒng)存儲流量:并行流量:并行SCSI和光纖通道傳輸和光纖通道傳輸1. SCSI 隧道隧道 2.光纖通道隧道光纖通道隧道 使用隧道傳輸光纖通道數(shù)據(jù)會比較容易一些,因為光纖通道使用隧道傳輸光
17、纖通道數(shù)據(jù)會比較容易一些,因為光纖通道已經(jīng)是串行的傳輸,所以它比并行已經(jīng)是串行的傳輸,所以它比并行SCSI更容易封裝。以太網(wǎng)更容易封裝。以太網(wǎng)/IP中中隧道在哪一層,封裝應該在以太網(wǎng)隧道在哪一層,封裝應該在以太網(wǎng)/IP協(xié)議棧的哪一層進行。有如協(xié)議棧的哪一層進行。有如下個四種不同的選擇。下個四種不同的選擇。以太網(wǎng)以太網(wǎng)MAC封裝。封裝。IP層封裝。層封裝。UDP封裝。封裝。TCP封裝。封裝。17 對于在以太網(wǎng)類型的對于在以太網(wǎng)類型的局域網(wǎng)局域網(wǎng)上傳輸存儲流量,并不需要使用上傳輸存儲流量,并不需要使用IP協(xié)議族。在以太網(wǎng)上定位一個接收節(jié)點的問題完全可以通過協(xié)議族。在以太網(wǎng)上定位一個接收節(jié)點的問題完
18、全可以通過以太網(wǎng)的以太網(wǎng)的MAC地址來解決。地址來解決。圖圖12-12 以太網(wǎng)層的隧道封裝以太網(wǎng)層的隧道封裝存儲負載存儲負載以太網(wǎng)幀以太網(wǎng)幀 以太網(wǎng)層封裝存在的一個難以太網(wǎng)層封裝存在的一個難題是題是如何為隧道存儲流量實現(xiàn)如何為隧道存儲流量實現(xiàn)流量控制流量控制。 使用以太網(wǎng)層的封裝,可使用以太網(wǎng)層的封裝,可以用以太網(wǎng)的本地地址方案來以用以太網(wǎng)的本地地址方案來使隧道擴展到單個和橋連接的使隧道擴展到單個和橋連接的以太網(wǎng)上。使用標準的以太網(wǎng)上。使用標準的IP路由路由設備是無法路由這類隧道流量設備是無法路由這類隧道流量的。的。1)以太網(wǎng))以太網(wǎng)MAC封裝封裝182)IP層封裝層封裝存儲負載存儲負載IP包
19、包以太網(wǎng)幀以太網(wǎng)幀圖圖12-13 IP層的隧道封裝層的隧道封裝IP封裝存儲可以使用標準的封裝存儲可以使用標準的IP網(wǎng)絡設網(wǎng)絡設備進行路由。正如以太網(wǎng),備進行路由。正如以太網(wǎng),IP自己并自己并不提供流量控制不提供流量控制,所以隧道協(xié)議必須,所以隧道協(xié)議必須事先流量控制。事先流量控制。3)UDP封裝封裝 UDP不提供流量控制和差錯恢復不提供流量控制和差錯恢復。然而然而UDP在提供簡單的傳輸機制上有在提供簡單的傳輸機制上有自己獨特的優(yōu)勢。對于自己獨特的優(yōu)勢。對于UDP來說,缺來說,缺乏流量控制和差錯恢復并不是一個很乏流量控制和差錯恢復并不是一個很大的問題,它的輕量型操作相對于大的問題,它的輕量型操作
20、相對于TCP來說,具有明顯的優(yōu)勢。如果終來說,具有明顯的優(yōu)勢。如果終端節(jié)點確實要進行差錯恢復,那么隧端節(jié)點確實要進行差錯恢復,那么隧道中的差錯恢復也并不是必須的。道中的差錯恢復也并不是必須的。存儲負載存儲負載IP包包UDP包包以太網(wǎng)幀以太網(wǎng)幀圖圖12-14 UDP隧道封裝隧道封裝19 TCP協(xié)議封裝是存儲封裝中最協(xié)議封裝是存儲封裝中最高層次的封裝。正如上面說討論的,高層次的封裝。正如上面說討論的,差錯恢復似乎應該在終端節(jié)點中處差錯恢復似乎應該在終端節(jié)點中處理,而不應該在隧道網(wǎng)關中處理。理,而不應該在隧道網(wǎng)關中處理。另外,在隧道中實現(xiàn)流量控制的代另外,在隧道中實現(xiàn)流量控制的代價也很高,尤其是當隧
21、道通過網(wǎng)橋價也很高,尤其是當隧道通過網(wǎng)橋和路由器時。和路由器時。4)TCP封裝封裝存儲負載存儲負載IP包包TCP數(shù)據(jù)流數(shù)據(jù)流以太網(wǎng)幀以太網(wǎng)幀圖圖12-15 TCP隧道封裝隧道封裝203. 光纖通道部件中隧道的變化光纖通道部件中隧道的變化以上我們討論了隧道的以太網(wǎng)以上我們討論了隧道的以太網(wǎng)/TCP/IP部分,現(xiàn)在討論如何開發(fā)光纖通部分,現(xiàn)在討論如何開發(fā)光纖通道實體。道實體。1)通過隧道到遠程設備的)通過隧道到遠程設備的N端口代理網(wǎng)關端口代理網(wǎng)關 光纖通道存儲隧道可以通過實現(xiàn)一個網(wǎng)關來創(chuàng)建,該網(wǎng)關在光纖通道網(wǎng)光纖通道存儲隧道可以通過實現(xiàn)一個網(wǎng)關來創(chuàng)建,該網(wǎng)關在光纖通道網(wǎng)絡中具有絡中具有N或或NL端
22、口。在這類型的設計當中,網(wǎng)關有一個本地地址,該地端口。在這類型的設計當中,網(wǎng)關有一個本地地址,該地址用于說明本地網(wǎng)絡的操作,例如端口登陸、環(huán)初始化等。從這方面看,址用于說明本地網(wǎng)絡的操作,例如端口登陸、環(huán)初始化等。從這方面看,網(wǎng)關為遠程光纖通道網(wǎng)絡的實體創(chuàng)建了一個虛擬的本地表示。網(wǎng)關為遠程光纖通道網(wǎng)絡的實體創(chuàng)建了一個虛擬的本地表示?!按泶怼边@這個術(shù)語用來表示網(wǎng)關的行為代表遠程設備和子系統(tǒng)。個術(shù)語用來表示網(wǎng)關的行為代表遠程設備和子系統(tǒng)。2122 本地和遠程網(wǎng)關形成了一個為遠程光纖通道網(wǎng)絡實體提供本地代理功能的本地和遠程網(wǎng)關形成了一個為遠程光纖通道網(wǎng)絡實體提供本地代理功能的分布式系統(tǒng)。代理的設
23、計有多種方法:網(wǎng)關可以提供某種層次的設備虛擬化,分布式系統(tǒng)。代理的設計有多種方法:網(wǎng)關可以提供某種層次的設備虛擬化,以幫助管理遠程設備和海量存儲能力。也可通過使所有期待的網(wǎng)絡操作相應以幫助管理遠程設備和海量存儲能力。也可通過使所有期待的網(wǎng)絡操作相應本地化的方法,將本地化的方法,將本地網(wǎng)關對所有的傳輸數(shù)據(jù)進行立即確認,而不用等到隧本地網(wǎng)關對所有的傳輸數(shù)據(jù)進行立即確認,而不用等到隧道中的操作完全結(jié)束道中的操作完全結(jié)束。 很明顯,對于上面的很明顯,對于上面的“欺騙欺騙”型網(wǎng)關來說,錯誤恢復是很難處理的。型網(wǎng)關來說,錯誤恢復是很難處理的。 使用代理的另一種方法稱為使用代理的另一種方法稱為“直通直通”機
24、制。在該機制中,代理在網(wǎng)絡實體機制。在該機制中,代理在網(wǎng)絡實體之間傳輸幀,不產(chǎn)生立即響應,而是之間傳輸幀,不產(chǎn)生立即響應,而是等到收到隧道另一端的實體發(fā)送的響應等到收到隧道另一端的實體發(fā)送的響應時它才產(chǎn)生響應時它才產(chǎn)生響應。使用這種類型的代理,絕對不會出現(xiàn)對為發(fā)送的數(shù)據(jù)提前。使用這種類型的代理,絕對不會出現(xiàn)對為發(fā)送的數(shù)據(jù)提前確認。從另一個角度看,等待遠程設備確認的過程會使系統(tǒng)性能下降。確認。從另一個角度看,等待遠程設備確認的過程會使系統(tǒng)性能下降。232)代理系統(tǒng)中的分區(qū))代理系統(tǒng)中的分區(qū) 在代理隧道中可以實現(xiàn)幾個區(qū)域變換。首先,可以根據(jù)原地址對幀進在代理隧道中可以實現(xiàn)幾個區(qū)域變換。首先,可以根
25、據(jù)原地址對幀進行過濾,以拒絕來自非成員區(qū)域的訪問區(qū)域幀,通過這種方法就能在網(wǎng)關行過濾,以拒絕來自非成員區(qū)域的訪問區(qū)域幀,通過這種方法就能在網(wǎng)關中建立起訪問區(qū)域。中建立起訪問區(qū)域。 提供分區(qū)代理通道網(wǎng)提供分區(qū)代理通道網(wǎng)關如圖關如圖12-18所示。該圖所示。該圖中的網(wǎng)關將三個不同類中的網(wǎng)關將三個不同類型的磁盤子系統(tǒng)表示為型的磁盤子系統(tǒng)表示為一個目標地址下的三個一個目標地址下的三個LUN。網(wǎng)關為每個。網(wǎng)關為每個LUN實現(xiàn)分區(qū),以隔離本地實現(xiàn)分區(qū),以隔離本地SAN中三個不同服務器中三個不同服務器的訪問。的訪問。244. 通過私有交換機和集線器端口的隧道通過私有交換機和集線器端口的隧道 使用隧道將光纖通
26、道使用隧道將光纖通道SAN連接到設備的另一種方式是使連接到設備的另一種方式是使用光纖通道交換機和集線器的特殊的用光纖通道交換機和集線器的特殊的“私有隧道端口私有隧道端口”,其基本思想是一個端口可以配制成具有特殊接口的功能,其基本思想是一個端口可以配制成具有特殊接口的功能,以允許該接口通過隧道網(wǎng)絡與遠程設備相連。以允許該接口通過隧道網(wǎng)絡與遠程設備相連。隧道端口可以直接傳送所有命令和地址,就好像遠程設備隧道端口可以直接傳送所有命令和地址,就好像遠程設備和子系統(tǒng)是本地的一樣。和子系統(tǒng)是本地的一樣。255. 創(chuàng)建具有通道的擴展創(chuàng)建具有通道的擴展SAN光纖交換機光纖交換機SAN到到SAN的隧道需要的隧道
27、需要一個網(wǎng)關功能,一個網(wǎng)關功能, SAN到到SAN的隧道網(wǎng)關通過一的隧道網(wǎng)關通過一個個E端口連接到光纖通道端口連接到光纖通道交換機相應的交換機相應的E端口。端口。E端口連接非常重要,因端口連接非常重要,因為它允許交換機通過隧為它允許交換機通過隧道提供諸如登陸、路由、道提供諸如登陸、路由、域名服務等網(wǎng)絡服務。域名服務等網(wǎng)絡服務。在隧道兩端的兩個在隧道兩端的兩個SAN可以本地管理,也可以可以本地管理,也可以向本地連接的交換機一向本地連接的交換機一樣,作為擴展的遠程光樣,作為擴展的遠程光纖的一部分進行工作。纖的一部分進行工作。266.擴展的擴展的SAN隧道標準隧道標準iFCP 一個在光纖通道網(wǎng)絡之間
28、擴展一個在光纖通道網(wǎng)絡之間擴展SAN到到SAN之間隧道的建之間隧道的建議標準叫做議標準叫做 iFCP。 iFCP的目的是為以太網(wǎng)的目的是為以太網(wǎng)/IP網(wǎng)絡上的光網(wǎng)絡上的光纖通道網(wǎng)絡實體提供光纖通道結(jié)構(gòu)。纖通道網(wǎng)絡實體提供光纖通道結(jié)構(gòu)。 iFCP使用以前討論過的擴展使用以前討論過的擴展SAN隧道模式,這個模式隧道模式,這個模式中的網(wǎng)關功能提供一個到光纖通道中的網(wǎng)關功能提供一個到光纖通道SAN的端口,并傳輸信的端口,并傳輸信息,這些信息通過以太網(wǎng)息,這些信息通過以太網(wǎng)/IP網(wǎng)絡上的光纖通道網(wǎng)絡上的光纖通道SAN進入另進入另一個網(wǎng)關。一般將光纖通道一個網(wǎng)關。一般將光纖通道SAN看作存儲體系中的中心實
29、看作存儲體系中的中心實體,將以太網(wǎng)體,將以太網(wǎng)/IP網(wǎng)絡看作是可以連接他們的外部網(wǎng)絡。然網(wǎng)絡看作是可以連接他們的外部網(wǎng)絡。然而,而,iFCP將以太網(wǎng)將以太網(wǎng)/IP看作是核心網(wǎng)絡,具有看作是核心網(wǎng)絡,具有SAN功能的功能的iFCP是將是將SAN存儲融入以太網(wǎng)存儲融入以太網(wǎng)/IP核心網(wǎng)絡的連接樞紐,如核心網(wǎng)絡的連接樞紐,如圖圖2-20所示。所示。2728通過光纖通道網(wǎng)絡以隧道的方式傳輸以太網(wǎng)通過光纖通道網(wǎng)絡以隧道的方式傳輸以太網(wǎng)/TCP/IP流量流量1. 為以太網(wǎng)為以太網(wǎng)/TCP/IP隧道選擇一個光纖通道隧道選擇一個光纖通道ULP2. 選擇幀或包選擇幀或包3. 通過通過FC-BBW在在ATM上進行
30、隧道傳輸上進行隧道傳輸FC-BBW 的全稱為光纖通道主干廣域網(wǎng)光纖通道主干廣域網(wǎng)(Fibre Chennel Backbone WAN)。FC-BBW的首要思想是在ATM或SONET廣域網(wǎng)上實現(xiàn)存儲流量。29 FC-BBW提供點到點的設施,讓光纖通道幀通過特定類型的端口進行傳輸,這類端口稱為B端口。流量從B端口進入FC-BBW網(wǎng)關,然后透明的傳輸?shù)搅硪粋€SAN。實際上,B端口在ATM和SONET網(wǎng)絡上提供交換機到交換機的連接。在ATM網(wǎng)絡上傳輸光纖通道流量有一些困難。問題的根源在于ATM具有必須遵從的高度結(jié)構(gòu)化的帶寬分配機制。終端節(jié)點根據(jù)期望的帶寬同ATM網(wǎng)絡中的交換機之間建立起服務“合同”,
31、終端節(jié)點不能超過它所訂立的帶寬限制。ATM網(wǎng)絡中的交換機可以根據(jù)網(wǎng)絡情況丟棄一些幀,以達到為已定義合同的會話保持穩(wěn)定流量的目的。為了保證在ATM上操作的一致性,終端系統(tǒng)通常使用稱為“整形”的機制,該機制對進入的數(shù)據(jù)進行緩存,并按照約定的傳輸速率向ATM網(wǎng)絡發(fā)送。ATM設備中使用的整形器并不足以解決存儲可能會產(chǎn)生的大量的突發(fā)流量。ATM幀的長度為53字節(jié),光纖通道幀的長度為2K字節(jié)。一個光纖通道幀的長度相當于40個ATM幀的長度。這意味著幀的分段和重組的任務非常繁重。 如果視頻網(wǎng)絡負載增加,交換機將會過載運行,從而產(chǎn)生更多的丟包。雖然視頻用戶不會覺察到時不時地丟包現(xiàn)象,存儲客戶會對丟包現(xiàn)象很敏感
32、,因為一個53字節(jié)信元的丟失將產(chǎn)生一個2000字節(jié)長的光纖通道差錯恢復幀。30本地以太網(wǎng)本地以太網(wǎng)/TCP/IP存儲網(wǎng)絡存儲網(wǎng)絡以太網(wǎng)以太網(wǎng)/TCP/IP網(wǎng)絡上本地運行,或者叫不封裝的運行存儲和協(xié)議也吸引了網(wǎng)絡上本地運行,或者叫不封裝的運行存儲和協(xié)議也吸引了工業(yè)界相當?shù)淖⒁饬Α4鎯λ淼篮捅镜匾蕴W(wǎng)工業(yè)界相當?shù)淖⒁饬?。存儲隧道和本地以太網(wǎng)/TCP/IP存儲網(wǎng)絡的需求很相存儲網(wǎng)絡的需求很相似,它們之間也有很大的不同。似,它們之間也有很大的不同。在以太網(wǎng)在以太網(wǎng)/TCP/IP網(wǎng)絡上進行隧道存儲和本地存儲最首要的不同在于隧道存網(wǎng)絡上進行隧道存儲和本地存儲最首要的不同在于隧道存儲中以太網(wǎng)儲中以太網(wǎng)/TC
33、P/IP協(xié)議并不是在存儲終端節(jié)點所在的網(wǎng)絡上運行。在以太協(xié)議并不是在存儲終端節(jié)點所在的網(wǎng)絡上運行。在以太網(wǎng)網(wǎng)/TCP/IP存儲網(wǎng)絡中,以太網(wǎng)存儲網(wǎng)絡中,以太網(wǎng)/TCP/IP協(xié)議必須在存儲終端節(jié)點所在的網(wǎng)協(xié)議必須在存儲終端節(jié)點所在的網(wǎng)絡上。絡上。差錯恢復和流量控制并不一定要在存儲隧道中提供,但在本地以太網(wǎng)差錯恢復和流量控制并不一定要在存儲隧道中提供,但在本地以太網(wǎng)/TCP/IP存儲中卻是必須的。存儲中卻是必須的。4. 在在DWDM網(wǎng)絡上實現(xiàn)隧道傳輸網(wǎng)絡上實現(xiàn)隧道傳輸存儲隧道的另一個演變是在密集波分復用(存儲隧道的另一個演變是在密集波分復用(DWDM)網(wǎng)絡上傳輸光纖通)網(wǎng)絡上傳輸光纖通道流量。道流
34、量。DWDM是一個新的網(wǎng)絡技術(shù),主要用來充分利用城市區(qū)域里存是一個新的網(wǎng)絡技術(shù),主要用來充分利用城市區(qū)域里存在的一些沒有使用的光纖線纜。在的一些沒有使用的光纖線纜。31本地局域存儲網(wǎng)絡本地局域存儲網(wǎng)絡存儲存儲I/O通常非??焖伲⒁蟮偷难舆t。一個通常非??焖伲⒁蟮偷难舆t。一個100兆的以太網(wǎng)鏈路的傳輸兆的以太網(wǎng)鏈路的傳輸速率大概是光纖通道網(wǎng)絡十分之一。因此,本地局域存儲網(wǎng)絡最好建立在速率大概是光纖通道網(wǎng)絡十分之一。因此,本地局域存儲網(wǎng)絡最好建立在千兆以太網(wǎng)的基礎上。千兆以太網(wǎng)的基礎上。可選的本地廣域存儲網(wǎng)可選的本地廣域存儲網(wǎng)可選的本地廣域存儲網(wǎng)可以構(gòu)建在不同的物理網(wǎng)絡部件上,包括可選的本
35、地廣域存儲網(wǎng)可以構(gòu)建在不同的物理網(wǎng)絡部件上,包括IP網(wǎng)絡路由器和網(wǎng)絡路由器和ATM及及SONET骨干網(wǎng)的接口設備。骨干網(wǎng)的接口設備。因為廣域存儲連接被視為推動以太網(wǎng)因為廣域存儲連接被視為推動以太網(wǎng)/TCP/IP存儲網(wǎng)絡發(fā)展的首要存儲網(wǎng)絡發(fā)展的首要力量之一,雖然本地力量之一,雖然本地TCP/IP存儲網(wǎng)絡并不需要廣域部件,但是在存儲網(wǎng)絡并不需要廣域部件,但是在將來它可能會變的很普遍。將來它可能會變的很普遍。用于存儲網(wǎng)絡連接的千兆以太網(wǎng)特性用于存儲網(wǎng)絡連接的千兆以太網(wǎng)特性32以太網(wǎng)以太網(wǎng)/TCP/IP網(wǎng)絡中的延遲問題網(wǎng)絡中的延遲問題 以太網(wǎng)以太網(wǎng)/TCP/IP網(wǎng)絡用于存儲網(wǎng)絡的一個弱點是使它具有較大
36、的延遲。延網(wǎng)絡用于存儲網(wǎng)絡的一個弱點是使它具有較大的延遲。延遲來自兩個方面:第一個是終端節(jié)點系統(tǒng)(或子系統(tǒng))進行遲來自兩個方面:第一個是終端節(jié)點系統(tǒng)(或子系統(tǒng))進行協(xié)議處理的延遲協(xié)議處理的延遲,第二是第二是交換延遲交換延遲。TCP/IP協(xié)議族的特性協(xié)議族的特性虛擬局域網(wǎng)虛擬局域網(wǎng)對于存儲網(wǎng)絡來說,對于存儲網(wǎng)絡來說,分開存儲和服務器分開存儲和服務器之間的流量的功能之間的流量的功能很重要。以太網(wǎng)并很重要。以太網(wǎng)并不包括分區(qū),但它不包括分區(qū),但它卻有虛擬局域網(wǎng),卻有虛擬局域網(wǎng),或者簡稱為或者簡稱為VLAN。VLAN用來在以太用來在以太網(wǎng)中分開交換機之網(wǎng)中分開交換機之間的訪問和流量。間的訪問和流量。3
37、3 處理處理TCP算法的性能算法的性能本地以太網(wǎng)本地以太網(wǎng)/TCP/IP存儲網(wǎng)絡最主要的問題是如何處理可能存儲網(wǎng)絡最主要的問題是如何處理可能用到的用到的TCP進程。進程。TCP的很多差錯恢復和流量控制的算法的很多差錯恢復和流量控制的算法軟件進程在主機系統(tǒng)中運行。這些軟件進程在主機系統(tǒng)中運行。這些TCP算法包括計算發(fā)送算法包括計算發(fā)送和接收和接收TCP段的合適大小,計算發(fā)送數(shù)據(jù)校驗和。另外,段的合適大小,計算發(fā)送數(shù)據(jù)校驗和。另外,在數(shù)據(jù)經(jīng)過協(xié)議棧時,在數(shù)據(jù)經(jīng)過協(xié)議棧時,TCP進程不得不進行幾次內(nèi)存拷貝,進程不得不進行幾次內(nèi)存拷貝,這對延遲和性能也造成了附加的影響。這對延遲和性能也造成了附加的影響
38、。TCP的這些性能考慮不僅適用于本地以太網(wǎng)的這些性能考慮不僅適用于本地以太網(wǎng)/TCP/IP存儲網(wǎng)存儲網(wǎng)絡,這些網(wǎng)絡中的存儲子系統(tǒng)也必須實現(xiàn)絡,這些網(wǎng)絡中的存儲子系統(tǒng)也必須實現(xiàn)TCP/IP協(xié)議棧。協(xié)議棧。所以,需要研究一種新型的以太網(wǎng)所以,需要研究一種新型的以太網(wǎng)/TCP/IP存儲存儲I/O控制器,控制器,以足夠的性能支持存儲中可能用到的眾多應用程序。以足夠的性能支持存儲中可能用到的眾多應用程序。34網(wǎng)絡協(xié)議處理器網(wǎng)絡協(xié)議處理器為了適應更高效的為了適應更高效的TCP處理的要求,需要開發(fā)特殊的以太網(wǎng)處理的要求,需要開發(fā)特殊的以太網(wǎng)/TCP/IP協(xié)議處理器,它將協(xié)議處理器,它將TCP處理的負擔放置在
39、網(wǎng)絡接口卡處理的負擔放置在網(wǎng)絡接口卡和存儲和存儲I/O控制器上??刂破魃?。iSCSI目前,以太網(wǎng)目前,以太網(wǎng)/TCP/IP存儲網(wǎng)絡在工業(yè)上的最重要的存儲協(xié)存儲網(wǎng)絡在工業(yè)上的最重要的存儲協(xié)議叫做議叫做iSCSI,iSCSI用來在以太網(wǎng)用來在以太網(wǎng)/TCP/IP網(wǎng)絡上傳輸網(wǎng)絡上傳輸TCP的凈負荷數(shù)據(jù)。的凈負荷數(shù)據(jù)。iSCSI使用已有的串行標準。使用已有的串行標準。在相當長的一段時間內(nèi),處理以太網(wǎng)或在相當長的一段時間內(nèi),處理以太網(wǎng)或TCP/IP存儲的存儲的I/O控制,都面臨能力不足的問題。由于存儲器的性能不可控制,都面臨能力不足的問題。由于存儲器的性能不可能大幅增長,所以對接口處理器的要求就更加嚴酷
40、。能大幅增長,所以對接口處理器的要求就更加嚴酷。35概述概述 (一)(一) 在網(wǎng)絡時代,存儲技術(shù)和網(wǎng)絡技術(shù)不可分割地結(jié)合在一起,實現(xiàn)對數(shù)字信息的anytime(時)和anywhere(空)的傳播。通過網(wǎng)絡實現(xiàn)高速大容量的信息存取成為當前信息存儲技術(shù)研究的熱點之一。iSCSI互連網(wǎng)SCSI技術(shù)36概述(二)概述(二) 目前大多數(shù)中小企業(yè)都建立了以TCP/IP協(xié)議為基礎的網(wǎng)絡環(huán)境。iSCSI概念的出現(xiàn)為他們提供了一條新的途徑。iSCSI可以在IP網(wǎng)絡上應用SCSI的功能,為眾多中小企業(yè)對經(jīng)濟合理和便于管理的存儲設備提供了直接訪問的能力。37什么是什么是iSCSI iSCSI是由IBM下屬的兩大研發(fā)
41、機構(gòu)加利福尼亞Almaden和以色列Haifa研究中心共同開發(fā)的,是一個供硬件設備使用的可以在IP協(xié)議上層運行的SCSI指令集。這種技術(shù)是一種通過IP來傳輸SCSI存儲協(xié)議的新標準。38圖示圖示iSCSI的概念的概念 39iSCSI的結(jié)構(gòu)(一)的結(jié)構(gòu)(一) iSCSI產(chǎn)品開發(fā)的兩條路徑產(chǎn)品開發(fā)的兩條路徑: 一, 以iSCSI存儲應用為基礎,包括嵌入式存儲和利用iSCSI技術(shù)直接連接到IP網(wǎng)絡的存儲設備; 二, 開發(fā)一種網(wǎng)關,它利用iSCSI技術(shù)并提供了對光纖通道SAN的擴展,用于連接SAN環(huán)境用戶和IP環(huán)境用戶,這些網(wǎng)關并不包含內(nèi)部存儲。40iSCSI的結(jié)構(gòu)(二)的結(jié)構(gòu)(二)上述每一種都提供了
42、三個獨立的部分:(1)啟動者: 駐留在client中的設備驅(qū)動程序。負責截取SCSI命令,用TCP/IP包裝,經(jīng)IP網(wǎng)絡路由提供目標設備存取。(2)目標軟件: 該軟件從IP網(wǎng)絡接受iSCSI命令, 也能提供配置、存儲管理和其他能力的支持。(3)目標硬件:可以是包含內(nèi)部存儲的存儲設備或者是自身沒有內(nèi)部存儲的網(wǎng)關,但是擴展了SAN在IP網(wǎng)絡上的應用。41IBM公司的公司的iSCSI結(jié)構(gòu)結(jié)構(gòu) 42Cisco公司的公司的iSCSI結(jié)構(gòu)結(jié)構(gòu) 43iSCSI的運作過程的運作過程 (一)(一) iSCSI協(xié)議是以TCP/IP協(xié)議為基礎的,它是SCSI遠程程序調(diào)用模型在TCP協(xié)議頂層的映射。 啟動者和目標把它
43、們的通信劃分為消息。連結(jié)一個啟動者和一個目標的一組TCP連接形成了一個會話(session)。 iSCSI是面向連接的,其傳輸方向與啟動者定義相一致。44iSCSI的運作過程的運作過程 (二)(二) 一個iSCSI 會話隨著一個iSCSI啟動者連接到iSCSI目標開始,并且執(zhí)行iSCSI注冊。 注冊在啟動者和目標之間產(chǎn)生一個持久穩(wěn)定的狀態(tài),包括啟動者和目標認證,會話安全證書授權(quán),會話選擇參數(shù)等。 一旦注冊完成,啟動者可由iSCSI協(xié)議通過它的TCP連接發(fā)布SCSI包, TCP連接在iSCSI 協(xié)議數(shù)據(jù)單元(PDU)中攜帶了控制消息SCSI 命令參數(shù)和數(shù)據(jù)。45iSCSI的運作過程的運作過程 (
44、三)(三) TCP連接由iSCSI目標執(zhí)行。iSCSI目標對于每一個經(jīng)過同樣TCP連接的命令必須返回一個狀態(tài)響應,包括實際的目標設備的完成狀態(tài)和它自身的會話狀態(tài)。 當TCP會話關閉時,一個iSCSI會話即告終止。46iSCSI命名和尋址命名和尋址 (一)(一) 在iSCSI中的實體是iSCSI節(jié)點。一個iSCSI節(jié)點可以是一個啟動者/一個目標/或兩者都是。 每一個啟動者或目標都由全球范圍的唯一標識( WWUI)識別。 一個iSCSI名必須是一個UTF-8編碼的統(tǒng)一字符編碼標準字符串,由兩部分組成,一個類型指示后面跟隨一個唯一的名稱。47iSCSI命名和尋址命名和尋址 (二)(二) 除名稱外,i
45、SCSI目標也有地址。 一個iSCSI地址指明了到一個iSCSI目標的單一路徑。例如 domain-name:/WWUI 其中 domain-name是Ipv4地址/Ipv6地址/(HOST名)。對于iSCSI目標,地址中的是可選的。對于iSCSI啟動者,端口可省略。48iSCSI的安全性和完整性的安全性和完整性 (一)(一) 注冊處理時,啟動者和目標之間要建立安全交換機制。iSCSI協(xié)議支持以下幾種選擇方案: 不安全 啟動者和目標認證 數(shù)據(jù)完整性和認證 加密49iSCSI的安全性和完整性(二)的安全性和完整性(二) iSCSI執(zhí)行機制必須必須提供保護手段抵御主動的攻擊(冒充合法身份,消息的插入、刪除和修改)。 iSCSI執(zhí)行機制可以可以提供保護手段抵御被動的攻擊(偷聽,由分析通過線路送出的數(shù)據(jù)而獲益)。50iSCSI的協(xié)議數(shù)據(jù)單元(
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五版工業(yè)地皮購置與交易全程稅務籌劃合同3篇
- 二零二五年教育培訓機構(gòu)兼職教師雇傭協(xié)議書3篇
- 蘇州工業(yè)園區(qū)服務外包職業(yè)學院《電液控制工程》2023-2024學年第一學期期末試卷
- 二零二五版生態(tài)環(huán)保型建筑材料銷售合同3篇
- 二零二五年度定制化餐盒包裝解決方案合同3篇
- 2025年度高新技術(shù)企業(yè)研發(fā)項目財務擔保合同會計處理細則3篇
- 2024版茶樓活動策劃合同2篇
- 二零二五年服裝店導購員培訓與激勵合同范本3篇
- 山西鐵道職業(yè)技術(shù)學院《矯正社會工作》2023-2024學年第一學期期末試卷
- 廈門海洋職業(yè)技術(shù)學院《創(chuàng)意表現(xiàn)圖案》2023-2024學年第一學期期末試卷
- 公路工程施工現(xiàn)場安全檢查手冊
- 公司組織架構(gòu)圖(可編輯模版)
- 1汽輪機跳閘事故演練
- 陜西省銅川市各縣區(qū)鄉(xiāng)鎮(zhèn)行政村村莊村名居民村民委員會明細
- 禮品(禮金)上交登記臺賬
- 北師大版七年級數(shù)學上冊教案(全冊完整版)教學設計含教學反思
- 2023高中物理步步高大一輪 第五章 第1講 萬有引力定律及應用
- 青少年軟件編程(Scratch)練習題及答案
- 浙江省公務員考試面試真題答案及解析精選
- 系統(tǒng)性紅斑狼瘡-第九版內(nèi)科學
- 全統(tǒng)定額工程量計算規(guī)則1994
評論
0/150
提交評論