從傳統(tǒng)數據傳輸到大數據傳輸

1、從傳統(tǒng)數據傳輸到大數據傳輸從傳統(tǒng)數據傳輸到大數據傳輸 胡臻偉胡臻偉 115034910085115034910085 李宗桓李宗桓 115034910089115034910089 朱佳俊朱佳俊 115036910047115036910047 20152015年年1111月月數據傳輸的背景數據傳輸的背景2022-5-1數據傳輸的定義：數據傳輸的定義：依照適當的規(guī)程，經過一條或多條鏈路，在數據源和數據宿之間傳送數據的過程。也表示借助信道上的信號將數據從一處送往另一處的操作。數據傳輸的歷史數據傳輸的歷史現代最早的電傳輸應用：現代最早的電傳輸應用：電報（電報（18091809） 電傳打字機（電傳打

2、字機（19061906） 2022-5-1數據傳輸的發(fā)展數據傳輸的發(fā)展2022-5-1電路交換電路交換2022-5-1電路交換的特點電路交換的特點1、信息傳送的最小單位是時隙；2、面向連接；3、同步時分復用；4、信息傳送無差錯控制；5、基于呼叫損失的流量控制；6、信息具有透明性。電路交換的特征:(電路交換中電路可能是固定存在的，也可以是根據需要建立的。)2022-5-1分組交換分組交換2022-5-1分組交換的分組交換的 特點特點2022-5-1（1）信息傳送的最小單位是分組（2）面向連接（邏輯連接）和無連接兩種工作方式（3）統(tǒng)計時分復用（動態(tài)分配帶寬）（4）信息傳送為有差錯控制（5）信息傳送

3、不具有透明性（6） 基于呼叫延遲制的流量控制報文交換報文交換2022-5-1報文交換的特點報文交換的特點2022-5-1（1）“存儲轉發(fā)”；（2）不獨占線路，多個用戶的數據可以通過存儲和排隊共享一條線路；（3）無線路建立的過程，提高了線路的利用率；（4）可以支持多點傳輸（一個報文傳輸給多個用戶，在報文中增加“地址字段”，中間結點根據地址字段進行復制和轉發(fā)）；（5）中間結點可進行數據格式的轉換，方便接收站點的收??；（6）增加了差錯檢測功能，避免出錯數據的無謂傳輸等。三種交換的比較三種交換的比較2022-5-1若要傳送的數據量很大，且其傳送時間遠大于呼叫時間，則采用電路交換較為合適；當端到端的通路

4、有很多段的鏈路組成時，采用分組交換傳送數據較為合適。從提高整個網絡的信道利用率上看，報文交換和分組交換優(yōu)于電路交換，其中分組交換比報文交換的時延小，尤其適合于計算機之間的突發(fā)式的數據通信。三種光交換技術三種光交換技術光路交換光路交換OCS(Optical Circuit SwitchingOCS(Optical Circuit Switching）光分組交換光分組交換OPS(Optical Packet SwitchingOPS(Optical Packet Switching）光突發(fā)交換光突發(fā)交換OBS(Optical Burst Switching).OBS(Optical Burst S

5、witching).2022-5-1OCS網絡需要為每一個連接請求建立從源端到目的地端的光路（每一個鏈路上均需要分配一個專業(yè)波長）。交換過程共分三個階段：交換過程共分三個階段：鏈路建立階段是雙向的帶寬申請過程，需要經過請求與應答確認兩個處理過程。鏈路保持階段，鏈路始終被通信雙方占用，不允許其他通信方共享該鏈路。鏈路拆除階段，任意一方首先發(fā)出斷開信號，另一方收到斷開信號后進行確認，資源就被真正釋放。2022-5-1OPSOPS是一種不面向連接的交換方式，采用單向預約機制，在進行數據傳輸前不需要建立路由、分配資源。分組凈荷緊跟分組頭在相同光路中傳輸，網絡節(jié)點需要緩存凈荷，等待帶分組目的地的分組頭的

6、處理，以確定路由。存在兩個近期內難以克服的障礙：一是光緩存器技術還不成熟；二是在OPS交換節(jié)點處，多個輸入分組的精確同步難以實現。因此光分組交換難于在短時間內實現。2022-5-1OBS特點是數據分組和控制分組獨立傳送，在時間上和特點是數據分組和控制分組獨立傳送，在時間上和信道信道上都是分離的，它采用單向資源預留機制，以上都是分離的，它采用單向資源預留機制，以光突發(fā)作為最小的交換單元光突發(fā)作為最小的交換單元2022-5-1BHC OF THE OBS2022-5-1BHC的內容的內容突發(fā)的目的節(jié)點突發(fā)的大小信道標識 t的大小2022-5-1OBS的基本想法的基本想法目標:利用BHC來避免光緩沖

7、通過BHC進行資源預定核心節(jié)點預先進行信道分配，BHC傳遞提點準備信道按時釋放資源2022-5-1一些實驗一些實驗日本NTT的JGN Keihanna試驗床，光突發(fā)網絡有6個節(jié)點，Keihana設置了5個節(jié)點，Osaka放置一個節(jié)點，兩地距離63km。試驗提出了OBS的六個設計參數，設計的保證突發(fā)損失率小于10-6，突發(fā)交換時間在20ms以內，在200km距離時的最大網絡流量達90，有126km的現場試驗。2022-5-1一些實驗一些實驗北京郵電大學實現了光突發(fā)交換核心和邊緣路由器系統(tǒng)及網絡實驗床。OBS試驗床由一個核心路由器和2個邊緣路由器組成，控制信道為1310nm 的125Gbps，數據

8、為100GHz間隔的DWDM系統(tǒng)，有8個波道，速率125Gbps，用戶接口8FE+4GE。OXC采用SOA方式。首次進行了OBS上的TCP傳輸性能的試驗和觀察，證實OBS層有許多因素都會影響TCP傳輸性能。2022-5-1OBS現狀現狀實際應用中目前由于光/電/光技術相當成熟，而OBS還需要提前注入BHC會加大計算復雜度等等實際問題，現如今仍沒有得到實際的應用。2022-5-1大數據傳輸問題大數據傳輸問題 現在有很多數據量很大的科學或商業(yè)的應用，傳統(tǒng)電路現在有很多數據量很大的科學或商業(yè)的應用，傳統(tǒng)電路交換的特點穩(wěn)定，但是其要求足夠可用的帶寬。而大數據的交換的特點穩(wěn)定，但是其要求足夠可用的帶寬。

9、而大數據的特點是對時延不是很敏感，但是占用網絡資源卻很大。特點是對時延不是很敏感，但是占用網絡資源卻很大。直通轉發(fā)式直通轉發(fā)式 在通信網絡的拓撲結構中，我們對比數據流在節(jié)點中傳在通信網絡的拓撲結構中，我們對比數據流在節(jié)點中傳輸有兩種方式，直通轉發(fā)和存儲轉發(fā)。輸有兩種方式，直通轉發(fā)和存儲轉發(fā)。 直通轉發(fā)（直通轉發(fā)（end to endend to end），是最快速的轉發(fā)方式，得知），是最快速的轉發(fā)方式，得知數據流的目的地址，就會從源節(jié)點到目的節(jié)點逐字節(jié)轉發(fā)數數據流的目的地址，就會從源節(jié)點到目的節(jié)點逐字節(jié)轉發(fā)數據。據。直通轉發(fā)的不足直通轉發(fā)的不足 在一般光路交換中，對于每個請求，直通轉發(fā)需要在一

10、般光路交換中，對于每個請求，直通轉發(fā)需要提供在源節(jié)點和目的節(jié)點中的可用的路徑，如果此時提供在源節(jié)點和目的節(jié)點中的可用的路徑，如果此時所有可能的路徑被占用即帶寬滿足不了需求，就會導所有可能的路徑被占用即帶寬滿足不了需求，就會導致該請求被丟失。致該請求被丟失。存儲轉發(fā)式存儲轉發(fā)式 存儲轉發(fā)（存儲轉發(fā)（store and forwardstore and forward），廣泛使用于計），廣泛使用于計算機網絡，交換機的控制器先將輸入端口到來的數據算機網絡，交換機的控制器先將輸入端口到來的數據包緩存起來，先檢查數據包是否正確，并過濾掉沖突包緩存起來，先檢查數據包是否正確，并過濾掉沖突包錯誤。確定包正確

11、后，取出目的地址，通過查找表包錯誤。確定包正確后，取出目的地址，通過查找表找到想要發(fā)送的輸出端口地址，然后將該包發(fā)送出去找到想要發(fā)送的輸出端口地址，然后將該包發(fā)送出去。相比較于直通轉發(fā)，存儲轉發(fā)在對時延不敏感而占。相比較于直通轉發(fā)，存儲轉發(fā)在對時延不敏感而占據帶寬敏感的大數據傳輸方面更為有效。據帶寬敏感的大數據傳輸方面更為有效。光交換中存儲轉發(fā)的模型圖：即在網絡中的一些節(jié)光交換中存儲轉發(fā)的模型圖：即在網絡中的一些節(jié)點中加入輔助存儲，可以用一些網絡結構來仿真這點中加入輔助存儲，可以用一些網絡結構來仿真這種模型。種模型。一種網絡的拓撲結構一種網絡的拓撲結構NSFNET 美國國家科學基金會（美國國家

12、科學基金會（NSFNSF）在全美國建立了）在全美國建立了6 6個個超級計算機中心，經發(fā)展成一塊網絡結構。這個模型超級計算機中心，經發(fā)展成一塊網絡結構。這個模型包含包含1414個節(jié)點和個節(jié)點和2121條鏈路。條鏈路。引入存儲轉發(fā)的應用和帶來的好處引入存儲轉發(fā)的應用和帶來的好處電路交換中的好處：電路交換中的好處： 1. 1.增加網絡的吞吐能力，即傳輸的數據量大小增加網絡的吞吐能力，即傳輸的數據量大小 2. 2.減少請求的阻塞率減少請求的阻塞率時移提前預約時移提前預約 時移提前預約時移提前預約(Time-shift advance reservation)(Time-shift advance re

13、servation)技術，是存儲轉發(fā)的一種形式，對于傳統(tǒng)的光路交換技術，是存儲轉發(fā)的一種形式，對于傳統(tǒng)的光路交換，放寬了它在時間上的限制，在中間節(jié)點采用了輔助，放寬了它在時間上的限制，在中間節(jié)點采用了輔助存儲，提高了網絡利用率，也減少了請求的阻塞率。存儲，提高了網絡利用率，也減少了請求的阻塞率。 時移提前預約時移提前預約時移電路交換時移電路交換 時移電路交換（時移電路交換（Time shift circuit switchingTime shift circuit switching）也是存儲轉發(fā)的一種形式，它提供了一種動態(tài)最優(yōu)化也是存儲轉發(fā)的一種形式，它提供了一種動態(tài)最優(yōu)化的技術，鏈路可以隨

14、著時間而改變，而網絡吞吐量可的技術，鏈路可以隨著時間而改變，而網絡吞吐量可以隨著緩沖區(qū)大小進行調節(jié)。以隨著緩沖區(qū)大小進行調節(jié)。 分組交換中引入輔助存儲的好處：分組交換中引入輔助存儲的好處： 1. 1.減小大數據傳輸的開銷減小大數據傳輸的開銷 2. 2.減小大數據傳輸的時間減小大數據傳輸的時間 3. 3.提高大數據傳輸的網路利用率提高大數據傳輸的網路利用率 4. 4.減少網絡峰值流量（平衡網絡流量）減少網絡峰值流量（平衡網絡流量）存儲轉發(fā)減少開銷存儲轉發(fā)減少開銷和流量峰值和流量峰值 在大數據傳輸過程中，中間節(jié)點作為數據中心，在大數據傳輸過程中，中間節(jié)點作為數據中心，把到達的請求存儲下來，之后轉發(fā)

15、可以減小流量峰值把到達的請求存儲下來，之后轉發(fā)可以減小流量峰值。同時由于存儲，可以等待目前被占線的鏈接通暢之。同時由于存儲，可以等待目前被占線的鏈接通暢之后選擇最優(yōu)化開銷的路徑進行傳輸。后選擇最優(yōu)化開銷的路徑進行傳輸。存儲轉發(fā)的缺點存儲轉發(fā)的缺點 根據存儲轉發(fā)的一些特點，可以看到存儲轉發(fā)根據存儲轉發(fā)的一些特點，可以看到存儲轉發(fā)所能提供的特點還是很具有誘惑力的，也很完善，所能提供的特點還是很具有誘惑力的，也很完善，但是存儲轉發(fā)有一個致命的弱點就是速度問題。存但是存儲轉發(fā)有一個致命的弱點就是速度問題。存儲轉發(fā)交換方式的數據處理時延時較大，主要原因儲轉發(fā)交換方式的數據處理時延時較大，主要原因輸入輸出

16、端都要經過串并轉換，這樣繁瑣的過程會輸入輸出端都要經過串并轉換，這樣繁瑣的過程會影響響應速度，也就造成了高延遲的現象。影響響應速度，也就造成了高延遲的現象。存儲轉發(fā)的一些問題存儲轉發(fā)的一些問題 對于稍微復雜的網絡拓撲結構來說，它的節(jié)點數對于稍微復雜的網絡拓撲結構來說，它的節(jié)點數較多，節(jié)點之間的鏈路也很多，具有一定的算法復雜較多，節(jié)點之間的鏈路也很多，具有一定的算法復雜度。我們要分清在某個節(jié)點到底是存儲還是轉發(fā)，需度。我們要分清在某個節(jié)點到底是存儲還是轉發(fā)，需要更進一步的研究。要更進一步的研究。時移多層圖時移多層圖 對于存儲轉發(fā)，在每個節(jié)點存儲還是轉發(fā)的問題，我們對于存儲轉發(fā)，在每個節(jié)點存儲還是

17、轉發(fā)的問題，我們提出了一個時移多層圖提出了一個時移多層圖(Time-shift Mutli Layer Graph) (Time-shift Mutli Layer Graph) 作作為處理存儲轉發(fā)過程中統(tǒng)籌的辦法，可以幫助解決在有輔助為處理存儲轉發(fā)過程中統(tǒng)籌的辦法，可以幫助解決在有輔助存儲的光網絡中大數據傳輸的路由和調度問題。存儲的光網絡中大數據傳輸的路由和調度問題。對于網絡來說，有時候兩個節(jié)點之間被其它請求所對于網絡來說，有時候兩個節(jié)點之間被其它請求所占用，即這個鏈路被阻塞了。對于研究來說我們需占用，即這個鏈路被阻塞了。對于研究來說我們需要一定的判斷方法。要一定的判斷方法。時移多層圖時移多

18、層圖 用時移多層圖來表示時間域和空間域對每個請求用時移多層圖來表示時間域和空間域對每個請求的處理情況。時移多層圖每層是隨著每個請求到達而的處理情況。時移多層圖每層是隨著每個請求到達而新產生。新產生。 時移多層圖就是網絡在不同時間點的快照，時移多層圖就是網絡在不同時間點的快照，我們把它堆疊起來，形成一種空間圖，因此也可以我們把它堆疊起來，形成一種空間圖，因此也可以說我們用時移多層圖把存儲轉發(fā)具體化了，由圖在說我們用時移多層圖把存儲轉發(fā)具體化了，由圖在一個水平面內的鏈路我們認為是空間鏈路，它就是一個水平面內的鏈路我們認為是空間鏈路，它就是實際的鏈路，而縱向的鏈路認為是時間鏈路，當請實際的鏈路，而縱

19、向的鏈路認為是時間鏈路，當請求在時間鏈路傳輸時可以認為請求在該節(jié)點存儲了求在時間鏈路傳輸時可以認為請求在該節(jié)點存儲了一段時間?？梢钥吹?，在對一個請求傳輸時，多層一段時間?？梢钥吹?，在對一個請求傳輸時，多層圖使用了多少層數，即發(fā)生了多少次的存儲轉發(fā)。圖使用了多少層數，即發(fā)生了多少次的存儲轉發(fā)。網絡中的請求網絡中的請求 對于網路中的每個請求，我們可以用一個數組表示對于網路中的每個請求，我們可以用一個數組表示它的特征。它的特征。 R=(s,d,BW,F,D) R=(s,d,BW,F,D)s=source node d=destination nodes=source node d=destinati

20、on nodeBW=bandwith F=size of the request BW=bandwith F=size of the request D=duration F=BWD=duration F=BW* *D D請求的處理請求的處理 對于時移多層圖對于時移多層圖G G，我們抽象建立出一個輔助多層我們抽象建立出一個輔助多層圖圖G,G,假設假設R=(s,d,BW,F,D)R=(s,d,BW,F,D)在在t t時刻到達網絡。時刻到達網絡。 當多層圖當多層圖G G每個空間上的鏈接空閑帶寬每個空間上的鏈接空閑帶寬BW,BW,把這把這個鏈路加到個鏈路加到GG里。里。 當當G G每個時間上的鏈路空

21、閑存儲每個時間上的鏈路空閑存儲F,F,把這個鏈路加把這個鏈路加到到GG里。里。 如果如果GG里的鏈路空閑時間里的鏈路空閑時間D,D,則刪掉這個鏈路。則刪掉這個鏈路。 請求的處理請求的處理 以路由的標準，可以把以路由的標準，可以把GG里面的每個鏈路都定義一個里面的每個鏈路都定義一個開銷。開銷。 用路由算法從源節(jié)點和目的節(jié)點找到一條最短路徑。用路由算法從源節(jié)點和目的節(jié)點找到一條最短路徑。 如果沒有可用的路徑，就把請求如果沒有可用的路徑，就把請求R R拒絕。（阻塞）拒絕。（阻塞） 路由算法路由算法 路由算法，算法的目的是找到一條從源路由器到目路由算法，算法的目的是找到一條從源路由器到目的路由器的的路

22、由器的最低開銷的路徑，存在多種路由算法，比最低開銷的路徑，存在多種路由算法，比 如迪杰斯特拉最短路徑算法（如迪杰斯特拉最短路徑算法（DijkstrasDijkstrasshortest path algorithmshortest path algorithm），它的算法復雜度可為），它的算法復雜度可為O(VO(V），而弗洛伊德算法（），而弗洛伊德算法（Floyd-Warshall Floyd-Warshall algorithmalgorithm），算法復雜度則是），算法復雜度則是0(V0(V）。）。網絡的拓撲結構網絡的拓撲結構 NSFNET NSFNET（Nation Science Foundation Network) Nation Science Foundation Network) 1414個節(jié)點個節(jié)點 2121條鏈路。條鏈路。 此外還有：此外還有： 泛歐光網絡泛歐光網絡( (Opti