未來網絡白皮書:確定性網絡技術體系白皮書(2021版)_第1頁
未來網絡白皮書:確定性網絡技術體系白皮書(2021版)_第2頁
未來網絡白皮書:確定性網絡技術體系白皮書(2021版)_第3頁
未來網絡白皮書:確定性網絡技術體系白皮書(2021版)_第4頁
未來網絡白皮書:確定性網絡技術體系白皮書(2021版)_第5頁
已閱讀5頁,還剩28頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

未來網絡白皮書:確定性網絡技術體系白皮書(2021版)一、確定性網絡背景1.1

確定性網絡概念和特征到

2020

年全球

IP網絡接

入設備達

263

億,其中工業(yè)和機器連接達

122

億,相當于總連接設備的一半,同時高清和超高清互聯(lián)網視頻約全球互聯(lián)網流量的

60%。激增的數(shù)據(jù)業(yè)務帶來了大量的擁塞崩潰、數(shù)據(jù)分組延遲、遠程傳輸抖動,傳統(tǒng)以太網用“盡力而為”的方式傳輸數(shù)據(jù),只能將端到端的時延減少到幾十毫秒。但許多的新興業(yè)務需要將端到端時延控制在微秒到幾毫秒級,將時延抖動控制在微秒級,將可靠性控制在

99.9999%以上。因此,迫切需要建立一種可提供“準時、準確”數(shù)據(jù)傳輸服務質量的新一代網絡。確定性服務質量可以提供“準時、準確”數(shù)據(jù)傳輸服務質量。五種典型的確定性

QoS包括:低時延、低抖動、低丟包率、高帶寬、高可靠。確定性網絡是提供確定性服務質量的網絡

技術,是在以太網的基礎上為多種業(yè)務提供端到端確定性服務質量保障的一種新技術。確定性網絡特征:能夠提供確定性服務質量,

靈活切換確定性服務和非確定性服務,自主控制提供確定性服務質量的等級,全面賦能產業(yè)升級,支撐大規(guī)模機器通信、機器視覺、遠程操控、人工智能、工業(yè)互聯(lián)網、農業(yè)互聯(lián)網、智能服務業(yè)的需求,通信服務商深入產業(yè)一線定制化彈性供給確定性網絡服務,確定性網絡服務能力一體化與多樣化跨域全局協(xié)同。1.2

確定性網絡需求和意義(1)從戰(zhàn)略角度:確定性網絡技術是新一代網絡通信體系發(fā)展方向,是網絡、工業(yè)、農業(yè)和服務業(yè)強國的重要推動力。形成“確定性網絡+”的技術和產業(yè)格局對千行百業(yè)朝著數(shù)字化、網絡化、智能化的高質量發(fā)展方向進一步邁進具有重要意義。(2)從技術層面:確定性網絡是先進技術的代表,提供確定性網絡服務、構建重大網絡基礎設施,為占領信息技術發(fā)展的制高點提供新的機遇。(3)從場景、產業(yè)角度:確定性網絡技術的大規(guī)模落地,可以推動制造業(yè),物流業(yè),運輸業(yè),影視行業(yè),醫(yī)

療行業(yè),農牧業(yè),

服務業(yè)等網絡化、智能化升級。隨著通信、計算機、機械、電子、電氣、自動化等領域的技術發(fā)展,全球農業(yè)、工業(yè)、服務業(yè)也呈現(xiàn)出新的發(fā)展動向。為了更好滿足消費市場需求,各個產業(yè)由規(guī)模化生產或提供服務向著定制化生產或提供服務轉變。居民生活水平的不斷提升、消費需求的升級換代,促

使各個產業(yè)向著小眾化、多元化、定制化的方向發(fā)展。此外,為了提

升生產、服務能力和效率,三大產業(yè)向著數(shù)字化、智能化方向轉型。

新興技術蓬勃發(fā)展;相應地,農業(yè)、工業(yè)、服務企業(yè)的內網、外網、數(shù)據(jù)互通等通信模塊均隨著新技術的布局而更新迭代??傊a品服務定制化與產業(yè)升級對確定性網絡提出具體而多樣的要求。(4)從產品、服務附加值角度:各產業(yè)廠商和通信廠商希望提高技術水平、提升生產制造能力、擴大服務范圍、提升服務能力和價值,因而對確定性網絡提出需求。確定性網絡為各個產業(yè)廠商、公司、機構尋找新的產品和服務附加值提供契機。各產業(yè)廠商、公司在經過“確定性網絡+”升級后,

生產能力、制造能力、服務能力、產品服務定制化能力均有大幅提升,

進而提升產品服務附加值,推動各個行業(yè)發(fā)掘新的增長點。確定性網絡是通信廠商擴大服務范圍的重要選項。隨著通信廠商管道化發(fā)展,通信產業(yè)鏈上下游各廠商希望能夠為客戶提供差異化、

多樣化、個性化的產品和服務,培育新的收入增長點。工業(yè)、農業(yè)、

服務業(yè)產值高、升級空間大,通過提供高質量的確定性網絡服務,通

信廠商得以深入生產經營一線,擴展服務范圍和服務多樣性。確定性網絡是提升通信廠商服務價值的重要依托。確定性網絡嚴格控制端到端抖動、時延等關鍵指標,滿足企業(yè)對高質量通信的需求。

網絡切片等技術使得通信廠商可以提供差異化的服務,而高質量、差

異化的服務也為通信商帶來新的收益空間。1.3

確定性網絡發(fā)展目標(1)占領新一代網絡技術發(fā)展制高點,在融合網絡中提供確定性服務,構建

LAN/WAN確定性網絡體系,實現(xiàn)局域、廣域、有線、

無線確定性網絡深度集成、有機融合的布局。賦能通信服務商為大規(guī)模和超大規(guī)模農業(yè)、工業(yè)、服務園區(qū)提供定制化、確定性網絡服務。(2)促進產業(yè)升級、提升消費者體驗。通過確定性網絡技術,

實現(xiàn)農業(yè)、工業(yè)、服務業(yè)朝著網絡化和智能化方向升級,形成“確定性網絡+”的產業(yè)格局,推動各行業(yè)產品質量、產品良率、服務質量

大幅提升,實現(xiàn)產品和服務定制化轉型。二、確定性網絡技術目前,確定性網絡的技術關鍵在于實現(xiàn)確定性時延、抖動、丟包率、帶寬和可靠性等。確定性時延主要通過時鐘同步、頻率同步、調度整形、資源預留等機制實現(xiàn);確定性抖動和丟包率通過優(yōu)先級劃分、抖動消減、緩沖吸收等機制實現(xiàn);確定性帶寬通過網絡切片和邊緣計算等技術實現(xiàn);確定性可靠性通過多路復用、

包復制與消除、冗余備份等技術實現(xiàn)。在確定性帶寬保障方面,F(xiàn)lexE通過接口技術在物理層和鏈路層之間插入中間層,實現(xiàn)業(yè)務速率和物理通道速率的解耦,提供比傳統(tǒng)以太網更加靈活的帶寬顆粒度,支撐高速大端口

400GE、1TE等演進。

通過靈活的物理接口捆綁和邏輯接口劃分,提供子速率承載、硬管道及隔離等機制,構建智能端到端鏈路,實現(xiàn)網絡切片,支撐帶寬資源

彈性靈活的分配和保障。在無線確定性方面,5G通過高可靠通信技術,有望實現(xiàn)

99.9999%

的確定性連接可靠性,通過網絡切片實現(xiàn)確定性帶寬保證,借助低延

遲技術和邊緣計算等實現(xiàn)端到端確定性控制。2.1

靈活以太網(FlexE)基于靈活以太網的網絡切片方案能夠實現(xiàn)帶寬按需靈活分配,并且專用硬管道能夠實現(xiàn)安全、低時延的服務質量。靈活以太網技術能夠通過

PHY/MAC層協(xié)同調度實現(xiàn)時隙交換以保證時延、提高帶寬利用率,也能夠與

SDN技術結合實現(xiàn)對

L1

層的傳輸控制,實現(xiàn)網絡動態(tài)調整。FlexE技術旨在實現(xiàn)業(yè)務速率與物理通道速率的解耦,多個客戶端可以共享

FlexE組中物理通道的總速率。Shim層將業(yè)務

邏輯層和物理層隔開,在

FlexE1.0

標準中可以把

FlexE組中的每個

100GEPHY劃分成

20

個時隙的數(shù)據(jù)承載通道,每個

PHY所對應的

這一組時隙被稱為一個

sub-calendar,其中每個時隙對應的帶寬為

5Gbps。根據(jù)客戶端和

FlexE組的映射關系,F(xiàn)lexE可提供鏈路捆綁、

子速率和通道化三種應用模式。(1)鏈路捆綁:將多個物理通道捆綁起來,形成一個總速率的邏輯通道,利用多個低速率物理管道來支持更高的速率的客戶端,實現(xiàn)大流量的業(yè)務傳輸,可以替代

LAG或

ECMP并且能夠避免哈希算法帶來的低效率。(3)通道化:客戶業(yè)務在多條物理通道上的多個時隙傳遞,分布在多條不同物理通道的多個時隙上,多個客戶共享多個物理通道。

客戶業(yè)務在

FlexE上傳遞時,根據(jù)實際情況選擇不同的時隙組合,合理利用物理通道帶寬。2.1.1

FlexE架構在

FlexE中,主要包含

Client,Shim和

Group三種組件。FlexEClient指的是對應于網絡的各種用戶接口,與現(xiàn)有

IP/Ethernet網絡中的傳統(tǒng)業(yè)務接口一致,F(xiàn)lexEClient可根據(jù)帶寬需求靈活配置,支持各種速率的以太網

MAC數(shù)據(jù)流,并通過

64B/66B的編碼的方式將數(shù)據(jù)流傳遞至

FlexEShim層。FlexEGroup本質上就是

IEEE802.3

標準定義的各種以太網

PHY層,由于重用了現(xiàn)有

IEEE802.3

定義的以太網技術,使

FlexE架構得以在現(xiàn)有以太網

MAC/PHY基礎上進一步增強。Shim作為核心部件,是映射或反映射

client和

group,實現(xiàn)

client對

group的多路復用以及

group到

client的解復用。2.1.2

FlexE技術(1)FlexEShim層FlexEShim層通過對

64/66

編碼后的客戶端業(yè)務流進行時隙排列、成員分發(fā)和開銷插入三個步驟實現(xiàn)

FlexE速率與物理通道解耦的核心功能,其實現(xiàn)客戶業(yè)務承載的工作流程就是

Shim層實現(xiàn)多路復用的過程。1)FlexE幀F(xiàn)lexEShim層通過

Overhead提供帶內管理通道,支持在對接的兩個

FlexE接口之間傳遞配置管理信

息,實現(xiàn)鏈路的自動協(xié)商建立。開銷幀中,第一個

OverheadSlot中包含

“0x4B”的控制字符與

“0x5”的“OCode”字符等信息。在信息傳送過程,對接的兩個

FlexE接口之間通過控制字符與“OCode”字符的匹配確定第一個開銷幀,從而在二者之間建立了一個獨立于綠色

Slot的數(shù)據(jù)通道之外的管理信息通道,實現(xiàn)對接的兩個接口之

間配置信息的預先協(xié)商等。FlexE的帶內管理還可以交互兩個接

口之間的鏈路狀態(tài)信息,傳遞

RPF等

OAM信息。2)calendar結構FlexEShim使用

calendar將

FlexE組的每個

PHY的

subcalendar上的

66

比特塊位置分配給每個

FlexE客戶端。calendar的粒度為

5G,

100G的

FlexE組可以分為

20

個時隙,每個時隙都能夠容納一個

66

比特塊。支持兩種

calendar配置:“A”和“B”

calendar配置。提

供這兩個

calendar配置是為了方便重新配置。FlexE通過為每一個

Client提供

Slot/Calendar配置可更改機制,

實現(xiàn)所需帶寬的動態(tài)調整。FlexE中,對接的兩個接口之間通過開銷

管理通道實時傳遞體現(xiàn)

Client在

Group中映射關系的兩種不同

Calendar配置信息:A和

B(分別由“0”或“1”bit表示)。兩組

CalendarA/B可以動態(tài)切換,從而實現(xiàn)對應

Client的帶寬可調整。任意一個Client的帶寬在兩組

CalendarA/B之間可能是不同的,通過切換,并

進一步結合系統(tǒng)應用控制可以實現(xiàn)無損帶寬調整。CalendarA/B的切

換通過開銷管理通道內嵌的

Request/Acknowledge機制實現(xiàn)。(2)交叉?zhèn)鬏擣lexE一層交叉是

FlexE的一個重要應用,用于數(shù)據(jù)中繼過程中減少數(shù)據(jù)的傳輸時延。FlexE一層交叉是指一個

FlexE組接收端收到

的數(shù)據(jù)不通過

FlexE客戶端(Client)進入到

MAC層,而是直接從

FlexE客戶端轉發(fā)到另一個

FlexE組的客戶端,如圖

2-7

所示,數(shù)據(jù)

PE(源)向

PE(宿)發(fā)送,途徑的交換機為

P,數(shù)據(jù)到達

P時不

會將數(shù)據(jù)傳向

MAC層,而是通過交叉?zhèn)鬏數(shù)姆绞街苯訌?/p>

Shim層傳

向下一個節(jié)點,并在到達目的接收端再解碼上傳數(shù)據(jù)。這種交叉?zhèn)鬏?/p>

的方式是實現(xiàn)端到端

FlexEtunnel的核心,是構成了

L1

層承載網的

基礎。(3)FlexEtunnel運行管理和維護由于在

FlexE中,數(shù)據(jù)通過一個端到端的“隧道”直接進行傳輸,

不再通過

MAC層所獲取的信息決定下一跳的轉發(fā),所以

FlexEtunnel技術的實現(xiàn)需要額外的信息來進行傳輸管道的端到端監(jiān)控和數(shù)據(jù)的

傳輸控制,因此在FlexE中加入了攜帶OAM(Operation,

AdministrationandMaintenance,運行管理和維護)的信息塊。OAM是一個特殊的

信息塊,是基于

IEEE802.3

碼塊的擴展,符合

64/66

編碼規(guī)范,并且

具備特殊的標志,可以在接收端被識別和提取。“1+1”保護模式允許數(shù)據(jù)同時在兩條

tunnel中傳

輸,并在傳輸目的點同時檢測兩條

tunnel的數(shù)據(jù)傳輸?shù)馁|量,從傳輸質量高的

tunnel中接收客戶業(yè)務數(shù)據(jù)?!?:1”保護模式存在兩條承載通道

tunnel:主通

tunnel和備通道

tunnel。在正常工作時,客戶業(yè)務在主通道

tunnel傳輸,備通道

tunnel可以傳輸?shù)蛢?yōu)先級客戶業(yè)務。當主通道

tunnel出

現(xiàn)故障時,發(fā)送到和接收端協(xié)商并決策,同時將客戶從主通道

tunnel切換到備通道

tunnel中傳輸。2.2

時間敏感網(TSN)2.2.1

TSN架構根據(jù)網元在網絡中的位置,TSN架構中的核心元素可以分為網關、橋設備、

端設備三個角色。網關設備主要部署于

TSN域邊緣,實現(xiàn)跨層及跨異構域之間的互通。網橋設備主要部署于

TSN域內部,實現(xiàn)域內的互聯(lián)互通。2.2.2

TSN技術(1)時間同步機制精準的網絡時間同步是實現(xiàn)確定性網絡的基礎,在TSN協(xié)議中,IEEE802.1

AS和更新的修訂版本

IEEE802.1AS-REV可以實現(xiàn)亞微

秒級的時間同步。gPTP協(xié)議通過

BMCA算法建立主

從結構形成

gPTP域,然后選出最精確的時鐘源作為

GrandMaster時鐘。在

gPTP域內,主時鐘和從時鐘之間不斷傳遞時間信息,并將時間與

GM時鐘進行同步。IEEE802.1

AS-REV增加了在多個時域進行時間同步的功能和冗余的能力,既能在某域內

GM時鐘發(fā)生故障時實現(xiàn)快速切換到其他域的功能,還能提高時間測量精度。(2)網絡流量整形機制為了實現(xiàn)確定延遲,TSN利用幀搶占和流量整形機制在以太網鏈

路中實現(xiàn)確定的傳輸路徑,流量整形機制通過為高優(yōu)先級流量提供確

定的傳輸時隙來提供確定的傳輸時延,避免突發(fā)流量造成的重傳和丟包的影響。為了減少低優(yōu)先級流量對高優(yōu)先級流量的干擾,IEEE802.1

Qbu幀搶占機制允許高優(yōu)先級的流量打斷低優(yōu)先級流量的傳輸,幀搶占造成的低優(yōu)先級幀中斷只發(fā)生在鏈路層,在下一個網橋的接口處,被中

斷的幀會被重新整合成完整的幀。Qbu顯著減小保護頻帶的字節(jié)數(shù)。(3)資源預留機制資源預留機制有分布式和集中式兩種。IEEE802.1

Qat流預留協(xié)議基于

TSN流的資源要求和當前網絡可用資源規(guī)定了準入控制架構,通過多址注冊協(xié)議,使用

48

位擴展唯一標識符來識別和注冊業(yè)務流,為

AVB流提供足夠的資源

預留。由于

Qat采用分布式的注冊和預留方式,注冊請求的變更有可能使網絡過載從而導致關鍵流量類的延遲。IEEE802.1Qcc通過減小預留消息的大小和頻率來改善

SRP,使更新僅由鏈路狀態(tài)或預留改變觸發(fā)。Qcc提供了一套集中式的全局管理和控制網絡的工具,可通過遠程管理協(xié)議執(zhí)行資源預留,調度

和其他配置。隨著更多業(yè)務流共存以及網絡規(guī)模的增加,數(shù)據(jù)庫成比例地增加,SRP和

MRP由

于注冊流狀態(tài)信息的數(shù)據(jù)庫有限而無法擴展到具有實時性

IACS應用的大型網絡。本地鏈路預留協(xié)議在點對點鏈路的兩端之間有效地復制

MRP數(shù)據(jù)庫,并在網橋報告新的網絡狀態(tài)時逐步復制更改。LRP還提供清除過程,當此類數(shù)

據(jù)庫的源無響應時,刪除復制的數(shù)據(jù)庫。(4)配置

TSN流量TSN流會根據(jù)應用需求在以太網報頭中的

802.1QVLAN標記中

PCP和

VID中定義流的不同優(yōu)先級。TSN中有多個流管理標準,包括

IEEE802.1CB,802.1Qca,802.1Qci,負責提供路徑冗余,多路徑選擇以及隊列過濾。盡管標準以太網可以通過生成樹協(xié)議提供冗余能力,但是對于實

IACS應用而言,在發(fā)生故障時的收斂時間太慢。因此,F(xiàn)RER在

不相交的路徑上發(fā)送關鍵流量的重復副本,用于主動實現(xiàn)無縫數(shù)據(jù)冗

余,代價是額外的帶寬消耗。2.3

確定網(DetNet)DetNet工作組主要研究在單一管理控制下或在一個封閉的管控組內的網絡實現(xiàn)確定性保障,如園區(qū)網絡、專用廣域網。DetNet目的

是實現(xiàn)沿多跳路徑轉發(fā),具有確定性延遲、可控的低丟包率與高可靠

性,側重于

IP層調度保障,目標在于將確定性網絡通過

IP/MPLS等

技術擴展到廣域網上,IETF相關標準體系正在不斷演進中。DetNet主要思想借鑒

TSN的機制和架構,提供三層端到端的確

定性方案。DetNet允許單播或多播流的確定性轉發(fā)以及

DetNet流與

其他業(yè)務流共網傳輸。實現(xiàn)方法主要包括資源預留、釋放/重用閑置網

絡資源、集中控制、顯性路由、抖動消減、擁塞保護、多徑路由等。

通過網卡完成

DetNet相關的數(shù)據(jù)封裝,如流

ID、Sequence封裝。

DetNet編制的標準文件將兼容在

IEEE802.1

TSN工作組和其他

IETF工作組的相關確定性網絡的底層協(xié)議。2.3.1

DetNet架構DetNet通過邊緣路由的時延抖動測量、骨干路由的確定路徑與資源預留以及端到端顯式路由與

無縫冗余實現(xiàn)終端業(yè)務流的三層確定性傳輸。DetNet網絡架構通過資源預留、冗余

保障,為

DetNet提供了可靠的確定性服務。未使用的預留資源可以

用于非

DetNet數(shù)據(jù)流的傳輸,實現(xiàn)不同優(yōu)先級業(yè)務流共網傳輸。DetNet數(shù)據(jù)平面的概念模型,其包含應用源/目的子層、DetNet服務子層、DetNet轉發(fā)子層和低層級網絡。

DetNet服務子層是負責特定

DetNet服務的層,而

DetNet傳輸子層負責可選地通過底層網

絡提供的路徑為

DetNet流提供擁塞保護。DetNet可以有多個分層拓

撲,其中每個下層拓撲為更高層拓撲服務。DetNet節(jié)點之間相互連接形成子網絡,這些低層級網絡可以通過兼容服務支持

DetNet流量。DetNet服務子層包含數(shù)據(jù)包排序、

冗余消除、流復制、流合

并、數(shù)據(jù)包編碼與數(shù)據(jù)包解碼;DetNet轉發(fā)子層包含資源分配與顯式路由。操作、管理和維護可以利用帶內和帶外信令,驗證應用業(yè)務流服務是否在

QoS約束保障內有效實現(xiàn)。OAM可以通過在數(shù)據(jù)包中添加特定的標記,

以跟蹤網絡配置錯誤。主動和混合

OAM需要額外的帶寬來執(zhí)行

DetNet域的故障管理和性能監(jiān)視。DetNet控制器平面中

CPF是控制器

的核心部件,負責計算用于網絡平面的確定性路徑。CPFs將業(yè)務流分布在不同確定的

DetNet節(jié)點上進行部署,使之滿足

流約束條件,并優(yōu)化總體調度成本。DetNet節(jié)點向

CPF公開它們的能

力和物理資源,CPF則可以借助這些信息通過南向接口拓撲的動態(tài)感

知進行自動更新。DetNet節(jié)點之間與終端系統(tǒng)可以交換關于路徑狀

態(tài)的信息。2.3.2

DetNet技術DetNet具有時鐘同步、零擁塞損失可靠性與安全性特點。同時,

DetNet致力于將超低延遲和高可靠性的服務擴展到三層網絡,以及正常業(yè)務流量與

DetNet流共網傳輸?shù)膶?/p>

現(xiàn)。因此,基于

DetNet的技術實現(xiàn)目標,其需要滿足以下三點技術要求:(1)時鐘同步和頻率同步DetNet的時鐘同步可以利用

IEEE802.1

AS實現(xiàn),也可以參考

IEEE1588v2

PTP實現(xiàn)頻率同步。但是,目前

IETF還沒有針對

DetNet網絡設備的時鐘同步的選擇具體規(guī)范。(2)零擁塞損失與可靠性DetNet中的

ULL特性和零擁塞損失通過排隊算法、緩沖區(qū)預留

和包搶占實現(xiàn)。DetNet為了得到更低的抖動,其不僅需要有端到端時

延的上界限制,還需要對時延下界進行控制以實現(xiàn)對抖動的限制要求。

抖動減小的技術實現(xiàn)方式可以通過全局亞微秒級時鐘同步或計算應

用程序包的執(zhí)行時間字段來實現(xiàn)。為了保證

DetNet的可靠性,通過

采用過濾器與相應策略來檢測報文的故障和錯誤。當檢測到故障時,

將中斷傳輸并進行調整。此外,在

DetNet中還應用分組復制和消除

技術來實現(xiàn)可靠性。(3)安全性安全性能的考慮是

DetNet的一個重要基本特性。為了實現(xiàn)

DetNet資源的請求與控制安全性,應該對連接到

DetNet域的設備使

用認證和授權,以確保參數(shù)的管理配置被限制在授權的設備上。

DetNet的控制分為集中式控制和分布式控制。對于集中控制

DetNet,

流量工程網絡的抽象和控制被用于安全保障的實現(xiàn)。對于分布式控制的

DetNet,其安全性是通過部署的

DetNet協(xié)議的安全屬

性來實現(xiàn)。結合技術指標需求,根據(jù)目前輸出

DetNet工作組草案、

DetNet數(shù)據(jù)平面方案以及數(shù)據(jù)流信息模型等相關標準文件,DetNet標

準技術分為四類:DetNet流概念、DetNet流管理、DetNet流控制和

DetNet流完整性。(1)DetNet流概念應用流。應用流是通過DetNet流所承載的在非

DetNet感知終端系統(tǒng)之間傳送的有效負載。應用流不包含任何與

DetNet相關的屬性,也對

DetNet節(jié)點沒有特定的要求。DetNet轉發(fā)流。DetNet-f-flow具有

DetNet流的具體格式,它只需要

DetNet轉發(fā)子層提供的資源分配特性。DetNet服務流。作為一種

DetNet流的特定格式。

DetNet-s-flow只需要

DetNet服務子層提供的業(yè)務保護特性即可。DetNet服務轉發(fā)流。DetNet-sf-flow在轉發(fā)過程

中需要同時具備

DetNet業(yè)務子層和轉發(fā)子層的功能。為了實現(xiàn)準確的流檢測和識別,必須對各種流屬性映射進行標準化。對于

DetNet流在不同域之間的轉發(fā),中繼節(jié)點都需要獲取與流

類型和相應屬性相關的上層信息。DetNet模糊了網絡層和鏈路層的

界限,二層網絡可以通過流

ID和

DetNet控制字識別

DetNet流類型

和對應屬性相關的上層信息。DetNet流需要標準化跨層或異構網絡的流屬性映射。(2)DetNet流管理1)DetNet配置和

YANG模型DetNet能夠在各種支持

DetNet的網絡實體之間實現(xiàn)無縫配置和

重配置,草案定義了

DetNet分布式、集中式和混合式的配置模型及

其相關屬性,還介紹了在集中配置模型中傳遞網絡配置參數(shù)的

YANG模型。DetNet配置的模型包含分布式、集中和混合式配置模型。在分布

式配置模型中,UNI信息通過

DetNetUNI協(xié)議發(fā)送,分布式的

DetNet控制平面將

UNI和配置信息傳播到每個數(shù)據(jù)平面實體,控制信息通

IGP和

RSVP-TE等協(xié)議來執(zhí)行。在集中式配置模型中,CUC向

CNC發(fā)送

UNI信息,類似于

TSN中的

IEEE802.1Qcc集中式配置模型。對于混合配置方法,在控制平面內采用分布式協(xié)議和集中式協(xié)議相結合的方式來協(xié)調配置信息。DetNetYANG模型與

TSN中

IEEE802.1Qcp類似,為集中式配置模型定義了一個

DetNetYANG模型,

用于傳遞網絡配置參數(shù)。2)資源管理在資源管理方面,DetNet有集中式和分布式這

2

種路徑設置方

式。集中路徑設置類似于

IEEETSN的集中管理模型,利用

PCE和基于分組的

IP或非

IP網絡的信息傳播來實

現(xiàn)全局網絡的優(yōu)化。分布式路徑設置利用內部網關協(xié)議流量工程提出了類似于

802.1Qat、802.1Qca和

MRP信令協(xié)議的初

始設計規(guī)范。3)網絡資源告知與部署為了補充

DetNet流量控制機制,每個

節(jié)點需要有和附近網絡共享網絡狀態(tài)的

能力。例如共享當前節(jié)點的資源使用狀態(tài)、鄰居節(jié)點及其關系的屬性

等。目前還沒有規(guī)定如何實現(xiàn)這種能力,但是這對于全局規(guī)劃流量、

實現(xiàn)確定性網絡至關重要。(3)DetNet流控制DetNet流的大多數(shù)控制功能遵循與

IEEETSNTG確定性流相同

的原則,但關鍵的集成機制存在一些區(qū)別,分別體現(xiàn)在

DetNet數(shù)據(jù)平面、DetNet流量工程以及流控制規(guī)則。1)DetNet數(shù)據(jù)平面:DetNet數(shù)據(jù)平面主要分為服務層和傳輸層。服務層可以應用分組排序、流復制/重復消除、分組編碼等,而傳輸層可以應用擁塞保護機

制和顯式路由。DetNet可以有幾個分層的

DetNet拓撲結構,其中每個較低的層為較高層提供服務。此外,DetNet節(jié)點相互連接,形成子網絡。目前,對于

DetNet服務和傳輸層協(xié)議,有各種各

樣的協(xié)議和技術選項正在考慮之中。2)DetNet流量工程:IETF流量工程架構和信令工作組考慮將流量工程架構用于分組和非分組網絡,定義控制和管理DetNet流的關鍵概念、功能以及不同層面之間的關系,使用戶和操作員可以

動態(tài)地輕松控制、測量和管理流,還引入了

QoS參數(shù)的快速恢復和確定性邊界。DetNetWG采用類似于軟件定義網絡范例的方法,為

DetNet起草了一套

TE架構,與

IEEETSN的

802.1Qcc管理方案和集

中式

SDN方法具有相似之處。整個架構分為應用層面、控制層面和

網絡平面,并且在控制層面對

DetNet流進行全局規(guī)劃。一般來說,

這種

DetNet流量工程架構設想了一種高度可擴展、可編程和通用即

插即用的方案,其網絡功能和配置便于進行實現(xiàn)和擴展。3)流控制規(guī)則:流控制規(guī)則主要包含流量排隊、整形、調度和搶占。通過定義流控制規(guī)則,以實現(xiàn)確定性的有邊界延遲和包丟失。流量控制通常包括準入控制和網絡資源預留,即帶寬和緩沖區(qū)空間的分配。

DetNet流量控制將利用

IEEE802.1

TSN隊列傳輸和流量整形技術。

這些

TSN機制包括基于信用整形

CBS、時間感知整形

TAS、循環(huán)排隊和轉發(fā)整形

CQF、異步流量

整形

ATS和幀搶占等技術。(4)DetNet流完整性(FlowIntegrity)DetNet流完整性包含數(shù)據(jù)包的復制與消除、執(zhí)行異質性、故障緩

和等技術。1)數(shù)據(jù)包復制與消除:數(shù)據(jù)包分制和消除功能

PREF與

TSNTG802.1CB標準有一些相

似之處,它源于

IETFHSR和

PRP機制。PREF在

DetNet服務層中有

數(shù)據(jù)包信息排序、復制、消除三大功能。其中,數(shù)據(jù)包排序功能是給

屬于一個

DetNet流的每個數(shù)據(jù)包加上一次序列號或時間戳,這些序

列號用于檢測數(shù)據(jù)包丟失以及進行重新排序。復制功能讓流在源進行

復制,采用顯式的源路由使一個

DetNet流通過兩條不相交的路徑轉

發(fā)到同一個目的地。消除功能主要是在路徑上的任何節(jié)點執(zhí)行冗余消

除,目的是為下游的其他流量節(jié)省網絡資源,通常在網絡邊緣或接收

端執(zhí)行。在接收到數(shù)據(jù)流后,端口有選擇地將復制的流組合在一起,

根據(jù)數(shù)據(jù)包的序列號對數(shù)據(jù)包進行逐包選擇并丟棄。PREF是一種主

動減少甚至消除丟包的措施。2)執(zhí)行異質性:與

TSN類似,DetNet在

DetNet和非

DetNet流之間強制區(qū)分帶寬。DetNet網絡將

75%的可用帶寬用于

DetNet流。但是,為了保持

較高的帶寬利用率,任何為

DetNet流保留但未被利用的帶寬都可以

分配給非

DetNet流。因此,DetNet的架構模型確保了不同的服務和

應用程序之間的適當共存。3)故障緩和:為了減少了各種可能故障,除了數(shù)據(jù)包流復制和帶寬識別,

DetNet網絡的設計需要具有一定強度的魯棒性。減少

DetNet流中斷

的關鍵機制之一是應用類似于

IEEE802.1Qci(PSFP)的過濾器和策

略,它可以檢測行為不當?shù)牧鳎⒖梢詷擞洺^規(guī)定流量的流。此外,

DetNet故障緩解機制可以根據(jù)預定義的規(guī)則采取行動,例如丟棄數(shù)

據(jù)包、關閉接口或完全丟棄

DetNet流。2.4

確定性

IP(DIP)網絡工業(yè)互聯(lián)網是面向未來網絡技術深度服務于全行業(yè)的演進方向

之一,特別是面向機器互聯(lián)的高精度應用。在未來,會有大量的智能

機器接入網絡,“面向機器的通信”將產生許多新型網絡功能需求。

網絡服務對象和服務模式的轉變使得“大帶寬等于高質量”的假設不

再普遍適用,信息在網絡中傳輸?shù)臏蕰r性和網絡層的確定性成為了未

來網絡關鍵需求之一。DIP技術是華為和紫金山實驗室共同提出的一

種新穎的三層確定性網絡技術架構,在數(shù)據(jù)面上引入周期調度機制進

行轉發(fā)技術的創(chuàng)新突破,在控制面提出免編排的高效路徑規(guī)劃與資源

分配算法,真正實現(xiàn)大規(guī)??蓴U展的端到端確定性低時延網絡系統(tǒng)。DIP在傳統(tǒng)

IP的基礎之上引入周期轉發(fā)的思想,通過控制每個數(shù)據(jù)

包在每跳的轉發(fā)時機來減少微突發(fā),消除長尾效應,最終實現(xiàn)端到端

時延確定性。DIP技術可以保證在最差情況下的端到端時延依然有界,

且最差時延與最好時延之間的差距僅為

2T。在核心節(jié)點上進行標簽

交換和周期轉發(fā)聚合調度,解決了傳統(tǒng)

IP網絡的突發(fā)累積問題,實

現(xiàn)了

IP網絡的端到端確定性低時延和微秒級抖動。此外

DIP技術中

核心節(jié)點無逐流狀態(tài),設備之間不需要精準時間同步,因此具有良好

的大網可擴展性。2.4.1

DIP理論分析與網絡架構網絡演算理論提供了一種計算網絡端到端延時上限的方法,在給定網絡拓撲、每個節(jié)點的服務曲線、所有流的流量到達曲線和端到端路徑的條件下,即可計算得到端到端的最壞排隊時延。疊加鏈路

時延,即可得到端到端時延上限。基于網絡演算理論,學術界已經證明:對于通用場景,傳統(tǒng)的

IP統(tǒng)計復用轉發(fā)方式能夠給出的端

到端時延上限極差,甚至沒有上限。具體而言,當網絡直徑為

h時,僅當網絡帶寬最大利用率

<

1/(?

?

1)時,可以得到時延上限,且時延上限隨跳數(shù)增長很快;當

1/(?

?

1)時,

沒有時延上限。傳統(tǒng)

IPDiffServ端到端時延上限為:if<

1

/?

?

1

,

(

+

)?

/1

?

(?

?

1)else,

d→

∞其中,

為最大鏈路利用率,e為最大節(jié)點處理時延,為最大初

始突發(fā)度串行化時延(流初始突發(fā)總和除以鏈路帶寬),h為端到端跳

數(shù)。此結論并不限定于盡力而為(Best-effort)轉發(fā),還包括采用了區(qū)

分優(yōu)先級(DiffServ)的轉發(fā)模式,對于最高優(yōu)先級仍然有效。確定性

IP技術在統(tǒng)計復用的基礎上,采用周期性的整形和調度機制,在微觀上形成了周期間的隔離,避免了微突發(fā)及其逐跳累積,

打破了網絡演算中:“流量到達曲線的突發(fā)增大→初始服務延時增大,

初始服務延時增大→流量離開曲線的突發(fā)增大”的惡性循環(huán),使得時

延隨跳數(shù)線性緩慢增長,且端到端抖動上限恒定。DIP的端到端時延

上限為:=

(

+

?)

±其中,是

DIP周期長度,?為第

i跳的周期相對時間差,h為端到

端跳數(shù)。DIP通過周期精確整形和調度,避免微突發(fā),每跳時延確

定,端到端時延是跳數(shù)的線性關系,可實現(xiàn)端到端微秒級確定性。2.4.2

DIP網絡技術(1)DIP網絡控制面技術1)準入控制。確定性

IP網絡入口邊緣節(jié)點的控制面應記錄每條流的資源預留狀態(tài),狀態(tài)信息包括流標識、預留帶寬、開始時間和結束時間。入口邊緣節(jié)點通過資源預留結果,可以

決定確定性流是否被允許進入網絡進行確定性轉發(fā)。數(shù)據(jù)流的資源預

留狀態(tài)可以被動態(tài)的刷新,實現(xiàn)資源預留續(xù)期。2)路徑規(guī)劃和資源預留。數(shù)據(jù)流傳輸確定性路徑規(guī)劃實現(xiàn),可

基于分布式路由算法或者集中式路徑計算,為數(shù)據(jù)流進行傳輸路徑規(guī)

劃,并支持預先沿途進行必要的確定性資源預留。(2)DIP網絡數(shù)據(jù)面技術DIP技術使用一種可擴展的、易實現(xiàn)的、小緩存的穩(wěn)定低排隊時

延的轉發(fā)面架構[20]。其技術要求為:①網絡設備需將時間劃分為等

長的周期,數(shù)據(jù)包按照周期進行排隊和轉發(fā)。即被指定在同一周期從

發(fā)送節(jié)點發(fā)送出去的報文,在接收節(jié)點被調度到指定的同一周期進行下一跳轉發(fā)。②對某周期的報文,首節(jié)點和尾節(jié)點上的發(fā)送周期的時

間差應保持穩(wěn)定,即周期編號差值保持固定。但具體報文在周期內被

發(fā)送的確切時間可以不固定。為確定性流預留資源后,需要在數(shù)據(jù)面完成路徑綁定和確定性周期轉發(fā)功能。1)路徑綁定功能。確定性

IP傳輸?shù)馁Y源預留體現(xiàn)在數(shù)據(jù)轉發(fā)路

徑的節(jié)點上。因此,后續(xù)的數(shù)據(jù)報文傳輸需要綁定該路徑。路徑綁定

技術可以與標簽攜帶技術耦合。2)確定性周期轉發(fā)功能。入口邊緣節(jié)點根據(jù)數(shù)據(jù)報文被發(fā)出的

時間,將時間周期編號嵌入到報文中。中間節(jié)點收到報文后,依據(jù)周

期映射進行確定性周期轉發(fā),使得數(shù)據(jù)報文發(fā)出時攜帶本地時間周期

編號,直到數(shù)據(jù)報文被送達出口邊緣節(jié)點。2.5

確定性

WiFi(DetWiFi)2.5.1

DetWiFi架構DetWiFi由三個組件組成:數(shù)據(jù)包隊列,任務調度程序和系統(tǒng)狀態(tài)容器(SSC)。

DetWiFi中有兩個數(shù)據(jù)包隊列:發(fā)

送隊列(Tx隊列)和接收隊列(Rx隊列)。數(shù)據(jù)包準備發(fā)送后,將它

們放入發(fā)送隊列中,等待適當?shù)臅r隙,然后將其發(fā)送給驅動程序進行

發(fā)送。類似地,當從較低層接收到數(shù)據(jù)包時,它們將被存儲在接收隊

列中。任務計劃程序用于計劃任務并控制

DetWiFi的行為,包括發(fā)送

信標,時隙循環(huán)和網絡加入。這些任務根據(jù)任務的緊急程度按優(yōu)先級

進行區(qū)分,任務調度程序將首先執(zhí)行高優(yōu)先級任務,而不是低優(yōu)先級

任務。SSC由時隙表,鄰居表和計時器組成:時隙表記錄了時隙循環(huán)

序列,該序列是在管理者加入網絡時從其獲取的;鄰居表用于存儲鄰

居信息,該信息在鄰居信標中公告;計時器負責維護

DetWiFi的時間

信息;并且大多數(shù)任務是由幾個計時器觸發(fā)的。2.5.2

DetWiFi技術工業(yè)無線網絡應用廣泛的標準技術如

WirelessHART、WIA-PA和

ISA100.11a,都不能同時提供工業(yè)控制所需的極低時延和高可靠性

通信。為使無線網絡滿足時間敏感業(yè)務的傳輸要求,目前主流的方法

是設計無線網絡中的實時傳輸調度方法,將端到端的實時傳輸時延問

題建立成具有時延限制的數(shù)學模型,再進行分析求解;此外,在多跳

網狀網絡中采用靈活高效的實時路由算法,將沖突時延、數(shù)據(jù)傳輸成功率等納入路由決策也能在一定程度上實現(xiàn)數(shù)據(jù)的實時可靠傳輸。在

工業(yè)安全監(jiān)測等實時性要求嚴苛的場景中,對

MAC協(xié)議的改進設計來滿足非周期關鍵性數(shù)據(jù)的及時接入信道與

立即傳輸,能大幅縮短關鍵數(shù)據(jù)的端到端時延;設備間的相互協(xié)作通

信是提高通信可靠性的有效方法,協(xié)作通信結合改進的

MAC協(xié)議能

有效實現(xiàn)時間敏感數(shù)據(jù)的低時延和高可靠傳輸。另外,對現(xiàn)有的

IEEE802.11

協(xié)議進行改進,使其具有可靠性和實時性能以適用于時間敏

感的高速工業(yè)應用;由

IEEE802.11ax定義的下一代

WiFi更是引入

了一些確定性關鍵數(shù)據(jù)傳輸增強功能,以提高對時間敏感的工業(yè)自動

化應用的支持。2.6

5G確定性網絡(5GDN)確定性技術的發(fā)展與業(yè)務的實際部署與演進相輔相成。隨著近年

5G的快速商用部署并逐步深入行業(yè)數(shù)字化,5G確定性網絡也在商業(yè)

項目中得到驗證,并反向推動技術的進一步升級。而且由于

5G網絡涉及到無線接入網、傳輸承載網、核心網等不同部分,因此前文中闡

述的

TSN、DetNet等技術也會通過

3GPP標準版本逐步迭代并深入

的集成到

5G確定性網絡中。5G確定性網絡是指利用

5G網絡資源打造可預期、可規(guī)劃、可驗

證,有確定性傳輸能力的移動專網,提供差異化的業(yè)務體驗。因

5G在國民經濟中戰(zhàn)略作用,整體業(yè)界以及政府對

5G及

5GDN十分

重視和支持。此外,5GDN有助于強化

5G網絡從服務消費者到服務

公司和組織。2.6.1

5GDN架構基于

5GDN,5G可以為垂直行業(yè)提供確定性和差異化的體驗。

這將使無線網絡不僅可以向公眾普遍提供服務,而且還可以為垂直行

業(yè)提供虛擬專用網絡以驅動其數(shù)字化轉型,并具有靈活的業(yè)務編排和

調度功能。確定性服務管理用于客戶或運營商輸入業(yè)務需求,管理網絡切片、

5G局域網、邊緣計算等系統(tǒng)與能力,并提供網絡狀態(tài)監(jiān)測、顯示和

告警;此外,確定性服務管理用于提供頂層確定性的設計部署、確定

性能力建模、確定性生命周期管理、支撐實時

SLA/QoS仿真和預測。確定性網絡調度與控制中心擔當確定性網絡控制器的角色,通過

網絡各域統(tǒng)籌協(xié)同調度,實現(xiàn)多技術綜合集成、網絡應用雙向協(xié)同、SLA/QoS實時評估,最大化網絡整體確定性能力。2.6.2

5GDN技術5GDN的核心模塊包括

5G核心網,高性能異構

MEC和動態(tài)智能網絡切片:(1)5G核心網是

5GDN的關鍵。5G確定性網絡是一個端到端

的概念,涵蓋了基站,傳輸和核心網的綜合能力。其中,確定性能力

的大腦是

5G核心網。5G核心網負責網絡質量保證期間的全局資源調度和管理,實現(xiàn)

5GDN架構中確定性網絡調度與控制中心的功能。

核心網管理所有網絡拓撲,訪問信息,用戶數(shù)據(jù)和行業(yè)需求。它確保了每個行業(yè)的用戶都可以在公共網絡上享受自己的私有渠道,并保證

獲得確定性的體驗。(2)高性能異構

MEC是

5GDN中確定性保障與度量的基礎性

系統(tǒng)。MEC可以通過就近部署的

UPF提供本地增強的聯(lián)接能力,降低時延,并提供計算平臺承載行

業(yè)應用。(3)動態(tài)網絡切片構成

5G確定性網絡的基礎支撐能力。與普通

用戶要求不同,行業(yè)要求可能會有很大差異。將來需要提供動態(tài)智能切

片功能,以供垂直行業(yè)進行定制和訂閱。它們不僅必須適應需要差異

化,確定性經驗的新應用程序,而且還必須保證易于訪問和敏捷。這

樣,5G網絡將成為垂直行業(yè)數(shù)字化轉型的真正推動者。(4)5GDN集成現(xiàn)有確定性網絡技術。5GDN通過利用多種確

定性網絡技術如

FlexE、TSN、DetNet可以強化其端到端確定性傳輸

能力和網絡切片能力。以

FlexE作為

5G承載網可以提升

5G網絡切

片能力。以

TSN、DetNet與

5G結合,可以進一步保證確定性端到端傳輸質量。三、確定性網絡技術發(fā)展趨勢3.1

FlexE技術趨勢網絡切片技術可以讓運營商在一個硬件基礎設施中切分出多個

虛擬的端到端網絡,每個網絡切片在設備、接入網、承載網及核心網

方面實現(xiàn)邏輯隔離,適配各種類型服務并滿足用戶的不同需求。對每

一個網絡切片而言,網絡帶寬、服務質量、安全性等專屬資源都可以

得到充分保證。采用

FlexE技術的網絡具有彈性帶寬、靈活分配的硬

管道,可以實現(xiàn)業(yè)務的物理隔離和可靠的服務質量,天然地實現(xiàn)了網

絡切片功能。FlexE技術的物理管道捆綁、子速率、通道化的應用模

式可以承載各類速率需求的客戶業(yè)務,提高了網絡承載帶寬的利用率,

降低了網絡設備的成本,逐步完善的

OAM功能滿足網絡維護管理需

要,這些優(yōu)勢很好地滿足了

5G承載網絡的技術需求。3.2

TSN技術趨勢TSN在二層網絡通過時分復用的思想為高優(yōu)先級流量提供了確

定性網絡需要的傳輸路徑和傳輸時延,但是會導致低優(yōu)先級流量的時

延增加,需要考慮與低優(yōu)先級流量共存的問題。TSN為了滿足確定性的時延需求,會犧牲掉部分帶寬資源,需要

考慮提高資源利用率。除此之外,如何部署

TSN網絡,是采用分布

式部署還是結合

SDN等技術進行集中式部署,如何互聯(lián)多個封閉的

TSN網絡,如何協(xié)調傳輸時延的最大時延和平均時延,是加速

TSN應用部署的關鍵問題。3.3

DetNet技術趨勢DetNet與給定

L2

網段中包含的

TSN流控制操作和服務相比,

預計

DetNet流控制操作將具有更大的規(guī)模和更高的復雜性。DetNet流量控制將在互操作性、控制數(shù)據(jù)開銷以及保證各種

L2

網段的

QoS指標方面帶來若干挑戰(zhàn)。此外,不同網段的所有者之間可能會出現(xiàn)

QoS服務水平協(xié)議的不同要求。以下幾個大規(guī)模確定性轉發(fā)技術發(fā)展

趨勢值得關注。3.4

DIP技術趨勢在

DIP的基本原理和基礎能力之上,相關技術擴展還可以進行相應增量設計,實現(xiàn)更強的能力,適配更廣泛的業(yè)務場景。例如,針

對有超低時延要求的工業(yè)現(xiàn)場網絡場景,可以在不同設備上采用不同

的周期大小,并通過相關的門控隊列調度機制實現(xiàn)不同大小周期之間

的對接,進一步壓縮

DIP時延,滿足未來工業(yè)場景的需求。同時,可

以進一步結合流量模型學習和業(yè)務場景極值估算,在流量接入前提前

規(guī)劃流量路徑,實現(xiàn)流量極值范圍內的業(yè)務免編排實時接入。又如,

針對有更低抖動要求的場景,可以通過出口網關上的進一步的流間隔

離機制,實現(xiàn)網絡的端到端±1μs抖動。再如,針對

TSN孤島之間相

互連接的場景,DIP的周期可以與

Qch的調度周期無縫對接,實現(xiàn)

TSN網絡的跨

IP連接。此外,針對

5GURLLC等場景,還可以通過

DIP周期與

5G空口時隙之間的聯(lián)合調度使能端到端的確定性,提升

5G空口的接入能力等等。對于以上場景,都可以在

DIP基本機制基

礎之上進行相應的增量設計以適配不同業(yè)務場景。3.5

DetWiFi技術趨勢TSN在為諸如工業(yè)控制、自動駕駛等領域帶來福音的同時,自

身也面臨著一些挑戰(zhàn)。TSN是基于有線以太網提供的低時延、高可

靠和低抖動等性能,始終不能擺脫線纜的束縛,如何在無線網絡上部

署和拓展

TSN協(xié)議的功能就成為一大技術難點。TSN是公開的協(xié)議

標準,如何在為不同的應用場景提供低成本、互操作便利的同時提供

優(yōu)于傳統(tǒng)專用協(xié)議的高性能和效率也有待解決。無線

TSN在無線網絡上提供

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論