



版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name iMaster NCE-WAN 應(yīng)用體驗(yàn) DOCPROPERTY DocumentName 技術(shù)白皮書目 錄 TOC h z t 標(biāo)題 1,1,標(biāo)題 2,2,標(biāo)題 3,3, 標(biāo)題 4,4, 標(biāo)題 5,5, 標(biāo)題 7,1, 標(biāo)題 8,2, 標(biāo)題 9,3, Heading1 No Number,1,Appendix heading 1,1,Appendix heading 2,2,Appendix heading 3,3,Appendix heading 4,4,Appendix he
2、ading 5,5, Heading 1,1,Heading 2,2,Heading 3,3, Heading 4,4, Heading 5,5, Heading 7,1,Heading 8,2,Heading 9,3 HYPERLINK l _Toc14773709 1 應(yīng)用體驗(yàn) PAGEREF _Toc14773709 h 1 HYPERLINK l _Toc14773710 1.1 概述 PAGEREF _Toc14773710 h 1 HYPERLINK l _Toc14773711 1.1.1 需求分析 PAGEREF _Toc14773711 h 1 HYPERLINK l _To
3、c14773712 1.1.2 總體方案 PAGEREF _Toc14773712 h 1 HYPERLINK l _Toc14773713 1.2 應(yīng)用識(shí)別 PAGEREF _Toc14773713 h 2 HYPERLINK l _Toc14773714 1.2.1 概述 PAGEREF _Toc14773714 h 2 HYPERLINK l _Toc14773715 1.2.2 首包識(shí)別 PAGEREF _Toc14773715 h 3 HYPERLINK l _Toc14773716 1.2.3 特征識(shí)別 PAGEREF _Toc14773716 h 4 HYPERLINK l _T
4、oc14773717 1.3 應(yīng)用選路 PAGEREF _Toc14773717 h 7 HYPERLINK l _Toc14773718 1.3.1 概述 PAGEREF _Toc14773718 h 7 HYPERLINK l _Toc14773719 1.3.2 隧道質(zhì)量檢測(cè) PAGEREF _Toc14773719 h 10 HYPERLINK l _Toc14773720 1.3.3 總體流程 PAGEREF _Toc14773720 h 11 HYPERLINK l _Toc14773721 1.3.4 部署方案 PAGEREF _Toc14773721 h 13 HYPERLIN
5、K l _Toc14773722 1.4 QOS PAGEREF _Toc14773722 h 14 HYPERLINK l _Toc14773723 1.4.1 概述 PAGEREF _Toc14773723 h 14 HYPERLINK l _Toc14773724 1.4.2 總體流程 PAGEREF _Toc14773724 h 15 HYPERLINK l _Toc14773725 1.4.3 部署方案 PAGEREF _Toc14773725 h 17應(yīng)用體驗(yàn)概述需求分析企業(yè)應(yīng)用種類繁多,常見的有生產(chǎn)類、協(xié)同類、云化、娛樂類等各類應(yīng)用。不同企業(yè)應(yīng)用對(duì)帶寬和鏈路質(zhì)量要求各不相同,例如
6、,在協(xié)同類應(yīng)用中,實(shí)時(shí)視頻會(huì)議對(duì)鏈路的丟包率、延遲、抖動(dòng)容忍度非常低,如果鏈路出現(xiàn)丟包就會(huì)導(dǎo)致卡頓、花屏;而生產(chǎn)類應(yīng)用中,郵件、FTP文件傳輸類應(yīng)用則對(duì)丟包相對(duì)不敏感但是對(duì)帶寬要求高,應(yīng)盡快完成傳輸。因此各類應(yīng)用對(duì)鏈路的需求各不相同。從企業(yè)各種應(yīng)用對(duì)網(wǎng)絡(luò)的需求來看,傳統(tǒng)WAN有以下問題:1、不同價(jià)值的應(yīng)用運(yùn)用在相同鏈路上這包含了兩層含義,以語音通話和FTP文件傳輸為例:一、語音通話和文件傳輸這兩種應(yīng)用對(duì)鏈路質(zhì)量要求不同,但是當(dāng)目的地址相同時(shí),傳統(tǒng)路由技術(shù)不能識(shí)別應(yīng)用,不能把不同企業(yè)應(yīng)用分流到不同鏈路上,這就可能導(dǎo)致網(wǎng)絡(luò)擁塞;二、網(wǎng)絡(luò)擁塞后,傳統(tǒng)技術(shù)做不到讓低價(jià)值的文件傳輸應(yīng)用避讓語音通話應(yīng)用。
7、例如把FTP流量調(diào)整到Internet鏈路,從而保證語音通話一直運(yùn)行在高質(zhì)量的MPLS鏈路上。2、鏈路質(zhì)量下降時(shí)應(yīng)用不能動(dòng)態(tài)選路傳統(tǒng)的IP網(wǎng)絡(luò)使用路由協(xié)議計(jì)算報(bào)文的路徑,這些路由協(xié)議(BGP/OSPF等)只看到報(bào)文,卻看不到應(yīng)用。因此,路由協(xié)議的算法僅考慮報(bào)文可達(dá)性,而不考慮鏈路質(zhì)量對(duì)應(yīng)用可用性的影響。這導(dǎo)致網(wǎng)絡(luò)運(yùn)維管理和應(yīng)用體驗(yàn)管理間存在鴻溝,只能靠網(wǎng)絡(luò)運(yùn)維人員靜態(tài)配置網(wǎng)絡(luò)。在鏈路質(zhì)量變化時(shí),通過手工方式調(diào)整網(wǎng)絡(luò)轉(zhuǎn)發(fā)路徑,無法及時(shí)根據(jù)鏈路質(zhì)量的變化動(dòng)態(tài)選擇轉(zhuǎn)發(fā)路徑。3、鏈路質(zhì)量劣化時(shí)缺少有效改善手段由于Internet不提供可靠的傳輸,所以在網(wǎng)絡(luò)發(fā)生丟包時(shí)應(yīng)用的傳輸效率會(huì)降低。當(dāng)企業(yè)無法選擇
8、更好的鏈路時(shí),缺少有效的改善手段,導(dǎo)致應(yīng)用體驗(yàn)變差。例如,語音應(yīng)用在數(shù)據(jù)包丟失過多時(shí)會(huì)導(dǎo)致語音模糊聽不清,甚至呼叫中斷,因此需要利用網(wǎng)絡(luò)優(yōu)化技術(shù)解決此類問題??傮w方案從傳統(tǒng)WAN的問題可以看到,企業(yè)需要一種可以識(shí)別應(yīng)用并且保障應(yīng)用體驗(yàn)的方案。SD-WAN解決方案針對(duì)以上問題,提出了企業(yè)應(yīng)用體驗(yàn)保障方案。如下圖所示,包含以下幾方面:應(yīng)用體驗(yàn)方案1、應(yīng)用識(shí)別應(yīng)用識(shí)別是指根據(jù)網(wǎng)絡(luò)流量的特征,確定流量歸屬的企業(yè)應(yīng)用的技術(shù)。因?yàn)椴煌髽I(yè)應(yīng)用對(duì)鏈路質(zhì)量的要求各不相同,所以對(duì)應(yīng)的優(yōu)化保障措施也有所不同,所以應(yīng)用識(shí)別是體驗(yàn)保障方案的前提。2、應(yīng)用選路傳統(tǒng)網(wǎng)絡(luò)技術(shù)不能根據(jù)不同應(yīng)用對(duì)鏈路質(zhì)量的不同要求動(dòng)態(tài)選擇路徑
9、。而應(yīng)用選路方案是基于企業(yè)應(yīng)用對(duì)鏈路質(zhì)量的要求,通過對(duì)多個(gè)WAN鏈路狀態(tài)的持續(xù)監(jiān)控,對(duì)應(yīng)用進(jìn)行鏈路選擇的方案,可以使高價(jià)值的企業(yè)應(yīng)用運(yùn)行在高質(zhì)量的鏈路上。3、QoSQoS方案在傳統(tǒng)的QoS技術(shù)(流量監(jiān)管、流量整形、隊(duì)列調(diào)度等)功能基礎(chǔ)上進(jìn)一步擴(kuò)展,可以感知企業(yè)業(yè)務(wù),從而對(duì)紛繁的企業(yè)應(yīng)用提供差異化服務(wù)。此外,在企業(yè)多部門需要隔離的場(chǎng)景下,還提供基于企業(yè)部門的服務(wù)質(zhì)量保障,形成“業(yè)務(wù)-部門-站點(diǎn)”這種層次化的質(zhì)量保障方案。4、廣域優(yōu)化(V100R019C10版本)廣域優(yōu)化是提高數(shù)據(jù)在WAN上傳輸質(zhì)量和效率的技術(shù)的集合。SD-WAN解決方案的廣域優(yōu)化技術(shù)關(guān)注如何在低質(zhì)量的鏈路上獲得良好的企業(yè)應(yīng)用體驗(yàn)
10、,提供丟包補(bǔ)償技術(shù),可以在鏈路質(zhì)量下降出現(xiàn)大量丟包時(shí)仍能保證視頻不卡頓和花屏。此外,也提供傳輸優(yōu)化和數(shù)據(jù)優(yōu)化技術(shù)以提升數(shù)據(jù)傳輸?shù)男???傊琒D-WAN會(huì)綜合利用應(yīng)用識(shí)別、智能動(dòng)態(tài)選路、QoS、廣域優(yōu)化技術(shù)提升應(yīng)用體驗(yàn),提高帶寬利用率,解決企業(yè)WAN互聯(lián)中應(yīng)用體驗(yàn)的保障問題。應(yīng)用識(shí)別概述應(yīng)用識(shí)別是CPE上的一項(xiàng)基礎(chǔ)功能,用于為CPE提供各種策略的匹配對(duì)象。通過應(yīng)用識(shí)別功能能夠精確的識(shí)別到某一應(yīng)用程序,從而便于后續(xù)基于應(yīng)用程序去制定選路策略、QoS策略、安全策略等。華為SD-WAN CPE支持的應(yīng)用識(shí)別技術(shù)包括特征識(shí)別和首包識(shí)別。特征識(shí)別特征識(shí)別是通過匹配應(yīng)用發(fā)送報(bào)文的特征識(shí)別出應(yīng)用的一種技術(shù),
11、也稱特征識(shí)別。特征識(shí)別能夠精確地識(shí)別各種常見的應(yīng)用程序。例如,網(wǎng)頁(yè)游戲和網(wǎng)頁(yè)視頻都是使用HTTP協(xié)議8080端口進(jìn)行數(shù)據(jù)傳輸,傳統(tǒng)設(shè)備通過端口號(hào)和協(xié)議都無法將這兩種應(yīng)用程序區(qū)分開,而CPE能通過每種應(yīng)用程序的特征有效區(qū)分這兩種應(yīng)用程序。首包識(shí)別首包識(shí)別是指應(yīng)用的第一個(gè)報(bào)文到達(dá)設(shè)備時(shí),設(shè)備就能識(shí)別出該應(yīng)用程序。以TCP應(yīng)用為例,傳統(tǒng)的識(shí)別方式在TCP三次握手階段,由于報(bào)文中沒有載荷設(shè)備無法識(shí)別出應(yīng)用。而對(duì)于首包識(shí)別,設(shè)備通過TCP的SYN報(bào)文就能識(shí)別出該應(yīng)用。首包識(shí)別通過靜態(tài)識(shí)別表和DNS關(guān)聯(lián)識(shí)別兩種方式來識(shí)別應(yīng)用。首包識(shí)別首包識(shí)別在應(yīng)用的第一個(gè)報(bào)文到達(dá)時(shí)即可識(shí)別出應(yīng)用類型,相比特征識(shí)別可以帶來
12、兩個(gè)優(yōu)勢(shì):無須關(guān)注應(yīng)用的載荷,解決特征識(shí)別對(duì)一部分加密應(yīng)用無法識(shí)別的問題;應(yīng)用的識(shí)別效率更高,對(duì)設(shè)備的性能消耗更小。首包識(shí)別技術(shù)通常用于以下場(chǎng)景:在基于應(yīng)用的選路場(chǎng)景中,如果在第一個(gè)數(shù)據(jù)報(bào)文就能正確識(shí)別應(yīng)用,讓流量走在正確的鏈路上,就可以避免應(yīng)用在識(shí)別前走A鏈路,識(shí)別后走B鏈路,鏈路切換影響應(yīng)用的體驗(yàn)。出于安全集中管控的需要,企業(yè)分支訪問internet通常采用在總部部署防火墻,然后分支集中從總部去訪問internet。但在云化應(yīng)用場(chǎng)景中,SaaS和可信網(wǎng)絡(luò)的流量需要從分支機(jī)構(gòu)直接發(fā)送到Internet,而不是將流量繞行到數(shù)據(jù)中心,那樣既會(huì)浪費(fèi)帶寬,又會(huì)增加網(wǎng)絡(luò)時(shí)延。因此需要通過首包識(shí)別技術(shù),
13、第一時(shí)間將SaaS應(yīng)用識(shí)別出來,針對(duì)該部分流量做localbreakout。在安全場(chǎng)景中,首包識(shí)別能讓應(yīng)用在第一個(gè)報(bào)文就匹配安全策略,及時(shí)阻斷惡意應(yīng)用,避免安全風(fēng)險(xiǎn)和流量浪費(fèi)。并且首包識(shí)別無須關(guān)注應(yīng)用的載荷,可以解決加密的應(yīng)用流量無法識(shí)別的問題。首包識(shí)別提供靜態(tài)識(shí)別表和DNS關(guān)聯(lián)識(shí)別兩種識(shí)別應(yīng)用的技術(shù):一、靜態(tài)識(shí)別表技術(shù)針對(duì)IP地址、端口號(hào)、協(xié)議類型固定的應(yīng)用,可以將應(yīng)用的三元組信息記錄到靜態(tài)識(shí)別表中。當(dāng)數(shù)據(jù)流的第一個(gè)報(bào)文到達(dá)設(shè)備后,將進(jìn)行靜態(tài)識(shí)別表匹配查找,如果命中表項(xiàng),表示該數(shù)據(jù)流即為該表項(xiàng)對(duì)應(yīng)的應(yīng)用類型。靜態(tài)識(shí)別表,主要用于首包識(shí)別的自定義應(yīng)用場(chǎng)景。對(duì)于用戶在AC界面上通過IP地址、端口
14、號(hào)、協(xié)議類型自定義應(yīng)用的場(chǎng)景,設(shè)備優(yōu)先使用報(bào)文的“目的IP地址+目的端口+協(xié)議類型”進(jìn)行查表匹配;如果未匹配,再嘗試使用報(bào)文的設(shè)備優(yōu)先使用報(bào)文的“源IP地址+源端口+協(xié)議類型”進(jìn)行查表匹配;如果二者均未匹配,再通過特征識(shí)別方式進(jìn)行應(yīng)用識(shí)別。二、DNS關(guān)聯(lián)識(shí)別方式首包識(shí)別還提供了基于DNS的識(shí)別技術(shù),如果應(yīng)用是以域名方式定義的,當(dāng)DNS解析時(shí),CPE可以將域名()和DNS應(yīng)答的IP地址()進(jìn)行匹配和緩存,從而在后續(xù)TCP握手時(shí)根據(jù)首包的IP地址就可以檢測(cè)出應(yīng)用類型,如下圖所示。DNS關(guān)聯(lián)識(shí)別DNS關(guān)聯(lián)識(shí)別在數(shù)據(jù)流量加密的場(chǎng)景下也可以使用。雖然數(shù)據(jù)經(jīng)過加密后,對(duì)外顯示的是無法理解的密文,但是前面的
15、DNS關(guān)聯(lián)識(shí)別過程是相同的,所以加密流量也可以識(shí)別。規(guī)格說明:當(dāng)前版本,CPE的特征庫(kù)通過域名方式定義了一些知名SAAS應(yīng)用,這些知名SAAS應(yīng)用的識(shí)別采用DNS關(guān)聯(lián)技術(shù);當(dāng)前版本尚不支持通過自定義域名的方式去實(shí)現(xiàn)DNS關(guān)聯(lián)識(shí)別。特征識(shí)別特征識(shí)別是通過匹配應(yīng)用報(bào)文的特征從而識(shí)別出應(yīng)用的一種技術(shù)。對(duì)于基于TCP的應(yīng)用,由于TCP握手階段的三次握手報(bào)文不傳輸應(yīng)用載荷,因此只有在握手成功后,傳輸有載荷的報(bào)文時(shí)才能進(jìn)行識(shí)別。相比首包識(shí)別,特征識(shí)別識(shí)別應(yīng)用更細(xì)致精確。特征識(shí)別考察應(yīng)用的特征信息不再是簡(jiǎn)單的DSCP、協(xié)議號(hào)、IP地址和端口號(hào),而是報(bào)文載荷中的某些特征關(guān)鍵字、應(yīng)用發(fā)送報(bào)文的速率、多個(gè)報(bào)文的長(zhǎng)
16、度序列等信息。特征識(shí)別對(duì)這些信息進(jìn)行更細(xì)致綜合地考察,從而確定報(bào)文所屬的應(yīng)用。由此可見,特征識(shí)別適合應(yīng)用在多通道協(xié)議或者端口號(hào)不固定的場(chǎng)景。從識(shí)別方法上看,特征識(shí)別識(shí)別應(yīng)用一般有報(bào)文特征字識(shí)別、關(guān)聯(lián)識(shí)別、行為識(shí)別和動(dòng)態(tài)映射表識(shí)別等。一、報(bào)文特征字識(shí)別對(duì)于未公開的協(xié)議(例如當(dāng)前多數(shù)的P2P、IM、VoIP)廠家出于多方面的考慮,不公開其協(xié)議細(xì)節(jié),這時(shí)可通過報(bào)文流中的某些有明顯特征的字符序列來識(shí)別應(yīng)用。這類方法工作量大,而且協(xié)議的變化快,必須不斷進(jìn)行技術(shù)跟蹤才能保證檢測(cè)的高效可靠。報(bào)文特征字識(shí)別方法中,如果單個(gè)報(bào)文的特征比較弱,就需要結(jié)合多個(gè)報(bào)文的特征來增強(qiáng)特征,這樣特征識(shí)別過程就有單報(bào)文識(shí)別和多
17、報(bào)文識(shí)別兩種情況。多報(bào)文識(shí)別由于需要檢測(cè)和記錄多個(gè)報(bào)文的檢測(cè)結(jié)果,所以資源開銷高于單報(bào)文識(shí)別。同時(shí)也由于無法做到首包識(shí)別,會(huì)影響需要首包識(shí)別的業(yè)務(wù)。二、關(guān)聯(lián)識(shí)別有一些應(yīng)用采用協(xié)議通道和數(shù)據(jù)通道分離的方式通信,實(shí)際傳輸數(shù)據(jù)的數(shù)據(jù)通道是動(dòng)態(tài)協(xié)商出來的。如 REF _Ref535912226 n h * MERGEFORMAT 圖3-3所示, VoIP、各種P2P應(yīng)用以及一些文件傳輸類應(yīng)用(例如FTP)僅僅采用端口識(shí)別的方式只能發(fā)現(xiàn)協(xié)議通道,而真正的音頻、視頻和文字的數(shù)據(jù)傳輸通道無法識(shí)別。動(dòng)態(tài)協(xié)商端口多媒體通信中,實(shí)際的音頻、視頻和文字通道是協(xié)商后再動(dòng)態(tài)產(chǎn)生的。這些通道的源、目的端口號(hào),不同于初始連
18、接時(shí)的知名端口號(hào),這些端口號(hào)被承載于協(xié)商的報(bào)文內(nèi)容中。因此需要解析協(xié)商報(bào)文,提取動(dòng)態(tài)協(xié)商的端口號(hào),然后將這樣的流量標(biāo)記為相應(yīng)應(yīng)用的類型。我們將這種需要多個(gè)通道協(xié)同檢測(cè)的技術(shù)稱為關(guān)聯(lián)識(shí)別技術(shù)。三、行為識(shí)別對(duì)應(yīng)用報(bào)文的行為特征分析,是指對(duì)報(bào)文中端口的范圍、報(bào)文長(zhǎng)度統(tǒng)計(jì)、報(bào)文發(fā)送頻度、報(bào)文收發(fā)比例以及目的地址的分散程度等情況綜合識(shí)別應(yīng)用。例如在VoIP應(yīng)用中,語音數(shù)據(jù)報(bào)文長(zhǎng)度通常較為穩(wěn)定,發(fā)送頻率較為恒定;P2P網(wǎng)絡(luò)應(yīng)用單IP的連接數(shù)多、每個(gè)連接的端口號(hào)都不同;文件共享數(shù)據(jù)報(bào)文比較大并且大小穩(wěn)定,等等。通過這些行為特征可以識(shí)別應(yīng)用。行為識(shí)別適用于比較復(fù)雜的協(xié)議和加密協(xié)議識(shí)別的場(chǎng)景。復(fù)雜協(xié)議沒有特征關(guān)
19、鍵字可以作為識(shí)別特征,而加密協(xié)議在初步判斷時(shí),也看不出來與其他加密報(bào)文的區(qū)別。四、動(dòng)態(tài)映射表方式與首包識(shí)別表類似,動(dòng)態(tài)映射表里面也記錄報(bào)文五元組、DSCP等信息,用于首包匹配時(shí)查表識(shí)別應(yīng)用。不同的是,這些信息是特征識(shí)別的結(jié)果,并且是動(dòng)態(tài)加入的。如 REF _Ref535912166 n h * MERGEFORMAT 圖3-4所示, 在CPE1通過特征識(shí)別,將識(shí)別結(jié)果(如應(yīng)用A和應(yīng)用B)導(dǎo)入網(wǎng)絡(luò)控制器,然后再分發(fā)到其他CPE。其他CPE可以共享這些識(shí)別信息,復(fù)用這些識(shí)別結(jié)果,這就是動(dòng)態(tài)映射表方式。動(dòng)態(tài)映射流程規(guī)格說明:1、當(dāng)應(yīng)用的報(bào)文到達(dá)應(yīng)用識(shí)別模塊時(shí),先進(jìn)行首包識(shí)別,如果首包識(shí)別出該應(yīng)用,不
20、再進(jìn)行特征識(shí)別;如果首包識(shí)別未識(shí)別出該應(yīng)用,會(huì)進(jìn)行特征識(shí)別。2、CPE特征識(shí)別的能力主要依賴CPE的應(yīng)用識(shí)別特征庫(kù),CPE出廠預(yù)置了特征庫(kù),該特征庫(kù)中包含首包識(shí)別方式定義的應(yīng)用(知名SAAS,域名方式)和特征識(shí)別方式定義的應(yīng)用(特征字、行為等)。該特征庫(kù)中預(yù)置的應(yīng)用一般分為幾大類:商業(yè)系統(tǒng)、娛樂、傳統(tǒng)互聯(lián)網(wǎng)、網(wǎng)絡(luò)應(yīng)用、通用類應(yīng)用。在設(shè)備出廠預(yù)置特性庫(kù)的同時(shí),華為提供特征庫(kù)的在線更新功能,以便用戶獲得最新的應(yīng)用識(shí)別能力。即AC控制器從安全中心下載最新的特征庫(kù),之后AC根據(jù)升級(jí)策略對(duì)設(shè)備的特征庫(kù)進(jìn)行升級(jí)。升級(jí)完成后,可以查看各個(gè)設(shè)備的升級(jí)狀態(tài)。特征庫(kù)地址為: HYPERLINK /sec/web/
21、freesignature.do /sec/web/freesignature.do。3、對(duì)于特征庫(kù)中未包含的應(yīng)用,用戶可以基于應(yīng)用的特征去自定義應(yīng)用。應(yīng)用選路概述SD-WAN的一個(gè)重要特性就是可以根據(jù)應(yīng)用訴求進(jìn)行智能選路,即能夠?qū)崟r(shí)監(jiān)控網(wǎng)絡(luò)的質(zhì)量,并根據(jù)應(yīng)用對(duì)SLA質(zhì)量訴求,在多條不同網(wǎng)絡(luò)質(zhì)量的WAN鏈路上,動(dòng)態(tài)、自動(dòng)地選擇符合應(yīng)用SLA質(zhì)量要求的網(wǎng)絡(luò)路徑,同時(shí)兼顧WAN網(wǎng)絡(luò)的整體使用效率,稱之為智能選路。SD-WAN解決方案提供如下智能選路算法:類別選路算法說明啟用說明基本選路功能鏈路質(zhì)量選路1、基于應(yīng)用指定應(yīng)用的主備鏈路,當(dāng)鏈路質(zhì)量不滿足SLA要求時(shí),即達(dá)到切換指標(biāo)時(shí)自動(dòng)進(jìn)行主備鏈路的切
22、換。2、切換指標(biāo)主要指鏈路的延遲、抖動(dòng)和丟包率。不同的業(yè)務(wù)對(duì)鏈路質(zhì)量的要求不同,比如語音和視頻業(yè)務(wù)對(duì)時(shí)延、丟包率的容忍度較低。CPE設(shè)備通過IPFMP協(xié)議實(shí)時(shí)監(jiān)控應(yīng)用所在鏈路的延遲、抖動(dòng)以及丟包率,三個(gè)指標(biāo)只要有其中一個(gè)超出閾值,就會(huì)觸發(fā)鏈路切換。3、系統(tǒng)為語音、實(shí)時(shí)視頻、低時(shí)延數(shù)據(jù)、大容量數(shù)據(jù)這四種典型的業(yè)務(wù)定義了切換指標(biāo),用戶直接選擇業(yè)務(wù)類型即可。用戶也可以根據(jù)業(yè)務(wù)需求自定義切換指標(biāo),選擇“自定義”后,可對(duì)“延遲”、“抖動(dòng)”、“丟包率”進(jìn)行設(shè)置。必選高級(jí)選路功能帶寬選路通過設(shè)置鏈路帶寬占用的上下限進(jìn)行帶寬選路。鏈路帶寬占用率下限值:當(dāng)前應(yīng)用流量通過該傳輸網(wǎng)絡(luò)轉(zhuǎn)發(fā),新的應(yīng)用流量也可以進(jìn)入。下
23、限值鏈路帶寬占用率上限值:部分應(yīng)用流量切換到其他傳輸網(wǎng)絡(luò),新的應(yīng)用流量也不可以再進(jìn)入??蛇x負(fù)載均衡選路當(dāng)有多條鏈路時(shí),應(yīng)用在多條鏈路上進(jìn)行逐流負(fù)載分擔(dān)可選應(yīng)用優(yōu)先級(jí)選路如果在同一條鏈路上有多種業(yè)務(wù)報(bào)文,當(dāng)鏈路擁塞時(shí)會(huì)優(yōu)先保證高優(yōu)先級(jí)應(yīng)用的使用,低優(yōu)先級(jí)應(yīng)用避讓高優(yōu)先級(jí)應(yīng)用。可選一、鏈路質(zhì)量選路不同應(yīng)用對(duì)鏈路質(zhì)量的要求不同,比如語音和視頻業(yè)務(wù)對(duì)時(shí)延、丟包率的容忍率較低,容忍率一般要求時(shí)延在150ms以內(nèi),丟包率低于1%;則可將語音和視頻業(yè)務(wù)主選鏈路配置為質(zhì)量較好的MPLS鏈路,備選鏈路為Internet鏈路,并配置業(yè)務(wù)的SLA要求,按照鏈路SLA進(jìn)行選路。如下圖所示,在MPLS沒有發(fā)生擁塞時(shí)MP
24、LS鏈路的質(zhì)量較好,此時(shí)語音選擇在MPLS鏈路上傳輸。當(dāng)由于擁塞導(dǎo)致MPLS質(zhì)量下降時(shí),CPE通過實(shí)時(shí)的鏈路質(zhì)量檢測(cè),在檢測(cè)到鏈路SLA變差并達(dá)到語音所能容忍的SLA邊界時(shí),將語音流量動(dòng)態(tài)的調(diào)整到符合SLA要求的負(fù)載較輕的Internet鏈路上。另外在MPLS鏈路由于故障斷鏈時(shí),SD-WAN CPE實(shí)時(shí)檢測(cè)到鏈路故障,及時(shí)的將MPLS鏈路上所有業(yè)務(wù)動(dòng)態(tài)遷移到Internet鏈路上,保證業(yè)務(wù)不受MPLS鏈路故障的影響。智能選路場(chǎng)景之鏈路質(zhì)量選路二、帶寬選路帶寬選路一般有兩種場(chǎng)景:一種是在線路帶寬達(dá)到一定閾值或者剩余帶寬低于一定閾值時(shí)某些應(yīng)用的新建流就不能再選擇這條鏈路,以防止應(yīng)用質(zhì)量或者鏈路質(zhì)量
25、的劣化;一種是對(duì)于高優(yōu)先級(jí)的應(yīng)用會(huì)優(yōu)先保證其對(duì)線路帶寬的占用,為了防止高優(yōu)先級(jí)應(yīng)用將帶寬占滿,此時(shí)可配置應(yīng)用帶寬的限制條件,在該應(yīng)用的帶寬占用達(dá)到一定閥值時(shí)不再使用相應(yīng)的鏈路,此時(shí)就可以使用帶寬選路配置。如下圖所示,由于視頻業(yè)務(wù)對(duì)帶寬占用較大,因此為保證視頻應(yīng)用的體驗(yàn),在鏈路帶寬占用率超過80%時(shí)不再選擇這條鏈路,此時(shí)可配置視頻業(yè)務(wù)的鏈路帶寬選擇條件為超過80%時(shí)選擇其他鏈路。智能選路場(chǎng)景之帶寬條件選路三、負(fù)載均衡選路在企業(yè)有多條鏈路時(shí),希望能夠充分利用線路帶寬,基于鏈路帶寬進(jìn)行負(fù)載均衡選路,此時(shí)可配置負(fù)載均衡方式的選路調(diào)度方式。如下圖所示,企業(yè)分別購(gòu)買了不同運(yùn)營(yíng)商的兩條MPLS鏈路,電信10
26、0M的MPLS和聯(lián)通50M的MPLS,則可將語音業(yè)務(wù)的主選鏈路設(shè)置為這兩條MPLS鏈路。在兩條鏈路質(zhì)量均滿足語音業(yè)務(wù)SLA的前提下,語音業(yè)務(wù)可以負(fù)載分擔(dān)的方式跑在兩條MPLS鏈路上,通過實(shí)時(shí)的帶寬利用率監(jiān)控,確保帶寬利用率可達(dá)到85%以上,充分利用線路帶寬。智能選路場(chǎng)景之負(fù)載均衡、四、應(yīng)用優(yōu)先級(jí)的選路如果在同一條鏈路上有多種業(yè)務(wù)報(bào)文,為了在鏈路擁塞時(shí)優(yōu)先保證高優(yōu)先級(jí)應(yīng)用的使用,在發(fā)生擁塞時(shí)低優(yōu)先級(jí)應(yīng)用避讓高優(yōu)先級(jí)應(yīng)用,此時(shí)可使用優(yōu)先級(jí)選路。比如語音和視頻以及文件傳輸都在MPLS上,在鏈路帶寬不夠時(shí)優(yōu)先保證語音和視頻業(yè)務(wù)不受影響。如下圖所示,由于MPLS線路質(zhì)量相對(duì)Internet鏈路好,為充分
27、利用MPLS鏈路,將語音和FTP業(yè)務(wù)的主選鏈路均選擇為MPLS,備選鏈路為Internet。設(shè)置語音業(yè)務(wù)的優(yōu)先級(jí)高于FTP。初始時(shí),語音和FTP均選擇MPLS鏈路,隨著語音業(yè)務(wù)和FTP業(yè)務(wù)的增加,MPLS鏈路出現(xiàn)擁塞,為保證語音業(yè)務(wù)的體驗(yàn),將FTP業(yè)務(wù)逐步遷移到Internet鏈路,在MPLS擁塞解除后停止遷移。另外,為充分利用MPLS帶寬,可以配置在MPLS恢復(fù)時(shí)將FTP業(yè)務(wù)逐步遷移回MPLS鏈路。智能選路場(chǎng)景之應(yīng)用優(yōu)先級(jí)選路選路依賴對(duì)鏈路質(zhì)量狀態(tài)的實(shí)時(shí)監(jiān)控。智能選路基于對(duì)鏈路質(zhì)量的監(jiān)測(cè)結(jié)果以及應(yīng)用優(yōu)先級(jí)、應(yīng)用以及鏈路帶寬的占用情況,動(dòng)態(tài)選擇相應(yīng)的路徑轉(zhuǎn)發(fā)報(bào)文。隧道質(zhì)量檢測(cè)應(yīng)用質(zhì)量選路首先需
28、要確定WAN鏈路的質(zhì)量狀態(tài),也就是要對(duì)WAN鏈路的質(zhì)量情況進(jìn)行測(cè)量。IP流性能測(cè)量IP FPM(IP Flow Performance Measurement)是華為擁有專利技術(shù)的IP網(wǎng)絡(luò)性能檢測(cè)方案,可以有效地完成三層網(wǎng)絡(luò)端到端的性能統(tǒng)計(jì)。一方面,IP FPM可以直接對(duì)業(yè)務(wù)報(bào)文進(jìn)行測(cè)量,測(cè)量數(shù)據(jù)可以真實(shí)反映IP網(wǎng)絡(luò)的性能;另一方面,IP FPM可以在線監(jiān)控IP網(wǎng)絡(luò)承載的業(yè)務(wù)的變化,真實(shí)準(zhǔn)確地反映出業(yè)務(wù)的運(yùn)行情況。鏈路質(zhì)量由3個(gè)指標(biāo)構(gòu)成:丟包率、時(shí)延、抖動(dòng)。下面分別介紹這幾個(gè)指標(biāo)在IP FPM中的檢測(cè)技術(shù)。一、丟包檢測(cè)方法:隧道兩端互發(fā)KeepAlive報(bào)文。CPE A發(fā)給CPE B的Keep
29、Alive報(bào)文攜帶業(yè)務(wù)周期T1內(nèi)發(fā)送的報(bào)文計(jì)數(shù)SndA(T1)、發(fā)送時(shí)刻時(shí)間戳TsA(T1)、序號(hào)Seq;CPE B收到KeepAlive報(bào)文后發(fā)送業(yè)務(wù)周期T1內(nèi)接收到的報(bào)文計(jì)數(shù)RcvB(T1)、A的KeepAlive報(bào)文的接收時(shí)間TrB(T1)、序號(hào)Seq。CPE A到CPE B的統(tǒng)計(jì)信息同步后,雙端可以計(jì)算CPE A發(fā)送報(bào)文的丟包率。單次丟包計(jì)算公式為:LossA= (SndA-RcvB) /SndA*100%同樣,CPE B把T1時(shí)間發(fā)送報(bào)文的信息發(fā)到CPE A,CPE A把收到報(bào)文的統(tǒng)計(jì)信息發(fā)往CPE B。這樣可以計(jì)算CPE B發(fā)送報(bào)文的丟包率。多次統(tǒng)計(jì)之后的平均值可以作為選路的依據(jù)。
30、二、雙向時(shí)延檢測(cè)方法時(shí)延檢測(cè)不需要專門再發(fā)報(bào)文,因?yàn)镵eepAlive報(bào)文里有時(shí)間戳,可以直接使用。雙向時(shí)延檢測(cè)假設(shè)CPE A設(shè)備與CPE B設(shè)備的時(shí)鐘差為M,如圖6-17所示。則單次雙向傳輸時(shí)延計(jì)算公式如下:Delay = TrB -(TsA+M)+(TrA+M)- TsB = (TrB - TsA) + (TrA-TsB)從公式可以看出,延時(shí)為雙向測(cè)量值,抵消掉了時(shí)間誤差,不依賴于NTP。時(shí)延計(jì)算也是把統(tǒng)計(jì)10次的平均值作為選路依據(jù)。三、抖動(dòng)計(jì)算方法統(tǒng)計(jì)整個(gè)統(tǒng)計(jì)周期內(nèi)的所有IP FPM算法計(jì)算得到的時(shí)延的標(biāo)準(zhǔn)差,即時(shí)延的抖動(dòng)。通過對(duì)每個(gè)鏈路啟動(dòng)一個(gè)IP FPM測(cè)試?yán)梢詫?duì)鏈路內(nèi)所有流量進(jìn)
31、進(jìn)行發(fā)送周期內(nèi)的報(bào)文統(tǒng)計(jì),切換周期可以達(dá)到亞秒級(jí)。默認(rèn)的質(zhì)量檢測(cè)周期10s,每隔5s刷新一次選路策略,因此鏈路質(zhì)量變化后的切換周期為1015s;鏈路斷開則立即出發(fā)切換,時(shí)間默認(rèn)約為6s??傮w流程華為SD-WAN智能選路解決方案支持根據(jù)應(yīng)用對(duì)鏈路的質(zhì)量要求(SLA條件)對(duì)應(yīng)用進(jìn)行選路;支持根據(jù)鏈路優(yōu)先級(jí)對(duì)鏈路進(jìn)行分組,優(yōu)先使用高優(yōu)先級(jí)的鏈路組;支持根據(jù)應(yīng)用優(yōu)先級(jí)以及帶寬條件的選路。智能選路處理流程:1、鏈路質(zhì)量檢測(cè)模塊實(shí)時(shí)監(jiān)測(cè)站點(diǎn)間鏈路質(zhì)量狀態(tài)。2、智能選路模塊(SPR)定期基于鏈路SLA以及鏈路以及應(yīng)用帶寬占用情況刷新每個(gè)應(yīng)用組的SPR策略(基于鏈路帶寬占用情況、應(yīng)用帶寬占用情況),根據(jù)配置的
32、策略刷新(實(shí)際刷新的就是應(yīng)用對(duì)應(yīng)應(yīng)用聯(lián)接的狀態(tài))。3、轉(zhuǎn)發(fā)收到報(bào)文后,識(shí)別應(yīng)用APP,根據(jù)目的IP查找到目的站點(diǎn)(Site)的選路策略(下一跳為Site ID的才會(huì)進(jìn)入SPR選路流程,為明確下一跳的則按照路由轉(zhuǎn)發(fā),比如目的地址為對(duì)端隧道口網(wǎng)段地址時(shí)會(huì)按照路由轉(zhuǎn)發(fā)到對(duì)應(yīng)隧道口),根據(jù)應(yīng)用優(yōu)先級(jí)以及鏈路帶寬的占用狀態(tài)選擇可用的鏈路。4、封裝發(fā)送應(yīng)用報(bào)文,實(shí)時(shí)統(tǒng)計(jì)鏈路帶寬占用狀態(tài),根據(jù)應(yīng)用優(yōu)先級(jí)刷新應(yīng)用聯(lián)接對(duì)應(yīng)狀態(tài)(新流可進(jìn)入,老流保持,老流避讓)。選路流程說明其中,對(duì)于網(wǎng)絡(luò)擁塞時(shí)應(yīng)用優(yōu)先級(jí)的選路原理如下:應(yīng)用優(yōu)先級(jí)和鏈路帶寬狀態(tài)對(duì)應(yīng)關(guān)系說明每個(gè)應(yīng)用組都有相應(yīng)的應(yīng)用優(yōu)先級(jí)。每個(gè)應(yīng)用組對(duì)應(yīng)一組聯(lián)接,在
33、聯(lián)接建立時(shí)通知SPR,SPR為每個(gè)APP下發(fā)對(duì)應(yīng)的聯(lián)接,在聯(lián)接刪除時(shí)通知SPR,SPR刪除轉(zhuǎn)發(fā)面聯(lián)接。轉(zhuǎn)發(fā)為每條鏈路基于鏈路帶寬的85%建立一個(gè)METER桶,平均分為8等份,對(duì)應(yīng)應(yīng)用組的8個(gè)優(yōu)先級(jí)。轉(zhuǎn)發(fā)實(shí)時(shí)統(tǒng)計(jì)每條鏈路的帶寬占用情況,基于每個(gè)帶寬等級(jí)的上下限刷新該TNP對(duì)應(yīng)的應(yīng)用聯(lián)接的狀態(tài)。對(duì)于新建流:查詢應(yīng)用應(yīng)用對(duì)應(yīng)的聯(lián)接,是否存在回流態(tài)的聯(lián)接,沒有則按照配置的策略丟棄或者做ECMP動(dòng)作。對(duì)于老流:查詢對(duì)應(yīng)應(yīng)用聯(lián)接狀態(tài),如果是避讓態(tài)或者清空狀態(tài)則需要避讓到回流態(tài)的聯(lián)接,如果沒有則保持不變。默認(rèn)5s刷新一次SPR策略(基于SLA和鏈路以及應(yīng)用帶寬占用情況等條件)。部署方案1、用戶基于應(yīng)用進(jìn)行主
34、備路徑的設(shè)置,對(duì)應(yīng)到AC界面上實(shí)際是進(jìn)行TN的設(shè)置。即,為應(yīng)用指定不同優(yōu)先級(jí)的TN,高優(yōu)先級(jí)的TN為主用,低優(yōu)先級(jí)的TN做為備用。2、在實(shí)際應(yīng)用中,同一TN里面可能存在多條鏈路,例如一個(gè)CPE有兩條來自同一個(gè)運(yùn)營(yíng)商的internet鏈路,那么這兩條鏈路通常規(guī)劃為同一個(gè)TN。同一TN里面有多條鏈路,意味著有多個(gè)Connection,當(dāng)前缺省情況下,應(yīng)用隨機(jī)優(yōu)選一個(gè)Connection進(jìn)行轉(zhuǎn)發(fā)。當(dāng)開啟Loadbalance模式時(shí),流量在多個(gè)Connection之間進(jìn)行hash負(fù)載分擔(dān)。3、當(dāng)多個(gè)TN屬于同一Priority里面時(shí),缺省情況下,隨機(jī)優(yōu)選某一TN對(duì)應(yīng)的某一Connection進(jìn)行轉(zhuǎn)發(fā)。
35、當(dāng)開啟Loadbalance模式時(shí),流量才會(huì)在多個(gè)TN對(duì)應(yīng)的Connection之間Hash負(fù)載。4、用戶為某一組應(yīng)用設(shè)置了不同優(yōu)先級(jí)的TN,當(dāng)開啟Loadbalance模式時(shí),優(yōu)先級(jí)依然有效。具體表現(xiàn)為:流量先在高優(yōu)先級(jí)TN對(duì)應(yīng)的connection之間進(jìn)行負(fù)載分擔(dān),當(dāng)流量超過高優(yōu)先級(jí)TN的帶寬承載能力時(shí),次低優(yōu)先級(jí)的TN會(huì)被使用,新流會(huì)在次低優(yōu)先級(jí)TN對(duì)應(yīng)的connection之間進(jìn)行負(fù)載分擔(dān),依次類推到更低優(yōu)先級(jí)的TN。5、帶寬選路的上下限閾值的作用為:a、當(dāng)帶寬占用低于下限,新流、老流均可以使用這個(gè)鏈路;b、當(dāng)帶寬占用在上下限之間,老流繼續(xù)使用這個(gè)鏈路,新流使用其他鏈路;c、當(dāng)帶寬占用
36、高于上限,新流老流全切換到其他鏈路。建議僅在帶寬充足的場(chǎng)景下開啟帶寬選路,以避免流量在不同鏈路上來回震蕩。通常情況下,帶寬選路用于Loadbalance模式下,為了避免鏈路擁塞時(shí)高優(yōu)先級(jí)應(yīng)用擠占低優(yōu)先級(jí)應(yīng)用的帶寬,可以將高優(yōu)先級(jí)應(yīng)用的帶寬限制在一定閾值內(nèi)。6、用戶可以基于某一TN進(jìn)行帶寬上下限的設(shè)置,也可以基于TN進(jìn)行應(yīng)用最大帶寬和最小帶寬的設(shè)置?;赥N進(jìn)行應(yīng)用最大、最小帶寬的設(shè)置,是指該選路策略對(duì)應(yīng)著組應(yīng)用使用該TN的最大、最小帶寬。最大、最小帶寬的含義與帶寬上下限的含義類似,未超過最小帶寬,新流、老流均使用該鏈路;超過最小帶寬,但小于最大帶寬,老流繼續(xù)使用該鏈路;超過最大帶寬,新流、老流
37、使用其他鏈路。這里的最大、最小帶寬沒有QoS的功能。7、當(dāng)應(yīng)用的所有鏈路的SLA、帶寬等條件均不滿足要求時(shí),可以設(shè)置在多個(gè)不滿足條件的鏈路中選擇一個(gè)最優(yōu)的使用(差中選優(yōu)),也可以設(shè)置丟棄該應(yīng)用的流量。8、為了避免鏈路頻繁震蕩造成主備鏈路的頻繁切換,可以選擇是否開啟回切模式。在回切模式下,應(yīng)用的流量從主鏈路切換到備鏈路,當(dāng)主鏈路SLA滿足要求時(shí),流量將從備鏈路切換回主鏈路。如果開啟帶寬選路功能,不建議啟用回切功能,以避免流量在不同鏈路上來回震蕩。9、用戶基于應(yīng)用設(shè)置選路策略時(shí),可以配置應(yīng)用優(yōu)先級(jí)。當(dāng)應(yīng)用擁塞時(shí),低優(yōu)先級(jí)的應(yīng)用會(huì)避讓高優(yōu)先級(jí)的應(yīng)用,即低優(yōu)先級(jí)的應(yīng)用切換到其他鏈路。該優(yōu)先級(jí)的設(shè)置,僅
38、在Loadbalance模式下生效。10、當(dāng)用戶未配置選路策略時(shí),流量采用路由轉(zhuǎn)發(fā),站點(diǎn)間的路由為等價(jià)路由。11負(fù)載分擔(dān)(LB)選路或者帶寬條件選路,需要和QoS策略配合使用,以避免應(yīng)用流量超過實(shí)際鏈路寬帶時(shí),在不同鏈路上來回震蕩。包括以下兩種場(chǎng)景:低優(yōu)先級(jí)應(yīng)用+高優(yōu)先級(jí)應(yīng)用的流量超過實(shí)際鏈路帶寬,包括低優(yōu)先級(jí)應(yīng)用的突發(fā)流量造成接口流量超過實(shí)際帶寬。此時(shí)應(yīng)通過QoS限制低優(yōu)先級(jí)應(yīng)用的帶寬,將其限制在一定范圍,并配合應(yīng)用優(yōu)先級(jí)進(jìn)行流量調(diào)度。高優(yōu)先級(jí)應(yīng)用的流量超過實(shí)際鏈路帶寬,此時(shí)應(yīng)通過QoS限制高優(yōu)先級(jí)應(yīng)用的總帶寬。流量在不同鏈路震蕩原因說明:當(dāng)應(yīng)用流量超過鏈路帶寬造成擁塞后,會(huì)根據(jù)應(yīng)用優(yōu)先級(jí)避
39、讓到其他鏈路;當(dāng)流量切換到其他鏈路后同樣因?yàn)榱髁砍瑤捲斐蓳砣?,再次切換回去,從而導(dǎo)致流量在不同鏈路上來回切換。12、智能選路部署步驟如下:A、自定義應(yīng)用:對(duì)于企業(yè)自身的應(yīng)用,可以通過自定義應(yīng)用的方式去定義。如企業(yè)的某個(gè)應(yīng)用的服務(wù)地址和端口是固定的,那么就可以在CPE的自定義應(yīng)用界面,通三元組的方式去自定義應(yīng)用。B、創(chuàng)建應(yīng)用組:創(chuàng)建完自定應(yīng)用之后,需要?jiǎng)?chuàng)建應(yīng)用組,將預(yù)置應(yīng)用或者自定義應(yīng)用加入到相應(yīng)的應(yīng)用組。C、創(chuàng)建流分類模板,流分類模板引用應(yīng)用組。D、基于流分類模板創(chuàng)建相應(yīng)的選路策略。QOS概述在傳統(tǒng)網(wǎng)絡(luò)中,QoS已經(jīng)證明自己是語音、視頻和數(shù)據(jù)多業(yè)務(wù)融合的關(guān)鍵質(zhì)量保障技術(shù)。在SD-WAN解決方
40、案中,QoS同樣是企業(yè)實(shí)現(xiàn)多業(yè)務(wù)差分服務(wù)的關(guān)鍵,SD-WAN針對(duì)overlay網(wǎng)絡(luò)以及underlay網(wǎng)絡(luò)提供豐富的QoS功能,并通過AC控制器進(jìn)行編排,簡(jiǎn)化QoS的配置,大大提高QoS的易用性。QoS應(yīng)用場(chǎng)景主要有如下兩類:一、單部門多應(yīng)用企業(yè)應(yīng)用對(duì)鏈路的要求各不相同,重要程度也不同。當(dāng)出口鏈路帶寬有限時(shí),應(yīng)該優(yōu)先保證重要應(yīng)用的體驗(yàn)。例如,可以配置即時(shí)消息類應(yīng)用使用最高優(yōu)先級(jí)傳輸,即使網(wǎng)絡(luò)出現(xiàn)擁塞也可以優(yōu)先發(fā)送;視頻應(yīng)用優(yōu)先權(quán)次之,網(wǎng)頁(yè)訪問再次之;而郵件等業(yè)務(wù)在該調(diào)度方式下不會(huì)搶占其他業(yè)務(wù)帶寬。通過隊(duì)列調(diào)度,對(duì)不同應(yīng)用分配相應(yīng)隊(duì)列即可實(shí)現(xiàn)這種需求。二、企業(yè)多部門企業(yè)通常都有多個(gè)部門,各個(gè)部門
41、重要性各不相同。既要隔離各部門的流量,又要對(duì)各部門提供不同的帶寬。對(duì)不同部門提供不同帶寬意味著:保證不同部門的基礎(chǔ)帶寬,當(dāng)需要使用時(shí)至少可以分配到指定的配額;當(dāng)有的部門沒有把本部門的配額全部占用時(shí),這些“空閑”的帶寬要能夠被其他帶寬緊張的部門使用。部門里有上網(wǎng)流量或訪問傳統(tǒng)站點(diǎn)的流量。這些流量比較特殊,需要被單獨(dú)限制。我們通過一個(gè)舉例來理解如何實(shí)現(xiàn)精細(xì)化QoS保證,如下圖所示。某企業(yè)帶寬配置要求1、物理鏈路的總出口帶寬為100Mbit/s,其中部門1占用40%的物理鏈路帶寬,部門2占用60%的物理鏈路帶寬。要保證不同部門的基礎(chǔ)帶寬;2、部門1帶寬空閑時(shí)部門2可以使用,部門2帶寬空閑時(shí)部門1可以
42、使用;3、指定部門1本地上網(wǎng)和站點(diǎn)間互訪流量的帶寬分配比例為4:6,部門2本地上網(wǎng)流量和站點(diǎn)間互訪流量比例為3:7。在物理鏈路擁塞情況下,根據(jù)該帶寬比例對(duì)流量進(jìn)行最小帶寬保證。總體流程華為SD-WAN解決方案支持基于IP五元組、基于應(yīng)用組、基于DSCP進(jìn)行流量分類,支持對(duì)流量進(jìn)行隊(duì)列優(yōu)先級(jí)調(diào)度、流量監(jiān)管、流量整形三種QoS策略,支持通過HQoS實(shí)現(xiàn)多維度帶寬比例分配、DSCP重標(biāo)記等QoS功能。為了滿足不同的配置場(chǎng)景,提供了兩種QoS配置策略,一種是Overlay網(wǎng)絡(luò)的QoS,一種是基于站點(diǎn)CPE設(shè)備配置的QoS稱為Common QoS。兩種QoS的實(shí)現(xiàn)原理相同,只是策略應(yīng)用的范圍不同。QoS
43、處理流程一、隊(duì)列優(yōu)先級(jí)為不同類型的業(yè)務(wù)指定不同的QoS優(yōu)先級(jí),系統(tǒng)根據(jù)QoS優(yōu)先級(jí)將不同類型的業(yè)務(wù)通過不同優(yōu)先級(jí)的隊(duì)列進(jìn)行轉(zhuǎn)發(fā),提供有差別的QoS服務(wù)質(zhì)量。在帶寬資源緊張情況下,優(yōu)先保證高級(jí)別業(yè)務(wù)的轉(zhuǎn)發(fā)帶寬。對(duì)于需要重點(diǎn)保障的關(guān)鍵應(yīng)用,建議使能“隊(duì)列優(yōu)先級(jí)”。當(dāng)使能“隊(duì)列優(yōu)先級(jí)”后,CPE會(huì)根據(jù)設(shè)置的隊(duì)列優(yōu)先級(jí),自動(dòng)將識(shí)別的報(bào)文設(shè)置為不同的隊(duì)列類型。隊(duì)列優(yōu)先級(jí)與隊(duì)列類型、DSCP 之間的對(duì)應(yīng)關(guān)系,如下表所示。隊(duì)列優(yōu)先級(jí)隊(duì)列類型DSCP值最高LLQCS7(56)高EFef(46)中等AFaf31(26)低(系統(tǒng)默認(rèn),不能設(shè)置)BEdefault(0)、各隊(duì)列類型的含義如下:1、LLQ(低延時(shí)隊(duì)列
44、):設(shè)備除了提供普通的EF隊(duì)列,還支持一種特殊的EF隊(duì)列LLQ隊(duì)列。LLQ隊(duì)列較EF隊(duì)列而言,時(shí)延更低。2、EF(加速轉(zhuǎn)發(fā)隊(duì)列):匹配規(guī)則的報(bào)文進(jìn)入EF隊(duì)列后,進(jìn)行絕對(duì)優(yōu)先級(jí)調(diào)度,僅當(dāng)EF隊(duì)列中的報(bào)文調(diào)度完畢后,才會(huì)調(diào)度其他隊(duì)列中的報(bào)文。而且當(dāng)AF或BE隊(duì)列有空閑帶寬時(shí),EF隊(duì)列可以對(duì)空閑帶寬進(jìn)行占用。加速轉(zhuǎn)發(fā)適用于需要保證低延時(shí)、低丟棄概率、確保帶寬、且占用帶寬不是很大的業(yè)務(wù),例如語音報(bào)文。3、AF(確保轉(zhuǎn)發(fā)隊(duì)列):可以保證在網(wǎng)絡(luò)發(fā)送的業(yè)務(wù)流量沒有超過最小可確保帶寬的情況下,此隊(duì)列中報(bào)文的丟失概率非常低。確保轉(zhuǎn)發(fā)適用于流量較大,且需要被保證的業(yè)務(wù)。4、BE(盡力而為隊(duì)列):與系統(tǒng)定義的缺省類
45、default-class關(guān)聯(lián)使用,未進(jìn)入AF隊(duì)列和EF隊(duì)列的剩余報(bào)文進(jìn)入BE隊(duì)列。BE隊(duì)列使用WFQ算法調(diào)度,隊(duì)列數(shù)越多,帶寬被分享的越公平,但是占用的隊(duì)列資源相對(duì)也多。WFQ調(diào)度的BE隊(duì)列適用于那些對(duì)時(shí)延和丟包無特殊要求的業(yè)務(wù),例如普通上網(wǎng)業(yè)務(wù)。二、流量監(jiān)管(削峰)對(duì)流量進(jìn)行控制,通過監(jiān)督業(yè)務(wù)流量占用的帶寬,對(duì)超出部分的流量進(jìn)行“懲罰”,使業(yè)務(wù)流量占用的帶寬被限制在一個(gè)合理的范圍之內(nèi),從而保護(hù)帶寬資源合理分配。SD-WAN方案中使用CAR進(jìn)行流量監(jiān)管。三、流量整形(削峰填谷)是一種主動(dòng)調(diào)整流量輸出速率的措施。當(dāng)下游設(shè)備的入接口速率小于上游設(shè)備的出接口速率或發(fā)生突發(fā)流量時(shí),下游設(shè)備入接口處可
46、能出現(xiàn)流量擁塞的情況,此時(shí)用戶可以通過在上游設(shè)備的接口出方向配置流量整形,將上游不規(guī)整的流量進(jìn)行削峰填谷,輸出一條比較平整的流量,從而解決下游設(shè)備的擁塞問題。四、帶寬分配通過HQoS的多級(jí)隊(duì)列,實(shí)現(xiàn)多個(gè)VPN之間和VPN內(nèi)的帶寬分配。一個(gè)物理鏈路的帶寬劃分為多個(gè)邏輯鏈路帶寬,每個(gè)邏輯鏈路帶寬供不同VPN獨(dú)立使用。每個(gè)VPN的邏輯鏈路的帶寬又可以指定Overlay網(wǎng)絡(luò)業(yè)務(wù)占用帶寬和Local breakout網(wǎng)絡(luò)占用帶寬。Overlay帶寬即為中心站點(diǎn)、匯聚站點(diǎn)或分支站點(diǎn)之間通信使用的帶寬,Local Breakout帶寬是通過本地直接訪問Internet或通過本地和傳統(tǒng)站點(diǎn)互聯(lián)使用的帶寬。五、
47、DSCP重標(biāo)記設(shè)置報(bào)文IP頭里的DSCP優(yōu)先級(jí),這里有幾種可配置情況:1、配置LAN側(cè)入口Remark DSCP,則對(duì)用戶進(jìn)入CPE設(shè)備流量的IP DSCP進(jìn)行修改。如果該報(bào)文后續(xù)進(jìn)入overlay隧道轉(zhuǎn)發(fā),外層隧道IP的DSCP會(huì)從內(nèi)層IP DSCP拷貝。最終效果是內(nèi)/外層IP的DSCP都昰Remark指定的值。 2、配置WAN側(cè)出口進(jìn)行DSCP Remark,則對(duì)Underlay出口發(fā)送的設(shè)備流量的IP DSCP進(jìn)行修改。如果報(bào)文添加了overlay隧道頭,則只對(duì)外層隧道IP的DSCP進(jìn)行修改,不會(huì)修改內(nèi)層用戶IP DSCP。最終效果是內(nèi)/外層IP的DSCP可能不一樣,外層DSCP是Rem
48、ark指定的值。3、如果同時(shí)配置LAN和WAN側(cè)DSCP Remark,對(duì)用戶進(jìn)入CPE設(shè)備流量的IP DSCP進(jìn)行修改,同時(shí)當(dāng)該報(bào)文在Underlay出口發(fā)送時(shí)再進(jìn)行一次外層IP DSCP的修改。最終效果是,如果是封裝了Overlay 隧道IP頭的報(bào)文內(nèi)層IP是LAN Remark DSCP的值,外層是WAN Remark DSCP的值;如果是Local Breakout報(bào)文,只有一層IP頭,DSCP對(duì)應(yīng)的是外層是WAN Remark DSCP的值。部署方案對(duì)于既要對(duì)不同應(yīng)用提供差異化服務(wù)質(zhì)量,又要按不同部門提供不同帶寬保障的場(chǎng)景,可以使用HQoS策略來滿足客戶需求,如下圖所示。HQoS業(yè)務(wù)
49、模型 該配置模型包含三層配置:業(yè)務(wù)層服務(wù)質(zhì)量、Overlay/本地出局流量策略、接口流量限制。以VPN1中的VoIP為例,HQoS相關(guān)參數(shù)設(shè)置如下表所示:HQoS參數(shù)設(shè)置配置項(xiàng)參數(shù)業(yè)務(wù)層策略名稱(以部門1VoIP舉例)voip_traffic _department1流分類模板voip_traffic_classification # 識(shí)別語音業(yè)務(wù)策略優(yōu)先級(jí)1 # 高優(yōu)先級(jí)應(yīng)用隊(duì)列優(yōu)先級(jí)最高隊(duì)列保證帶寬40% #保證部門帶寬的40%給VoIP使用帶寬限制40Mbit/s #最大使用40Mbit/s重標(biāo)記DSCP46 # 設(shè)置LAN側(cè)報(bào)文DSCP值VPN流量策略VPN 1百分比40% #部門1保
50、證帶寬占接口總帶寬比例VPN 2百分比60% #部門2保證帶寬占接口總帶寬比例VPN1本地出局流量百分比40% #占部門1帶寬的40%VPN2本地出局流量百分比30% #占部門2帶寬的30%接口總帶寬限速接口帶寬100Mbit/s一、VPN內(nèi)的QoS策略(對(duì)應(yīng)HQOS Level1隊(duì)列)在AC控制器上基于每個(gè)VPN配置QOS流策略,該策略控制的流量對(duì)象是來自每個(gè)VPN用戶內(nèi)網(wǎng)的各種Application流量。AC控制器支持的流量策略配置功能如下:1、創(chuàng)建流分類策略模板當(dāng)VPN用戶的流量需要分類時(shí)(如語音、數(shù)據(jù)、辦公應(yīng)用、普通上網(wǎng)等),需要預(yù)先為每一類流的分類對(duì)象創(chuàng)建一個(gè)流分類策略模板。流分類對(duì)
51、象的定義規(guī)則可以是以下一種或多種組合:基于IP五元組基于Application/Group基于DSCP進(jìn)行流分類2、配置QOS流策略動(dòng)作創(chuàng)建QoS策略,每個(gè)QoS策略分別選擇一個(gè)對(duì)應(yīng)的流分類模板,然后指定該策略對(duì)應(yīng)的流對(duì)象所要執(zhí)行的QOS動(dòng)作。目前支持的流動(dòng)作包括如下這幾種:優(yōu)先級(jí)隊(duì)列調(diào)度帶寬限制:CAR & ShappingRemark DSCP二、VPN間流量策略(對(duì)應(yīng)HQOS Level2隊(duì)列)把一個(gè)VPN的所有流量作為一個(gè)流對(duì)象,入AF隊(duì)列進(jìn)行優(yōu)先級(jí)調(diào)度。AF隊(duì)列的特點(diǎn)是:當(dāng)接口有剩余帶寬時(shí),AF隊(duì)列按照權(quán)重分享剩余帶寬;同時(shí),在接口擁塞的時(shí)候,仍然能保證各類報(bào)文得到用戶設(shè)定的最小帶寬
52、。這樣在物理鏈路擁塞的情況下,每個(gè)VPN都有自己的最小帶寬保證;在鏈路不擁塞情況下,一個(gè)VPN虛擬網(wǎng)可以共享物理鏈路上其他VPN的多余帶寬。AC控制器上配置功能參考如下:配置的VPN部門的帶寬比例,基準(zhǔn)總帶寬為物理鏈路的簽約帶寬。缺省情況下沒有為每個(gè)VPN指定帶寬比例值,則AC內(nèi)部自動(dòng)按VPN數(shù)量進(jìn)行平均分配。這里還有一種特殊情況,如果一個(gè)VPN部門有Local Breakout的Internet流量時(shí),還可以指定本地breakout流量占該VPN總帶寬的比例,剩余帶寬留給VPN內(nèi)走Overlay隧道的站點(diǎn)互訪流量。這樣把一個(gè)VPN的流量按Breakout流量和Overlay隧道的站點(diǎn)間互訪這
53、兩類流量拆分成兩個(gè)HQOS的父策略隊(duì)列。如下圖所示,部門1VPN有LocalBreakout流量,比例是40%;而部門1VPN總帶寬為物理鏈路的40%,則LocalBreakout流量為總帶寬的16%。三、接口帶寬限速當(dāng)用戶的Local Breakout流量或隧道封裝以后Overlay的流量從物理接口發(fā)送到Underlay網(wǎng)絡(luò)時(shí),可以基于接口總帶寬對(duì)流量進(jìn)行接口GTS限速。該接口帶寬對(duì)應(yīng)用戶從運(yùn)營(yíng)商購(gòu)買的簽約帶寬值,在AC租戶界面上必須配置到underlay物理鏈路上,作為HQOS基準(zhǔn)帶寬及性能監(jiān)控的鏈路參考帶寬。CPE設(shè)備上只會(huì)根據(jù)上行帶寬對(duì)接口outbound方向的流量做Shapping,
54、不會(huì)根據(jù)下行帶寬對(duì)inbound流量做帶寬限速。廣域優(yōu)化概述傳統(tǒng)的企業(yè)網(wǎng)絡(luò)分支間互聯(lián),一般會(huì)租用運(yùn)營(yíng)商的MPLS專線或者Internet網(wǎng)絡(luò)。但是MPLS專線或者Internet網(wǎng)絡(luò)存在下面的問題:MPLS價(jià)格昂貴,租用的帶寬比較??;Internet網(wǎng)絡(luò)由于經(jīng)過多跳,會(huì)存在時(shí)延比較大,并且丟包的情況。當(dāng)前隨著企業(yè)云化,出現(xiàn)了云分支、云應(yīng)用;隨著音視頻分辨率的提升,音視頻會(huì)議和視頻監(jiān)控技術(shù)應(yīng)用更加廣泛,音視頻對(duì)帶寬和時(shí)延的要求也在迅速增長(zhǎng)。企業(yè)數(shù)據(jù)流量WAN側(cè)比重逐漸加大,造成了企業(yè)租用線路的費(fèi)用大幅提升。而Internet線路質(zhì)量(相比MPLS鏈路,時(shí)延進(jìn)一步加大、鏈路丟包增加)也帶來了企業(yè)應(yīng)
55、用體驗(yàn)問題,對(duì)于Internet的業(yè)務(wù)質(zhì)量保證需求更加迫切,為了解決這些問題,企業(yè)網(wǎng)絡(luò)需要引入廣域鏈路優(yōu)化技術(shù)來優(yōu)化應(yīng)用的訪問體驗(yàn),并且降低企業(yè)帶寬費(fèi)用。FEC優(yōu)化需要抗丟包技術(shù)的原因企業(yè)中有很多應(yīng)用對(duì)延遲非常敏感,這主要是一些即時(shí)通信類的應(yīng)用,比如語音通話、視頻會(huì)議。為了保證低延遲,減少TCP握手、重傳等影響,這些應(yīng)用一般會(huì)選用UDP作為傳輸層協(xié)議。但是UDP不像TCP一樣保證可靠傳輸,在網(wǎng)絡(luò)出現(xiàn)丟包的時(shí)候會(huì)導(dǎo)致應(yīng)用質(zhì)量變差。視頻傳輸在鏈路質(zhì)量不好時(shí),體驗(yàn)非常差,通常會(huì)出現(xiàn)丟包導(dǎo)致卡頓、花屏現(xiàn)象。以RTP為例,RTP需要確定性的時(shí)延,對(duì)網(wǎng)絡(luò)的Jitter容忍度小,一般機(jī)頂盒Jitter Bu
56、ffer為60ms,達(dá)到85ms時(shí)體驗(yàn)下降。視頻類應(yīng)用無影響有影響(花屏)不可用丟包0.05%1%10%時(shí)延100ms150ms300ms抖動(dòng)50ms85ms125ms視頻通信有如下特性:視頻通話在通話建立時(shí)會(huì)發(fā)送一個(gè)I幀,后續(xù)的視頻圖像使用幀間預(yù)測(cè)(P幀)編碼,這樣可以只傳輸圖像的變化信息,減少網(wǎng)絡(luò)帶寬占用。如果視頻碼流有任何異常(誤碼/丟包),都會(huì)造成P幀解碼錯(cuò)誤,從而P幀之后的圖像都會(huì)重建異常,此時(shí)只能通過申請(qǐng)編碼端重新編碼I幀來解決。當(dāng)網(wǎng)絡(luò)中出現(xiàn)丟包,導(dǎo)致錯(cuò)誤時(shí),錯(cuò)誤的P幀以及之后I幀之前的所有P圖像都會(huì)異常。此時(shí)視頻終端如果輸出圖像就會(huì)花屏,如果不輸出則會(huì)長(zhǎng)時(shí)間圖像凝固。所以丟包對(duì)視
57、頻通信影響非常明顯。而由于視頻通信基于實(shí)時(shí)性的考慮,一般設(shè)計(jì)基于UDP傳輸,不像TCP有可靠性保障,就更依賴網(wǎng)絡(luò)的可靠傳輸。而Internet、無線傳輸場(chǎng)景丟包率比企業(yè)LAN網(wǎng)絡(luò)和MPLS專線更高,會(huì)進(jìn)一步劣化視頻體驗(yàn)。所以需要對(duì)音視頻做抗丟包優(yōu)化。華為基于FEC(前向糾錯(cuò))技術(shù)可以優(yōu)化網(wǎng)絡(luò)出現(xiàn)丟包的場(chǎng)景。FEC優(yōu)化技術(shù)介紹華為FEC優(yōu)化技術(shù)通過配置流策略的方式,對(duì)報(bào)文丟包進(jìn)行優(yōu)化。FEC通過流分類攔截指定數(shù)據(jù)流,增加攜帶校驗(yàn)信息的冗余包,并在接收端進(jìn)行校驗(yàn)。如果網(wǎng)絡(luò)中出現(xiàn)了丟包或者報(bào)文損傷,則通過冗余包還原報(bào)文。FEC優(yōu)化技術(shù)可以在發(fā)送端基于原始包,按照RS(Reed Solomon)算法編
58、碼生成冗余包,將原始包與冗余包都發(fā)送到連接上;接收端根據(jù)實(shí)際收到的包,解碼恢復(fù)出丟包。當(dāng)前對(duì)于每次編解碼,會(huì)以包為單位進(jìn)行丟包檢測(cè)與恢復(fù)。FEC執(zhí)行過程為:發(fā)起端的CPE從LAN側(cè)收包,對(duì)于EVPN隧道上通過流分類指定的需要優(yōu)化的流量進(jìn)行抗丟包優(yōu)化。發(fā)起端的CPE積攢多個(gè)原始報(bào)文作為一個(gè)編碼塊,對(duì)編碼塊中的原始報(bào)文進(jìn)行FEC編碼,生成FEC冗余包。編碼側(cè)根據(jù)編碼矩陣算法可以對(duì)多個(gè)報(bào)文生成多個(gè)冗余包。發(fā)起端的CPE對(duì)原始報(bào)文封裝FEC私有頭并發(fā)包。在網(wǎng)絡(luò)中傳輸報(bào)文時(shí),編碼塊中的報(bào)文和冗余包都可能出現(xiàn)丟包。接收端CPE從網(wǎng)絡(luò)收包,檢測(cè)丟包信息,剝掉私有頭。接收端進(jìn)行FEC解碼。根據(jù)編碼矩陣和根據(jù)實(shí)
59、際收到的包(含F(xiàn)EC冗余包)計(jì)算出解碼矩陣,根據(jù)解碼矩陣和收到的包(原始包+冗余包)解碼出丟失的原包。只要一個(gè)編碼塊中的丟包數(shù)不超過冗余包數(shù)量,就可以恢復(fù)該編碼塊中的丟包。接收端的CPE向接收端的LAN側(cè)發(fā)包,把糾錯(cuò)后的報(bào)文按順序發(fā)給視頻接收端。在編解碼過程中有一些技術(shù)細(xì)節(jié):1、積攢原始包時(shí)會(huì)盡量聚合流量通過流量匯聚,可把大量的報(bào)文編碼到相同的編碼塊。這樣可以減少緩存報(bào)文的時(shí)間,更快創(chuàng)建冗余包,這樣在丟包時(shí)就可以更快恢復(fù)丟包。攢包時(shí)流量匯聚使用的KEY為:EVPN連接ID、VPN ID、FEC算法類型和WAN優(yōu)化模板ID。編碼塊默認(rèn)原始包數(shù)為12,范圍是445。2、華為FEC有兩種,分別為de
60、termined FEC(DFEC)和Adaptive FEC(AFEC)DFEC會(huì)按固定的冗余率生成冗余報(bào)文,為了在網(wǎng)絡(luò)丟包突然增加時(shí)能保證不丟包,需要把丟包閥值設(shè)置為比網(wǎng)絡(luò)最大丟包率還要高一些。當(dāng)編碼塊中實(shí)際網(wǎng)絡(luò)丟包超過冗余包數(shù)量時(shí),此編碼塊中的丟包都不能還原。AFEC會(huì)動(dòng)態(tài)調(diào)整冗余包比例。由于DFEC每個(gè)編碼塊都生成固定個(gè)數(shù)的冗余包,這樣當(dāng)網(wǎng)絡(luò)實(shí)際丟包率不高時(shí),會(huì)浪費(fèi)帶寬;而當(dāng)有時(shí)候網(wǎng)絡(luò)丟包變多時(shí),DFEC的冗余包數(shù)又可能不足以恢復(fù)丟包。AFEC對(duì)此做了改進(jìn),會(huì)根據(jù)解碼側(cè)返回的丟包信息動(dòng)態(tài)調(diào)整編碼塊的冗余包數(shù),從而解決了DFEC浪費(fèi)帶寬和偶爾不能恢復(fù)丟包的問題。3、編碼塊大小一個(gè)編碼塊攢
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 辦公室租賃合同范本
- 農(nóng)業(yè)種植包工合同范本
- 農(nóng)田施工工程合同范本
- 共同承包協(xié)議工程合同范本
- 會(huì)林租賃合同范本
- 勞動(dòng)關(guān)系聯(lián)營(yíng)合同范本
- 現(xiàn)澆橋面板腳手架施工方案
- 陜西涼亭廊架施工方案
- 2025四川內(nèi)江川豫汽車銷售服務(wù)有限公司招聘15人筆試參考題庫(kù)附帶答案詳解
- 農(nóng)村拆遷土地合同范本
- 內(nèi)蒙古自治區(qū)商品房買賣合同(現(xiàn)售)示范文本
- (2024年更新)國(guó)家慢性疾病編碼新目錄
- 《腦膠質(zhì)瘤診療指南2024版》解讀
- 稅務(wù)會(huì)計(jì)崗位招聘面試題與參考回答2024年
- 學(xué)校開學(xué)安全隱患自查表
- 經(jīng)濟(jì)法學(xué)學(xué)習(xí)通超星期末考試答案章節(jié)答案2024年
- 浙江寧波前灣控股集團(tuán)有限公司招聘筆試題庫(kù)2024
- 結(jié)構(gòu)化學(xué)(PDF電子書)
- 產(chǎn)科腹部四步觸診要點(diǎn)
- 第10課 人類社會(huì)及其發(fā)展規(guī)律-【中職專用】2024年中職思想政治《哲學(xué)與人生》金牌課件(高教版2023·基礎(chǔ)模塊)
- SLT 478-2021 水利數(shù)據(jù)庫(kù)表結(jié)構(gòu)及標(biāo)識(shí)符編制總則
評(píng)論
0/150
提交評(píng)論