邊緣計算與云計算協(xié)同白皮書_第1頁
邊緣計算與云計算協(xié)同白皮書_第2頁
邊緣計算與云計算協(xié)同白皮書_第3頁
邊緣計算與云計算協(xié)同白皮書_第4頁
邊緣計算與云計算協(xié)同白皮書_第5頁
已閱讀5頁,還剩36頁未讀 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、邊緣計算與云計算協(xié)同白皮書2.0目錄 邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識011.1邊緣計算2.001邊云協(xié)同概念02邊云協(xié)同產(chǎn)業(yè)實踐04 HYPERLINK l _TOC_250014 云邊緣04 HYPERLINK l _TOC_250013 邊緣云05 HYPERLINK l _TOC_250012 新基建與邊緣計算06邊云協(xié)同2.0參考架構(gòu)及技術(shù)體系07應(yīng)用協(xié)同09 HYPERLINK l _TOC_250011 2.1.1綜述09 HYPERLINK l _TOC_250010 關(guān)鍵挑戰(zhàn)09 HYPERLINK l _TOC_250009 整體架構(gòu)10 HYPERLINK l _TOC_2500

2、08 關(guān)鍵技術(shù)11服務(wù)協(xié)同13 HYPERLINK l _TOC_250007 2.2.1綜述13 HYPERLINK l _TOC_250006 關(guān)鍵挑戰(zhàn)14 HYPERLINK l _TOC_250005 整體架構(gòu)14 HYPERLINK l _TOC_250004 關(guān)鍵技術(shù)15資源協(xié)同22 HYPERLINK l _TOC_250003 2.3.1綜述22 HYPERLINK l _TOC_250002 2.3.2挑戰(zhàn)22 HYPERLINK l _TOC_250001 整體架構(gòu)22 HYPERLINK l _TOC_250000 關(guān)鍵技術(shù)23商業(yè)實踐案例27平安國際:基于智能視覺的明廚

3、亮灶邊云協(xié)同案例27海爾:基于邊云協(xié)同AI的質(zhì)檢案例29全球能源互聯(lián)網(wǎng)研究院:基于邊云協(xié)同的變電巡視圖像視頻監(jiān)測應(yīng)用30佳訊飛鴻:基于邊云協(xié)同技術(shù)的高速鐵路綜合運維一體化管理平臺32騰訊:智能交通34騰訊:邊緣計算賦能智慧零售35移動:邊云協(xié)同在某國家級工業(yè)互聯(lián)網(wǎng)中心實現(xiàn)數(shù)據(jù)采集和分析的應(yīng)用案例36金山云:基于云邊協(xié)同的智能路由器網(wǎng)絡(luò)優(yōu)化案例37PPIO:基于P2P技術(shù)的高性價比邊緣CDN方案38邊緣計算與云計算協(xié)同白皮書2.0邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識邊緣計算與云計算協(xié)同白皮書2.0邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識邊緣計算與云計算協(xié)同白皮書2.0邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識邊緣計算與云計算協(xié)同白皮書2.0

4、邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識 PAGE 6 PAGE 6 PAGE 5 PAGE 501邊云協(xié)同已經(jīng)成為產(chǎn)業(yè)共識邊緣計算產(chǎn)業(yè)聯(lián)盟(ECC)2017 年發(fā)布的邊緣計算參考架構(gòu) 1.0中給出了邊緣計算 1.0 的定義。邊緣計算是在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè),融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的開放平臺,就近提供邊緣智能服務(wù), 滿足行業(yè)數(shù)字化在敏捷聯(lián)接、實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護(hù)等方面的關(guān)鍵需求。它從邊緣計算的位置、能力與價值等維度給出定義,在邊緣計算產(chǎn)業(yè)發(fā)展的初期有效牽引產(chǎn)業(yè)共識,推動邊緣計算產(chǎn)業(yè)的發(fā)展。隨著邊緣計算產(chǎn)業(yè)的發(fā)展逐步從產(chǎn)業(yè)共識走向落地實踐, 邊緣計算的主要落地形態(tài)、技

5、術(shù)能力發(fā)展方向、軟硬件平臺的關(guān)鍵能力等問題逐漸成為產(chǎn)業(yè)界的關(guān)注焦點,邊緣計算 2.0 應(yīng)運而生。邊緣計算 2.0:邊緣計算主要包括云邊緣、邊緣云和邊緣網(wǎng)關(guān)三類落地形態(tài);以“邊云協(xié)同”和“邊緣智能”為核心能力發(fā)展方向;軟件平臺需要考慮導(dǎo)入云理念、云架構(gòu)、云技術(shù),提供端到端實時、協(xié)同式智能、可信賴、可動態(tài)重置等能力;硬件平臺需要考慮異構(gòu)計算能力, 如鯤鵬、ARM、X86、GPU、NPU、FPGA 等。云邊緣:云邊緣形態(tài)的邊緣計算,是中心云服務(wù)在邊緣側(cè)的延伸,邏輯上仍是中心云服務(wù)的一部分,主要的能力提供及核心業(yè)務(wù)邏輯的處理依賴于中心云服務(wù)或需要與中心云服務(wù)緊密協(xié)同。如華為云提供的 IEF 解決方案、

6、阿里云提供的 LinkEdge解決方案、AWS提供的Greengrass解決方案等均屬于此類。網(wǎng)絡(luò)應(yīng)用IoT應(yīng)用行業(yè)應(yīng)用網(wǎng)絡(luò)平臺IoT平臺行業(yè)終端邊緣計算云邊緣協(xié)云計算終端邊緣計算云邊緣協(xié)云計算手機(jī)邊緣云視覺能源制造邊緣網(wǎng)關(guān)市政交通邊云協(xié)同/邊緣智能 IaaS同/邊緣智能EC-SaaSEC-PaaS AIEC-IaaSEC-SaaSEC-PaaS AIEC-IaaSEC-SaaSEC-PaaS AIEC-IaaS邊緣云:邊緣云形態(tài)的邊緣計算,是在邊緣側(cè)構(gòu)建中小規(guī)模云服務(wù)或類云服務(wù)能力,主要的能力提供及核心業(yè)務(wù)邏輯的處理主要依賴于邊緣云;中心云服務(wù)主要提供邊緣云的管理調(diào)度能力。如多接入邊緣計算(

7、MEC)、CDN、華為云提供的 IEC 解決方案等均屬于此類。邊緣網(wǎng)關(guān):邊緣網(wǎng)關(guān)形態(tài)的邊緣計算,以云化技術(shù)與能力重構(gòu)原有嵌入式網(wǎng)關(guān)系統(tǒng),并在邊緣側(cè)提供協(xié)議 / 接口轉(zhuǎn)換、邊緣計算等能力,部署在云側(cè)的控制器提供邊緣節(jié)點的資源調(diào)度、應(yīng)用管理與業(yè)務(wù)編排等能力。1.21.2邊云協(xié)同概念邊云協(xié)同放大各自價值邊緣計算的CROSS(Connectivity 連接、Realtime 實時、Optimization 數(shù)據(jù)優(yōu)化、Smart 智能、Security 安全) 價值推動計算模型從集中式的云計算走向更加分布式的邊緣計算,邊緣計算正在快速興起,未來幾年將迎來爆炸式增長。GartnerTop 10 Strat

8、egic Technology Trends for 2018: Cloud to the Edge認(rèn)為到 2022 年,隨著數(shù)字業(yè)務(wù)的不斷發(fā)展,75% 的企業(yè)生成數(shù)據(jù)將會在傳統(tǒng)的集中式數(shù)據(jù)中心或云端之外的位置創(chuàng)建并得到處理(圖 2)。31%6%84%24%25%16%現(xiàn)在明年兩年內(nèi)31%6%84%24%25%16%四年內(nèi)不知道或永遠(yuǎn)不會75%3 邊緣計算何時會成為您企業(yè)規(guī)劃的一部分?10%另一方面,邊緣計算與云計算各有所長,云計算擅長全局性、非實時、長周期的大數(shù)據(jù)處理與分析,能夠在長周期維護(hù)、業(yè)務(wù)決策支撐等領(lǐng)域發(fā)揮優(yōu)勢;邊緣計算更適用局部性、實時、短周期數(shù)據(jù)的處理與分析,能更好地支撐本地業(yè)務(wù)

9、的實時智能化決策與執(zhí)行。10%20182020因此,邊緣計算與云計算之間不是替代關(guān)系,而是互補(bǔ)協(xié)同關(guān)系。邊緣計算與云計算需要通過緊密協(xié)同才能更2DC創(chuàng)建和處理的比例Gartner IT 基礎(chǔ)架構(gòu)、運營管理與數(shù)據(jù)中心大會(2017 12 月)發(fā)布的調(diào)研數(shù)據(jù)顯示,84% 的企業(yè)將在四年內(nèi)將邊緣計算納入企業(yè)規(guī)劃(3)。好的滿足各種需求場景的匹配,從而放大邊緣計算和云計算的應(yīng)用價值。邊緣計算既靠近執(zhí)行單元,更是云端所需高價值數(shù)據(jù)的采集和初步處理單元,可以更好地支撐云端應(yīng)用;反之,云計算通過大數(shù)據(jù)分析優(yōu)化輸出的業(yè)務(wù)規(guī)則或模型可以下發(fā)到邊緣側(cè),邊緣計算基于新的業(yè)務(wù)規(guī)則或模型運行。邊云協(xié)同 1.0:三層六類

10、邊云協(xié)同內(nèi)涵邊緣計算不是單一的部件,也不是單一的層次,而是涉及到 EC-IaaS、EC-PaaS、EC-SaaS 的端到端開放平臺。典型的邊緣計算節(jié)點一般涉及網(wǎng)絡(luò)、虛擬化資源、RTOS、數(shù)據(jù)面、控制面、管理面、行業(yè)應(yīng)用等,其中網(wǎng)絡(luò)、虛擬化資源、RTOS 等屬于 EC-IaaS 能力,數(shù)據(jù)面、控制面、管理面等屬于EC-PaaS 能力,行業(yè)應(yīng)用屬于EC-SaaS 范疇。邊云協(xié)同的能力與內(nèi)涵,涉及 IaaS、PaaS、SaaS 各層面的全面協(xié)同。EC-IaaS 與云端 IaaS 應(yīng)可實現(xiàn)對網(wǎng)絡(luò)、虛擬化資源、安全等的資源協(xié)同;EC-PaaS 與云端 PaaS 應(yīng)可實現(xiàn)數(shù)據(jù)協(xié)同、智能協(xié)同、應(yīng)用管理協(xié)同、

11、業(yè)務(wù)管理協(xié)同;EC-SaaS 與云端 SaaS 應(yīng)可實現(xiàn)服務(wù)協(xié)同。資源協(xié)同:邊緣節(jié)點提供計算、存儲、網(wǎng)絡(luò)、虛擬化等基礎(chǔ)設(shè)施資源、具有本地資源調(diào)度管理能力,同時可與云端協(xié)同,接受并執(zhí)行云端資源調(diào)度管理策略,包括邊緣節(jié)點的設(shè)備管理、資源管理以及網(wǎng)絡(luò)聯(lián)接管理。數(shù)據(jù)協(xié)同:邊緣節(jié)點主要負(fù)責(zé)現(xiàn)場 / 終端數(shù)據(jù)的采集,按照規(guī)則或數(shù)據(jù)模型對數(shù)據(jù)進(jìn)行初步處理與分析,并將處理結(jié)果以及相關(guān)數(shù)據(jù)上傳給云端;云端提供海量數(shù)據(jù)的存儲、分析與價值挖掘。邊緣與云的數(shù)據(jù)協(xié)同,支持?jǐn)?shù)據(jù)在邊緣與云之間可控有序流動,形成完整的數(shù)據(jù)流轉(zhuǎn)路徑, 高效低成本對數(shù)據(jù)進(jìn)行生命周期管理與價值挖掘。AI AI 應(yīng)用管理協(xié)同:邊緣節(jié)點提供應(yīng)用部署與

12、運行環(huán)境,并對本節(jié)點多個應(yīng)用的生命周期進(jìn)行管理調(diào)度;云端主要提供應(yīng)用開發(fā)、測試環(huán)境,以及應(yīng)用的生命周期管理能力。業(yè)務(wù)管理協(xié)同:邊緣節(jié)點提供模塊化、微服務(wù)化的應(yīng)用/ 數(shù)字孿生 / 網(wǎng)絡(luò)等應(yīng)用實例;云端主要提供按照客戶需求實現(xiàn)應(yīng)用 / 數(shù)字孿生 / 網(wǎng)絡(luò)等的業(yè)務(wù)編排能力。服務(wù)協(xié)同:邊緣節(jié)點按照云端策略實現(xiàn)部分 ECSaaS 服務(wù),通過 ECSaaS 與云端 SaaS 的協(xié)同實現(xiàn)面向客戶的按需 SaaS 服務(wù);云端主要提供 SaaS 服務(wù)在云端和邊緣節(jié)點的服務(wù)分布策略,以及云端承擔(dān)的 SaaS 服務(wù)能力。并非所有的場景下都涉及到上述邊云協(xié)同能力。結(jié)合具體的使用場景,邊云協(xié)同的能力與內(nèi)涵會有所不同,同

13、時即使是同一種協(xié)同能力,在與不同場景結(jié)合時其能力與內(nèi)涵也會不盡相同。6 服務(wù)協(xié)同SaaSECSaaSPublic/ Private CloudsEdge Computing nodes 6 服務(wù)協(xié)同SaaSECSaaSPublic/ Private CloudsEdge Computing nodes預(yù)測性維護(hù)能效優(yōu)化預(yù)測性維護(hù)能效優(yōu)化質(zhì)量提升vFWvLB預(yù)測性維護(hù)能效優(yōu)化質(zhì)量提升vFWvLB IaaS基礎(chǔ)設(shè)施資源及調(diào)度管理能力1 資源協(xié)同邊緣節(jié)點基礎(chǔ)設(shè)施/設(shè)備/ 南向終端的生命周期管理邊緣ICT基礎(chǔ)設(shè)施云ICT基礎(chǔ)設(shè)施應(yīng)用實例應(yīng)用部署軟硬件環(huán)境分布式智能/推理數(shù)據(jù)采集與分析5 業(yè)務(wù)管理協(xié)同應(yīng)

14、用實例應(yīng)用部署軟硬件環(huán)境分布式智能/推理數(shù)據(jù)采集與分析5 業(yè)務(wù)管理協(xié)同PaaS業(yè)務(wù)編排應(yīng)用開發(fā)、測試/應(yīng)用生命周期管理集中式訓(xùn)練數(shù)據(jù)分析4 應(yīng)用管理協(xié)同3 智能協(xié)同2 數(shù)據(jù)協(xié)同1.31.3邊云協(xié)同產(chǎn)業(yè)實踐云邊緣OTT 玩家是云邊緣的典型代表角色,主要包括AWS、微軟、Google、阿里、騰訊、華為云等公司,依靠本身公有云的力量和現(xiàn)有產(chǎn)業(yè)合作伙伴,將公有云能力下沉至邊緣數(shù)據(jù)中心、用戶數(shù)據(jù)中心以及邊緣設(shè)備,形成邊緣基礎(chǔ)設(shè)施服務(wù)、IoT 服務(wù)、邊緣數(shù)據(jù)存儲 / 遷移服務(wù)等,實現(xiàn)云邊協(xié)同。OTT 根據(jù)自身發(fā)展情況,逐步補(bǔ)齊產(chǎn)品矩陣。5G的大規(guī)模部署,OTT越來越重視與運營商合作的邊緣計算。國外運營商在

15、 5G和邊緣計算與 OTT緊密合作,并逐步放棄自身云戰(zhàn)略,共享 5G 帶來的紅利。ATT、Verizon、Vodafone、SK、KDDIAWS、Azure、Google Cloud 達(dá)成技術(shù)或者運營方面的合作。國內(nèi)部分 OTT參與聯(lián)通、廣電的混改,使得運營商與OTT在云方面的合作變成可能。OTT 5G 5G 的技術(shù)門檻高, OTT 5G 設(shè)備商以及解決方案供應(yīng)商合作是必選路AWS 與EricssonNECNokia Azure 與MavenirNokiaFujitsu OTT 與華為、5G 邊緣計算和 5G 開始進(jìn)入爆發(fā)期,行業(yè)的成熟度跟行業(yè)集中度有強(qiáng)相關(guān),微軟為增強(qiáng)自身能力,率先從投資側(cè)表

16、率,通過參股、收購 5G 和邊緣相關(guān)的企業(yè)。如微軟收購Affirmed Networks、MetaSwitch 等企業(yè),實現(xiàn)對技術(shù)、供應(yīng)、集成等服務(wù)能力的掌控,滿足不同行業(yè)客戶的需求。國內(nèi) OTT 也在紛紛考察中小型 5G 及邊緣計算相關(guān)公司,未來勢必會有更多中小型邊緣計算創(chuàng)業(yè)公司,納入到 OTT 的生態(tài)合作中。OTT邊緣基礎(chǔ)設(shè)施IoT 服務(wù)數(shù)據(jù)存儲 / 遷移AWSLocal ZoneGreenGrassSnowBallAzureEdge ZoneIoT EdgeData BoxAli CloudENSLinkEdgeTencent CloudECMIECPHuawei CloudIECIEF

17、邊緣云自 2017 年 ETSI 將 MEC 定義修正為“Multi Access Edge Computing”開始邊緣云逐漸被推向前臺,邊緣云玩家紛紛開始布局,在靠近用戶的邊緣側(cè)提供中小規(guī)模的云基礎(chǔ)設(shè)施,提供基于 5G 應(yīng)用的邊緣云服務(wù)能力,典型行業(yè)玩家為運營商、設(shè)備提供商、云服務(wù)提供商等。運營商作為邊緣云的代表角色,借助 5G 帶來的全新網(wǎng)絡(luò)特性,通過將網(wǎng)絡(luò)能力向邊緣下沉,為基礎(chǔ)設(shè)施賦予更加靈活的管控能力。實現(xiàn)邊云協(xié)同將為未來運營商業(yè)務(wù)的發(fā)展提供更好的應(yīng)用場景和更優(yōu)的業(yè)務(wù)體驗,全面推進(jìn)邊緣云與公有云實現(xiàn)云邊協(xié)同,實現(xiàn)兩者網(wǎng)絡(luò)的互通、能力的開放和相互調(diào)用,通過統(tǒng)一云管平臺實現(xiàn)資源的統(tǒng)一調(diào)度

18、和管理,構(gòu)建良好的產(chǎn)業(yè)生態(tài)。目前階段運營商正在全國范圍內(nèi)推動定制化、小規(guī)模的實驗網(wǎng)及示范項目,隨著 5G 技術(shù)的成熟,預(yù)計在不遠(yuǎn)的將來可實現(xiàn)大規(guī)模商用部署。同時 GSMA 正在推進(jìn)運營商合作提供統(tǒng)一的“運營商平臺”,在多個運營商之間互通邊緣計算平臺,確保開發(fā)人員、用戶實現(xiàn)對邊緣計算功能的統(tǒng)一訪問。目前GSMA 已聯(lián)合全球 22 家運營商發(fā)起 Operator Platform 項目,加速和簡化 MEC 應(yīng)用跨運營商和云的部署,方便應(yīng)用提供商或運營商更加便捷地推廣邊緣應(yīng)用。中國移動持續(xù)打造“5G+E”網(wǎng)邊融合服務(wù)能力,推出自主研發(fā)的邊緣計算通用平臺 OpenSigma,實現(xiàn)一站式云資源和應(yīng)用托管

19、,通過統(tǒng)一 API 接口對客戶開放邊緣網(wǎng)絡(luò)能力和垂直行業(yè)能力,提供云網(wǎng)邊協(xié)同的一體化服務(wù)。并于近日舉辦的中國移動“5G+E”網(wǎng)邊融合技術(shù)峰會上正式點亮邊緣計算“100+”節(jié)點,其中 156 個邊緣計算服務(wù)節(jié)點遍布全國 22 個省份及自治區(qū),為合作伙伴提供5G 精品網(wǎng)絡(luò)全覆蓋和多形態(tài)超強(qiáng)算力。同期發(fā)布的位于北京、江蘇、浙江和福建 4 個邊緣計算孵化節(jié)點將面向全球范圍招募邊緣計算應(yīng)用合作伙伴,為應(yīng)用開發(fā)者提供 “網(wǎng) - 邊 - 云”一站式邊緣計算孵化服務(wù)。中國電信以天翼云為資源優(yōu)勢制定邊緣計算的發(fā)展策略。以天翼云為核心實施“2+4+31+X”戰(zhàn)略,包括建設(shè) 2 大數(shù)據(jù)中心,圍繞 4 大重點區(qū)域,全

20、國 31 省云資源池, 延伸 X 邊緣節(jié)點,將云資源優(yōu)勢下沉。天翼云已經(jīng)覆蓋全國 29 個省會城市,在智能制造、智能駕駛等領(lǐng)域探索5G+MEC 試商用方案。MEC 邊緣云作為發(fā)展 5G 2B/2C 高價值業(yè)務(wù)5G MEC5G MEC 服務(wù)能力,為用戶提供真正具備價值的 B/C 端應(yīng)用和能力。中國聯(lián)通以邊緣云作為實現(xiàn) CT+IT+OT融合的錨點,基于邊緣云平臺結(jié)合網(wǎng)絡(luò)聯(lián)接的控制與管理能力,融合分流能力 /RNIS 等CT能力和云IT目前已在全國開展百個 MEC 商用工程,推出面向多元化場景的一體化邊緣云方案及行業(yè)產(chǎn)品,并發(fā)布全球首張MEC 規(guī)模商用網(wǎng)絡(luò),在粵港澳大灣區(qū)核心城市,率先完5G MEC

21、網(wǎng)絡(luò)整體布局與節(jié)點建設(shè)。邊緣計算的發(fā)展是基于云計算的普及及微服務(wù)架構(gòu)的廣泛應(yīng)用兩個大大背景展開的,隨著云計算的成熟與普及, 越來越多的企業(yè)開始將 IT 系統(tǒng)放在云端,另外基于 IT 系統(tǒng)應(yīng)用解耦及需求的快速迭代需要,微服務(wù)架構(gòu)在企業(yè)獲得越來越廣泛的使用,企業(yè)在云中心以微服務(wù)模式運行著數(shù)十個到數(shù)千個不等規(guī)模的微服務(wù)。隨著邊緣側(cè)計算能力越來越強(qiáng),且邊緣側(cè)算力具備更低網(wǎng)絡(luò)成本及網(wǎng)絡(luò)延遲的特點,同時解決了企業(yè) IT 成本及用戶體驗兩個問題,企業(yè)逐漸將 IT 系統(tǒng)中的微服務(wù)按照對 IO、網(wǎng)絡(luò)、計算能力、交互實時性等需求不同進(jìn)行層級劃分,一些可以放到邊緣側(cè)的微服務(wù)越來越多的下沉到邊緣,通過云端和邊緣的協(xié)同

22、解決成本和用戶體驗問題。云計算公司通過在用戶更近的邊緣側(cè)部署大量的節(jié)點計算資源,覆蓋國內(nèi)主要城市及運營商,為企業(yè)提供邊緣計算服務(wù),面對直播場景,主播在將實時錄制的視頻流上傳到邊緣服務(wù)器時,即可在邊緣側(cè)完成視頻的審核、轉(zhuǎn)碼、降噪、美顏等視頻流相關(guān)處理,并根據(jù)預(yù)先制定的策略完成直播流的分發(fā),極大降低了客戶運營成本并提升了網(wǎng)絡(luò)體驗; 面對 RTC 場景,用戶在邊緣側(cè)就近接入服務(wù),邊緣側(cè)通過智能路由、FEC 弱網(wǎng)對抗等技術(shù)實現(xiàn)網(wǎng)絡(luò)端到端的傳輸優(yōu)化;另外在智能家居 AIoT 場景, 路由器、智能音箱等家庭網(wǎng)關(guān)設(shè)備承載著眾多家庭智能硬件等聯(lián)網(wǎng)、控制等核心操作,通過智能網(wǎng)關(guān)邊緣側(cè)同云端在 DNS、網(wǎng)絡(luò)探測及

23、云、端雙端加速等技術(shù),可很好的保障智能網(wǎng)關(guān)數(shù)據(jù)傳輸安全,并極大提升在弱網(wǎng)情況下的數(shù)據(jù)網(wǎng)絡(luò)傳輸速度。新基建與邊緣計算2020 3 5G網(wǎng)絡(luò)、數(shù)據(jù)中心等新型基礎(chǔ)設(shè)施建設(shè)進(jìn)度。新型基礎(chǔ)設(shè)施建設(shè)(簡稱:新基建)5G 基站建設(shè)、特高壓、城際高速鐵路和城市軌道交通、新能源汽新基建的重點七大領(lǐng)域與邊緣計算的價值行業(yè)與產(chǎn)業(yè)領(lǐng)域匹配度較高:其中 5G、AI 是與邊緣計算緊密關(guān)聯(lián)的關(guān)鍵技術(shù),數(shù)字能源、智慧交通、工業(yè)互聯(lián)網(wǎng)是邊緣計算最有發(fā)展前景的價值行業(yè)。新基建的推進(jìn),必將加速邊緣計算產(chǎn)業(yè)的落地實踐。邊緣計算與云計算協(xié)同白皮書2.0邊緣計算與云計算協(xié)同白皮書2.0邊云協(xié)同2.0參考架構(gòu)及技術(shù)體系邊緣計算與云計算協(xié)同

24、白皮書2.0邊緣計算與云計算協(xié)同白皮書2.0邊云協(xié)同2.0參考架構(gòu)及技術(shù)體系 PAGE 26 PAGE 26 PAGE 25 PAGE 2502邊云協(xié)同 2.0參考架構(gòu)及技術(shù)體系邊緣計算節(jié)點,位于靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè),是行業(yè)數(shù)字化智能系統(tǒng)的核心部分。它負(fù)責(zé)對物理世界進(jìn)行感知,通過邊緣與中心云的協(xié)同,實現(xiàn)對物理世界的數(shù)字化建模、認(rèn)知、決策,再由邊緣將決策結(jié)果以應(yīng)用交互的方式反饋到物理世界,實現(xiàn)整個業(yè)務(wù)流程的閉環(huán)和持續(xù)迭代演進(jìn)。邊緣場景相對于中心云的 ICT 場景有著許多非常不同的特征,是以邊緣為核心的原生應(yīng)用架構(gòu)(簡稱 Edge Native)所需要考慮的: 去中心化的,地理分布的體系架

25、構(gòu) 數(shù)據(jù)主要在邊緣實時處理,即計算和智能將跟隨數(shù)據(jù), 動態(tài)地進(jìn)行部署和處理 (event-driven)(streaming)推理、異步和實時數(shù)據(jù)處理為主 邊緣與邊緣的交互,邊緣局部閉環(huán)自治 多樣化、異構(gòu)形態(tài)的資源配置,計算 / 網(wǎng)絡(luò) / 存儲資源深度融合按場景定制,并高度離散的設(shè)備,資源利用率低 產(chǎn)品生命周期長,多廠商和多代(multi generation) 技術(shù)并存歷史上形成的單計算節(jié)點OS 生態(tài)已收斂,如Windows、Linux、Android、iOS 等,簡稱“端 -OS”。過去十年風(fēng)起云涌的以 DC 為中心的云生態(tài)高速發(fā)展又形成了“云 - OS”如 AWS、Azure、GCP、阿

26、里云、華為云等。面向行業(yè)數(shù)字化轉(zhuǎn)型場景的邊緣計算的再次興起正在深深影響下一代的 IT 基礎(chǔ)設(shè)施的體系架構(gòu)。僅依靠現(xiàn)有的中心云架構(gòu)的簡單延伸是遠(yuǎn)遠(yuǎn)不夠的,必須從架構(gòu)角度引入新型跨域分布式的邊云協(xié)同中間層(也可以稱之為“邊云協(xié)同 -OS”),一方面兼容廣泛且多樣化的邊緣硬件,一方面將中心云所擁有的云服務(wù)和云生態(tài)能力適配后用于對邊緣業(yè)務(wù)的賦能,以實現(xiàn)端、邊、云之間能夠緊密結(jié)合并互相協(xié)作,加速邊緣原生的數(shù)字化轉(zhuǎn)型解決方案的構(gòu)建, 并提供有效的資源配置和用戶體驗。(2018 )中總結(jié)了資源協(xié)同、數(shù)據(jù)協(xié)同、智能協(xié)為了更好的理順各個協(xié)同之間的層次關(guān)系,方便讀者理服務(wù)協(xié)同合并到新版本的服務(wù)協(xié)同中;將原版本中的

27、應(yīng)應(yīng)用協(xié)同服務(wù)協(xié)同服務(wù)協(xié)同為邊緣應(yīng)用的構(gòu)建,提供了所需的關(guān)鍵能力組件以及快速靈活的對接機(jī)制,從而有效提升邊緣應(yīng)用的構(gòu)建中心云的云服務(wù)與云生態(tài)伙伴所提供的能力,包括數(shù)據(jù)類、智能類、應(yīng)用使能類的能力。另一方面是通過云原生Operator 架構(gòu)的服務(wù)接入框架,為邊緣另外一個層面,對于云原生架構(gòu)中的微服務(wù),提供跨越邊和云的服務(wù)發(fā)現(xiàn)和協(xié)同機(jī)制,使得位置感知的數(shù)據(jù)傳輸轉(zhuǎn)變?yōu)槲恢猛该鞯?、基于服?wù)化的業(yè)務(wù)協(xié)同。資源協(xié)同數(shù)據(jù)服務(wù)流數(shù)據(jù)時序數(shù)據(jù)IoT接入智能服務(wù)AI訓(xùn)練AI推理領(lǐng)域模型數(shù)據(jù)服務(wù)流數(shù)據(jù)時序數(shù)據(jù)IoT接入智能服務(wù)AI訓(xùn)練AI推理領(lǐng)域模型智能類開發(fā)類數(shù)據(jù)類運維類中間件類安全類智慧交通園區(qū)安防智慧城市工業(yè)

28、制造能源電力智慧交通園區(qū)安防智慧城市工業(yè)制造能源電力全域加速運維監(jiān)控全域加速運維監(jiān)控應(yīng)用編排治理全局調(diào)度節(jié)點管理應(yīng)用生命周期邊豐富的行業(yè)實踐云服務(wù)云生態(tài)邊云協(xié)同OS的管控面服務(wù)協(xié)同資源協(xié)同應(yīng)用協(xié)同應(yīng)用服務(wù)豐富的行業(yè)實踐云服務(wù)云生態(tài)邊云協(xié)同OS的管控面服務(wù)協(xié)同資源協(xié)同應(yīng)用協(xié)同應(yīng)用服務(wù)音視頻區(qū) 塊 鏈 邊云協(xié)同OS的節(jié)點代理邊云協(xié)同OS的節(jié)點代理中心云監(jiān)控探針認(rèn)證授權(quán)本地自治云邊通信運行時環(huán)境管理硬件抽象框架監(jiān)控探針認(rèn)證授權(quán)本地自治云邊通信運行時環(huán)境管理硬件抽象框架多樣化異構(gòu)邊緣環(huán)境多樣化異構(gòu)邊緣環(huán)境圖 5 邊緣與中心云間的三大類協(xié)同2.12.1應(yīng)用協(xié)同綜述應(yīng)用協(xié)同是指用戶通過邊緣計算平臺在云上的

29、管理面將開發(fā)的應(yīng)用通過網(wǎng)絡(luò)遠(yuǎn)程部署到用戶希望的邊緣節(jié)點上運行,為終端設(shè)備提供服務(wù),并且可以在云上進(jìn)行邊緣應(yīng)用生命周期管理。應(yīng)用協(xié)同還規(guī)定了邊緣計算平臺向應(yīng)用開發(fā)者和管理者開放的應(yīng)用管理北向接口。對于邊緣計算的落地實踐來說,應(yīng)用協(xié)同是整個系統(tǒng)的核心, 涉及云、邊、管、端各個方面。相比集中在數(shù)據(jù)中心的云計算,邊緣計算的邊緣節(jié)點分布較為分散,在很多邊緣場景中,如智能巡檢、智慧交通、智能安防、智能煤礦等,邊緣節(jié)點采用現(xiàn)場人工的方式對應(yīng)用進(jìn)行部署和運維非常不方便,效率低成本高。邊緣計算的應(yīng)用協(xié)同能力,可以讓用戶很方便地從云上對邊緣應(yīng)用進(jìn)行靈活部署,大大提高邊緣應(yīng)用的部智能化提供了基礎(chǔ)。這也是應(yīng)用協(xié)同對于

30、邊緣計算場景的價值所在。關(guān)鍵挑戰(zhàn) 傳統(tǒng)邊緣應(yīng)用部署的物理節(jié)點分布可能較為分散,部署過程中存在大量需要人工現(xiàn)場操作的步驟,部署方式不夠靈活方便,效率低下。邊緣應(yīng)用缺少邊云協(xié)同管理方案,邊緣計算平臺也缺少統(tǒng)一的應(yīng)用管理北向接口。 邊緣計算復(fù)雜場景下應(yīng)用分發(fā)比較困難。用戶應(yīng)用部署到海量的邊緣節(jié)點上,需要大規(guī)模分發(fā)應(yīng)用的鏡像。邊緣和中心云之間一般跨網(wǎng)絡(luò)連接,網(wǎng)絡(luò)的穩(wěn)定性相對較差。中心鏡像倉庫高并發(fā)下載帶來高昂的帶寬成本也是一個非常嚴(yán)重的問題。另外,用戶應(yīng)用日益復(fù)雜化,跨越邊云的分布式應(yīng)用場景越來越多,但是對應(yīng)的跨邊云應(yīng)用分發(fā)機(jī)制還比較缺乏。 邊云計算場景下邊緣應(yīng)用管理困難。邊緣節(jié)點與云端通過城域網(wǎng)互聯(lián)

31、,漫長的網(wǎng)絡(luò)鏈路使得二者連接不夠穩(wěn)定,且易因各種不確定因素導(dǎo)致邊緣節(jié)點整體斷連。在斷連后,邊緣節(jié)點及其上的應(yīng)用實例將處于離線狀態(tài),并且缺乏 IT 維護(hù)人員及時的管理恢復(fù)。此時邊緣應(yīng)用會出現(xiàn)不可用的問題,邊緣側(cè)的業(yè)務(wù)連續(xù)性及可靠性都將受到極大的挑戰(zhàn)。整體架構(gòu)面對上述挑戰(zhàn),邊緣計算應(yīng)用協(xié)同系統(tǒng)整合邊緣節(jié)點資源,通過邊緣管理模塊與云上控制模塊合作,共同完成應(yīng)用協(xié)同。目前邊緣計算領(lǐng)域多種技術(shù)架構(gòu)并存,其中基于云原生技術(shù)的邊緣計算架構(gòu)發(fā)展迅速,并逐漸成為主流。這里以基于云原生技術(shù)的邊緣計算為例給出系統(tǒng)參考架構(gòu),同時該架構(gòu)對于邊緣計算領(lǐng)域其他技術(shù)也有一定參考價值。邊緣計算邊云應(yīng)用協(xié)同系統(tǒng)參考架構(gòu)如圖 1

32、所示,整個系統(tǒng)分為云上和邊緣兩個部分,云上部分包含云上控制面和云端鏡像倉庫,云上控制面主要用于接收用戶提交的應(yīng)用部署請求信息并對邊緣應(yīng)用進(jìn)行生命周期管理,云端鏡像倉庫主要用于對用戶提交的應(yīng)用鏡像進(jìn)行分級轉(zhuǎn)發(fā)緩存;邊緣部分主要為邊緣節(jié)點和邊緣鏡像倉庫,邊緣節(jié)點用于為邊緣應(yīng)用提供運行環(huán)境和資源,邊緣鏡像倉庫為邊緣應(yīng)用提供具體的鏡像加載服務(wù)。云上控制面應(yīng)用鏡像管理應(yīng)用開發(fā)者/管理者應(yīng)用鏡像管理應(yīng)用生命云上控制面應(yīng)用鏡像管理應(yīng)用開發(fā)者/管理者應(yīng)用鏡像管理應(yīng)用生命區(qū)域鏡像倉庫中心鏡像倉庫邊緣計算平臺為用戶提供標(biāo)準(zhǔn)化的北向接口,開放各種應(yīng)用部署和調(diào)度能力,用戶的所有應(yīng)用部署需求,都以服務(wù)請求的形式向邊緣計

33、算平臺提交,邊緣計算平臺將執(zhí)行結(jié)果以服務(wù)響應(yīng)的形式返回給用戶。用戶使用邊緣計算平臺進(jìn)行應(yīng)用部署,應(yīng)該對應(yīng)用的目標(biāo)形態(tài)提出需求,以部署配置文件的形式進(jìn)行描述,并提交給邊緣計算平臺。邊緣計算平臺會根據(jù)用戶提交的需求以及既定的調(diào)度策略,選擇最能滿足用戶需求的節(jié)點進(jìn)行調(diào)度,獲取相關(guān)節(jié)點資源,創(chuàng)建應(yīng)用實例,創(chuàng)建相關(guān)資源如中間件、網(wǎng)絡(luò)、消息路由等,完成應(yīng)用在邊緣節(jié)點上的下發(fā)部署。用戶通過北向接口提交的應(yīng)用的部署需求,通常會涉及如下方面: 工作負(fù)載信息:包括應(yīng)用的鏡像地址、應(yīng)用實例數(shù)量、應(yīng)用標(biāo)簽信息、應(yīng)用環(huán)境變量配置等等。 在呈現(xiàn)方式,用戶只能在平臺既定的框架下選擇、制定符合自己需求的調(diào)度策略。更精細(xì)、更高

34、效、更靈活的調(diào)度策略需要邊緣計算平臺自身更強(qiáng)大的調(diào)度能力作為內(nèi)在支持。從用戶的角度來講,應(yīng)用調(diào)度策略可能會包括如下類型:將應(yīng)用部署到指定邊緣節(jié)點或保證一定百分比的應(yīng)用實例所處地區(qū)的網(wǎng)絡(luò)延遲低于北向接口應(yīng)用分發(fā)應(yīng)用編排應(yīng)用流量管理應(yīng)用分發(fā)應(yīng)用生命周期管理應(yīng)用流量管理應(yīng)用分發(fā)應(yīng)用生命周期管理應(yīng)用實例應(yīng)用實例邊緣節(jié)點邊緣鏡像倉庫圖 6 邊云協(xié)同應(yīng)用協(xié)同系統(tǒng)架構(gòu) 資源需求:資源需求代表每個應(yīng)用實例在邊緣節(jié)點上運行所需要的資源數(shù)量下限值和上限值,當(dāng)一個節(jié)點無法提供滿足下限值的資源時,表示邊緣節(jié)點資源不足,應(yīng)用實例不會被平臺調(diào)度到該節(jié)點上執(zhí)行,當(dāng)一個應(yīng)用實例運行所占用的資源超過上限值時,表示應(yīng)用程序可能發(fā)

35、生了異常,需要緊急停止。常用資源類型包括 CPU、內(nèi)存、存儲、網(wǎng)絡(luò)帶寬、GPU、NPU 等。 網(wǎng)絡(luò)需求:應(yīng)用對于網(wǎng)絡(luò) QoS 和 QoE 有一定需求, 包括網(wǎng)絡(luò)抖動、網(wǎng)絡(luò)時延、吞吐率等等 部署模式:應(yīng)用在邊緣的部署模式,可以分為兩類, 一類為根據(jù)部署策略和調(diào)度結(jié)果直接將應(yīng)用實例部署到對應(yīng)節(jié)點,一類為收到客戶端訪問請求后觸發(fā)應(yīng)用實例的部署。 中間件需求:未來如數(shù)據(jù)庫、5GC 等能力會以中間件的關(guān)鍵技術(shù)應(yīng)用分發(fā) 應(yīng)用親和性分發(fā)利用應(yīng)用親和性特性,可以將有關(guān)聯(lián)的應(yīng)用部署到同一個節(jié)點以提升應(yīng)用間交互效率。一個 Pod 里的多個容器可以共享存儲和網(wǎng)絡(luò),可以看作一個邏輯的主機(jī),共享如 namespace,

36、cgroups 或者其他的隔離資源。一個Pod 里的多個容器共享 Pod 的 IP 和端口 namespace, 這些容器之間可以通過 localhost 來進(jìn)行通信,所需要注意的是不同容器要注意不要有端口沖突即可。不同的Pod 有不同的 IP,不同 Pod 內(nèi)的多個容器之間不可以使用 IPC(如果沒有特殊指定的話)通信,通常情況下使用Pod 的 IP 進(jìn)行通信。一個 Pod 里的多個容器可以共享存儲卷,這個存儲卷會被定義為 Pod 的一部分,并且可以掛載到該 Pod 里的所有容器的文件系統(tǒng)上。 應(yīng)用大規(guī)模分發(fā)技術(shù)邊緣計算場景中,用戶應(yīng)用需要部署到海量的邊緣節(jié)點上,需要大規(guī)模分發(fā)應(yīng)用的鏡像。這

37、種應(yīng)用大規(guī)模分發(fā)場景的部署速度、部署成功略等性能受制于短時間高并發(fā)讀取、網(wǎng)絡(luò)穩(wěn)定性、網(wǎng)絡(luò)帶寬等問題。容器應(yīng)用部署過程中需要下載容器鏡像文件,如果在大規(guī)模邊緣集群環(huán)境中,比如 100K 臺邊緣節(jié)點,每個應(yīng)用鏡像按照500MB 計算,如果直接從中心鏡像倉庫下載,數(shù)據(jù)量是50000GB,這對于鏡像倉庫的沖擊是致命的。邊緣和中心云之間一般跨互聯(lián)網(wǎng)連接,網(wǎng)絡(luò)的穩(wěn)定性相對較差, 比如煤礦礦井邊緣、工廠車間邊緣、公路邊緣場景,很難保證邊緣與中心云網(wǎng)絡(luò)連接的穩(wěn)定性。中心鏡像倉庫下載帶來高昂的帶寬成本也是一個非常嚴(yán)重的問題,這對于提供鏡像倉庫的云服務(wù)提供商來說是不可接受的。邊緣計算平臺可以采用鏡像分級緩存、邊緣

38、鏡像站點加速、P2P 分發(fā)等方法來提高應(yīng)用大規(guī)模分發(fā)性能。 跨邊云統(tǒng)一部署技術(shù)用戶應(yīng)用日益復(fù)雜化,跨越邊云的分布式應(yīng)用場景越來越多。與云計算環(huán)境相比,應(yīng)用在邊緣側(cè)部署和運行受本地環(huán)境的影響非常大,而本地環(huán)境自身又是非常不穩(wěn)定的,充滿了不可預(yù)知性和動態(tài)性,因此邊緣計算平臺需要根據(jù)環(huán)境資源信息動態(tài)調(diào)整業(yè)務(wù)部署。當(dāng)邊緣側(cè)環(huán)境發(fā)生重大變故時,包括邊緣節(jié)點故障、邊緣側(cè)用戶請求飆升等等,邊緣側(cè)的資源無法滿足用戶應(yīng)用的計算需求,此時需要將業(yè)務(wù)負(fù)載遷移回云上運行,以保障用戶應(yīng)用的可用性。因此邊緣計算平臺需要提供應(yīng)用跨邊云統(tǒng)一部署能力,以實現(xiàn)用戶應(yīng)用的邊云協(xié)同,并且能夠向應(yīng)用開發(fā)者屏蔽這種因部署位置的差異性帶來

39、的特殊設(shè)計和開發(fā)工作量。 serverless 技術(shù)邊緣應(yīng)用的開發(fā)者希望能夠?qū)W⒂趹?yīng)用開發(fā)工作,而應(yīng)用的構(gòu)建、部署和運行問題則交給平臺來自動完成。serverless 技術(shù)的出現(xiàn)使得用戶只需要編寫函數(shù)代碼(function)和包含函數(shù)構(gòu)建部署信息的配置文件(cong),將代碼文件和配置文件提交給平臺就可以自動將代碼構(gòu)建成應(yīng)用,并將應(yīng)用實例部署到邊緣側(cè)或云端集群,無需關(guān)注具體構(gòu)建和部署細(xì)節(jié)。serverless 技術(shù)提供標(biāo)準(zhǔn)化的應(yīng)用開發(fā)流程,為邊緣應(yīng)用的開發(fā)人員節(jié)約了大量的時間和精力,大大提升了邊緣應(yīng)用開發(fā)、運維和迭代的效率。以云原生的 serverless 技術(shù)為例,整個系統(tǒng)分為構(gòu)建系統(tǒng)(Bu

40、ild)、服務(wù)系統(tǒng)(Serving)和事件系統(tǒng)(Eventing)。構(gòu)建系統(tǒng)可以將用戶代碼進(jìn)行編譯,并且自動化構(gòu)建應(yīng)用容器鏡像。服務(wù)系統(tǒng)可以將構(gòu)建好的應(yīng)用實例下發(fā)部署,按需對邊緣應(yīng)用負(fù)載規(guī)模進(jìn)行自動化伸縮,并且為邊緣應(yīng)用配置好相應(yīng)的流量路由規(guī)則和服務(wù)訪問通路。事件系統(tǒng)可以將事件源進(jìn)行抽象,并對生產(chǎn)、消費等事件通過消息通道進(jìn)行有效傳遞, 同過訂閱機(jī)制進(jìn)行事件處理。應(yīng)用管理 應(yīng)用離線自治技術(shù)相較于傳統(tǒng)的以云數(shù)據(jù)中心為核心的云服務(wù),邊緣計算所服務(wù)的業(yè)務(wù)領(lǐng)域有著自己的獨有的特點。在邊緣節(jié)點與云端正常連接時,邊緣節(jié)點及其上的應(yīng)用的生命周期管理都由云上的管理組件負(fù)責(zé)。然而,邊緣節(jié)點與云端通過城域網(wǎng)互聯(lián),漫

41、長的網(wǎng)絡(luò)鏈路使得二者連接不夠穩(wěn)定,且易因各種不確定因素導(dǎo)致斷連。在斷連后,邊緣節(jié)點及其上的應(yīng)用實例將處于離線狀態(tài),并且缺乏 IT 維護(hù)人員及時的管理恢復(fù)。此時,邊緣側(cè)的業(yè)務(wù)連續(xù)性及可靠性都將受到極大的挑戰(zhàn)。因此,邊緣節(jié)點在離線場景下的管控是邊緣計算服務(wù)必不可少的功能之一。邊緣應(yīng)用離線自治技術(shù)通過維護(hù)邊緣節(jié)點監(jiān)控關(guān)系列表、調(diào)度優(yōu)先級列表及邊緣信息同步機(jī)制,能夠保障邊緣節(jié)點在云端管理面斷開的場景下進(jìn)行離線自治,維持系統(tǒng)正常運行,直到邊云連接恢復(fù)正常。 多設(shè)備多副本互備邊緣節(jié)點運行狀態(tài)和網(wǎng)絡(luò)狀態(tài)不穩(wěn)定,可能會出現(xiàn)單個節(jié)點運行故障或者網(wǎng)絡(luò)斷開,這些問題都會導(dǎo)致該節(jié)點上運行的應(yīng)用實例不可用。對于無狀態(tài)應(yīng)

42、用,可以創(chuàng)建多個副本,同時添加應(yīng)用部署的反親和性特性,維持預(yù)設(shè)副本數(shù)的同一應(yīng)用的不同實例在不同節(jié)點上分散部署運行,可以避免單節(jié)點故障導(dǎo)致所有應(yīng)用實例全部不可用的問題,提升應(yīng)用的可用性。2.22.2服務(wù)協(xié)同綜述服務(wù)是指具備明確的業(yè)務(wù)特征,由一個或多個關(guān)聯(lián)緊密的微服務(wù)組成,可直接面向客戶 / 用戶進(jìn)行打包、發(fā)布、部署、運維的軟件單元。服務(wù)協(xié)同是指通過在邊緣計算平臺提供用戶需要的關(guān)鍵組件能力,以及快速靈活的服務(wù)對接機(jī)制,從而提升用戶邊緣應(yīng)用的構(gòu)建速度,在邊緣側(cè)幫助用戶服務(wù)快速接入邊緣計算平臺。服務(wù)協(xié)同主要包括兩個方面,一方面是來源于中心云的云服務(wù)和云生態(tài)伙伴所提供的服務(wù)能力,包括智能類、數(shù)據(jù)類、應(yīng)用

43、使能類能力。另一方面是通過云原生架構(gòu),提供一套標(biāo)準(zhǔn)的服務(wù)接入框架,為智能類服務(wù)是在人工智能場景下,通過使用人工智能服務(wù)對海量數(shù)據(jù)進(jìn)行預(yù)處理及半自動化標(biāo)注、大規(guī)模分布式訓(xùn)練,生成自動化模型,并支持部署到云上和邊緣。聯(lián)動邊緣和云端數(shù)據(jù);邊緣 AI 服務(wù)實時獲取數(shù)據(jù),通過推理進(jìn)行瑕疵檢測,根據(jù)結(jié)果調(diào)整生產(chǎn)設(shè)備參數(shù),并將數(shù)據(jù)和結(jié)果周期上傳回云端,用于持續(xù)模型訓(xùn)練和生產(chǎn)分析。數(shù)據(jù)類服務(wù)按照距離用戶的遠(yuǎn)近可以分為云端數(shù)據(jù)庫和邊緣數(shù)據(jù)庫。云端數(shù)據(jù)庫即是部署在云端,負(fù)責(zé)對云上服務(wù)處理的數(shù)據(jù)進(jìn)行存儲,并提供高效的查詢等,云端由于和用戶設(shè)備過遠(yuǎn),數(shù)據(jù)傳輸慢,導(dǎo)致無法實時響應(yīng)用戶數(shù)據(jù)請求,無法很好滿足用戶實際述求。

44、因此邊緣場景下延伸出了邊緣數(shù)據(jù)庫概念,顧名思義邊緣數(shù)據(jù)庫是部署在邊緣側(cè)的,它的好處是離終端設(shè)備近,終端設(shè)備進(jìn)行采集數(shù)據(jù)后上報到邊緣端的服務(wù)非常快,而邊緣端的服務(wù)經(jīng)過分析計算后可以持久化存儲在邊緣設(shè)備中, 這樣即保證了數(shù)據(jù)的實時處理,也使得當(dāng)邊緣網(wǎng)絡(luò)端開時,邊緣數(shù)據(jù)庫儲存的數(shù)據(jù)可以支持邊緣自治。在邊緣場景下,數(shù)據(jù)采集頻繁,上報數(shù)據(jù)量大,會產(chǎn)生大量冗余以及不符合規(guī)范的數(shù)據(jù),對數(shù)據(jù)的分析挖掘造成了很大的麻煩,需要邊緣側(cè)進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)分析整合, 使用邊緣時序數(shù)據(jù)庫等保證數(shù)據(jù)的時序,當(dāng)實時處理后, 可以根據(jù)數(shù)據(jù)的具體類型和場景,協(xié)同上報到云端數(shù)據(jù)庫中進(jìn)行進(jìn)一步處理,或者在本地存儲待后續(xù)使用。應(yīng)用服務(wù)

45、主要是對一般中間件等有狀態(tài)的服務(wù)部署場景中,如何部署在邊緣場景進(jìn)行分布式運行。由于中間件等有狀態(tài)服務(wù)架構(gòu)復(fù)雜,涉及很多復(fù)雜化處理,因此應(yīng)用服務(wù)主要提供的是邊云分布式開發(fā)框架和運行框架, 通過提供標(biāo)準(zhǔn)的接入規(guī)范和開發(fā)框架,可以幫助這類服務(wù)快速集成開發(fā),并且能夠方便的部署集成到邊緣計算環(huán)境中,同時這種統(tǒng)一的開發(fā)框架,可以方便應(yīng)用服務(wù)的改造,幫助不同形態(tài)服務(wù)的遷移,滿足快速上云訴求。而運行框架,則提供了規(guī)范的運維規(guī)范、運行中通信規(guī)范等,另外還提供了開箱即用的微服務(wù)注冊、發(fā)現(xiàn)和訪問機(jī)制,可以幫助服務(wù)進(jìn)行全生命周期的管理,并且滿足跨邊云應(yīng)用協(xié)同,在邊緣計算場景中,不同的設(shè)備、不同的邊緣云設(shè)施中,都可以快

46、速無縫協(xié)同工作,從而提高服務(wù)協(xié)同能力,降低用戶使用難度,部署難度以及運維難度。關(guān)鍵挑戰(zhàn)邊緣計算場景下,服務(wù)協(xié)同面臨著幾個較為嚴(yán)峻的挑戰(zhàn): 數(shù)據(jù)存儲困難,性能可靠性無法保證。隨著越來越多的業(yè)務(wù)連接到物聯(lián)網(wǎng),與 IoT 關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)量和時序數(shù)據(jù)越來越多,而邊緣側(cè)資源緊張,對數(shù)據(jù)存儲的成本、響應(yīng)的性能和可靠性產(chǎn)生了極大的挑戰(zhàn),隨著業(yè)務(wù)種類不同,數(shù)據(jù)的上報結(jié)構(gòu)各不相同,對數(shù)據(jù)的存儲也帶來了極大的不便。 數(shù)據(jù)量大,實時性無法得到保證。邊緣智能場景下, 導(dǎo)致數(shù)據(jù)存在大量冗余情況,對于智能化場景產(chǎn)生極大挑戰(zhàn),而邊緣側(cè)場景的高實時要求又是一大難題。 應(yīng)用接入不規(guī)范,難以統(tǒng)一管控。邊緣服務(wù)涉及多種類型服務(wù)接入

47、,其中數(shù)據(jù)服務(wù)、智能服務(wù)、應(yīng)用服務(wù)等開發(fā)框架、語言以及使用方式都不一樣,導(dǎo)致服務(wù)協(xié)同部署運維難度增大,跨云場景也因為接入方式不一致而無法統(tǒng)一管理。發(fā)布服務(wù)訂閱協(xié)同發(fā)布服務(wù)訂閱協(xié)同云端邊緣側(cè)服務(wù)協(xié)同框架平臺服務(wù)開發(fā)框架服務(wù)市場云上管控面應(yīng)用服務(wù) 音視頻 區(qū) 塊 鏈 應(yīng)用集成智能服務(wù) AI訓(xùn)練 AI 推 理 領(lǐng)域模型數(shù)據(jù)服務(wù) 流數(shù)據(jù) 時序數(shù)據(jù) IOT接入服務(wù)開發(fā)部開發(fā)服務(wù)APP集成服務(wù)APP 微服務(wù)的流行,解決了單體式應(yīng)用不能快速迭代、限制技術(shù)棧的選擇、技術(shù)債務(wù)不斷堆積等問題,但同時也引入了新的問題,那就是微服務(wù)化應(yīng)用之間的交互。隨著業(yè)務(wù)的發(fā)展,部分云上能力需要下沉到邊緣以提供更低的時延、更少的帶

48、寬占用、更高的網(wǎng)絡(luò)安全和更好的隱私保護(hù)。但邊緣的資源往往是有限的,應(yīng)用需要利用云的海量資源和彈性。微服務(wù)需要根據(jù)業(yè)務(wù)需求智能地部署在邊和云的任何位置。邊邊、邊云微服務(wù)交互中出現(xiàn)的邊云應(yīng)用訪問困難、缺少服務(wù)發(fā)現(xiàn)和流量治理機(jī)制等問題亟待解決。整體架構(gòu)服務(wù)協(xié)同架構(gòu)是為邊緣應(yīng)用的構(gòu)建,提供所需的關(guān)鍵能力組件以及快速靈活的對接機(jī)制,從而提升邊緣應(yīng)用構(gòu)建速度而設(shè)計。其主要可以分為兩個模塊:服務(wù)開發(fā)框架和服務(wù)市場。服務(wù)開發(fā)框架提供了靈活的接入機(jī)制,方便用戶服務(wù)可以快速接入邊緣計算平臺,為邊緣服務(wù)的接入、發(fā)現(xiàn)、使用、運維提供一套整體流程。服務(wù)市場則對接生態(tài),借力合作伙伴的能力,將不同的智能類、數(shù)據(jù)類以及應(yīng)用使

49、能類服務(wù)接入到服務(wù)市場集成使用,達(dá)到快速構(gòu)建邊緣服務(wù)的能力。服務(wù)使用者云端節(jié)點數(shù)據(jù)服務(wù)數(shù)據(jù)庫云端節(jié)點數(shù)據(jù)服務(wù)數(shù)據(jù)庫服務(wù)運行框架智能服務(wù)智能AI服務(wù)運行框架應(yīng)用服務(wù)區(qū)塊鏈服務(wù)運行框架邊緣節(jié)點應(yīng)用服務(wù)邊緣區(qū)塊鏈服務(wù)運行框架數(shù)據(jù)服務(wù)邊緣數(shù)據(jù)庫服務(wù)運行框架智能服務(wù)邊緣智能AI服務(wù)運行框架圖 7 邊緣計算服務(wù)協(xié)同框架如圖所示,服務(wù)協(xié)同分為兩個主體角色:服務(wù)開發(fā)者和服務(wù)使用者,開發(fā)者作為服務(wù)提供者,根據(jù)自身業(yè)務(wù)需要進(jìn)行代碼開發(fā),然后根據(jù)服務(wù)接入規(guī)范以及服務(wù)協(xié)同框架中提供的開發(fā)框架進(jìn)行集成打包,封裝出可以部署在邊緣計算平臺中的服務(wù),然后上傳到服務(wù)市場中對外提供服務(wù);服務(wù)使用者則訂購服務(wù)市場中的服務(wù),并根據(jù)使

50、用場景進(jìn)行訂購下發(fā)部署請求。服務(wù)協(xié)同框架通過利用應(yīng)用協(xié)同框架能力,將服務(wù)下發(fā)到對應(yīng)的云端或者邊緣節(jié)點中去,邊緣節(jié)點按照云端策略實現(xiàn)對應(yīng)服務(wù), 通過邊緣與云端的協(xié)同實現(xiàn)面向客戶的按需的邊緣服務(wù); 而云端則負(fù)責(zé)其本身需要的服務(wù)能力和對邊緣節(jié)點的分布策略的控制。服務(wù)開發(fā)框架主要包括兩個方面:1、統(tǒng)一標(biāo)準(zhǔn)的接入規(guī)接入規(guī)范可以保證在兼容用戶的服務(wù)并統(tǒng)一服務(wù)部署運行運維等能力,保證服務(wù)可以無縫接入邊緣計算平臺; 2、接入開發(fā)框架,提供符合業(yè)界標(biāo)準(zhǔn)的開發(fā)框架,為邊緣服務(wù)的接入、發(fā)現(xiàn)、使用、運維提供一整套流程,幫助用戶只需要專注業(yè)務(wù)的開發(fā)。服務(wù)市場則是對接不同生態(tài)服務(wù),發(fā)展云生態(tài)伙伴包括智能類、數(shù)據(jù)類應(yīng)用使能

51、類服務(wù)的接入,并對接開源Operator 框架,將有狀態(tài)中間件服務(wù)接入提供給用戶使用,幫助用戶邊緣服務(wù)的快速構(gòu)建接入。關(guān)鍵技術(shù)邊云協(xié)同數(shù)據(jù)使能隨著越來越多的事物連接到物聯(lián)網(wǎng),與 IoT 設(shè)備相關(guān)聯(lián)的數(shù)據(jù)量及其生成的時序數(shù)據(jù)量(包括設(shè)備狀態(tài)、元數(shù)據(jù)和傳感器讀數(shù))呈指數(shù)級增長。然而,邊緣側(cè)計算資源緊張,對數(shù)據(jù)庫性能、數(shù)據(jù)存儲成本、可靠性等都提出了新的挑戰(zhàn)。同時,隨著數(shù)據(jù)源的多樣化和業(yè)務(wù)發(fā)展, 要求邊緣數(shù)據(jù)庫要能靈活存取多種數(shù)據(jù)模型,降低業(yè)務(wù)變更難度和運維成本。時序數(shù)據(jù)是指帶有時間標(biāo)簽,按時間順序變化的數(shù)據(jù)。通常時序數(shù)據(jù)有如下幾個特點: 數(shù)據(jù)量大,每秒上千、上萬甚至于上億條數(shù)據(jù) 時間特性強(qiáng),數(shù)據(jù)通常

52、按照時間順序抵達(dá) 主要是寫入和讀取操作,沒有更新操作 大量的統(tǒng)計查詢要求時序數(shù)據(jù)庫作為一種針對時序數(shù)據(jù)進(jìn)行高度優(yōu)化的垂直型數(shù)據(jù)庫 , 可以很好的解決前面的問題,它提供時序數(shù)據(jù)的大并發(fā),低時延,高性能,高壓縮,低成本, schemaless 數(shù)據(jù)存儲,還能提供多種維度的聚合分析和趨勢洞察。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫并不適用于時序業(yè)務(wù)的場景,到目前為止,關(guān)系型數(shù)據(jù)庫處理大數(shù)據(jù)集的效果依舊不理想, 且占用存儲空間大,缺少一些共通的對時間序數(shù)據(jù)分析的功能和操作,比如數(shù)據(jù)保留策略、連續(xù)查詢、靈活的時間聚合等。下面介紹下時序數(shù)據(jù)庫的一些基本概念Metric: 度量,相當(dāng)于關(guān)系型數(shù)據(jù)庫中的 table。Point:

53、 數(shù)據(jù)點,相當(dāng)于關(guān)系型數(shù)據(jù)庫中的 row。Timestamp:時間戳,代表數(shù)據(jù)點產(chǎn)生的時間。Field: 度量下的不同字段。比如位置這個度量具有經(jīng)度和緯度兩個 eld。一般情況下存放的是會隨著時間戳的變化而變化的數(shù)據(jù)。Tag: 標(biāo)簽,或者附加信息。一般存放的是并不隨著時間戳變化的屬性信息。Series: 時間線,一個數(shù)據(jù)源采集的一個指標(biāo)隨著時間的流逝而源源不斷地吐出數(shù)據(jù)這樣形成的一條數(shù)據(jù)線稱之為時間線。邊云協(xié)同的時序數(shù)據(jù)庫的關(guān)鍵技術(shù)主要包括: 輕量級邊緣節(jié)點計算資源有限,相比云端數(shù)據(jù)庫而言,邊緣時序數(shù)據(jù)庫作為云端數(shù)據(jù)庫的延伸,保留數(shù)據(jù)庫的基本功輕量級數(shù)據(jù)庫具有對環(huán)境的依賴小,占用內(nèi)存空間少的特

54、點。 數(shù)據(jù)協(xié)同與可靠性數(shù)采網(wǎng)關(guān)數(shù)采網(wǎng)關(guān)數(shù)采網(wǎng)關(guān)邊緣時序數(shù)據(jù)庫(備)邊緣時序數(shù)據(jù)庫(主)云時序數(shù)據(jù)庫圖 8 時序數(shù)據(jù)庫的邊云數(shù)據(jù)協(xié)同根據(jù)圖所示,數(shù)據(jù)協(xié)同由端 - 邊 - 云共同完成,數(shù)采的數(shù)據(jù)直接接入邊緣中心節(jié)點,一般會經(jīng)過實時分析、資產(chǎn)分析后,再存入邊緣時序數(shù)據(jù)庫,供邊緣開放 API 做時序分析查詢。此時數(shù)據(jù)庫中的數(shù)據(jù)會定期與云端進(jìn)行匯總。由于數(shù)據(jù)在存儲時進(jìn)行了壓縮,為了節(jié)省傳輸帶寬和性能,我們常常以數(shù)據(jù)文件的方式與云端進(jìn)行同步。此外,由于邊緣時序數(shù)據(jù)庫是一個輕量級數(shù)據(jù)庫,為保證數(shù)據(jù)庫的可靠性,中心節(jié)點采用雙合主備模式,數(shù)采網(wǎng)關(guān)采取雙寫。當(dāng)邊緣主中心節(jié)點出現(xiàn)問題時,備中心節(jié)點可以馬上接管業(yè)務(wù),

55、不會造成數(shù)據(jù)丟失和業(yè)務(wù)中斷。 LSM Tree傳統(tǒng)數(shù)據(jù)庫或現(xiàn)在一些 NoSQL 數(shù)據(jù)庫存儲采用的都是 B tree,這是由于其在查詢和順序插入時有利于減少尋道次數(shù),對于 90% 以上場景都是寫入的時序數(shù)據(jù)庫,B tree 很明顯是不合適的。邊緣時序數(shù)據(jù)庫采用 LSM Tree,通過將大量的隨機(jī)寫轉(zhuǎn)換為順序?qū)?,從而極大地提升了數(shù)據(jù)寫入的性能。 列式存儲與向量化針對時序數(shù)據(jù)普遍的分析統(tǒng)計查詢場景來看,需要對所有 Filed 進(jìn)行統(tǒng)計的情況并不多,列式存儲引擎將數(shù)據(jù)按照基于列的方式進(jìn)行集中存儲,查詢過程中可以定位到指定列,可有效降低數(shù)據(jù)庫系統(tǒng)負(fù)載,提高整個查詢的吞吐量。同時,列式存儲可以使用一些基于

56、列數(shù)據(jù)壓縮算法,由于數(shù)據(jù)類型相同,數(shù)據(jù)集中,壓縮算法的性能會更好,可以大大的減少數(shù)據(jù)的存儲成本。向量化查詢是一種基于列式存儲設(shè)計的高效查詢算法, 現(xiàn)在已成為構(gòu)建高效分析查詢引擎流行做法,相比經(jīng)典的火山模型,向量化查詢大大減少了查詢的迭代次數(shù), 能有效提升整個查詢的性能。 查詢結(jié)果緩存(rollupcache)在數(shù)據(jù)的分析統(tǒng)計中,我們常常需要計算 Filed 的值在指定時間窗內(nèi)的和或者平均值等,設(shè)置查詢結(jié)果緩存可以記錄下每次查詢的時間窗和返回值,如果需要在更大時間窗內(nèi)進(jìn)行統(tǒng)計,則可以依賴已緩存的時間窗和值進(jìn)行計算就可以快速得到結(jié)果,從而省掉再次查詢的時間和資源消耗,能有效提升用戶體驗。 內(nèi)存分配

57、與回收在計算資源有限的情況下,合理分配程序使用內(nèi)存尤為重要,邊緣時序數(shù)據(jù)庫可以根據(jù)實際情況配置程序運行中各種 cache 使用的內(nèi)存大小以及總內(nèi)存大小。內(nèi)存分配對應(yīng)是內(nèi)存回收,當(dāng) cache 使用已達(dá)到配置上限時, 邊緣時序數(shù)據(jù)庫需要有高效的 cache 回收算法,將過期的或者最近未使用的內(nèi)存進(jìn)行回收置換,同時還要保證較高的 cache 命中率。AI使能隨著 AI 技術(shù)在邊緣越來越多的廣泛應(yīng)用,同時也帶了巨大的挑戰(zhàn),包括: AR、VR、互動直播、視頻監(jiān)控等場景下非結(jié)構(gòu)化數(shù)據(jù)為主 , 主要采用深度學(xué)習(xí)方法,主要挑戰(zhàn)在數(shù)據(jù)量大 , 資源用量大,實時要求高,標(biāo)注困難等。 工業(yè)場景下 IoT 結(jié)構(gòu)化數(shù)

58、據(jù)為主,主要使用傳統(tǒng)機(jī)器學(xué)習(xí)算法,方法多樣,與業(yè)務(wù)相關(guān)性高,主要挑戰(zhàn)是樣本少、冷啟動和要求模型可解釋和可靠性。面對上述問題,通過邊云協(xié)同 AI 的相關(guān)技術(shù)可以很好解決這些問題。在邊緣計算場景下,AI 類應(yīng)用占據(jù)主流。由于邊側(cè)計算資源緊缺、網(wǎng)絡(luò)環(huán)境復(fù)雜,以及數(shù)據(jù)量樣本量少、數(shù)據(jù)樣本分布不均、數(shù)據(jù)隱私等原因,AI 類應(yīng)用在邊緣的訓(xùn)練和推理還存在著訓(xùn)練收斂時間長、訓(xùn)練效果差、推理精度低、推理時延高等問題。通過邊云協(xié)同AI 技術(shù)以很好的解決在邊緣訓(xùn)練和推理的精度、時延、通信量、數(shù)據(jù)隱私等問題。邊云協(xié)同 AI 框架將會在算法、接口、部署、性能幾個方面帶來了好處: 算法:集成多種適合邊緣的訓(xùn)練推理算法,適

59、用場景廣。 接口:提供邊云協(xié)同的 lib 庫代碼,兼容主流框架, tensorow,pytorch,mindspore;開發(fā)簡單,原生框架的訓(xùn)練代碼經(jīng)過很少改動可以實現(xiàn)其邊云協(xié)同的。 性能:針對邊云協(xié)同進(jìn)行了通訊、存儲的優(yōu)化,使得邊云協(xié)同的訓(xùn)練推理更高效。邊云協(xié)同 AI 框架的關(guān)鍵技術(shù)包括:增量學(xué)習(xí)、聯(lián)邦學(xué)習(xí)、聯(lián)合推理。增量學(xué)習(xí):增量學(xué)習(xí)真對單個租戶從時間的維度幫助提升模型效果。數(shù)據(jù)在邊緣側(cè)持續(xù)產(chǎn)生,傳統(tǒng)的方式是人工定期的收集這些數(shù)據(jù),定期的在云上或邊上的機(jī)器進(jìn)行重新訓(xùn)練以改進(jìn)模型效果。這種方式浪費較多的人力,并且模型更新的頻率較慢,不能及時用上最新更優(yōu)的模型。通過增量學(xué)習(xí),可以持續(xù)監(jiān)控這些新

60、產(chǎn)生的數(shù)據(jù),并通過配置一些觸發(fā)規(guī)則來決定是否要啟動訓(xùn)練、評估、部署,以自動化的持續(xù)改進(jìn)模型效果。聯(lián)邦學(xué)習(xí):聯(lián)邦學(xué)習(xí)跨多個租戶從空間的維度幫助提升模型效果。數(shù)據(jù)天然是在邊側(cè)產(chǎn)生的,邊云協(xié)同聯(lián)邦學(xué)習(xí)通過邊緣側(cè)的數(shù)據(jù)聯(lián)合訓(xùn)練得到一個模型,目的是基于不上傳原始數(shù)據(jù)的前提下,能充分利用分散在不同邊側(cè)的數(shù)據(jù)。單租戶場景,基于數(shù)據(jù)不愿意上云的假設(shè)下,租戶希望直接利用在邊緣產(chǎn)生的數(shù)據(jù)就近在邊緣節(jié)點進(jìn)行訓(xùn)練得到模型,但數(shù)據(jù)在租戶內(nèi)部是分散在不同節(jié)點的,在租戶內(nèi)部集中訓(xùn)練需要另外采購集中訓(xùn)練的機(jī)器會帶來額外的采購成本,因此可以采用邊云協(xié)同聯(lián)邦學(xué)習(xí),直接使用邊緣節(jié)點的計算能力進(jìn)行訓(xùn)練,使用云上的聚合器進(jìn)行聚合,在保

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論