2023銀行業(yè)大規(guī)模異構(gòu)邊緣節(jié)點(diǎn)管理實(shí)踐指南

20236目 錄一、邊緣計(jì)算技術(shù)概述 3（一）邊緣計(jì)算技術(shù)概念及發(fā)展趨勢 3（二）邊緣計(jì)算、云計(jì)算和物聯(lián)網(wǎng)的關(guān)系 3云計(jì)算和邊緣計(jì)算的關(guān)系 4邊緣計(jì)算和物聯(lián)網(wǎng)的關(guān)系 5（三）邊緣計(jì)算在銀行業(yè)需要解決的核心問題 6二、銀行業(yè)邊緣節(jié)點(diǎn)納管運(yùn)行實(shí)踐 7（一）設(shè)計(jì)目標(biāo) 7（二）解決方案 8（三）運(yùn)行范式 邊緣節(jié)點(diǎn)統(tǒng)一管理 應(yīng)用和算法統(tǒng)一管理 16邊緣節(jié)點(diǎn)與應(yīng)用的可觀測性 21安全性 24（四）服務(wù)質(zhì)量 27測試方案 28測試場景 28三、邊緣計(jì)算在銀行智慧網(wǎng)點(diǎn)的應(yīng)用 32四、挑戰(zhàn)及展望 34PAGEPAGE10前言在金融科技持續(xù)進(jìn)步和創(chuàng)新應(yīng)用不斷升級(jí)的背景下，銀行語音將云端算力資源下沉到邊緣場景，解決了云計(jì)算下的應(yīng)用支持在網(wǎng)2020年起農(nóng)行采用“機(jī)器視覺算法+邊緣計(jì)算+攝像頭”的云邊邊緣計(jì)算平臺(tái)以云邊協(xié)同為基礎(chǔ)，對(duì)邊緣節(jié)點(diǎn)在資源、容器應(yīng)本報(bào)告以銀行業(yè)大規(guī)模異構(gòu)邊緣節(jié)點(diǎn)納管運(yùn)行的高性能及穩(wěn)定一、邊緣計(jì)算技術(shù)概述（一）邊緣計(jì)算技術(shù)概念及發(fā)展趨勢427.92021-2025年-202219起融資事項(xiàng)，融資金額均在千萬元（二）邊緣計(jì)算、云計(jì)算和物聯(lián)網(wǎng)的關(guān)系邊緣計(jì)算技術(shù)能夠延伸云端計(jì)算觸角到邊緣側(cè)，利用邊緣側(cè)的存、AI算法和算力就近處理數(shù)據(jù)，釋放云端壓力。邊緣計(jì)算可以彌補(bǔ)云計(jì)算在架構(gòu)上的諸多不足，在靠近物或數(shù)據(jù)源頭的網(wǎng)絡(luò)邊緣側(cè)，云計(jì)算和邊緣計(jì)算的關(guān)系云邊協(xié)同以云側(cè)的云計(jì)算中心、邊側(cè)的邊緣設(shè)備節(jié)點(diǎn)、端側(cè)的傳感器和視頻終端為核心組件構(gòu)成計(jì)算架構(gòu)，提供更高效精確的業(yè)務(wù)數(shù)據(jù)處理能力。以AI模型的訓(xùn)練和推理為例，邊緣節(jié)點(diǎn)可以負(fù)責(zé)自己范圍內(nèi)的數(shù)據(jù)計(jì)算和存儲(chǔ)工作，解決邊緣設(shè)備大量的數(shù)據(jù)上傳對(duì)云端造成巨大壓力的問題。同時(shí)，部分經(jīng)過處理的數(shù)據(jù)仍從邊緣節(jié)點(diǎn)匯聚集中到中心云，通過云計(jì)算實(shí)現(xiàn)大數(shù)據(jù)分析挖掘、數(shù)據(jù)共享，進(jìn)行算法模型的訓(xùn)練和升級(jí)，此后將升級(jí)后的算法推送到邊緣側(cè)，完成設(shè)備的更新和升級(jí)，實(shí)現(xiàn)自主學(xué)習(xí)閉環(huán)。與傳統(tǒng)的云計(jì)算和邊緣計(jì)數(shù)據(jù)儲(chǔ)存更安全：云計(jì)算的數(shù)據(jù)安全與應(yīng)用軟件、平臺(tái)、操作系邊緣計(jì)算和物聯(lián)網(wǎng)的關(guān)系+從架構(gòu)上看，邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用是由感知層、網(wǎng)絡(luò)層、平臺(tái)層和應(yīng)用層四個(gè)關(guān)鍵模塊構(gòu)成的。感知層負(fù)責(zé)采集物理世界的數(shù)據(jù)，利用邊緣節(jié)點(diǎn)提供的多種物聯(lián)接口，將各類傳感器和終端連接起來，實(shí)現(xiàn)大規(guī)模終端設(shè)備入網(wǎng)。網(wǎng)絡(luò)層承擔(dān)著協(xié)議轉(zhuǎn)換的功能，以便在各個(gè)層級(jí)間進(jìn)行信息傳輸，通過邊緣計(jì)算實(shí)現(xiàn)服務(wù)本地化處理。平臺(tái)層為終端設(shè)備提供統(tǒng)一的云端管理，實(shí)現(xiàn)與其他行業(yè)應(yīng)用的靈活對(duì)接，統(tǒng)一處理邊緣節(jié)點(diǎn)提供的數(shù)據(jù)，并將處理結(jié)果提供給應(yīng)用層。應(yīng)用層為物聯(lián)網(wǎng)的不同應(yīng)用場景提供最終服務(wù)，建立廣泛的行業(yè)適應(yīng)性，開發(fā)出更多與行業(yè)場景相匹配的物聯(lián)網(wǎng)應(yīng)用。邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用能夠?yàn)樾袠I(yè)數(shù)字化轉(zhuǎn)型提供強(qiáng)有力的支撐，與傳統(tǒng)“云計(jì)算+物聯(lián)網(wǎng)”相比具有以下優(yōu)勢：滿足安全要求：在傳統(tǒng)的云計(jì)算、物聯(lián)網(wǎng)應(yīng)用中，用戶在獲取各種服務(wù)前，必須先將數(shù)據(jù)傳送至云計(jì)算中心，這大大增加了數(shù)據(jù)安全的風(fēng)險(xiǎn)。邊緣計(jì)算和物聯(lián)網(wǎng)融合應(yīng)用能夠避免用戶將敏感數(shù)據(jù)傳送到云端，從而充分滿足用戶和監(jiān)管部門的安全要求。降低交互時(shí)延：物聯(lián)網(wǎng)應(yīng)用場景需要處理海量數(shù)據(jù)，如果將這些數(shù)據(jù)全部傳輸?shù)皆贫?，需要耗費(fèi)較高的時(shí)間成本，不能很好地滿足用戶的時(shí)效性要求。利用邊緣計(jì)算技術(shù)，在網(wǎng)絡(luò)邊緣側(cè)對(duì)減少帶寬成本：將海量的物聯(lián)網(wǎng)傳感數(shù)據(jù)完全匯集到云端數(shù)據(jù)中心，需要占用極高的帶寬資源。通過邊緣計(jì)算在邊緣端處理大量數(shù)據(jù)，只需將少量必要數(shù)據(jù)傳送至云端，不僅可以減少帶寬成本，還可以為用戶提供優(yōu)質(zhì)的本地服務(wù)。提升自治能力：邊緣計(jì)算實(shí)現(xiàn)了邊緣設(shè)備的自主決策，即使云端或傳輸網(wǎng)絡(luò)發(fā)生故障，邊緣設(shè)備依然可以自主運(yùn)行。這樣既能保證用戶的基本需求，又能在發(fā)生故障時(shí)迅速采取相應(yīng)措施，減小損失。（三）邊緣計(jì)算在銀行業(yè)需要解決的核心問題治和業(yè)務(wù)快速響應(yīng)等服務(wù)能力要求的云邊協(xié)同解決方案是云端服務(wù)AI在智慧網(wǎng)點(diǎn)的邊緣計(jì)算解決方案中，針對(duì)運(yùn)營、安防、營銷、風(fēng)控領(lǐng)域的諸多需求，AI查等典型場景都要求核心算法具有較高的場景處理能力和運(yùn)行效率，這對(duì)AI模型訓(xùn)練質(zhì)量和迭代效率提出了更高的要求。及服務(wù)的云邊同質(zhì)性。因此邊緣設(shè)備需要具備容器化的應(yīng)用管理模二、銀行業(yè)邊緣節(jié)點(diǎn)納管運(yùn)行實(shí)踐（一）設(shè)計(jì)目標(biāo)邊緣節(jié)點(diǎn)納管是銀行智慧應(yīng)用邊側(cè)部署和算力整合的基礎(chǔ)，銀（二）解決方案銀行大規(guī)模異構(gòu)邊緣節(jié)點(diǎn)管理的邊緣計(jì)算體系設(shè)計(jì)中需考慮下AI圖1邊緣計(jì)算平臺(tái)建議架構(gòu)AI1。業(yè)務(wù)中樞包括場AI平臺(tái)提供模型訓(xùn)練、模型封裝、模型發(fā)布和模型評(píng)價(jià)能力，負(fù)責(zé)根據(jù)業(yè)務(wù)場景生成AI算法，并進(jìn)行算法的訓(xùn)練與迭代。AI為實(shí)現(xiàn)大規(guī)模異構(gòu)節(jié)點(diǎn)納管，建議使用基于Kubernetes的云邊1中華人民共和國工業(yè)和信息化部.YD/T3987-2021基于云邊協(xié)同的邊緣節(jié)點(diǎn)管理解決方案能力要求.上述解決方案在實(shí)現(xiàn)銀行邊緣計(jì)算場景的業(yè)務(wù)流程如下：圖2銀行邊緣計(jì)算業(yè)務(wù)流程①分析業(yè)務(wù)需求并研制算法。總分行業(yè)務(wù)人員分析業(yè)務(wù)痛點(diǎn)，發(fā)掘需要使用人工智能解決的業(yè)務(wù)問題，向算法研制部門提出需求；算法研制部門根據(jù)業(yè)務(wù)需求，梳理業(yè)務(wù)邏輯，研制相應(yīng)的AI算法，使用AI訓(xùn)練模型完成針對(duì)性場景的算法訓(xùn)練和發(fā)布。②開發(fā)應(yīng)用并發(fā)布鏡像。應(yīng)用開發(fā)完成后制作成容器鏡像，上③配置業(yè)務(wù)參數(shù)。分行、網(wǎng)點(diǎn)業(yè)務(wù)人員在平臺(tái)上完成對(duì)應(yīng)場景業(yè)務(wù)參數(shù)配置，如攝像頭角度、網(wǎng)點(diǎn)員工服裝、識(shí)別區(qū)域劃分等。④部署應(yīng)用。算法鏡像和業(yè)務(wù)參數(shù)配置由邊緣計(jì)算平臺(tái)進(jìn)行調(diào)度下發(fā)，成為邊緣設(shè)備上的應(yīng)用負(fù)載。⑤配置業(yè)務(wù)中樞。在業(yè)務(wù)中樞中配置場景規(guī)則和場景路由。⑥納管邊緣節(jié)點(diǎn)，接入終端設(shè)備。邊緣計(jì)算平臺(tái)將邊緣節(jié)點(diǎn)納⑦算法應(yīng)用。算法與參數(shù)下發(fā)后，邊緣設(shè)備上的應(yīng)用使用本地AI⑧計(jì)算結(jié)果處置和反饋。加工后的計(jì)算結(jié)果被業(yè)務(wù)中樞發(fā)送至下游各個(gè)業(yè)務(wù)系統(tǒng)，業(yè)務(wù)系統(tǒng)進(jìn)行具體的處置和反饋。（三）運(yùn)行范式邊緣節(jié)點(diǎn)統(tǒng)一管理關(guān)鍵挑戰(zhàn)整體架構(gòu)資源協(xié)同應(yīng)該遵循“統(tǒng)一納管，中心管控，邊緣自治”的總體統(tǒng)一納管：邊緣節(jié)點(diǎn)的納管需要充分利用云原生技術(shù)，通過硬用可以靈活的按照自定義的策略實(shí)現(xiàn)應(yīng)用實(shí)例的多節(jié)點(diǎn)部署和動(dòng)態(tài)切換。虛擬控制面確保邊緣節(jié)點(diǎn)按照地域分離為不同集群，實(shí)現(xiàn)控制面自關(guān)鍵技術(shù)一是統(tǒng)一納管。邊緣節(jié)點(diǎn)的統(tǒng)一納管需要借助容器技術(shù)和Kubernetes編排管理能力，容器技術(shù)相較于傳統(tǒng)部署模式的物理機(jī)邊緣計(jì)算云原生部署模式一般有兩種：圖3邊緣計(jì)算云原生部署模式Kubernetes保持完整的Kubernetes第二種是邊緣托管集群部署模式：邊緣托管集群部署模式是Kubernetes邊緣基礎(chǔ)設(shè)施需要在云端提供面向多云多集群場景的應(yīng)用管理二是中心管控。邊緣節(jié)點(diǎn)的中心管控需要邊緣基礎(chǔ)設(shè)施在云端Kubernetes進(jìn)行控制，使用角色給租戶授予節(jié)點(diǎn)的操作權(quán)限以及應(yīng)用的部署權(quán)在物理資源的操作方面，可以將節(jié)點(diǎn)抽象為Kubernetes的Node資源對(duì)象，使用云原生方式來創(chuàng)建、納管、刪除和升級(jí)邊緣節(jié)在業(yè)務(wù)負(fù)載的操作方面，可以使用Kubernetes的控制器來進(jìn)行批量管理和升級(jí)邊緣節(jié)點(diǎn)軟件。Kubernetes控制器是一種管理應(yīng)建、刪除和更新應(yīng)用。通過定義Deployment或StatefulSet等KubernetesPod三是邊緣自治。邊緣基礎(chǔ)設(shè)施作為分布式業(yè)務(wù)敏捷化能力的基組織結(jié)構(gòu)方面主要是解決規(guī)模化場景下的管理問題。在規(guī)?；瘓鰬?yīng)用和算法統(tǒng)一管理應(yīng)用和算法的統(tǒng)一管理是指用戶可以通過邊緣基礎(chǔ)設(shè)施管理面應(yīng)用和算法的統(tǒng)一管理可以讓用戶很方便地從云上對(duì)邊緣應(yīng)用進(jìn)行戶邊緣場景實(shí)現(xiàn)數(shù)字化、智能化提供了基礎(chǔ)。關(guān)鍵挑戰(zhàn)缺乏邊云協(xié)同管理方案和統(tǒng)一的應(yīng)用管理接口會(huì)導(dǎo)致邊緣應(yīng)用部署效率低下。整體架構(gòu)應(yīng)用和算法統(tǒng)一管理應(yīng)該遵循“統(tǒng)一管理、高效部署、云邊協(xié)同”的總體思路，具體來說包括三個(gè)方面：統(tǒng)一管理：通過制定統(tǒng)一的標(biāo)準(zhǔn)和流程來規(guī)范應(yīng)用和算法的開載速度和穩(wěn)定性，確保系統(tǒng)穩(wěn)定性和安全性。關(guān)鍵技術(shù)一是應(yīng)用部署。編排模版是實(shí)現(xiàn)應(yīng)用程序自動(dòng)化部署的重要工UI界面編排這些模板可以幫助用戶在邊緣計(jì)算環(huán)境中自動(dòng)化部署和管統(tǒng)一應(yīng)用市場是指通過中心化的應(yīng)用市場來管理和分發(fā)應(yīng)用程管理邊緣計(jì)算應(yīng)用程序，同時(shí)也能夠提高應(yīng)用程序的可靠性和安全性。緣節(jié)點(diǎn)上緩存最近使用的應(yīng)用程序鏡像，以便快速訪問和部署；而P2P當(dāng)涉及到多個(gè)云和邊緣節(jié)點(diǎn)的應(yīng)用程序時(shí)，需要實(shí)現(xiàn)應(yīng)用程序的統(tǒng)一管理和監(jiān)控?？梢圆捎没谠圃蚄ubernetes基礎(chǔ)，可以通過內(nèi)部網(wǎng)絡(luò)、專線、5G求負(fù)載情況和目標(biāo)服務(wù)的位置、時(shí)延和網(wǎng)絡(luò)質(zhì)量等因素進(jìn)行流量調(diào)除了以上技術(shù)手段，還需要進(jìn)行監(jiān)控和分析來實(shí)現(xiàn)服務(wù)流量治全鏈路追蹤技術(shù)是保障系統(tǒng)可靠性和高效性的重要手段。通過全邊緣節(jié)點(diǎn)與應(yīng)用的可觀測性關(guān)鍵挑戰(zhàn)agentagent占用過多資源，不能和云端一樣部署日志收集agent，監(jiān)控收集agent，監(jiān)控?cái)?shù)據(jù)導(dǎo)出exporter等多個(gè)組件來收集可觀測數(shù)據(jù)。此外邊緣可觀測數(shù)據(jù)采集agent需支持x86和arm邊緣節(jié)點(diǎn)數(shù)量眾多且常常分布于不同的地理位置，如果登錄每個(gè)邊緣節(jié)點(diǎn)配置可觀測性數(shù)據(jù)采集agent會(huì)非常繁瑣。因此需支持云端統(tǒng)一管理海量邊緣節(jié)點(diǎn)可觀測數(shù)據(jù)采集agent配置并自動(dòng)下發(fā)，避免手動(dòng)配置邊緣節(jié)點(diǎn)數(shù)據(jù)采集的繁瑣操作，最好支持以O(shè)perator的形式進(jìn)行管理。整體架構(gòu)圖4分布式可觀測體系關(guān)鍵技術(shù)Prometheus已經(jīng)成為云原生指標(biāo)監(jiān)控領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，也逐漸OpenMetrics標(biāo)準(zhǔn)。因此收集到的邊緣節(jié)點(diǎn)與應(yīng)用的監(jiān)控?cái)?shù)據(jù)也應(yīng)符合Prometheus/OpenMetrics標(biāo)準(zhǔn)的數(shù)據(jù)格式。除了數(shù)據(jù)格式，Prometheus的查詢語言PromQL也逐漸成為指PromQL語言進(jìn)行查詢，最好能兼容PrometheusAPI；此外通CRDRecordingRulesAlertRulesAPICRD的形式Prometheus但如果邊緣節(jié)點(diǎn)及應(yīng)用數(shù)量較多，還需要成熟的PrometheusLong-TermStorage類PrometheusAgent的數(shù)據(jù)采集代理，采集到數(shù)據(jù)后通過PrometheusRemoteWrite接口傳輸至云端的PrometheusLong-TermStoragePrometheus默認(rèn)的pull模式，PrometheusRemoteWritepush觀測性數(shù)據(jù)的采集。因此部署在云端的PrometheusLong-TermStoragePrometheusremoteread/write安全性關(guān)鍵挑戰(zhàn)整體架構(gòu)關(guān)鍵技術(shù)邊緣節(jié)點(diǎn)安全技術(shù)：邊緣節(jié)點(diǎn)安全需要注意以下幾個(gè)方面：一侵檢測和預(yù)防系統(tǒng)以及網(wǎng)絡(luò)隔離和安全網(wǎng)關(guān)來實(shí)現(xiàn)對(duì)于網(wǎng)絡(luò)接入以//（PKI）可信來源的CA邊緣計(jì)算平臺(tái)安全技術(shù)：邊緣計(jì)算平臺(tái)安全需要注意以下幾個(gè)采用虛擬化和容器化技術(shù)，實(shí)現(xiàn)多租戶環(huán)境下的資源隔離和資源管（四）服務(wù)質(zhì)量備的接入，管理上萬個(gè)KubernetesSLIs/SLOs100030000Pod測試方案邊緣計(jì)算平臺(tái)采用單MasterWorker采用固態(tài)硬盤存儲(chǔ)數(shù)據(jù)，其他核心服務(wù)組件包括收發(fā)消息的Kube-apiserver、創(chuàng)建資源的Kube-Controller、資源調(diào)度的Kube-Scheduler、云邊協(xié)同的CloudCore。其中ETCD、Kube-apiserverKube-SchedulerKube-Controller10本文通過使用Edgemark模擬大規(guī)模的邊緣節(jié)點(diǎn)，使用ClusterLoader2density使用Prometheus測試環(huán)境信息如下：表1測試環(huán)境服務(wù)器配置集群類型配置參數(shù)數(shù)量用途邊緣計(jì)算平臺(tái)Master32C64G1運(yùn)行核心服務(wù)組件Worker16C32G2Prometheus4CloudCoreClusterLoader2externalclusterMaster32C64G3運(yùn)行服務(wù)組件Worker9hollow-edge-node測試場景測試納管邊緣節(jié)點(diǎn)規(guī)模在邊緣計(jì)算平臺(tái)創(chuàng)建管理節(jié)點(diǎn)和工作節(jié)點(diǎn)，作為邊緣設(shè)備的載100020%3050%定量測評(píng)：監(jiān)測納管前后云端各節(jié)點(diǎn)及關(guān)鍵服務(wù)組件的資源消耗，且納管成功率不得低于100%。測試結(jié)果：納管成功率為100%，集群及各核心組件的資源消耗情況正常。云邊應(yīng)用調(diào)度1000測試，驗(yàn)證應(yīng)用管理能力。在獲知調(diào)度接口能力基礎(chǔ)上，使用ClusterLoader2density30000Pod。PodPod98%。30000Poddensity100%，集群及各核心組件的資源消耗情況正常。依10000-30000個(gè)Pod表2ClusterLoader2統(tǒng)計(jì)結(jié)果MaximumtypeMaximumvalueNumberofNodes1000NumberofPods30000NumberofPodsperNode30NumberofNamespaces300NumberofPodsperNamespace100Createdeploymentpersecond10metricP50(ms)P90(ms)P99(ms)pod_startup19993.78655149381.6442171075.5119create_to_schedule533.941911932.8782581027.646362schedule_to_run245.44750275016.7389583991.75465run_to_watch19540.349874260.9901588769.018schedule_to_watch19502.23434148913.0365170588.1898Timeofcreatepod587scloudcore副本數(shù)測試邊緣計(jì)算平臺(tái)單個(gè)CloudCore1000將CloudCore1。定量測評(píng)：在減小CloudCore1CloudCore1在1分鐘內(nèi)可恢復(fù)并保持穩(wěn)定連接。重啟集群后對(duì)邊緣節(jié)點(diǎn)重新納管1000點(diǎn)和管控面工作正常的前提下，重啟被測集群所有節(jié)點(diǎn)（除邊緣節(jié)點(diǎn)。100%。重新構(gòu)建資源邊緣計(jì)算平臺(tái)中邊緣節(jié)點(diǎn)應(yīng)用的重新創(chuàng)建通過云邊應(yīng)用重新創(chuàng)1000使用ClusterLoader2100個(gè)個(gè)deployment10010000Pod100Pod100%。測試結(jié)果：重新創(chuàng)建成功率為100%，集群及各核心組件的資源消耗情況正常。納管后集群運(yùn)行長穩(wěn)測試100048測試結(jié)果：集群可保持持續(xù)運(yùn)行，1000個(gè)邊緣節(jié)點(diǎn)連接穩(wěn)定，各服務(wù)組件及集群資源指標(biāo)保持平穩(wěn)。邊緣應(yīng)用長穩(wěn)測試ClusterLoader230000Pod，48測試結(jié)果：集群可保持持續(xù)運(yùn)行，1000個(gè)邊緣節(jié)點(diǎn)連接穩(wěn)定，30000個(gè)P