基于邊緣計(jì)算的機(jī)器視覺(jué) 第2部分：參考架構(gòu)

基于邊緣計(jì)算的機(jī)器視覺(jué)第2部分：參考框架本文件給出了基于邊緣計(jì)算的機(jī)器視覺(jué)功能邏輯架構(gòu)的信息，規(guī)定了基于邊緣計(jì)算的機(jī)器視覺(jué)系統(tǒng)的業(yè)務(wù)流程、邏輯框架以及框架各組成部分的功能要求。本文件適用于指導(dǎo)工業(yè)制造、安防、醫(yī)療、交通等領(lǐng)域基于邊緣計(jì)算的機(jī)器視覺(jué)系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件不注日期的引用文件，其最新版本(包括所有的修改的)適用于本文件。GB/T28181-2016公共安全視頻監(jiān)控聯(lián)網(wǎng)系統(tǒng)信息傳輸、交換、控制技術(shù)要求3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。智能播像機(jī)intelligentcamera可以應(yīng)用各種算法模型，對(duì)視頻和圖像實(shí)現(xiàn)自動(dòng)識(shí)別和分析，形成半結(jié)構(gòu)化、結(jié)構(gòu)化的特征信息，或?qū)σ曨l圖像質(zhì)量進(jìn)行增強(qiáng)和改善的能力攝像機(jī)下列縮略語(yǔ)適用于本文件AI:人工智能(ArtificialIntellCNN:卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetworks)DNN:深度神經(jīng)網(wǎng)絡(luò)(Deep-LearningNeuralNetwork)RNN:循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork)5業(yè)務(wù)流程和功能框架基于邊緣計(jì)算的機(jī)器視覺(jué)邏輯功能架構(gòu)如圖1所示，包括應(yīng)用、云側(cè)、邊緣側(cè)，價(jià)值場(chǎng)景包括智能安防、智慧交通、智慧醫(yī)療、工業(yè)等。應(yīng)用云側(cè)網(wǎng)絡(luò)協(xié)議邊緣側(cè)云側(cè)可支持視頻管理、協(xié)同管理、算法管理等管理功能，可實(shí)現(xiàn)視圖數(shù)據(jù)存儲(chǔ)、算力網(wǎng)絡(luò)優(yōu)化、端邊協(xié)同等能力，同時(shí)通過(guò)A框架(訓(xùn)練、推理、機(jī)器學(xué)習(xí)算法庫(kù))實(shí)現(xiàn)AI模型的訓(xùn)練和推理能力。數(shù)據(jù)傳輸網(wǎng)絡(luò)包括邊緣側(cè)內(nèi)部網(wǎng)絡(luò)和公用網(wǎng)絡(luò)，實(shí)現(xiàn)方式包括有線網(wǎng)絡(luò)(如工業(yè)以太網(wǎng)、工業(yè)總線)、無(wú)線網(wǎng)絡(luò)(如4G/5G、WLAN)及接口傳輸介質(zhì)(圖像采集卡、USB等),同時(shí)結(jié)合MEC(移動(dòng)邊緣計(jì)算MobileEdgeConputing)、TSN(時(shí)間敏感型網(wǎng)絡(luò)TimeSensitiveNetwork)技術(shù)提升網(wǎng)絡(luò)穩(wěn)定性和性能。6.1視頻邊緣計(jì)算硬件要求6.1.1視頻采集設(shè)備應(yīng)支持一種或多種頻圖像信息(視頻流、視頻片段、圖像、結(jié)構(gòu)化數(shù)據(jù))的采集功能。例如智能攝像機(jī)、工業(yè)數(shù)字相機(jī)等。6.1.2智能視頻處理設(shè)備應(yīng)支持圖像處理、圖像識(shí)別、目標(biāo)比對(duì)、圖像檢索等一種或多種視頻處理功能。例如智能視頻網(wǎng)關(guān)、智能視頻服務(wù)器等6.2視覺(jué)處理平臺(tái)要求AI框架包括機(jī)器學(xué)習(xí)算法庫(kù)、模型庫(kù)、推理等幾部分，完成輕量級(jí)、低時(shí)延、高效的AI計(jì)算框架。其中機(jī)器學(xué)習(xí)算法庫(kù)應(yīng)支持機(jī)器學(xué)習(xí)、圖像處理、視頻處理等常見(jiàn)算法；模型庫(kù)應(yīng)支持CNN、RNN、DNN等常用的深度學(xué)習(xí)網(wǎng)絡(luò)模型應(yīng)支持一路或多路視頻編解碼，應(yīng)支持H.264、H.265、MPEG-4等主流視頻編碼格式的至少一種編碼格式的編碼和解碼。6.2.3視頻圖像處理與分析6.2.3.1視頻圖像處理應(yīng)支持濾波、銳化、對(duì)比度增強(qiáng)、去霧、去抖動(dòng)等多種圖像處理技未，提高視頻圖像整體或視頻圖像中特定部分的清晰度、對(duì)比度等質(zhì)量指標(biāo)。6.2.3.2視頻圖像內(nèi)容分析應(yīng)支持對(duì)視頻圖像中的人員、車(chē)輛、物體等對(duì)象的特征、行為、數(shù)量、質(zhì)量等進(jìn)行檢測(cè)或識(shí)別判斷。6.2.3.3視頻圖像檢索4應(yīng)支持使用人員、車(chē)輛、物體等對(duì)象的視頻圖像針對(duì)特征庫(kù)進(jìn)行1:N檢索，并返回檢索結(jié)果；宜支持自定義檢索相似度閾值和檢索時(shí)間范圍、特征庫(kù)等；宜支持按照時(shí)間范圍、單一或多個(gè)結(jié)構(gòu)化屬性信息或其組合進(jìn)行檢索結(jié)果的篩選。7.1接口協(xié)議分類(lèi)接口協(xié)議按照傳輸信息的類(lèi)別，可分為數(shù)據(jù)、控制、管理三類(lèi)，數(shù)據(jù)部分除視頻流采用符合GB/T28181-2016要求的協(xié)議外，所有數(shù)據(jù)、控制、管理等接口協(xié)議宜采用RESTfulHTIPS協(xié)議JS0N數(shù)據(jù)包格式。包括設(shè)備登錄、注銷(xiāo)、狀態(tài)、視頻流、特征數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等數(shù)據(jù)的上傳和下發(fā)接口。7.3控制和管理從云服務(wù)或邊緣服務(wù)下發(fā)的控制和管理指令，實(shí)現(xiàn)配置下發(fā)、算法模型下發(fā)、視頻查詢、任務(wù)下發(fā)、邊云協(xié)同等功能應(yīng)滿足但不限于以下要求a)應(yīng)支持4G/5G、WLAN、有線等多種網(wǎng)絡(luò)接入方式；b)網(wǎng)絡(luò)互聯(lián)時(shí)，宜支持全隔離、信令協(xié)議層安全控制、端口防攻擊監(jiān)測(cè)、安全邊界平臺(tái)(隔離網(wǎng)閘)或數(shù)字隔離等一種或多種確保網(wǎng)絡(luò)邊界安全。注：具體支持種類(lèi)根據(jù)實(shí)際應(yīng)用場(chǎng)景需要。9.1管理平臺(tái)9.1.1視頻圖像存儲(chǔ)管理應(yīng)支持通過(guò)集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等技術(shù)，海量存儲(chǔ)邊緣側(cè)上傳的視頻圖像信息，并保證數(shù)據(jù)安全可靠。應(yīng)對(duì)系統(tǒng)中算法的模型名稱、歷史