T-CAS 731-2023 城鎮(zhèn)排水管道檢測(cè)影像數(shù)據(jù)智能判讀技術(shù)規(guī)程

團(tuán)城鎮(zhèn)排水管道檢測(cè)影像數(shù)據(jù)智能判讀I前言 Ⅱ 12規(guī)范性引用文件 13術(shù)語(yǔ)和定義 1 24.1智能判讀流程 24.2影像數(shù)據(jù) 24.3技術(shù)指標(biāo) 3 45缺陷樣本庫(kù)建立 45.1一般規(guī)定 4 4 55.4樣本庫(kù)構(gòu)建 5 56.1系統(tǒng)配置要求 56.2模型訓(xùn)練 66.3模型評(píng)價(jià) 7 97.1數(shù)據(jù)預(yù)處理 97.2缺陷判定 97.3成果輸出 9 8.1成果內(nèi)容 8.2成果歸檔 Ⅱ本文件依據(jù)GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：水務(wù)集團(tuán)管網(wǎng)有限公司、保定金迪地下管線探測(cè)工程有限公司、京首創(chuàng)生態(tài)環(huán)保集團(tuán)股份有限公司、水立通建設(shè)(江蘇)有限公究總院(集團(tuán))有限公司、佛山市測(cè)繪地理信息研究院、深圳市博銘維技術(shù)股份有限公司、河北天元地理信息科技工程有限公司、浙江上鑫生態(tài)建設(shè)有限公司、深圳市深水水務(wù)咨詢有限公限公司、中煤(西安)地下空間科技發(fā)展有限公司、浙江華東測(cè)司、深圳市水務(wù)(集團(tuán))有限公司、合肥市排水管理辦公室、西宏遠(yuǎn)、劉會(huì)忠、楊宇龍、羅振麗、吳錦琰、梁有祥、LINZ-Ⅲ1用文件，僅注日期的版本適用于本文件。凡是不注日期引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T15278信息處理數(shù)據(jù)加密物理層互操作性要求GB/T20273信息安全技術(shù)數(shù)據(jù)庫(kù)管理系統(tǒng)安全技術(shù)要求GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T37973信息安全技術(shù)大數(shù)據(jù)安全管理指南CJJ181城鎮(zhèn)排水管道檢測(cè)與評(píng)估技術(shù)規(guī)程2別管道缺陷信息(包括：缺陷類型、缺陷等級(jí)、缺陷位置等),4基本規(guī)定排水管道缺陷影像檢測(cè)智能判讀實(shí)施步驟見(jiàn)圖成果提交智能判讀成果提交智能判讀4.2.1影像數(shù)據(jù)應(yīng)根據(jù)項(xiàng)目要求統(tǒng)一編號(hào)，視頻與同源圖像編4.2.2應(yīng)正確判斷影像數(shù)據(jù)異常是由結(jié)構(gòu)狀態(tài)變化引起還是監(jiān)4.2.5影像數(shù)據(jù)應(yīng)連續(xù)、完整，錄像畫面上方應(yīng)含有起始井及34.2.7影像數(shù)據(jù)應(yīng)無(wú)卡頓、模糊、時(shí)間跳躍現(xiàn)象，圖像邊緣不應(yīng)有明顯鋸齒狀拉毛、斷裂、拖尾等現(xiàn)象，圖像變形率應(yīng)≤5%。4.2.8影像數(shù)據(jù)質(zhì)量評(píng)價(jià)主要技術(shù)指標(biāo)應(yīng)符合表1規(guī)定。檢測(cè)項(xiàng)目技術(shù)指標(biāo)1圖像分辨率2水平分辨力環(huán)境光照不低于300lx時(shí)，水平分辨力不低于900TVL;環(huán)境光照在0.1lx以下時(shí)，水平分辨力不3幀率≥25幀/s45色彩還原64.2.9智能判讀全過(guò)程影像數(shù)據(jù)應(yīng)按照GB/T35274、GB/T20273、GB/T37973、GB/T15278、GB/T4.3.1智能判讀模型的查全率和查準(zhǔn)率不應(yīng)低于90%,F1分?jǐn)?shù)或macro-F1分?jǐn)?shù)不應(yīng)低于0.9。4.3.2所有類別平均精度值(AP)的平均即為mAP,mAP值不應(yīng)低于90%。a)宜對(duì)所選模型進(jìn)行多個(gè)現(xiàn)場(chǎng)視頻測(cè)試，測(cè)試結(jié)果滿足實(shí)4b)模型判讀速度不宜低于25fps。4.4.1智能判讀成果提交前，應(yīng)檢查錄入智能判讀模型的管網(wǎng)本文件第4.3.1條中規(guī)定。4.4.2智能判讀成果提交前，應(yīng)對(duì)判讀結(jié)果進(jìn)行人工復(fù)核，復(fù)5.1.2數(shù)據(jù)庫(kù)應(yīng)按照總樣本量6:2:2比例劃分成訓(xùn)練集、驗(yàn)5.2.1錄入數(shù)據(jù)庫(kù)的樣本應(yīng)符合本文件第4.2節(jié)中相關(guān)要求。5.2.3樣本分類應(yīng)符合CJJ181的規(guī)定，并經(jīng)過(guò)人工復(fù)核和工5.2.4單類缺陷樣本數(shù)量宜超過(guò)10000張，所有類別缺陷樣本數(shù)量宜超160000張，圖像分辨率應(yīng)高于1920dpi×1080dpi。5a)缺陷類別應(yīng)按照CJJ181中定義的缺陷代碼進(jìn)行標(biāo)注；d)宜選用缺陷位置居中的樣本進(jìn)行標(biāo)注，標(biāo)注框應(yīng)完全包5.3.2標(biāo)注后所有樣本的圖像格式和標(biāo)注信息格式應(yīng)分別統(tǒng)一。a)樣本庫(kù)設(shè)計(jì)應(yīng)遵循可靠性、先進(jìn)性、可擴(kuò)展性和標(biāo)準(zhǔn)性原則，并應(yīng)考慮數(shù)據(jù)結(jié)構(gòu)的整體性、樣本庫(kù)系統(tǒng)與應(yīng)用c)樣本庫(kù)應(yīng)模塊化架構(gòu)，可對(duì)排水管線信息、監(jiān)測(cè)系統(tǒng)信a)宜采用多維屬性聚簇存儲(chǔ)方式和分段融合模糊聚類存儲(chǔ)c)數(shù)據(jù)上傳和下載時(shí)，宜通過(guò)非對(duì)稱和對(duì)稱加密算法保護(hù)6.1.1系統(tǒng)運(yùn)行的硬件應(yīng)選用高性能CPU、GPU處理器，硬a)應(yīng)選擇頻率不低于3GHz、核心數(shù)不低于6、線程數(shù)不低于12的CPU;6b)應(yīng)選擇具有高性能GPU的顯卡，顯存容量宜大于8G,a)智能判讀模型訓(xùn)練宜采用Linux操作系統(tǒng)；6.2.1智能判讀模型的訓(xùn)練應(yīng)按下列步驟進(jìn)行(圖2):圖2智能判讀模型訓(xùn)練步驟d)模型訓(xùn)練，循環(huán)調(diào)用訓(xùn)練過(guò)程，每輪都包括前向計(jì)算、損失函數(shù)(優(yōu)化目標(biāo))和后向傳播三個(gè)步驟；e)模型驗(yàn)證，模型完成每輪訓(xùn)練后，利用驗(yàn)證集驗(yàn)證模型f)模型判定，重復(fù)本條第d)款、e)款，模型損失滿足設(shè)g)模型保存，將訓(xùn)練好的模型保存，用于排水管道缺陷智6.2.2模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)應(yīng)符7b)網(wǎng)絡(luò)節(jié)點(diǎn)輸入值應(yīng)進(jìn)行正則化計(jì)算，確保網(wǎng)絡(luò)訓(xùn)練的穩(wěn)a)宜設(shè)置不同的超參數(shù)進(jìn)行模型訓(xùn)練，將驗(yàn)證集樣本輸入模型，對(duì)比模型訓(xùn)練過(guò)程中的損失值及查準(zhǔn)率的變化曲b)超參數(shù)優(yōu)化可采用網(wǎng)格搜索、隨機(jī)搜索、強(qiáng)化學(xué)習(xí)、貝即判讀的效率、查準(zhǔn)率上升曲線的最大值和損失值下降b)查全率(R)應(yīng)按下列公式計(jì)算：c)當(dāng)分類目標(biāo)數(shù)量不平衡時(shí)，采用F1分?jǐn)?shù)作為數(shù)值評(píng)價(jià)d)面對(duì)數(shù)據(jù)不平衡的多分類問(wèn)題，采用平均查準(zhǔn)率Pm,平均查全率Rmm和macro-F1分?jǐn)?shù)分別作為數(shù)值評(píng)價(jià)指8Rmm-—平均查全率；e)查準(zhǔn)率-查全率曲線(Precision-Recall,PR曲線)是以查6.3.2平均精準(zhǔn)度(AveragePrecision,AP)是對(duì)PR曲線上所有類別AP值的平均即為mAP。6.3.3可信度即模型輸出的置信度(uncertaintyestimates),小于0.7。97.1.1用于智能判讀的影像數(shù)據(jù)格式應(yīng)7.1.2影像質(zhì)量要求應(yīng)符合本文件第4.2節(jié)要求，可以直接輸清洗，剔除不合格圖像后再放入智能判讀模型，或者轉(zhuǎn)交人工7.2.1缺陷判讀方式可分為現(xiàn)場(chǎng)判讀、PC終端判讀、云端實(shí)a)基于armTPU、NPU邊緣計(jì)算，將數(shù)據(jù)在開(kāi)發(fā)板上現(xiàn)b)數(shù)據(jù)回傳至服務(wù)器終端，基于PC端判讀；7.2.2智能判讀模型識(shí)別到缺陷后，應(yīng)提取對(duì)應(yīng)的缺陷圖像，7.2.3缺陷判定結(jié)果以圖像形式提交，應(yīng)選擇缺陷清晰完整、7.2.6缺陷應(yīng)按本文件第6.3.3條的要求輸出缺陷置信度。a)管道概況應(yīng)包括檢測(cè)任務(wù)基本情況、檢測(cè)實(shí)施基本情況b)智能判讀報(bào)告輸出宜包含但不限于：管段基本信息、管道缺陷類型、位置、等級(jí)、缺陷置信度、管道缺陷判讀c)技