多維度深海魚類識別算法

1、多維度深海魚類識別算法摘要：針對深海光線分布不均勻?qū)е卖~類識別檢測困難的問題，提出了符合視覺認(rèn)知的多維度深 海魚類識別算法.該方法從時間維度優(yōu)化傳統(tǒng)的高斯混合模型（GMM）初步確定變化區(qū)域，從空間 維度構(gòu)建目標(biāo)特征，完整提取運(yùn)動目標(biāo)，從時空關(guān)聯(lián)維度建立深度學(xué)習(xí)的魚類識別框架，試驗(yàn)結(jié)果 表明：本算法可在多種復(fù)雜條件下準(zhǔn)確提取運(yùn)動目標(biāo)，面積交迭度（AOM）達(dá)到80%以上，優(yōu)于當(dāng) 前主流算法.關(guān)鍵詞：魚類；認(rèn)知；運(yùn)動目標(biāo)提?。簧疃葘W(xué)習(xí)；識別Multi-dimensional deepisea fish recognition algorithmAbstract: To solve the diffi

2、culty of fish recognition and detection due to the nonuniformly distributed deep-sea light, the multi-dimensional deep-sea fish recognition algorithm was proposed based on visual cognition. The traditional GMM was optimized to initially determine the changing area from time dimension and construct t

3、he target features from space dimension for extracting the moving target completely. The fish recognition framework based on deep learning was established from spatio-temporal correlation dimension. The results show that the proposed algorithm can accurately extract moving objects under variously co

4、mplex conditions. The AOM is more than 80% , which is better than that of current mainstream algorithms.Keywords： fish; cognition; moving target extraction; deep learning; recognition隨著成像技術(shù)的飛速發(fā)展，人們渴望通過成像 角度理解海洋動態(tài)，尤其是海底生物.通過固定攝像 頭拍攝特定區(qū)域，是一種直觀和有效的方式去記錄 和理解場景.隨著攝像頭的彩色化、高清化，使得 通過視頻監(jiān)控獲取更多的海洋信息成為可能.計(jì)算 機(jī)處理

5、視頻監(jiān)控涉及運(yùn)動目標(biāo)提取和識別技術(shù).運(yùn)動目標(biāo)提取算法可分為2類.一類是基于圖 像增強(qiáng)的算法:圖像超分辨，增強(qiáng)信噪比，顯著 度增強(qiáng)，時域、頻域增強(qiáng)等.該類算法從信號角 度出發(fā)忽略了目標(biāo)的形態(tài)屬性，造成虛警率較高.第 二類是基于運(yùn)動目標(biāo)建模的算法：幀間差異模 糊集模型囪，Bayesian模型氣趨向性模型，運(yùn)動 預(yù)測模型皿，局部約束模型皿，GMM運(yùn)動模型， 低秩模型問，紋理模型邱等.該類算法充分考慮了 目標(biāo)形態(tài)特征，但所建模型復(fù)雜度高，面對復(fù)雜條件 目標(biāo)提取效率較低.目標(biāo)識別算法也可分為2類.一類基于傳統(tǒng)特 征的算法:聲學(xué)特征區(qū)，多角度形態(tài)學(xué)特征詢，魚 群分布特征閥，顏色特征詢，紋理特征邸等.該類

6、算法基于目標(biāo)先驗(yàn)信息予以建模，但對于復(fù)雜條件 下,如遮擋、陰影等條件下，識別性能不足.第二類是 基于深度特征的算法:SVM21 ,AdaBoost22，梯度森 林模型23，基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)融合模型等.該 類算法基于深度學(xué)習(xí)理論構(gòu)建網(wǎng)絡(luò)，建立訓(xùn)練樣本 和測試樣本之間的映射關(guān)系，取得了不錯的效果，是 當(dāng)前主流的研究方向.雖然利用計(jì)算機(jī)手段對魚類的提取與識別已取 得了一定的效果，但仍存在以下問題:目標(biāo)運(yùn)動 形態(tài)多變，導(dǎo)致提取不完全.如目標(biāo)突然運(yùn)動，出現(xiàn) 拖尾.當(dāng)目標(biāo)運(yùn)動后，保持長時間靜止，使得運(yùn)動 目標(biāo)淹沒在背景中，導(dǎo)致目標(biāo)提取失敗.魚行進(jìn) 的不確定性，同一類魚形態(tài)會發(fā)生改變，僅從空間維 度建立模

7、型，無法有效對魚類識別.為此文中對視覺認(rèn)知原理進(jìn)行研究:從時間維 度改進(jìn)GMM算法得到變化區(qū)域;從空間維度根據(jù) 局部邊界相似性,完整提取運(yùn)動目標(biāo);從時空維度建 立關(guān)聯(lián)的深度學(xué)習(xí)模型，實(shí)現(xiàn)魚類識別.1算法視頻監(jiān)控是通過固定攝像頭拍攝特定區(qū)域的技 術(shù).視頻監(jiān)控可視為一組圖像數(shù)據(jù)組成.圖像，可以 表示為=C + F.，(1)式中：C為純背景圖像，即在整個視頻中客觀存在, 并且一直保持靜止?fàn)顟B(tài)的圖像；F,為運(yùn)動目標(biāo).從 時間維度分析，_1和之間具有連續(xù)性.從空間維 度分析，F(xiàn)-具有完整性，局部相似性.從時間與空間 維度分析，隨著時間的推移C會因光照變化產(chǎn)生變 化，而其在空間結(jié)構(gòu)不會產(chǎn)生變化.基于以上分

8、析文中提出運(yùn)動目標(biāo)提取與魚類識 別算法，流程如圖1所示，從時間維度建立改進(jìn) GMM模型提取運(yùn)動區(qū)域，在空間維度基于傳統(tǒng)幀差 法建立物體特征模型實(shí)現(xiàn)完整運(yùn)動目標(biāo)提取，抑制 拖尾以及陰影的影響.在時空維度，引入投票機(jī)制， 與數(shù)據(jù)庫中的數(shù)據(jù)動態(tài)判斷，得出識別結(jié)果.圖1算法流程圖1.1時間維度算法從時間維度分析連續(xù)幀之間的差異是判別運(yùn)動 目標(biāo)的主要方式.文獻(xiàn)25提出了 GMM算法，該算 法符合人類認(rèn)知過程，具有運(yùn)算速度快，可較好地提 取出運(yùn)動目標(biāo)的優(yōu)勢.其基本思想是使用多個高斯 分布表示序列圖像中每個像素點(diǎn)的特征，如果當(dāng)前 幀中的某像素的特征與高斯分布相匹配，則被判定 為背景像素，否則為前景像素：(

9、X?) = & -，? X .( x?泓”,!-，?)，(2)=1式中: 表示高斯模型的個數(shù)頃是高斯概率密度函 數(shù)；-,?、$,?、！-,?分別是？時刻對第-個高斯模型 權(quán)值、均值、協(xié)方差矩陣.權(quán)值-,?更新：-,? =( 1 - /)-,?-1 + /( M-,?)( 3)將各高斯模型分布按照優(yōu)先級次序進(jìn)行排列，構(gòu)建 背景模型:C = arg minfe (& - T),( 4) =1式中：/是學(xué)習(xí)因子；A?是匹配模型；T是設(shè)定閾 值,用于真實(shí)反應(yīng)背景的數(shù)據(jù)占總數(shù)據(jù)的最小比重.GMM算法僅從像素值變化角度建模分析，但未 充分考慮目標(biāo)、噪聲等因素帶來的影響,導(dǎo)致檢測錯 誤.所以從像素變化的穩(wěn)定

10、性角度予以分析，主要思 想是為尋找圖像中穩(wěn)定的像素點(diǎn)來抑制不穩(wěn)定的像 素點(diǎn).GMM算法判斷像素點(diǎn)m的狀態(tài)記為0( m).統(tǒng) 計(jì)像素點(diǎn)在*幀圖像前景與背景轉(zhuǎn)化的次數(shù)記為 ( M).設(shè)定閾值T用于判斷是否為穩(wěn)定像素點(diǎn). 當(dāng)*( M) T說明像素點(diǎn)穩(wěn)定，當(dāng)前像素點(diǎn)狀態(tài) +( m)為0( M)；反之為不穩(wěn)定像素點(diǎn)，則用*( X) 變化最小的點(diǎn)記為H，采用0( H)的計(jì)算結(jié)果，公式 如下:+( M)(5)Jg( m)，*+( M)(5)g( H)，*( m) T,*( H)=min( *( X) ) ,y(X,g( m)，g( H)( C，F(xiàn),從而將圖像劃分為C與F,令為輸入視頻中第 幀圖像，集合Ra

11、*表示&包含*個前景區(qū)域,表示的第-個前景區(qū)域.通過本節(jié)算法可提 取出運(yùn)動目標(biāo)的大致區(qū)域，但模型中未考慮運(yùn)動幅 度小或者運(yùn)動目標(biāo)因長時間停留的情況，導(dǎo)致目標(biāo) 湮沒在背景中，則需要從空間維度進(jìn)一步修補(bǔ).1.2空間維度算法根據(jù)改進(jìn)的GMM算法,從時間維度動態(tài)更新C 與F,降低C與F錯分類的概率，后續(xù)需要從空間維 度進(jìn)一步判別，完整提取運(yùn)動區(qū)域,圖像幀差算法, 其主要思想是選取兩幀圖像逐點(diǎn)計(jì)算像素值差的絕 對值，以特定閾值來衡量其差別,傳統(tǒng)算法背景幀的 選取是固定的.背景幀和閾值的選取直接影響提取 結(jié)果,在GMM算法初步提取出運(yùn)動區(qū)域的基礎(chǔ)上， 構(gòu)建自適應(yīng)的差分體系,實(shí)現(xiàn)完整提取運(yùn)動區(qū)域.步驟1：令

12、第 幀圖像對應(yīng)的灰度圖像為 Ga，更新的第 幀彩色背景圖像記為C，其對應(yīng) 的灰度圖像為Gb，其中C =.步驟2: Ga與Gb自適應(yīng)的計(jì)算分割閾值為 T.令 Q(m，h)= Ga( M，H)- Gb( M，H), & Q(m，h)T =，一，* ) 0，( 6)T-+，* = 0,式中：*為Ra所含像素點(diǎn)個數(shù)，m，h( Ra .步驟3:根據(jù)T計(jì)算Ga與Gb的差異，得到潛 在的運(yùn)動點(diǎn)GX(m，h):GX(m，H)= +，Q) Tlo,其他，對GX進(jìn)行數(shù)學(xué)形態(tài)學(xué)操作，并標(biāo)記連通區(qū)域記為 Rd A，表示共有A個連通區(qū)域.步驟4:完整提取運(yùn)動目標(biāo)：*pRa * &網(wǎng),j ( ,/=1=1(B)R虹,j

13、+ ,式中：=Ra , Rd* ) , = 1,2,，*.當(dāng)j(，說明Ra為運(yùn)動區(qū)域，并且存在于 中，但GMM模型建模過程中考慮時間漸變因素，對 于運(yùn)動目標(biāo)幅度會提取不完全，則需要對其區(qū)域進(jìn) 行修補(bǔ)得到F .當(dāng)j + ，說明Rd為運(yùn)動區(qū)域，但無法確定 Rd是由于目標(biāo)運(yùn)動后保持長時間靜止?fàn)顟B(tài)，導(dǎo)致 湮沒在，還是需要對C進(jìn)行更新提取運(yùn)動區(qū)域. 單從顏色角度計(jì)算機(jī)很難區(qū)分以上情況,所以引入 邊界特征予以判別，令Rfk為包含區(qū)域F的最小矩 形,利用Canny( C)算子提取Ga、Gb、F邊界.統(tǒng) 計(jì)邊界均為1的個數(shù)作為相似度的度量!:L ( Ga ,F)= & C Ga ( M ,y) &M,yvC

14、F(M,y) ,( 9)L( Gb,F) = & C Gb(M,y)&M,yC F (M,y),式中：M,y( Rf .若L( Ga,F L( Gb,F)測說 明F( Ga，從Ga提取F ;反之,則說明F( Gb,從 Gb 提取 F .由于魚運(yùn)動的不確定性,使得同一類魚在空間 上展示為不同體態(tài),導(dǎo)致識別失敗,根據(jù)魚類運(yùn)動的 連續(xù)性，需要關(guān)聯(lián)時間維度和空間維度建立模型，引 入投票機(jī)制,動態(tài)對魚類識別.2試驗(yàn)結(jié)果與分析試驗(yàn)平臺為WIN7環(huán)境，VS2015編寫的程序. 試驗(yàn)數(shù)據(jù)采用10組視頻數(shù)據(jù)和10組監(jiān)控?cái)?shù)據(jù)組成 數(shù)據(jù)庫,將數(shù)據(jù)庫分為3類,包括類型1:首幀為純 背景圖像，目標(biāo)一直運(yùn)動,類型2:目標(biāo)

15、運(yùn)動后，長期 保持靜止?fàn)顟B(tài),類型3:目標(biāo)保持長時間靜止然后 運(yùn)動.2.1性能展示類型1：首幀沒有運(yùn)動目標(biāo)，后續(xù)魚一直運(yùn)動， 如圖2所示.首先根據(jù)時間維度模型對變化的區(qū)域 進(jìn)行提取，得到疑似運(yùn)動區(qū)域.然后通過空間維度對 陰影部分予以去除,準(zhǔn)確得到運(yùn)動目標(biāo).類型2：首幀沒有運(yùn)動目標(biāo)，然后有一條魚進(jìn)入 視野,與類型1類似，在第30幀圖像魚開始運(yùn)動，隨 著時間的推移這條魚長時間保持靜止?fàn)顟B(tài)，如圖3 所示.傳統(tǒng)的算法由于僅從時間維度建模，導(dǎo)致魚會 漸漸淹沒至背景中,導(dǎo)致提取失敗，而文中提出的算 法在時間維度的基礎(chǔ)上，建立空間模型實(shí)現(xiàn)目標(biāo)分 割，完整地提取出魚.類型3：首幀包含運(yùn)動目標(biāo)，隨著時間的推移目

16、標(biāo)運(yùn)動，如圖4所示,由于引入了時間和空間維度，使 得目標(biāo)運(yùn)動后不會產(chǎn)生拖尾現(xiàn)象,完整地提取出魚.運(yùn)動目標(biāo)圖2類型1數(shù)據(jù)處理效果圖圖3類型2數(shù)據(jù)處理效果圖運(yùn)動目標(biāo)圖4運(yùn)動目標(biāo)圖2類型1數(shù)據(jù)處理效果圖圖3類型2數(shù)據(jù)處理效果圖運(yùn)動目標(biāo)圖4類型3數(shù)據(jù)的處理效果圖為驗(yàn)證文中算法的有效性，從分割精度與處理 時間予以分析.采用面積交迭度也(area overlap measure,)4A)作為分割效果的評價指標(biāo),定義為AOM( o,i) = 3( 0,1)x 100% ,(10)3( 0 * 1)式中：AOM表示面積交迭度；0為人工標(biāo)記的運(yùn)動 區(qū)域；1為算法分割出的運(yùn)動區(qū)域；3( )表示對應(yīng) 區(qū)域的像素點(diǎn)數(shù)

17、.AOM取值越大表明分割效果越 好.檢測結(jié)果如表1所示.傳統(tǒng)GMM算法監(jiān)通過前景與背景像素分布的 不同，用多個高斯模型予以擬合，計(jì)算速度快，可實(shí) 現(xiàn)運(yùn)動目標(biāo)的提取.SGMM算法13在GMM基礎(chǔ)上 建立shadow分布模型.FGMM算法從頻域角度改 進(jìn)GMM算法，較傳統(tǒng)GMM模型效果有所改善. MPM算法皿建立運(yùn)動預(yù)測模型，判別目標(biāo)運(yùn)動速 度進(jìn)而實(shí)現(xiàn)目標(biāo)提取.LRM算法14建立低秩模型， 可實(shí)現(xiàn)較小目標(biāo)的有效提取，但速度較慢.EEM算 法根據(jù)邊界不變性，提取運(yùn)動目標(biāo)，對于類型 2，3的情況算法效果有所改善.通過對比ROC曲 線可直觀地得出，文中提出的算法從時間、空間兩 個維度綜合考慮，時間維度改

18、進(jìn)GMM算法，空間 維度引入邊界判別機(jī)制，降低了錯誤判別的概率. 雖然面對類型1文中的算法略低于LRM.然而面 對類型2，3較主流算法均大幅度提高，并且處理 速度達(dá)到0.04 s 幀41.表1 AOM值和處理時間統(tǒng)計(jì)算法A0M-時間/（ s 幀）類型1類型2類型3GMM75.364.368.30. 03SGMM76.169.471. 20. 04FGMM80.868. 670. 70. 06MPM81.270. 172. 60. 06LRM83. 472. 271. 50. 16EEM82. 577. 578.60. 09文中82.981. 280.50. 042.3魚類識別性能比較為驗(yàn)證算法有效性，引入受試者工作特征曲線 (receiver