（電路與系統(tǒng)專業(yè)論文）基于光流的日側(cè)極光圖像分類研究.pdf

摘要 摘要 極光是太陽風(fēng)攜帶的高能帶電粒子與地球高空大氣層中的中性氣體碰撞后產(chǎn) 生的地球物理現(xiàn)象。對其形態(tài)和演變的系統(tǒng)觀測可以獲得磁層和日地空間電磁活 動(dòng)的大量信息，日側(cè)極光是太陽風(fēng)與地球磁層相互作用產(chǎn)生的電離層蹤跡，更能 反映太陽風(fēng)磁層在日側(cè)的相互作用，對研究空間天氣和太陽風(fēng)磁層相互耦合具有 重要意義。 本文分析了極光分類研究的現(xiàn)狀，嘗試通過運(yùn)動(dòng)信息對極光圖像和極光圖像 序列進(jìn)行分類研究。 針對極光圖像的非剛體性質(zhì)，首次把專門針對流體運(yùn)動(dòng)的光流算法應(yīng)用到極 光圖像，并根據(jù)極光圖像序列之間位移大的特性提出了多尺度流體光流算法。 針對光流信息冗余度高，提出了用分塊l b p 進(jìn)行表征光流信息的設(shè)想，用“ 近鄰分類器實(shí)現(xiàn)極光圖像分類。在北極黃河站的極光圖像數(shù)據(jù)庫上所做的分類實(shí) 驗(yàn)表明了算法的有效性。 在上述基礎(chǔ)上提出基于光流場特征的極光圖像序列檢測算法。因?yàn)閳D像序列 具有時(shí)間信息，將光流場的l b p 直方圖特征順序連接描述圖像序列，檢測實(shí)驗(yàn)結(jié) 果表明了算法的有效性。 關(guān)鍵字：日側(cè)極光光流特征局部二值模式流體運(yùn)動(dòng) a b s t r a c t a b s t r a c t n l ea u r o r a lp h e n o m e n ai sf o r m e db ys o l a rw i n dc o l l i d e sw i t ht h ea t o m si nt h e u p p e ra t m o s p h e r eo v e rt h ee a r t h t h er e s e a r c ho fs p a t i a ls t r u c t u r ea n dt e m p o r a l e v o l u t i o no ft h ea u r o r a lc a no b t a i nm a n yi n f o r m a t i o no ft h es o l a rw i n d m a g n e t o s p h e r e i n t e r a c t i o na n dt h ep h y s i c so ft h em a g n e t o s p h e r e i o n o s p h e r ei n t e r a c t i o n d a y s i d e a u r o r a li st h ei o n o s p h e r et r a c kg e n e r a t e db yt h es o l a rw i n d m a g n e t o s p h e r ei n t e r a c t i o r t , r e f l e c t st h ei n t e r a c t i o no fs o l a rw i n da n dm a g n e t o s p h e r ei nd a y s i d e i na d d i t i o ni ti so f g r e a ti m p o r t a n c et ot h es t u d yo fs p a c ew e a t h e ra c t i v i t y ，i o n o s p h e r ea n di t sd y n a m i c f e a t u r e s i nt h i sp a p e r ，w ea n a l y s i st h el a t e s ta c h i e v e m e n ti na u r o r a lc l a s s i f i c a t i o n w et r yt o c l a s st h ea u r o r a li m a g e sa n da u r o r ai m a g es e q u e n c e sb vt 1 1 e i rm o t i o ni n f o r m a t i o n a c c o r d i n gt ot h en o n r i g i df e a t u r eo fd a y s i d ec o r o n aa u r o r a , w ep r o p o s e do p t i c a l f l o wf o rt h ef l u i dm o t i o nt oc o m p u t et h e a u r o r a li m a g em o t i o n t h e ni n t r o d u c ea m u l t i r e s o l u t i o ns c h e m ei no p t i c a lf l o wt or e s o r tt h er a p i d l yc h a n g eo fa u r o r a li m a g e a c c o r d i n gt ot h el a r g ed a t ao fo p t i c a lf l o wi n f o r m a t i o n ，w ei n t r o d u c el o c a lb i n a r y p a t t e r na l g o r i t h mb a s eo no p t i c a lf l o wf i l e dp a r t i t i o n t h e n 孫淪tc l a s s i f i e r sa r e e m p l o y e dt or e a l i z et h ec l a s s i f i c a t i o no fa u r o r a f i n a l l yw ed e s i g n e dt h ee x p e r i m e n t so n t h ea u r o r a ld a t af r o mh u a n g h es t a t i o n , t h er e s u l t si l l u s t r a t et h ee f f e c t i v e n e s sa n d f e a s i b i l i t yo ft h ep r o p o s e da l g o r i t h m b a s e do nt h ea b o v ew ep r o p o s e dad e t e c t i o nm e t h o do fa u r o r ai m a g es e q u e n c e s b a s e do nt h eo p t i c a lf l o wf i e l df e a t u r e b e c a u s et h ei m a g es e q u e n c e sw i t ht i m e i n f o r m a t i o n ，w ec o n n e c tt h el o c a lb i n a r yp a t t e r nf p a t u r eo fo p t i c a lf l o wf i e l di nt o d e s c r i b et h ei m a g es e q u e n c e ，t h ee x p e r i m e n t a lr e s u l t si l l u s t r a t et h ee f f e c t i v e n e s sa n d f e a s i b i l i t yo ft h ep r o p o s e da l g o r i t h m k e y w o r d s ：d a y s i d e a u r o r a o p t i c a lf l o wf e a t u r e l o c a lb i n a r yp a t t e r n f l u i dm o t i o n 創(chuàng)新性聲明 本人聲明所呈交的論文是我個(gè)人在導(dǎo)師指導(dǎo)下進(jìn)行的研究工作及取得的研究 成果。盡我所知，除了文中特別加以標(biāo)注和致謝中所羅列的內(nèi)容以外，論文中不 包含其他人已經(jīng)發(fā)表或撰寫過的研究成果；也不包含為獲得西安電子科技大學(xué)或 其它教育機(jī)構(gòu)的學(xué)位或證書而使用過的材料。與我一同工作的同志對本研究所做 的任何貢獻(xiàn)均已在論文中做了明確的說明并表示了謝意。 申請學(xué)位論文與資料若有不實(shí)之處，本人承擔(dān)一切相關(guān)責(zé)任。 本人簽名： 關(guān)于論文使用授權(quán)的說明 本人完全了解西安電子科技大學(xué)有關(guān)保留和使用學(xué)位論文的規(guī)定，即：研究 生在校攻讀學(xué)位期間論文工作的知識產(chǎn)權(quán)單位屬西安電子科技大學(xué)。本人保證畢 業(yè)離校后，發(fā)表論文或使用論文工作成果時(shí)署名單位仍然為西安電子科技大學(xué)。 學(xué)校有權(quán)保留送交論文的復(fù)印件，允許查閱和借閱論文；學(xué)?？梢怨颊撐牡娜?部或部分內(nèi)容，可以允許采用影印、縮印或其它復(fù)制手段保存論文。( 保密的論文 在解密后遵守此規(guī)定) 本人簽名：趔日期 。沁小s 導(dǎo)師簽名：鎏幺日期2 翌z 竺：l 立 第一章緒論 第一章緒論 1 1 研究背景及意義 極光是出現(xiàn)在地球南北兩極附近地區(qū)高空中的形狀多變、色彩繽紛、綺麗無 比的現(xiàn)象。長期以來，極光都是人們猜測和探索的天象之謎，愛斯基摩人以為那 是鬼神引導(dǎo)死者靈魂上天堂的火炬。1 3 世紀(jì)時(shí)，人們則認(rèn)為那是格陵蘭冰原反射 的光。到了1 7 世紀(jì)，人們才稱它為北極光北極曙光( 在南極所見到的同樣的 光稱為南極光) 。但其成因機(jī)理一直未能得到滿意的解釋。直到2 0 世紀(jì)6 0 年代，現(xiàn) 代科學(xué)的發(fā)展將地面觀測結(jié)果與衛(wèi)星和火箭探測到的資料結(jié)合起來，才逐步形成 了極光的物理性描述，現(xiàn)在的理論認(rèn)為極光是太陽風(fēng)與地球磁層相互作用產(chǎn)生的 發(fā)光現(xiàn)象。 太陽風(fēng)( 太陽噴射出的帶電粒子) 是一束可以覆蓋地球的強(qiáng)大的帶電亞原子 顆粒流。太陽風(fēng)在地球上空環(huán)繞地球流動(dòng)，以大約每秒4 0 0 公里的速度撞擊地球磁 場。地球磁場形如漏斗，尖端對著地球的南北兩個(gè)磁極，太陽發(fā)出的帶電粒子在 進(jìn)入地球的兩極地區(qū)時(shí)就會沿著地磁場這個(gè)“漏斗”沉降。兩極的高層大氣中的 中性氣體( 氧原子、氧分子、氮分子等) ，受到太陽風(fēng)的撞擊后會發(fā)出光芒，形 成極光。極光現(xiàn)象主要發(fā)生在距離地面1 0 0 至u 3 0 0 公里、以南北磁極為中心的橢圓 帶狀區(qū)域中，該區(qū)域被稱為極光卵。由此可見，形成極光的條件是大氣、磁場和 太陽風(fēng)，缺一不可。長期觀測統(tǒng)計(jì)結(jié)果表明，極光最經(jīng)常出現(xiàn)的地方是在南北磁 緯度6 7 度附近的兩個(gè)環(huán)帶狀區(qū)域內(nèi)，分別稱作南極光區(qū)和北極光區(qū)。 極光是唯一能夠用肉眼看得見的反映極區(qū)特征的地球物理現(xiàn)象，是極區(qū)日地 物理過程( 特別是磁層電離層相互作用) 的最具有代表性的表現(xiàn)形式，對其形態(tài) 和演變的系統(tǒng)觀測可以獲得磁層和日地空間電磁活動(dòng)的大量信息，有助于了解空 間天氣過程的變化規(guī)律，并且可以深入研究太陽活動(dòng)對地球的影響方式與程度。 同時(shí)，極光現(xiàn)象是太陽系中有磁星體( 例如木星和土星) 普遍具有的現(xiàn)象，因此 研究地球極光過程可以為其它行星的研究提供基礎(chǔ)，具有十分普遍的科學(xué)研究意 義和實(shí)際應(yīng)用價(jià)值。 由于以上原因，極光研究已成為世界各國極地高空大氣物理研究領(lǐng)域的重要 主題之一，極光的綜合觀測也成為各國極地科學(xué)考察活動(dòng)的重要科考項(xiàng)目。挪威、 瑞典、美國、加拿大等北極圈國家都建設(shè)有各種規(guī)模的地面極光成像觀測系統(tǒng)【l 】， 日本、英國、美國和澳大利亞的南極考察站也建有許多類似的觀測設(shè)備。我國地 處中低緯地區(qū)，開展極區(qū)空間物理觀測的時(shí)間比較短。但是自1 9 9 5 年中國南極中 基十光流的目倒楹光圈像分類研究 山站和2 0 0 3 年北極黃河站的高空大氣綜合觀測系統(tǒng)建成以來，我國在這一領(lǐng)域的 研究中己取得了長足的進(jìn)步。2 0 0 3 年1 1 月，中國黃河站安裝了一套三波段極光全 天空成像系統(tǒng)，該系統(tǒng)由三套配置相同的單色全天空成像觀測儀組成，通過使用 不同的窄帶濾光片，實(shí)現(xiàn)在三個(gè)波段( 4 2 7g r i m ，5 5 77 r i m 和6 3 00 r i m ) 上的單色極 光觀測( 圖11 ：0 該系統(tǒng)獲取的一組觀測圖像) ，率先在國際上實(shí)現(xiàn)了對極光的多 波段、高時(shí)空分辨率的全天空觀測。2 0 0 3 年1 2 月至2 0 0 4 年2 月，黃河站的全天空成 像系統(tǒng)進(jìn)行了首次越冬極光觀測，獲得了1 2 0 0 多個(gè)小時(shí)的三波段極光觀測圖像。 正常情況下，黃河站的全天空觀測圖像的數(shù)量將以每年一百多萬幀的幅度逐年遞 增，而美國珈拿大聯(lián)合極光觀測項(xiàng)n t h e i v h s t 2 1 每年獲取的全天空圖像數(shù)量更是多 這幾千萬幅。面對如此龐大的數(shù)據(jù)量，如何有效利用和自動(dòng)分析這些全天空投光 圖像已成為各國極光研究人員亟待解決的問題。本文對極光的研究就是基于中國 北極黃河站的全天空極光觀測圖像中的0 波段極光( 5 5 77 r i m ) 。 ( 吣4 2 7 咖( b ) 5 5 7 ，皿( c ) 6 3 0 , 0 a m 圖11 中國北授黃河站的多波段全天空極光觀測圖像 1 2 極光分類研究進(jìn)展及現(xiàn)狀 早期的極光分類依據(jù)的大多是靜態(tài)極光照片，而且是建立在肉眼觀察的手工標(biāo) 記和分類的基礎(chǔ)上。1 9 5 5 年，c a r ls t o r m 爿p 1 將極光分成放射狀結(jié)構(gòu)( f o r m s w i t h r a y s t r u c t u r e ) 、無放射狀結(jié)構(gòu)( f o r m s w i t h o u t r a ys u - u c t u r e ) 以及火焰狀( f l a m i n g a u r o r a ) 三 個(gè)大類，同時(shí)對這三個(gè)大類進(jìn)行了詳細(xì)的劃分，開創(chuàng)了極光分類的先河。1 9 6 4 年， a k a s o f u f 4 l 將極光基于過程分為赤道向擴(kuò)展、點(diǎn)亮、西行浪涌、赤道向恢復(fù)等不同 的類型。1 9 9 9 年，h u 等p 1 將極光分為四個(gè)類型來進(jìn)行分析，分別為具有射線狀結(jié) 構(gòu)的冕狀極光、帶狀極光、極光浪涌以及向日投光弧等。s a n d h o l t 等人舊在特定極 光事件( 長度為2 4 , 時(shí)) 分析的基礎(chǔ)上根據(jù)形態(tài)對日倒極光進(jìn)行了定性的分類。 隨著計(jì)算機(jī)科學(xué)的發(fā)展，圖像處理和模式識別技術(shù)正成為極光分類研究的新 手段。s y l j a s u o 等a 1 7 - 1 0 1 嘗試?yán)糜?jì)算機(jī)視覺的方法進(jìn)行極光圖像自動(dòng)分類和檢索： 第一章緒論 他們首先對加拿大c a n o p u s ( c a n a d i a na u r o r an e t w o r kf o rt h eo p e np r o g r a m u n i f i e ds t u d y ) 項(xiàng)目的全天空極光圖像進(jìn)行分析后歸納出四種典型極光形態(tài)：弧型 ( a u r o r aa r c s ) ，斑塊型( p a t c h ya u r o r a s ) ，歐米伽型( o m e g a b a n d s ) 和南北結(jié)構(gòu)型 ( n o r t h s o u t hs t r u c t u r e s ) ，然后采用對圖像分割后的極光區(qū)域進(jìn)行f o u r i e r 描述的方法 來表征極光圖像【3 - 9 1 ，但這種方法僅適用于形狀簡單的弧狀極光的描述；隨后又引 入了基于灰度氛圍矩陣( g r a yl e v e la u r am a t r i c e s ) t 1 1 】的圖像紋理描述方法，大大提 高了分類正確率。但是，s y r j 瓠u o 等人的工作只是基于視覺觀察的經(jīng)驗(yàn)分類結(jié)果， 而且是在很小的極光數(shù)據(jù)集的基礎(chǔ)上進(jìn)行的，所得到的結(jié)果對于圖像表征和分類 算法的推廣能力并沒有進(jìn)行驗(yàn)證。w a i l g 等【1 2 】于2 0 0 7 年提出基于表象的極光分類方 法研究，使用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) t 1 3 - 1 4 j 直接提取極光圖 像的灰度特征，取得了的極光研究的一定進(jìn)展。 上述研究都是基于極光圖像的靜態(tài)形態(tài)分類，對于極光圖像運(yùn)動(dòng)信息分析以 及根據(jù)運(yùn)動(dòng)信息進(jìn)行分類的研究還很少。上述研究的極光圖像分析所用的亮度、 形狀、紋理等特征只能表示空間靜態(tài)信息，卻忽略了運(yùn)動(dòng)信息，而極光動(dòng)態(tài)過程 與其物理發(fā)生機(jī)制有著密切的關(guān)系，基于典型極光事件的極光動(dòng)態(tài)過程分析是極 光物理研究的重要方法。b l i x t 【1 5 】第一次將光流法( o p t i c a lf l o w ) t 1 睨0 1 用于極光圖像 序列分類，具有一定的意義。但b l i x t 采用的計(jì)算極光圖像序列的光流場的方法， 是基于傳統(tǒng)的h o r n s c h u n c k 光流場計(jì)算方法改進(jìn)而來的，并不適合具有非剛體性質(zhì) 的極光圖像，另一方面b l i x t 只是做了兩段特定的極光圖像序列的分析，并沒有應(yīng) 用模式識別技術(shù)做大量數(shù)據(jù)的統(tǒng)計(jì)分析。目前國內(nèi)外還沒有基于極光圖像運(yùn)動(dòng)信 息進(jìn)行極光圖像統(tǒng)計(jì)分析和分類及對極光圖像序列進(jìn)行極光動(dòng)態(tài)過程統(tǒng)計(jì)分析和 分類的研究報(bào)道。 本文結(jié)合國家自然科學(xué)基金項(xiàng)目“基于全天空圖像的日側(cè)極光分類方法研 究 ，針對我國北極黃河站高分辨率的多波段全天空極光觀測圖像，綜合應(yīng)用圖 像處理和模式識別技術(shù)，研究基于極光圖像運(yùn)動(dòng)信息的統(tǒng)計(jì)分類方法。其分類主 要依據(jù)中國極地研究中心對北極黃河站的極光觀測圖像進(jìn)行的分析，中國極地研 究中心的研究成果如下： 中國極地研究中心對北極黃河站的極光觀測圖像進(jìn)行了初步分析【2 1 1 。目前所 采用的分析方法為：對于每一波段的全天空極光圖像，抽取每一幀極光圖像中沿 地磁南北方向上的磁子午面極光強(qiáng)度數(shù)據(jù)，以世界時(shí)( u t ) 時(shí)間為序列，排列成極 光活動(dòng)圖( k e o g r a m ) 。初步分析結(jié)果表明，日側(cè)極光卵主要存在五個(gè)重復(fù)出現(xiàn)的具 有明顯不同特征的極光活動(dòng)區(qū)，分別為午前極光弧區(qū)( 0 5 3 0 - 0 6 3 0 u t ) 、帷幔冕狀極 光區(qū)( 0 6 3 0 0 9 0 0 u t ) 、放射冕狀極光區(qū)( 0 9 0 0 1 0 0 0 u t ) 、熱點(diǎn)冕狀極光區(qū) ( 1 0 0 0 1 2 3 0 u t ) 、午后極光弧區(qū)( 1 2 3 0 1 4 0 0 u t ) 。 盡管k e o g r a r n 羽在一定程度上可以反應(yīng)出極光卵在地磁緯度上的活動(dòng)變化，不 4 基于光流的日側(cè)極光圖像分類研究 同波段上極光強(qiáng)度的時(shí)空變化，以及極光卵的光譜變化，但是并沒有充分利用全 天空極光觀測圖像的全部信息，不能反映出極光的形態(tài)特征。隨后結(jié)合各個(gè)極光 活動(dòng)區(qū)域的極光形態(tài)特點(diǎn)進(jìn)一步分析表明，黃河站觀測到的極光形態(tài)可以分為兩 大類：弧狀和冕狀，每個(gè)大類可以進(jìn)一步細(xì)分成不同子類。根據(jù)目前經(jīng)驗(yàn)，弧狀 極光可細(xì)分為單弧、多重弧和南北弧等類型；冕狀極光可細(xì)分為輻射型、帷幔型 和極光熱點(diǎn)等類型?；顦O光是最為常見的極光形態(tài)，持續(xù)時(shí)間從幾分鐘到幾個(gè) 小時(shí)不等，總體上講，極光弧上極光強(qiáng)度分布比較均勻，極光弧比較穩(wěn)定，但是 當(dāng)?shù)卮呕顒?dòng)劇烈時(shí)，極光弧會出現(xiàn)大的扭曲、褶皺、彎曲和渦旋結(jié)構(gòu)?；顦O光 的形態(tài)特征和發(fā)生機(jī)理已相對比較清楚， 模型和動(dòng)態(tài)物理模型進(jìn)行三維極光模擬， 像。 b a r a n o s k i 等人利用弧狀極光的統(tǒng)計(jì)形狀 可以生成具有較強(qiáng)真實(shí)感的模擬極光圖 形狀復(fù)雜多變的冕狀極光概念由中國極地研究中心楊惠根博士瞄】于2 0 0 0 年首 次提出，他利用南極中山站的全天空電視攝像數(shù)據(jù)對午后極光進(jìn)行概要統(tǒng)計(jì)，第 一次用地面觀測數(shù)據(jù)證實(shí)了衛(wèi)星探測發(fā)現(xiàn)的磁地方時(shí)1 5 0 0 m l t 附近的“極光熱點(diǎn) 和0 9 0 0 m l t 附近的“午前極光峰 ；同時(shí)發(fā)現(xiàn)，衛(wèi)星觀測所謂的1 2 0 0 m l t 附近的 “正午空白區(qū) 一說并不成立，這個(gè)區(qū)域是一種強(qiáng)度較弱、形態(tài)多變、移動(dòng)迅速 的極光的高發(fā)區(qū)，并將這種極光命名為日側(cè)冕狀極光( d a y s i d ec o r o n a ) 。冕狀極光往 往成片出現(xiàn)，帶有隨機(jī)出現(xiàn)或消失的小尺度分離結(jié)構(gòu)，這些結(jié)構(gòu)具有射線狀、塊 狀、帷幔狀特征，它們的形狀、位置和亮度變化非常迅速。由于極光現(xiàn)象的南北 極共軛對稱特性，北極黃河站也同樣觀測到大量的冕狀極光現(xiàn)象，在正午 ( 1 2 0 0 m l t ) 前后都有發(fā)生。 中國極地研究中心最近的研究成果表明極光圖像可以分為兩大類、四小類， 分為兩大類時(shí)第一類是弧狀( a r e ) 極光、第二類為冕狀極光。分為四小類時(shí)把冕狀 極光又細(xì)分為三小類分別是帷幔冕狀( d r a p e r y ) 極光、放射冕狀( r a d i a l ) 極光、熱點(diǎn) 冕狀( h o t s p o t ) 極光。四小類分法也是本文研究極光圖像分類的依據(jù)，圖1 2 為四類 極光的典型形態(tài)。 圖1 2 ( a ) 為弧狀極光，其主要特征為經(jīng)度方向上( 東西向) 拉伸，南北跨度窄 的分立極光弧，射線結(jié)構(gòu)不明顯。其特點(diǎn)是輪廓明顯，弧間很干凈，趨勢穩(wěn)定。 圖1 2 ( b ) ，( c ) ，( d ) 為冕狀極光，其主要特征為具有射線狀結(jié)構(gòu)。 其中圖1 2 ( b ) 為d r a p e r y 極光，其主要特征是射線結(jié)構(gòu)明顯，并且呈東西向的多 層排列特征，極光圖像背景存在“雜點(diǎn)”。特點(diǎn)是平穩(wěn)，區(qū)域分布多，存在射線 狀結(jié)構(gòu)，輪廓不清晰，強(qiáng)度均勻。 圖1 2 ( c ) 為r a d i a l 極光，其主要特征是射線結(jié)構(gòu)明顯從中心指向各個(gè)方向。特 點(diǎn)是爆炸型，菊花型，射線方向強(qiáng)調(diào)四周。 圖1 2 ( d ) 為h o t s p o t 極光，其主要特征是射線狀的分立冕狀極光和不規(guī)則區(qū)域的 第一章緒論 極光強(qiáng)度增強(qiáng)( 渦旋，斑塊) 以及類似弧狀的分立極光的混合形態(tài)。特點(diǎn)是一束 亮斑，冕狀的強(qiáng)度斑，變化快，連續(xù)兩幀亮度突變，熱點(diǎn)有東西向。 圈12 日側(cè)板光典型圖像：( 時(shí)弧狀極光c a r e ) ：( b ) 椎幢冕狀( d r a p c r y ) 極光 0 ) 放射冕抗( r a d i m ) 極光；u 熱點(diǎn)冕狀呻。姊眥) 極光 本文針對目前國內(nèi)外的研究現(xiàn)狀，結(jié)合中國極地研究中心的最新研究成果， 采用光流法研究極光圖像運(yùn)動(dòng)信息，希望運(yùn)動(dòng)信息能作為靜態(tài)空間信息的有利補(bǔ) 充來實(shí)現(xiàn)對極光圈像更加精確的分類。主要研究極光圖像運(yùn)動(dòng)信息計(jì)算、運(yùn)動(dòng)信 息特征提取以期通過運(yùn)動(dòng)信息來實(shí)現(xiàn)對極光圖像以及極光圖像序列分類檢測。 但是從前面的分析也可以看到極光圖像形態(tài)復(fù)雜、變化多樣，要想精確的計(jì)算其 運(yùn)動(dòng)信息是非常困難的，但本文仍是有益的可貴的嘗試，并得到了不錯(cuò)的結(jié)果， 為以后的研究提供了基礎(chǔ)。 1 3 論文的研究內(nèi)容及安排 本文結(jié)合國家自然科學(xué)基金項(xiàng)目4 基于全天空圖像的日側(cè)極光分類方法研 究”，針對我國北極黃河站高分辨率的多波段全天空授光觀測圖像，綜合應(yīng)用圖 6基于光流的日側(cè)極光圖像分類研究 像處理和模式識別技術(shù)，研究基于極光圖像運(yùn)動(dòng)信息的統(tǒng)計(jì)分類方法。目前國內(nèi) 外還沒有基于大量連續(xù)觀測的日側(cè)極光數(shù)據(jù)進(jìn)行極光運(yùn)動(dòng)信息統(tǒng)計(jì)分析和分類的 研究報(bào)道。本文研究成果不僅可以用于驗(yàn)證現(xiàn)有經(jīng)驗(yàn)分類結(jié)果，發(fā)現(xiàn)新的極光模 式，為進(jìn)一步研究極光發(fā)生機(jī)制及其與磁層邊界層動(dòng)力學(xué)過程的對應(yīng)關(guān)系也將有 極大的促進(jìn)作用。 本文的主要研究內(nèi)容如下： 針對極光圖像的非剛體性質(zhì)，首次把專門針對流體運(yùn)動(dòng)的光流算法應(yīng)用到極光 圖像，并根據(jù)極光圖像序列之間差異大的特性引入了多尺度流體光流算法。 針對光流信息冗余度高，提出了用分塊l b p 進(jìn)行表征光流信息的設(shè)想，用k 近鄰分類器實(shí)現(xiàn)極光圖像分類。在北極黃河站的極光圖像數(shù)據(jù)庫上所做的分類實(shí) 驗(yàn)表明了算法的有效性。 在上述基礎(chǔ)上提出基于光流場特征的極光圖像序列檢測算法。因?yàn)閳D像序列 具有時(shí)間信息，將光流場的l b p 直方圖順序連接描述圖像序列，檢測實(shí)驗(yàn)結(jié)果表 明了算法的有效性。 本文的內(nèi)容安排如下： 第一章介紹極光分類的研究背景和研究現(xiàn)狀，主要包括圖像模式識別技術(shù)和 計(jì)算機(jī)技術(shù)在極光圖像分類研究中的應(yīng)用，中國極地研究中心最近的研究成果。 第二章介紹光流場技術(shù)的基本理論，光流場和運(yùn)動(dòng)場的關(guān)系，光流場計(jì)算方 法分類，隨后著重介紹了基于梯度方法，并給出了兩種經(jīng)典的梯度方法。最后針 對極光圖像序列之間變化大等特性，引入了多尺度微分光流方法模型。 第三章針對第二章中的光流算法的缺陷，本章采用流體連續(xù)性方程建模得到 光流約束方程，并采用散度旋度正則化保持了極光圖像的散度旋度。由于光流場 的高冗余性，隨后介紹了l b p 特征提取方法，并在此基礎(chǔ)上構(gòu)建逝鄰( 七n e a r e s t n e i g h b o r , k - n n ) 分類器進(jìn)行極光圖像分類。 第四章介紹圖像序列分析方法，采用均勻序列方法進(jìn)行設(shè)計(jì)極光圖像序列分 類實(shí)驗(yàn)。 第五章全面總結(jié)本文研究成果以及存在的不足，指出后續(xù)研究工作的方向及 該領(lǐng)域研究的發(fā)展趨勢。 第二章光流場計(jì)算方法 7 第二章光流場計(jì)算方法 光流的概念是g i b s o n 于1 9 5 0 年首先提出來的，光流是指圖像中灰度模式運(yùn)動(dòng) 速度。物體在光源照射下，其表面的灰度呈現(xiàn)一定的空間分布，稱之為灰度模式。 當(dāng)人的眼睛觀察運(yùn)動(dòng)物體時(shí)，物體的景象在人眼的視網(wǎng)膜上形成一系列連續(xù)變化 的圖像，這一系列連續(xù)變化的信息不斷“流過 視網(wǎng)膜( 即圖像平面) ，好像是一 種光的流，故稱為光流。 光流法己經(jīng)成為圖像運(yùn)動(dòng)估計(jì)的主要技術(shù)，在極光圖像運(yùn)動(dòng)信息分析中應(yīng)用 光流是值得深入研究的。本章首先介紹了光流場的基本概念，并對光流場與運(yùn)動(dòng) 場關(guān)系做了討論，接著介紹了光流場計(jì)算方法分類，隨后著重介紹了基于梯度計(jì) 算方法，并針對極光圖像的特殊性引入了多尺度微分光流方法。 2 2 光流場 光流對應(yīng)于瞬時(shí)的像素速度矢量，而定義了光流函數(shù)的二維圖像坐標(biāo)平面域 稱為光流場。所以光流場是一種二維瞬時(shí)像素速度場，其不僅包含了被觀察物體 的運(yùn)動(dòng)信息，而且攜帶有光景物三維結(jié)構(gòu)的信息，因此對光流場的研究一直被視 為是解決運(yùn)動(dòng)分析的有效途徑之一。 2 2 1 光流場與運(yùn)動(dòng)場 從光流場的定義可以看出光流場表征了運(yùn)動(dòng)場，但光流場并不等同于運(yùn)動(dòng)場。 任何空間的物體可由一個(gè)三維速度場來表示其運(yùn)動(dòng)，三維速度場在二維圖像平面 的投影，構(gòu)成了二維速度場即運(yùn)動(dòng)場。當(dāng)物體運(yùn)動(dòng)時(shí)，在圖像上對應(yīng)物體的亮度 模型也在運(yùn)動(dòng)。光流場指的則是圖像灰度模式的表觀運(yùn)動(dòng)。使用“表觀運(yùn)動(dòng)”這 個(gè)概念的主要原因是光流無法由運(yùn)動(dòng)圖像的局部信息唯一地確定。比如，亮度比 較均勻的區(qū)域或亮度等值線上的點(diǎn)都無法唯一地確定其點(diǎn)的運(yùn)動(dòng)對應(yīng)性。 物體的空間運(yùn)動(dòng)投影到成像平面，如果給圖像中的每個(gè)像素點(diǎn)賦予一個(gè)速度 矢量，就形成了圖像運(yùn)動(dòng)場( m o t i o nf i e l d ) 。物體的運(yùn)動(dòng)一般會導(dǎo)致圖像灰度的變化， 而二維圖像灰度變化的原因是多種多樣的，主要有以下幾種： ( 1 ) 景物本身發(fā)生了變換：物體發(fā)生了變形( 擴(kuò)大或縮小) 或運(yùn)動(dòng)( 旋轉(zhuǎn)、平 基于光流的日側(cè)桎光圈像分類研究 移) ； ( 2 ) 攝像頭與景物發(fā)生了相對運(yùn)動(dòng)：攝像頭的平移、旋轉(zhuǎn)使圖像內(nèi)容發(fā)生了改 變： ( 3 ) 照度變換：照射景物的光源發(fā)生變換導(dǎo)致物體亮度改變： “) 上述幾種情況的組合。 運(yùn)動(dòng)可能導(dǎo)致灰度的時(shí)變。然而灰度的時(shí)變卻不一定就是由運(yùn)動(dòng)引起的。照 度和環(huán)境光反射的改變同樣會引起灰度的對變。 q 二 附 圖2l 光流場與運(yùn)動(dòng)場示意圖 在理想情況下，光流場等于運(yùn)動(dòng)場，但這一命題在某些情況是不成立的。如 圖21 所示是一個(gè)質(zhì)地非常均勻的球體，由于球的表面是曲面，因此在某個(gè)光源的 照射下，亮度呈現(xiàn)一定的空間分布或明暗模式。圖21 ( a ) 所示，當(dāng)球體在攝像機(jī)前 圍繞中心軸旋轉(zhuǎn)時(shí)，明暗模式并不隨著表面運(yùn)動(dòng)而變純，所以圖像沒有變化，此 時(shí)球體上任意地方的光流為零，然而運(yùn)動(dòng)場卻不等于零。圖2 1 徹所示，球體沒有 運(yùn)動(dòng)而是光源在動(dòng)，則球體的明暗模式將醚光源運(yùn)動(dòng)，此時(shí)的球體的先流場為不 為零，而球體的運(yùn)動(dòng)場卻為零。一般情況下，可以認(rèn)為光流場和運(yùn)動(dòng)場沒有區(qū)別， 因此允許根據(jù)圖像運(yùn)動(dòng)來估計(jì)相對運(yùn)動(dòng)。 2 2 2 光流場計(jì)算方法 光流場的計(jì)算最初是由h o m 和s c h u n c k 【l o 于1 9 8 1 年提出的，它是一種以平滑 約束假設(shè)和亮度恒定約束假設(shè)為基礎(chǔ)的求解運(yùn)動(dòng)信息的有效方法。在序列凰像中 光流通常被描述成圖像灰度模式的表觀運(yùn)動(dòng)，光流為3 d 速度場估計(jì)、物體運(yùn)動(dòng)分 析、圖像分割、估計(jì)3 d 照相機(jī)的運(yùn)動(dòng)參數(shù)、恢復(fù)圖像中物體的3 d 結(jié)構(gòu)等提供很 重要的信息。因此在其后的2 0 多年里出現(xiàn)了很多新思想、新方法這些方法可以 大概的分為四類：基于梯度方法( 微分法) 、基于區(qū)域方法( 匹配法) 、基于能量 方法( 能量法) 、基于相位方法( 相位法) 。近年來結(jié)構(gòu)張量方法受到了越來越多 學(xué)者的重視。 基于梯度的方法又稱為時(shí)空梯度法，也稱微分法，它是利用圖像序列灰度的 第二章光流場計(jì)算方法 9 時(shí)空微分( 即時(shí)空梯度函數(shù)) 來計(jì)算圖像上每一像素點(diǎn)的光流。由于計(jì)算簡單和 較好的效果，該方法得到了廣泛應(yīng)用和研究。典型的代表是h o r n s c h u n c k 的光流 計(jì)算方法，該方法在光流基本約束方程的基礎(chǔ)上附加了全局平滑假設(shè)，從而計(jì)算 出光流場。基于此思想，大量的改進(jìn)的算法不斷提出。n a g e l t l 7 】采用有條件的平滑 約束，即通過加權(quán)矩陣的控制對梯度進(jìn)行不同平滑處理；b l a c k 和a n a n d a n l l 8 針對 多運(yùn)動(dòng)的估計(jì)問題，提出了分段平滑的方法。雖然很多基于梯度的光流估計(jì)方法 取得了較好的光流估計(jì)，但是由于在計(jì)算光流時(shí)涉及到可調(diào)參數(shù)的人工選取、可 靠性評價(jià)因子的選擇困難，以及預(yù)處理對光流計(jì)算結(jié)果的影響，在應(yīng)用光流對目 標(biāo)進(jìn)行實(shí)時(shí)檢測與自動(dòng)跟蹤時(shí)仍存在很多問題。 上述算法能夠得到相當(dāng)精確的光流，但這種技術(shù)存在缺陷。首先，圖像灰度 的一致性假設(shè)對于許多真實(shí)圖像序列都不合適，在圖像的遮擋邊緣處或當(dāng)運(yùn)動(dòng)速 度較高時(shí)，基于灰度一致性假設(shè)的基本等式存在著較大誤差。其次，采用微分技 術(shù)求灰度值沿五舅t 三個(gè)方向的偏導(dǎo)數(shù)，這意味著需對圖像數(shù)據(jù)進(jìn)行時(shí)空預(yù)平滑 以避免混疊效應(yīng)，如果處理不當(dāng)，會對最終的光流估計(jì)產(chǎn)生不良影響。 基于區(qū)域方法1 1 9 1 實(shí)質(zhì)上是在圖像序列的順序圖像對之間實(shí)施一種對應(yīng)，因而 它也叫匹配法。它將光流定義為使得不同時(shí)刻圖像區(qū)域之間產(chǎn)生最佳擬合的位移。 給定兩幀順序圖像，對于其中一幀圖像中的每個(gè)像素點(diǎn)伍，以此像素點(diǎn)為中心 形成一個(gè)大小為口甩+ 肜口行+ d 的相關(guān)窗口。圍繞令一幀圖像中的對應(yīng)像素點(diǎn)似 建立一個(gè)尺寸為口行+ 川口”+ 的搜索窗口，搜索范圍可根據(jù)兩圖像間最大可能位 移的先驗(yàn)知識來確定，因此可以快速搜索到最大相關(guān)或最小誤差的匹配位置。 對于這種匹配方法，有幾個(gè)問題值得討論，首先在特征選取以及搜索范圍給 定方面都需要有先驗(yàn)知識，如果先驗(yàn)知識不準(zhǔn)確將會對最后的光流估計(jì)造成嚴(yán)重 影響，其次基于特征的這種方法忽略了大量的運(yùn)動(dòng)信息。因此基于匹配的方法雖 然計(jì)算簡單，但是計(jì)算精度不高。 基于能量的方法有先要對輸入圖像序列進(jìn)行時(shí)空濾波處理，這是一種時(shí)間和 空間整合。由于速度調(diào)諧濾波器是在f o u r i e r 域中設(shè)計(jì)的，因而這類技術(shù)也稱為基 于頻率的方法。對于均勻的流場，要獲得正確的速度估計(jì)，這種時(shí)空整合是非常 必要的。然而這樣做會降低光流估計(jì)的空間和時(shí)間分辨率。尤其是當(dāng)時(shí)空整合區(qū) 域包含幾個(gè)運(yùn)動(dòng)成分( 如運(yùn)動(dòng)邊緣時(shí)) ，估計(jì)精度將會惡化。此外，基于能量的光 流技術(shù)還存在高計(jì)算負(fù)荷的問題。此方法涉及大量的濾波器，目前這些濾波器是 主要的計(jì)算消費(fèi)。然而，可以預(yù)期，隨著相應(yīng)硬件的發(fā)展，在不久的將來，濾波 將不再是一個(gè)嚴(yán)重的限制因素，所有這些技術(shù)都可以在幀速下加以實(shí)現(xiàn)。 時(shí)空能量方法是基于生物視覺系統(tǒng)而提出的運(yùn)動(dòng)感知模型，它模擬了生物視 覺通路上視覺皮層細(xì)胞感受野的時(shí)空特性，因此有一定的生物合理性。 f l e e t 和j e p s o n l 2 0 1 ，首次從概念上提出了相位信息用于光流計(jì)算的問題。因?yàn)?l o 基于光流的日側(cè)極光圖像分類研究 速度是根據(jù)帶通濾波器輸出的相位特性確定的，所以稱為相位法。他們根據(jù)與帶 通速度調(diào)諧濾波器輸出中的等相位輪廓相垂直的瞬時(shí)運(yùn)動(dòng)來定義分速度。帶通濾 波器按照尺度、速度和定向來分離輸入信號。 基于相位的光流技術(shù)的綜合性能是比較好的：速度估計(jì)比較精確且具有較高 的空間分辨率，對圖像序列的適用范圍也比較寬。同時(shí)，這里仍有幾個(gè)問題值得 討論：首先，與基能量的光流技術(shù)一樣，基于相位的模型既有一定的生物合理性， 又有較高的計(jì)算復(fù)雜性；其次，盡管相位技術(shù)用兩幀圖像就可以計(jì)算光流，但要 獲得足夠的估計(jì)精度，就必須有一定的整合時(shí)間，這個(gè)延遲將會降低邊緣處運(yùn)動(dòng) 估計(jì)的時(shí)間分辨率；最后基于相位的方法對輸入圖像序列的時(shí)間混疊比較敏感。 除了以上方法之外，結(jié)構(gòu)張量法因?yàn)槠鋵υ肼暡幻舾械奶匦砸彩艿搅嗽絹碓?多的關(guān)注，另外專門針對流體運(yùn)動(dòng)提出的新的光流方法【2 3 】應(yīng)用也很廣泛，這種方 法基于流體連續(xù)性方程，相比傳統(tǒng)方法更適合于流體圖像光流場計(jì)算。 2 2 3 光流場的基本等式 在眾多的光流場計(jì)算方法中應(yīng)用比較廣泛的方法有基于梯度方法( 微分法) 、 基于區(qū)域方法( 匹配法) ，基于梯度方法基于圖像灰度變化，直接從灰度中估計(jì)光 流，可以獲得盡量多的圖像速度場信息；基于區(qū)域方法基于景物特征，利用能直 接確定唯一矢量的特征來計(jì)算光流，此方法結(jié)果取決于特征的選擇，會丟掉很多 信息。極光圖像形態(tài)多樣，結(jié)構(gòu)復(fù)雜，沒有突出的特征點(diǎn)并且特征點(diǎn)難于選取， 并不適合用基于區(qū)域方法求解。相比之下基于梯度的方法能獲得大量的圖像運(yùn)動(dòng) 信息，雖然會造成較高的冗余信息，但在后面加上特征提取的步驟完全可以避免， 只是計(jì)算代價(jià)較高。 基于梯度的方法，它根據(jù)圖像灰度對時(shí)間和空間的導(dǎo)數(shù)來得到的，因此假設(shè) 圖像區(qū)域在時(shí)間和空間上連續(xù)的，或者是可導(dǎo)的。這個(gè)關(guān)系被稱為基本等式，它 構(gòu)成了光流計(jì)算的一個(gè)重要約束。1 9 8 1 年h o r n 和s c h u n e k 首次提出了計(jì)算光流場 的基本等式。考慮一個(gè)圖像序列，它的亮度用鰍彭0 來表示。假定在時(shí)刻f 的一 個(gè)像素點(diǎn)化糾在時(shí)刻f + 出移動(dòng)到點(diǎn)伍+ d x , y + d y ) 。若間隔時(shí)間出足夠小，根據(jù)上文 提出的恒定亮度假設(shè)，可以認(rèn)為物體在不同時(shí)刻的圖像具有相同的灰度，因此： e ( x + d x ，y + d y ，t + d t ) = e ( x ，y ，r ) ( 2 1 ) 當(dāng)毗幽d t 很小時(shí)，應(yīng)用泰勒展開公式左邊有： e ( 毛y ，r ) + 蕓妄+ 等等+ 詈+ 。( 確= e ( ) ( 2 - 2 ) 其中o ( a 2 ) 是關(guān)于武咖西的二階和二階以上的項(xiàng)，可以略去。上式兩邊相互 第二章光流場計(jì)算方法 抵消之后得到： 一8 e “+ 絲v + 絲：0 蘇 砂 西 上式即為空間和時(shí)間梯度與速度分量之間的關(guān)系：可簡寫為 e + e 七e t = 0 ( 2 - 3 ) ( 2 _ 4 ) 或?qū)懗墒噶啃问?v e v + 層= 0 ( 2 5 ) 其中巨，e 。，巨分別為圖像中像素點(diǎn)似的灰度值e 伍另砂沿五男，三個(gè)方向的 偏導(dǎo)數(shù)。v e = ( e ，毛) 為圖像灰度的空間梯度，v = ( 材，v ) 7 為光流。 基本等式是e ，e ，巨，與光流v = ( “，v ) 7 之間的約束關(guān)系。光流有兩個(gè)變量， 基本等式只有一個(gè)方程，因此只能求出光流沿梯度方向的值，不能求出兩個(gè)分量u 和1 ，。因此利用基本等式求解光流是一個(gè)不適定問題，這將在下- - d , 節(jié)介紹。 2 2 4 運(yùn)動(dòng)估計(jì)的不適定問題 前面對光流估計(jì)的原理進(jìn)行了介紹，同時(shí)給出了光流估計(jì)的基本假設(shè)公式。 光流估計(jì)的基本假設(shè)在缺乏附加約束的情況下，僅依據(jù)于兩幀圖像進(jìn)行光流的二 維運(yùn)動(dòng)估計(jì)問題是一種不適定的問題。二維光流估算具有解的存在性，解的唯一 性和解的連續(xù)性等問題： ( 1 ) 解的存在性：即遮擋問題，覆蓋和顯露的背景像素不能建立對應(yīng)關(guān)系。 ( 2 ) 解的唯一性：如果每一個(gè)像素的位移( 或速度) 分量被當(dāng)作獨(dú)立分量，那 么未知量的個(gè)數(shù)是已知量的兩倍，這將導(dǎo)致“孔徑”問題。 ( 3 ) 解的連續(xù)性：運(yùn)動(dòng)估算對圖像中出現(xiàn)的噪聲是非常敏感的，一個(gè)極小的噪 聲也可能引起運(yùn)動(dòng)估計(jì)中很大偏差。 對于不存在唯一的解或不連續(xù)的解，主要依賴于圖像數(shù)據(jù)。實(shí)際的計(jì)算過程 中主要體現(xiàn)為“遮擋問題 和“孔徑問題 以及“對應(yīng)問題 。下面分別詳述這幾 種問題： 孔徑問題：孔徑問題即解的唯一性問題。問題產(chǎn)生的根本原因是基本等式中 未知數(shù)的個(gè)數(shù)是方程個(gè)數(shù)的兩倍，且未知數(shù)之間相互獨(dú)立。這樣的方程有無窮多 解。如圖2 2 所示，表面光滑的物體以速度v 向右運(yùn)動(dòng)。在孔徑a 處，其中包含了 真正的二維結(jié)構(gòu)，這樣孔徑中的運(yùn)動(dòng)矢量的兩個(gè)分量才可以可靠的估計(jì)。如果從 1 2 基于光流的日側(cè)極光圖像分類研究 孔徑c 觀察物體的運(yùn)動(dòng)，那么孔徑中觀察的運(yùn)動(dòng)v 可能是任意的一個(gè)方向，但只 有亮度梯度方向( 垂直于物體邊緣) 的運(yùn)動(dòng)分量可以被可靠的估計(jì)出來?？讖絙 處由于紋理與運(yùn)動(dòng)方向一致所以這里不存在光流，也無法估計(jì)出它的光流場。同 理孔徑d ，在運(yùn)動(dòng)物體內(nèi)部，由于物體表面光滑無法估計(jì)物體的運(yùn)動(dòng)。 圖2 2 孔徑問題不意圖 從以上的分析中可以看出為了盡量避免孔徑問題，可以盡量擴(kuò)大觀察孔徑， 使得盡可能多的包含運(yùn)動(dòng)信息。但同時(shí)過大的觀察孔徑中更可能包含多個(gè)運(yùn)動(dòng)物 體，產(chǎn)生了許多運(yùn)動(dòng)估計(jì)計(jì)算難以解決的問題。這一問題被j e p s o n h 和b l a c k 稱為 不適定孔徑問題。 遮擋問題：遮擋問題即解的存在性問題，是運(yùn)動(dòng)物體與背景的覆蓋( o c c l u d e d r e g i o n ) 、顯露( u n c o v e r e dr e g i o n ) n 題，由運(yùn)動(dòng)物體的平移、縮放等因素所引起。由 于被顯露、覆蓋的背景像素?zé)o法為它們建立對應(yīng)，即無法計(jì)算合適的光流，此時(shí) 運(yùn)動(dòng)估計(jì)是無解的。 對應(yīng)問題：所觀察到的或者說是估算出來的運(yùn)動(dòng)其實(shí)與真實(shí)的運(yùn)動(dòng)是不同的。 特別是當(dāng)一個(gè)區(qū)域擁有光滑的結(jié)構(gòu)或呈周期性變化的結(jié)構(gòu)，此時(shí)很難估算出幀間 的信息是如何相關(guān)的，即難以找出兩幀之間光流所對應(yīng)的點(diǎn)。 2 3 基于梯度方法 光流場計(jì)算的微分法分為全局方法和局部方法。全局方法能夠得到1 0 0 的致 密的光流場，而局部方法大多數(shù)只能得到稀疏的光流場，但是局部方法在噪聲情 況下具有更好的魯棒性。全局方法中，h o r n 和s c h u n c k 利用光流對時(shí)間和空間的 偏導(dǎo)構(gòu)成光流約束方程，并附加速度場整體平滑約束，得到一組有關(guān)速度的迭代 方程組，最后用高斯西塔迭代法求得一個(gè)致密的光流場。局部方法中，l u c a s 和k a n a d e 2 4 j 在當(dāng)前像素點(diǎn)的鄰域內(nèi)，通過對鄰域內(nèi)各點(diǎn)按某一特定窗口函數(shù)，進(jìn) 行加權(quán)平方求和，并求其極小值來估計(jì)光流速度。 第二章光流場計(jì)算方法 如果違背了亮度恒常性和速度平滑性假設(shè)，那么光流計(jì)算就會出現(xiàn)錯(cuò)誤。不 幸的是，在實(shí)際圖像中，這種違背情況是相當(dāng)常見的。典型的是，光流在如下情 況下會發(fā)生劇烈的變化：高紋理區(qū)域、在移動(dòng)邊界周圍、深度不連續(xù)處等等。光 流計(jì)算的全局松弛方法的主要優(yōu)點(diǎn)是能夠全局性地傳播局部約束性?？墒遣坏s 束性信息而且所有的光流估計(jì)誤差在解中都被傳播開了。所以在光流場中即使是 很少數(shù)量的問題區(qū)域也會造成誤差的廣泛的分布和糟糕的光流估計(jì)。 由于全局誤差傳播是全局光流計(jì)算方案的最大問題，所以作為對該困難的自 然的解決方案，局部光流估計(jì)就應(yīng)運(yùn)而生了。局部估計(jì)是基于同樣的亮度和平滑 性假設(shè)，其思想就是將圖像分割成假設(shè)成立的小區(qū)域。這就解決了誤差傳播的問 題，但是另外一個(gè)問題也就出現(xiàn)了一在空間梯度發(fā)生緩慢變化的區(qū)域中，光流估 計(jì)變成一個(gè)病態(tài)問題，因?yàn)槿鄙龠\(yùn)動(dòng)信息，它不能被正確的檢測出來。如果全局 方法被應(yīng)用于這個(gè)相同區(qū)域，即使它自身的局部信息并不充分，來自鄰近圖像區(qū) 域的信息也會傳播過來并構(gòu)成其光流計(jì)算的基礎(chǔ)。這種對比的結(jié)論就是，在約束 共享中信息的全局共享是有益的，但是對于誤差傳播它是有害的。 處理平滑違背問題的一個(gè)方法就是檢測遵守平滑性約束的區(qū)域。h o r n 和 s c h u n k 的文獻(xiàn)中介紹了兩種啟發(fā)式方法來確定鄰近約束性方程，它們在流值( f l o w v a l u e ) 方面存在很大的不同。主要的問題就是閾值的選擇，以確定哪個(gè)流值差別應(yīng) 該被當(dāng)作是實(shí)質(zhì)性的一如果閾值設(shè)得太低，那么就有許多點(diǎn)被認(rèn)為是位于沿著流 值的不連續(xù)區(qū)域；如果閾值設(shè)得太高，一些違背了平滑性約束的點(diǎn)仍然被作為計(jì) 算網(wǎng)的一部分。平滑子網(wǎng)之間的邊界不是封閉的，它們之間的通路是存在的，誤 差傳播問題沒有得到解決。 k e a m e y 介紹了一個(gè)對誤差進(jìn)行連續(xù)調(diào)整地方法。正如使用基本的全局松弛方 法，通過將局部平均流向量和信度約束方程相結(jié)合迭代的確定光流。然而不同的 是，對每個(gè)流向量基于正確性的啟發(fā)式判斷賦予了一個(gè)置信度，并通過置信度進(jìn) 行加權(quán)平均來計(jì)算局部平均流向量。這樣就阻止了帶有誤差的估計(jì)傳播。 2 3 1h o r n s c h u n c k 方法 h o r n 等人在相鄰圖像的間隔時(shí)間很短，圖像灰度變化很小的前提下，導(dǎo)出了 灰度圖像光流場計(jì)算的基本等式： e 一專e + e t = 0 或?qū)懗墒噶啃问?v e v + e = 0 前面已經(jīng)提過基本等式不適定問題，為求解v 的兩個(gè)分量，必須附加另外的約 1 4 基于光流的日側(cè)極光圖像分類研究 束條件。在許多情況下觀察物體的速度矢量是局部平滑的，u 和，隨著像素點(diǎn)以糾 的改變而緩慢變化，在局部區(qū)域變化足夠小。特別地，在目標(biāo)作無變形剛體運(yùn)動(dòng) 時(shí)，相鄰像素點(diǎn)具有相同的運(yùn)動(dòng)速度，此時(shí)在局部區(qū)域速度的空間變化率為零。 h o r n 將基本等式和光流場整體平滑約束組合在一起求解光流v = ( “，v ) 。，得到了一 個(gè)“稠密 的光流場。h o m 附加約束條件的基本思想是要求光流本身盡可能平滑， 即引入了對光流的平滑性約束使平滑約束項(xiàng)極小化。即極小化 e = ( 黔斟懵硝卜 仁6 ， e = f j ( e 甜+ e ，1 ，+ 巨) a x a y ( 2 7 ) 這樣求光流場就轉(zhuǎn)化為求全局能量泛函，的最小化問題，f 如下式所示。 嘲慢= 扣坶訓(xùn)2 + 口餅緇餅 2 姍 其中a 是一參數(shù)，反映了對圖像數(shù)據(jù)及約束條件的可信度，它是上述兩種誤 差( 一種是偏離光滑性要求的誤差晟，另一種是偏離基本等式的誤差e ) 之間的 權(quán)重。當(dāng)圖像數(shù)據(jù)本身含有較大的噪聲時(shí)，原始圖像數(shù)據(jù)的可信度較低，需要更 多地依賴光滑性約束條件，這時(shí)口應(yīng)該選取較大的值；反之，當(dāng)圖像數(shù)據(jù)的測量 是精確的，則偏離基本等式的