（控制理論與控制工程專業(yè)論文）家庭環(huán)境下人的行為理解系統(tǒng)研究.pdf

捅要 隨著機(jī)器人技術(shù)的發(fā)展，機(jī)器人進(jìn)入民用領(lǐng)域條件日趨成熟。人的行為理 解是服務(wù)機(jī)器人進(jìn)入家庭環(huán)境，為人提供自主服務(wù)的前提。由于家庭環(huán)境下人 體目標(biāo)行為模式的多樣性、所處環(huán)境的復(fù)雜性，使得家庭環(huán)境下行為理解成為 一個極富挑戰(zhàn)性的課題。依靠機(jī)器人自身有限的感知和計算能力，更加難以實 時的完成行為理解任務(wù)。因而，本文借助家庭助理機(jī)器人綜合平臺，利用了智 能空間技術(shù)使得家庭服務(wù)機(jī)器人的感知能力和計算能力得到了極大的外延。 家庭環(huán)境下行為理解問題被定義為“利用機(jī)器視覺技術(shù)結(jié)合智能空間信息 系統(tǒng)的數(shù)據(jù)庫、知識庫對人的行為和意圖進(jìn)行分析 。主要的研究內(nèi)容如下： 1 、從處理流程上闡述行為理解的一般框架，分析了其中涉及到的關(guān)鍵技術(shù)。 并借助家庭助理機(jī)器人實驗平臺，提出家庭監(jiān)護(hù)系統(tǒng)的行為理解方案。 2 、運動人體檢測是行為理解初級階段需要解決的問題。本文對基于g m m 背景模型的運動檢測算法做了如下改進(jìn)：在背景初始化階段，采用動態(tài)學(xué)習(xí)率 提高了背景模型的準(zhǔn)確性；在背景更新階段，提出運動人體檢測的結(jié)果指導(dǎo)背 景更新的策略，使得復(fù)雜運動形式的人體運動不被背景吸收；在后期處理階段。 將基于g m m 的運動檢測算法與邊緣差分相結(jié)合，消除運動檢測中的斷裂、孔 洞現(xiàn)象。 3 、提出復(fù)雜環(huán)境下基于特征融合的日常動作、突發(fā)異常( 摔倒) 檢測方法。 利用人的姿態(tài)、姿態(tài)變化速率特征、人的位置變化特征表征人的運動狀態(tài)，通 過合成簡單的姿態(tài)事件并結(jié)合特征來表達(dá)具有復(fù)雜時空關(guān)系的運動事件。 4 、在智能空間技術(shù)平臺的支撐下，提出了一種新的基于場景信息的行為理 解方法。利用機(jī)器視覺技術(shù)，并結(jié)合家庭智能空間平臺提供的環(huán)境信息，實現(xiàn) 了正確理解人的意圖、準(zhǔn)確識別人的反常習(xí)慣行為和突發(fā)異常事件。首先利用 運動目標(biāo)檢測方法，提取運動人體在環(huán)境中的坐標(biāo)，然后結(jié)合場景劃分出不同 區(qū)域，建立人體在環(huán)境中的位置狀態(tài)關(guān)聯(lián)矩陣和時空關(guān)聯(lián)矩陣；通過馬爾科夫 模型統(tǒng)計出人體在空間中的位置狀態(tài)轉(zhuǎn)移概率矩陣及其狀態(tài)持續(xù)時間矩陣，構(gòu) 建日常行為模板。根據(jù)當(dāng)前行為與日常行為模板的相似度檢測反常習(xí)慣行為和 突發(fā)異常事件，并根據(jù)不同區(qū)域的行為模式分析人的意圖。實驗表明該方法在 實踐中可行，在意圖識別、異常行為理解方面有廣泛的應(yīng)用前景。 山東人學(xué)碩十學(xué)位論文 i i 5 、行為理解作為機(jī)器人獲取環(huán)境信息的一種方式，有其它傳感器無法比擬 的優(yōu)勢。本文的最后一節(jié)講述了基于觀察人行為的信息獲取模式在機(jī)器人導(dǎo)航 中的應(yīng)用，集中體現(xiàn)了智能空間系統(tǒng)的信息共享。 關(guān)鍵詞：家庭服務(wù)機(jī)器人，智能空間，運動人體檢測，動作識別，高層行 為理解，基于觀察人的信息獲取 n mi n c r e a s i n gd e v e l 。p m e n to f r o b o tt e c h n i q u e s m a k e np o s 曲m 嘶陽讎? d e v e l 。p r v i c c r o b o t s 蛋骶c i v i la p p l i c a t i 。i l s h u m a n b e h a v l o f r e c o g n i t i o n 1 s a p r e r e q 二s i t et 0r o b 。t s 撇m 。i i s s e r v i c e s h 。w e v e r ，h l h n a l lb e h a v i o r r e c o g n i t l o i 二，l s ：孟l e n g i i l g 州e c tb e c a u s c 。f m cv a r i e t y0 fh 眥a i l b e 州餌p a n c m 8 竺 c o m p l 咖。fm eb a c k g r 0 吼d 觚dm er o l i m i t e dc a p 撕夠缸髂嘟竺 c 二咖p 。w e r 咖，w e b u i l d 鋤a s s i s 伽tp l a t f o r m 汕l p 砒舢刪1 e t c s e r v ：c c 協(xié)豳i n t e l l i g c ms p a c et e c h n o l o g yi su s e d ，w h i c h i se x p e c t e dt 0h e l p 鰳n n c e r o b o t st ow o r ki nc o m p l e xe n v i r o n m e n t m o r ee a s i l ya n de 仃e 嘶e l y m a c v i s i o nt c 加l o g yc o m b i n e dw i t hi n t e l l i g e n ts p a c e 幽s 側(cè) i n0 r d e rt 0r e c 。薩i z e h l r n a nb e h a v i 。r a n dr e a l i z eh u m a i li i l t e n t i 。n l nh o 。n e e n v i r o n m e n t t h em a i n c o n t r i b u t i o n sa r e a sf o l l o w s ：。 1 f i r s t l y ，w ei n 仰d u c et h eg e n e r af r a m e w o r k f o rh u m a i lb 幽w 1 凹豫唑 趾d 刪y s i so f k e yt e 加l 。g i e s 撇，w e i n t r o d u c tt h ea s s i s 協(xié)tp l 砒f o m f o r b o t a n dd e s c r i b eh u m a n b e h a v i o rr e c o g n i t i o np l a n 2 h 啪a 1 1 枷。nd e t e m g i s t l l ep r i m a r ys t a g eo f h u m a i l 蝴灑礎(chǔ)c 。：0 1 1 i m p r o v eg m m b 砌刪o n d e t e c t i o na l g o r i t h m 必1 1 0 w s 岫m m 粵e ：舢n 三 r a t ew 硒a d o p tt 0i m p r o v et h ea c c u r a c y 。f b a c k g r o u n dm o d e l 1 1 1 ep 抓b k 舢d u p d a t e s t r a t e g y 棚i a b n t r s o 。d 舭u c d e di n t o t os l m c o v eb t a c k h e 伊p r 。o 吼d p l e m m t h 。d e a t l 。b m j e c t s g s m t o m p m m o o v t i i n 。g n t e m p o r a r i l ym a yb e a b s o f l ) e di i l t o l cb a c k 莎。眥l o l u 婀l “ 。：。 d e t e l c t i o na l 鯽也m 觚de d g e d i f f e r e n c ea l g 。r i 蜘w e r e c 。m b i n c d 幻代m 0 v e h r e a k i n qa n dh o l e si nt h ef o r e g r o u n d 3 。an o v e lm e m o di sp r 。p 。s e dt 0d e t e c th n a i ld a i l y a c t i v i t i e s 觚d 腳1o v e r b e h a v i 。r b a s e d 。nf e 黼s 錙0 n 刪o n s 眥d e s c r i b e d b ya 鰍甜p ? 舢懿刪 f e 狐l r e s 。fp o s t u r e sc h a n g ev e l o c i t y a n dp o s r i 。nc h a n g e s ，m 鼬s i m p l ep o s t u r e s e v e n t sa i l df e a t u r e sa r e c o m b i n e dt oe x p r e s sc o m p l e x h u m a n a c t m 骼州e n t s ，| 4 an o v e lm e t h o di sp r o p o s e di nt h i sp 印e r t o r e c o g n i z eh u m 舢e 叭甜b 冀陽 。ns c e n ek n 。w l e d g ei nt h ep l a t f o r m o fi n t e l l i g e n ts p a c e u 豇n gm a c m n ：v l s l 。： t e c h n o l 。g yc 。m b i n e d 謝t hi n t e l l i g e n t s p a c ei n f o r m a t i 。瑪w ec a l ld ，t c c t ，b n 鋤a l h a b i t sb e h a v i 。r 趾df e 批i m eu n e x p e c t e da c c i 觸，r e c o g n 汰脅州刪0 n f i r s t ， w ee x t r a c tt h el o c a t i 。n0 f t h eh 啪紐b o d y i nt h ee n v i r o n m e n tv i a m o t i o n 訾c t i o n ： t h e n , d u et od i f f e r e n ts c e n e r u l e sf o rd i f f e r e n tb e h a v i o r s ，w e d i 譏d e h e e n v l r 0 鯽蘭： i n t od i 仃盯e n ts 眥s 觚di n t r o d u c e 咖e 船e d m a t r i xa n ds t a t e - t 妣m a t n xt 。m 。d e l i i i 山東人學(xué)碩十學(xué)位論文 t h o s eb e h a v i o r s a tt h es a m et i m e ，t h es t a t et r a n s i t i o np r o b a b i l i t ya n di t sd u r a t i o n t i m ed i s t r i b u t i o na r eg o t t e nb a s e do nm a r k o vm o d e la st h eh u m a nd a i l yb e h a v i o r t e m p l a t e s a b n o r m a lb e h a v i o r sc a nb ef o u n db yc a l c u l a t i n gt h el i k e h o o do fc u r r e n t a c t sw i t hd a i l yt e m p l a t e s t h i sm e t h o dr e q u i r e sl o wc o m p u t a t i o nc o m p l e x i t yt h u sc a n b ew i d e l yu s e df o ra b n o r m a lb e h a v i o rd e t e c t i o na n dh u m a ni n t e n t i o nr e c o g n i t i o n 5 h u m a nb e h a v i o rr e c o g n i t i o na saw a yf o rr o b o tt oa c c e s st oe n v i r o n m e n t a l i n f o r m a t i o nh a v ei n c o m p a r a b l ea d v a n t a g e so v e ro t h e rs e n s o r si nt h ef i n a lc h a p t e r , h u m a nb e h a v i o ri n f o r m a t i o ni su s e di nr o b o t s n a v i g a t i n g ，w h i c he m b o d i e s i n f o r m a t i o ns h a r i n gc o n c e p ti ni n t e l l i g e n ts p a c es y s t e m k e y w o r d s ：h o m es e r v i c er o b o t s ；i n t e l l i g e n ts p a c e ；h u m a nm o t i o nd e t e c t i o n ； a c t i o nr e c o g n i t i o n ；h i g h - l e v e lb e h a v i o rr e c o g n i t o n ；i n f o r m a t i o na c q u i s i t i o nf o r r o b o t sb yh u m a nb e h a v i o rr e c o g n i t o n i v 原創(chuàng)性聲明 本人鄭重聲明：所呈交的學(xué)位論文，是本人在導(dǎo)師的指導(dǎo)下， 獨立進(jìn)行研究所取得的成果。除文中已經(jīng)注明引用的內(nèi)容外，本 論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫過的科研成果。 對本文的研究作出重要貢獻(xiàn)的個人和集體，均已在文中以明確方 式標(biāo)明。本聲明的法律責(zé)任由本人承擔(dān)。 論文作者簽名：查盈魚疊 e l 關(guān)于學(xué)位論文使用授權(quán)的聲明 本人完全了解山東大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，同意 學(xué)校保留或向國家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版， 允許論文被查閱和借閱；本人授權(quán)山東大學(xué)可以將本學(xué)位論文的 部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或 其他復(fù)制手段保存論文和匯編本學(xué)位論文。 ( 保密論文在解密后應(yīng)遵守此規(guī)定) 論文作者簽名：玨導(dǎo)師簽名：拓h 司；日期：丞寫乙碰 第1 章緒論 1 1 課題背景 隨著社會的進(jìn)步和科技的發(fā)展，智能的服務(wù)機(jī)器人日益受到人們的重視【l 】。 中華人民共和國國家統(tǒng)計局2 0 0 5 年全國1 抽樣調(diào)查報告顯示我國6 5 以上的人 口占總?cè)丝诘? 6 9 ，按照國際標(biāo)準(zhǔn)我國已經(jīng)進(jìn)入老年型社會。考慮我國人口 老齡化、空巢老人的社會問題和一大批行動不方便的殘疾人的需要，開發(fā)家庭 服務(wù)機(jī)器人很有必要。同時，研究智能的服務(wù)機(jī)器人也是我國科技發(fā)展的戰(zhàn)略 要求，機(jī)器人發(fā)展對我國的綜合國力，可持續(xù)發(fā)展具有深遠(yuǎn)的影響。服務(wù)機(jī)器 人成為8 6 3 計劃先進(jìn)制造技術(shù)領(lǐng)域中的一個重點研究項目得到了相當(dāng)?shù)闹匾暎?可見服務(wù)機(jī)器人有著廣闊的發(fā)展前景【2 】。 人的行為理解是服務(wù)機(jī)器人實現(xiàn)自主服務(wù)、人機(jī)交互的基礎(chǔ)，也是智能監(jiān) 控領(lǐng)域研究的重要課題。主動的識別、理解人的行為，對人的需求做出預(yù)測和 判斷，服務(wù)機(jī)器人就能主動的給人提供各種有用的信息和服務(wù)，對異常情況采 取實時的處理措施，可以避免危險情況的發(fā)生實現(xiàn)智能監(jiān)護(hù)。人的行為理解近 年來成為被廣泛關(guān)注的熱點，現(xiàn)有的行為理解可以分為基于視覺傳感器和基于 非視覺傳感器的行為理解。其中，基于非視覺的方式主要有兩種：一，在人身 上放置很多傳感器，利用傳感器傳回的數(shù)據(jù)來理解人的行為【3 】。這種在人體上 放置傳感器的方法，具有侵犯性，增加了人身體和心理的負(fù)擔(dān)，其應(yīng)用范圍非 常有限；二，在人活動的空間中安裝多個傳感器感知人的行為 4 1 ，這種方法無 法感知人的具體動作，同時增加了研究的成本。數(shù)據(jù)表明，人類約有7 5 的信 息來自于視覺，這些信息構(gòu)成了人類感知和理解環(huán)境的基礎(chǔ)，隨著機(jī)器視覺的 發(fā)展，人們越來越關(guān)注基于視覺信息的行為理解【5 。9 j 。 單獨依靠服務(wù)機(jī)器人自身所帶的視覺傳感器，視角較小，所能觀察到的范 圍窄，所能獲取的人體行為信息有限，同時機(jī)器人還要實時的完成自身的導(dǎo)航、 定位等功能，因而無法并行處理復(fù)雜的視覺行為理解以及基于行為理解的服務(wù) 任務(wù)。智能空間，作為一種新的技術(shù)，將機(jī)器人本體上需要攜帶的傳感設(shè)備分 布到環(huán)境中，有效的解決了許多機(jī)器人自身無法完成的工作，使得服務(wù)機(jī)器人 能夠借助智能空間的信息和工具更好的服務(wù)用戶。我們構(gòu)建的智能空間，采用 了知識分布和智能分布的思想，將多種傳感器設(shè)備分布于環(huán)境中并基于無線網(wǎng) 1 山東大學(xué)碩十學(xué)何論文 絡(luò)技術(shù)，使得機(jī)器人本身能夠“輕裝上陣”，利用環(huán)境中的信息，完成復(fù)雜環(huán)境 下人體行為識別以及各種服務(wù)任務(wù)。行為理解，作為一種信息獲取模式，又將 是對智能空間信息庫的一種補充，行為理解獲取的信息，將進(jìn)一步的用于服務(wù) 機(jī)器人對環(huán)境的認(rèn)知，從而真j 下的構(gòu)建了一個智能空間信息共享系統(tǒng)。本文研 究重點是家庭環(huán)境下人的行為理解。 1 2行為理解應(yīng)用及研究現(xiàn)狀 1 2 1 行為理解主要應(yīng)用 基于視覺人體檢測、運動分析以及行為理解在智能監(jiān)控、感知接口、體育 運動分析、動畫生成、人機(jī)交互、視頻會議、醫(yī)療診斷等方面具有廣闊的應(yīng)用 前景 8 , 1 0 , i i 】，因此它吸引了越來越多的研究者的興趣。 ( 1 ) 智能監(jiān)控( i n t e l l i g e n ts u r v e i l l a n c e ) 視覺監(jiān)控是計算機(jī)視覺領(lǐng)域的一個重要應(yīng)用方向。智能監(jiān)控主要來自于銀 行、停車場、商店、軍事基地等敏感場合的需求8 , 1 2 , 1 3 】。傳統(tǒng)意義上的視覺監(jiān)控 是指：在需要監(jiān)控的場合安裝上攝像機(jī)，保存攝像機(jī)輸出的結(jié)果，當(dāng)異常情況 發(fā)生的時，工作人員通過查看已經(jīng)保存的結(jié)果觀察已經(jīng)發(fā)生的事實。智能監(jiān)控 不僅用攝像機(jī)代替人眼，而且利用計算機(jī)分析攝像機(jī)獲得的數(shù)據(jù)，對異常情況 實時的做出反應(yīng)，代替或者輔助人完成監(jiān)視和控制任務(wù)。智能監(jiān)控具有實時的 分析能力，當(dāng)盜竊等異常行為發(fā)生時能夠向工作人員實時的發(fā)出報警信號，避 免了犯罪的發(fā)生，同時減少人力、物力、財力的投入。9 1 1 事件以后，人們反 恐意識不斷增強，基于視覺的智能監(jiān)控顯得尤為重要，各國紛紛將其列入重要 研究計劃。 ( 2 ) 高級感知接口( a d v a n c e dp e r c e p t u a li n t e r f a n c e s ) 我們希望與未來的機(jī)器人交流能夠像與人交流一樣容易、便捷，視覺信息 ( 手勢、頭部姿勢、面部表情) 為我們提供了更高級的人機(jī)交互接口。在場景 中安裝視覺傳感器，通過運動人體檢測、步態(tài)識別1 4 1 和面部識別，計算機(jī)可以 感知人的存在，并且識別人的身份；手勢分析【1 5 1 可以方便地給計算機(jī)下命令， 對人的行為分析，可以感知用戶的意圖，處理一些突發(fā)的異常情況，為機(jī)器人 更好的為人服務(wù)提供一個智能的交互接口。 ( 3 ) 運動分析( m o t i o n a n a l y s i s ) 2 第1 章緒論 在體育運動、舞蹈訓(xùn)練、醫(yī)療站起協(xié)助等領(lǐng)域中，我們往往需要知道人體 某個部分的關(guān)節(jié)運動，這就需要分析人體運動、解釋人體運動行為的機(jī)制，從 而對提高人體的運動性能起到積極的推動作用。在體育運動【1 6 】中，可以利用視 覺技術(shù)分析運動員的視頻序列，恢復(fù)運動員運動過程中的人體姿態(tài)和運動參數(shù)， 進(jìn)行科學(xué)分析，找出運動缺陷，為下次訓(xùn)練提供建議；醫(yī)學(xué)步態(tài)分析【1 7 , 1 s j 在 提供診斷和治療的支持，提供正常的步態(tài)模型，開發(fā)生物反饋系統(tǒng)分析病人步 態(tài)，分析腿部的畸變程度和受傷情況，從而做出積極的整形補償和有效的治療。 利用視覺分析人體腿部的關(guān)節(jié)力矩，開發(fā)更好的協(xié)助人站起的服務(wù)機(jī)器人平臺 1 1 9 1 o 1 2 2 行為理解研究現(xiàn)狀 鑒于人體行為理解具有廣泛的應(yīng)用前景和潛在的經(jīng)濟(jì)價值，從而激發(fā)了世 界上廣大科研工作者及相關(guān)商家的濃厚興趣。美國國防高級研究項目署設(shè)立了 以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視覺監(jiān)控重大項目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于戰(zhàn)場及普通民用場景進(jìn)行監(jiān) 控的自動視頻理解技術(shù)【2 0 l ；英國的雷丁大學(xué)機(jī)器視覺組開展的對車輛和行人的 跟蹤研究，提出了基于時間識別系統(tǒng)，對目標(biāo)的動態(tài)活動進(jìn)行了文字描述【2 l 】； 實時識別跟蹤人體運動，分析人是否攜帶物體、放置物體、交換物體等簡單行 為的4 w 系統(tǒng)【2 2 1 ，這里的w 4 是指：干什么( w h a t ) 、在哪里( w h e r e ) 、什么時候( w h e n ) 以及誰( w h o ) 。美國麻省理工大學(xué)【2 3 】的p e r s o nf i n d e r 系統(tǒng)，它在攝像機(jī)固定的情 況下，能實時地發(fā)現(xiàn)和跟蹤單人的任意運動。國內(nèi)發(fā)展比較前沿的主要是中國 科學(xué)院自動化研究所，清華大學(xué)的視覺研究組和微軟亞洲研究院視覺計算研究 組。中科院自動化研究所在運動檢測、人臉跟蹤、步態(tài)識別和人體跟蹤等方面 展開了研究，建立了相關(guān)的演示系統(tǒng)，并且申請了相關(guān)技術(shù)的專利【2 4 1 。清華大 學(xué)設(shè)計了一個智能教室系統(tǒng)【2 5 1 ，并提出了混合人體模型( 包括頭部，雙手以及雙 肘關(guān)節(jié)) ，通過p c h m m 來進(jìn)行動作識別，該系統(tǒng)可以識別教師從課桌上拿物體、 放回物體、指向?qū)W生、指向黑板及喝水等七個動作行為。微軟亞洲研究院視覺 計算研究組在人臉識別、指紋識別【2 6 】方面的研究處于國際領(lǐng)先水平，在人行為 識別與理解方面的進(jìn)展相對較小，這其中有機(jī)器視覺本身存在的固有原因，也 有今年來研究工作的側(cè)重點和方向問題。在學(xué)術(shù)方面，一些國際權(quán)威期刊如 i ij 爾大學(xué)碩十學(xué)位論文 p a m i ( p a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i j c v ( i n t e r n a t i o n a lj o u m a lo f c o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、i v c ( i m a g e a n dv i s i o nc o m p u t i n g ) 和重要的學(xué)術(shù)會議如c v p r ( c o m p u t e rv i s i o na n dp a t t e m r e c o g n i t i o n ) 、i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) 等將智能化 視頻監(jiān)控技術(shù)研究，尤其是人運動視覺分析作為主題內(nèi)容之一，這些期刊為該 領(lǐng)域的研究人員提供了更多的交流機(jī)會。 1 3行為理解相關(guān)技術(shù) 如何解決人體行為分析問題，往往隨著應(yīng)用領(lǐng)域而不同。實際的應(yīng)用系統(tǒng) 中由于不同的目的，需要獲取的運動信息隨之不同，從而解決的方法也不同， 存在著多種分類方法。 根據(jù)研究對象的不同，可以是人臉、手勢等小尺度的局部的行為識別，也 可以是大尺度的肢體、全身運動行為分析。前者，主要是識別特定的姿勢，并 以此來傳遞信息；后者，主要是獲得人體全局性的運動參數(shù)，并以此為基礎(chǔ)理 解人的行為。根據(jù)應(yīng)用場合的不同，可以分為監(jiān)控系統(tǒng)的行為分析和體育運動 中的行為分析。監(jiān)控系統(tǒng)中研究對象往往處于復(fù)雜的自然場景，所關(guān)注的一般 是人的整體行為與位置，不需要人體各個肢體部分的詳盡信息，研究的重點是 確定人體的位置、基本姿態(tài)，運動方向。體育運動分析中研究重點在于如何從 運動恢復(fù)人體結(jié)構(gòu)。根據(jù)采用攝像機(jī)的數(shù)目，可以分為基于單目的方法和基于 多目的方法。多目的方法可以獲得深度信息，但是需要復(fù)雜的標(biāo)定，往往需要 在實驗室下進(jìn)行。根據(jù)運動形式不同，可以分為一般的步行、跳躍、奔跑運動 以及特殊的體育運動。要提出一個一般的技術(shù)處理框架來容納所有的人體行為 類型、達(dá)到普遍的適用性還不現(xiàn)實。不同的行為，往往有不同的運動模式，從 中可以總結(jié)獲得不同的運動模型，這些運動模型可以在特殊的人體行為研究中 作為先驗知識，起到關(guān)鍵的指導(dǎo)作用。 從處理流程上劃分，人的行為分析可以分為底層視覺模塊、中層視覺模塊、 高層視覺模塊。本文將按照這個整體的處理流程，介紹其中涉及到的相關(guān)技術(shù)。 不同應(yīng)用場所的行為分析有不同的技術(shù)步驟，并不是所有的行為理解系統(tǒng)都包 括上面的三個層次，但是從整體來說，仍然可以在這個整體的技術(shù)框架下描述。 4 第1 章緒論 圖l - 1 行為理解的一般性框架 1 3 1 運動檢測 運動目標(biāo)檢測是目標(biāo)識別、跟蹤和行為理解等后續(xù)工作的重要基礎(chǔ)。運動 目標(biāo)檢測的成功與否直接關(guān)系到整個系統(tǒng)的性能，但是開發(fā)出適應(yīng)所有的場合 的檢測算法也是非常困難的。當(dāng)前運動目標(biāo)檢測方法有光流法( o p t i c a lf l o w ) 、時 間差分法( t e m p o r a ld i f f e r e n c e ) 和背景減除法( b a c k g r o u n ds u b t r a c t i o n ) 。 ( 1 ) 光流法【2 7 2 8 】 基于光流方法的運動檢測，是利用運動物體隨時間變化在圖像中表現(xiàn)為速 度場的特性，根據(jù)一定的約束條件估算出運動所對應(yīng)的光流。光流的概念是仿 照流體動力學(xué)產(chǎn)生的，它是與圖像的光強度變化緊密聯(lián)系在一起的二維速度場， 是三維空間運動物體的被觀測表面的像素點運動的瞬時速度場。光流中既包括 目標(biāo)的運動信息，同時也記錄了目標(biāo)的結(jié)構(gòu)信息。 總的來說，光流法的優(yōu)勢在于在無需預(yù)先知道場景的任何信息的情況下， 能檢測出獨立的運動目標(biāo)。無論是由運動目標(biāo)還是攝像機(jī)引起的運動，都可以 檢測出來。但是它易受噪聲、遮擋、陰影、光源等因素的影響，使得計算出的 光流場分布的可靠性和精確性降低，而且光流計算方法需要多次的迭代運算， 復(fù)雜的運算導(dǎo)致時間消耗比較大，沒有特殊的硬件支持下速度緩慢。當(dāng)只是需 要從靜止背景下提取運動目標(biāo)時，性價比不高，所以很少采用光流場方法進(jìn)行 運動檢測。 ( 2 ) 時間差分法【2 9 】 時間差分法的基本思路：利用連續(xù)的圖像序列前后幾個相鄰圖像之間，基 于像素的時間差分并且閾值化來提取出圖像中的運動區(qū)域。時間差分法本質(zhì)上 是背景減除法，它的背景參考圖像是當(dāng)前幀或前某幀。當(dāng)計算相鄰兩幀的差分 時，時間差分法又叫做幀間差分法( f r a m ed i f f e r e n c e ) 。在幀間差分法中，可以 選擇計算連續(xù)兩幀的差分，也可以計算三幀的差分。 時間差分法對于動態(tài)環(huán)境具有較強的適應(yīng)性，無需獲得背景圖像，但在目 l i j 爾大學(xué)碩十學(xué)位論文 標(biāo)運動比較緩慢時，差分后的運動目標(biāo)區(qū)域容易產(chǎn)生“空洞”，從而不能提取所 有相關(guān)的特征象素點。一種改進(jìn)的方法是利用三幀差分代替，或者使用自適應(yīng) 背景獲取法與三幀差分相結(jié)合的混合算法，或采用后處理的方法如形態(tài)濾波、 區(qū)域連通或參數(shù)模型的方法提取完整的運動目標(biāo)信息。 ( 3 ) 背景減除法【3 0 】 背景減除法是利用當(dāng)前圖像與背景圖像的差分來檢測運動目標(biāo)的技術(shù)?；?本原理是將當(dāng)前幀中的像素與背景模型中對應(yīng)位置的像素做差，將差值較大的 像素標(biāo)為前景像素，所有的前景像素構(gòu)成了運動目標(biāo)。 背景減除法是當(dāng)前檢測運動目標(biāo)最常用的方法。背景模型的建立和更新成 為了背景減除算法的核心問題。當(dāng)前最簡單易行的背景建模方法是時間平均法， 但它需要獲取一段沒有運動物體的視頻來訓(xùn)練初始背景，有一定的局限性。目 前大部分研究人員致力于開發(fā)魯棒的背景模型，希望能夠適應(yīng)多種場景下的擾 動，已有的背景模型包括單高斯背景模型【2 3 1 、混合高斯背景模型【3 1 1 以及自適應(yīng) 背景模型圈等。 1 3 2 人體檢測與跟蹤 1 3 2 1人體檢測 人體檢測在監(jiān)控系統(tǒng)智能化中起到“大腦”的作用，是監(jiān)控系統(tǒng)是否智能 化的主要的標(biāo)志之一。雖然人體檢測相當(dāng)重要，但是由于人體對象的顏色、紋 理的多樣性，姿態(tài)的不確定性以及視覺的不確定性，研究還處于探索階段，目 前還沒有形成一種統(tǒng)一、成熟的理論和技術(shù)，具有實用性能的產(chǎn)品更是非常罕 見。國內(nèi)大多數(shù)監(jiān)控系統(tǒng)都回避了人體檢測模塊或只是把它當(dāng)作一種輔助手段 提供給用戶，相比之下，國外這方面的成果多一些，但大部分研究也不單獨設(shè) 立人體檢測模塊，而是把它和目標(biāo)跟蹤一起組成專門的“人的跟蹤 模塊。人 體檢測的方法主要有： 1 己知背景模型特征情況下進(jìn)行的人體檢測。在己知背景模型下對運動目 標(biāo)檢測，利用形狀、運動信息分類出人體。例如，v s a m 3 3 】采用區(qū)域的分散度、 面積、寬高比等作為特征，利用三層神經(jīng)網(wǎng)絡(luò)方法將運動目標(biāo)劃分為人、人群、 車和背景干擾；c u t l e r 與d a v i s l 3 4 1 利用人體運動具有周期性特征，通過跟蹤感興 趣的運動目標(biāo)，計算出目標(biāo)隨著時間變化的自相關(guān)性，而人的周期性運動使得 6 第1 章緒論 其自相關(guān)性也是周期性的，因此通過時頻化的方法分析目標(biāo)是否存在周期性的 運動特性，將人檢測出來。對于已知背景模型的人體檢測問題，國內(nèi)外的研究 重點主要是怎么樣應(yīng)對光照變化以及人體重疊時的檢測問題。 2 利用統(tǒng)計學(xué)習(xí)的方法對人體進(jìn)行檢測。p o g g i o 3 5 1 教授將人體分為頭、左 臂、右臂、腿等不同的部分，然后通過大量的圖片作為訓(xùn)練樣本，利用s v m 的 方法對不同的樣本進(jìn)行學(xué)習(xí)，分別建立頭、左臂、右臂、腿四個不同的分類器， 然后運用這些統(tǒng)計分類器構(gòu)建一個聯(lián)合的s v m 分類器。應(yīng)用在人體姿態(tài)比較固 定( 都是正立姿態(tài)) 情況下，能夠得到較好的檢測結(jié)果。 3 利用人體模型進(jìn)行匹配的檢測方法是另外一種國際上較為流行的人體 檢測方法。由于基于統(tǒng)計學(xué)習(xí)的方法對于姿態(tài)各異的人體不能進(jìn)行很好的檢測， 很多研究者基于這個缺點，提出了另外一種基于模型的人體檢測方法。其本質(zhì) 在于為人體建立一個模型將人體看作是各個不同模塊組成的部分，然后再 利用算法將人體匹配到模型上，匹配得最好的結(jié)果，就是人體的最終檢測結(jié)果 3 6 1 。這種方法由于匹配算法過于復(fù)雜，在復(fù)雜背景下難以達(dá)到很好的檢測效果， 一般用于3 d 動畫、體育運動視頻分析中。 針對需要實時處理的任務(wù)要求，必須降低算法的復(fù)雜度。鑒于此，本文認(rèn) 為，充分利用運動檢測提取出來的二值圖像中的目標(biāo)區(qū)域的物理屬性及其運動 屬性，能夠大大降低人體識別的運算代價。 1 3 2 2運動人體跟蹤 跟蹤等價于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等 有關(guān)特征的對應(yīng)匹配問題，常用的數(shù)學(xué)工具有卡爾曼濾波 3 7 1 ( k a l m a nf i l t e r i n g ) ， 均值漂移算法【3 引( m e a ns h i f t ) ，粒子濾波算法也稱為蒙特卡洛方法( s e q u e n t i a l m o n t ec a r l om e t h o d s ) 3 9 ，4 川等。本文依據(jù)不同的跟蹤方法來加以分類介紹。 一、基于模型的跟蹤 基于模型的人體運動跟蹤方法【4 1 1 ，首先根據(jù)應(yīng)用的需要建立人體形狀模型， 然后在人體運動的跟蹤過程中，將模型投影到圖像空間中，通過某種評價方法 或函數(shù)，計算模型與實際圖像數(shù)據(jù)間的相似度。在模型的參數(shù)空間中，尋找參 數(shù)使得模型與實際圖像數(shù)據(jù)相吻合，當(dāng)相似度滿足某種標(biāo)準(zhǔn)后停止尋找過程， 就可以獲得人體運動姿態(tài)的參數(shù)。該過程實際上是一個合成、比較的循環(huán)過程。 包括模型的選取和基于模型的跟蹤兩個步驟。 7 山東人學(xué)碩十學(xué)位論文 二、基于特征的跟蹤 基于特征的跟蹤包括特征的選取和特征的對應(yīng)兩個過程。首先定義特征， 然后在連續(xù)幀間匹配特征完成跟蹤。常用特征點包括點、角點、邊緣、線、塊 以及更為復(fù)雜的結(jié)構(gòu)特征。簡單的特征易于提取和判別，但不利于跟蹤，復(fù)雜 的特征提取較為困難，但易于定位與跟蹤，隨著應(yīng)用領(lǐng)域的不同所選的特征往 往不同。p o l a n a 與n e l s o n 的文章就是一個很好的點特征跟蹤的例子【4 2 1 ，文中將 每個行人用一個矩形框封閉起來，封閉框的質(zhì)心被選擇作為跟蹤的特征，用以 代表人體的位置，前一幀的質(zhì)心位置被用于估計下一幀中人體質(zhì)心的位置。在 跟蹤過程中若兩人出現(xiàn)相互遮擋時，只要質(zhì)心的速度能被區(qū)分開來，跟蹤仍能 被成功地執(zhí)行。該方法的優(yōu)點是實現(xiàn)簡單，并能利用人體運動來解決遮擋問題， 但是它僅僅考慮了平移運動，如果結(jié)合紋理、彩色及形狀等特征可能會進(jìn)一步 提高跟蹤的魯棒性。 三、基于區(qū)域的跟蹤 基于區(qū)域的跟蹤方法目前已有較多的應(yīng)用，例如w r e n 等利用小區(qū)域特征 進(jìn)行室內(nèi)單人的跟蹤。文中將人體看作由頭、軀干、四肢等身體部分所對應(yīng)的 小區(qū)域塊所組成，利用高斯分布建立人體和場景的模型，屬于人體的像素被規(guī) 劃于不同的身體部分，通過跟蹤各個小區(qū)域塊來完成整個人的跟蹤?；趨^(qū)域 跟蹤的難點是處理運動目標(biāo)的影子和遮擋，這或許可利用彩色信息以及陰影區(qū) 域缺乏紋理的性質(zhì)來加以解決。 四、基于活動輪廓的跟蹤 基于活動輪廓的跟蹤是利用封閉的曲線輪廓來表達(dá)運動目標(biāo)1 4 3 1 ，且該輪廓 能夠自動連續(xù)地更新。相對于基于區(qū)域的跟蹤方法，輪廓表達(dá)有減少計算復(fù)雜 度的優(yōu)點，如果開始能夠合理地分開每個運動目標(biāo)并實現(xiàn)輪廓初始化，即使在 有部分遮擋存在的情況下也能連續(xù)地進(jìn)行跟蹤，然而初始化通常是很困難的。 1 3 3行為理解 行為理解( 也稱為行為識別) 屬于機(jī)器視覺中的高層處理階段，直接面向 應(yīng)用層次，是近年來被廣泛關(guān)注的研究熱點。行為理解問題可以簡單地看作是 時變特征數(shù)據(jù)的分類問題，即將測試序列與預(yù)先標(biāo)定的代表典型行為的參考序 列進(jìn)行匹配，其關(guān)鍵問題是如何從學(xué)習(xí)樣本中獲取參考行為序列以及如何度量 8 第1 章緒論 參考序列與測試序列之間的相似性。人體行為理解主要使用模板匹配法和狀態(tài) 空間法。 一、模板匹配方法 模板匹配方法先將圖像序列轉(zhuǎn)換為一組靜態(tài)形狀模式，然后從給定的序列 圖像中提取相關(guān)特征，并和預(yù)先存儲的行為模式進(jìn)行比較。例如b o b i c k 與 d a v i s 4 4 】采用運動能量圖像m e i ( m o t i o ne n e r g yi m a g e s ) 和運動歷史圖像m h i ( m o t i o nh i s t o r yi m a g e s ) 來解釋圖像序列中人的運動。序列中的運動圖像首先經(jīng) 差分運算并二值化，然后這些包含運動區(qū)域的二值化運動圖像隨著時間累加形 成m e i ，最后m e i 增強為m h i ，m h i 中每個像素的值與該位置的持續(xù)運動時 間成比例。每個行為由不同視角下圖像序列的m e i 和m h i 所組成，從m h i 圖 像中可以提取出基于矩的行為特征，采用馬氏距離度量測試序列與模板之間的 相似性。其優(yōu)點是計算代價低，但對運動持續(xù)時間的變化和噪聲比較敏感。 二、基于狀態(tài)空間的運動識別 狀態(tài)空間法把每一種靜態(tài)姿勢定義為一種狀態(tài)【4 5 1 ，這些狀態(tài)通過概率聯(lián)系 起來，由靜態(tài)姿勢所組成的任何運動序列可以看成是這些不同狀態(tài)之間的一次 遍歷過程，在遍歷過程中計算聯(lián)合概率并將最大值作為行為分類的標(biāo)準(zhǔn)。目前， 狀態(tài)空間模型已經(jīng)被廣泛地應(yīng)用于時間序列的預(yù)測、估計和檢測，最有代表性 的是h m m s 4 6 1 。狀態(tài)空間方法雖然能克服模板匹配的缺點，但通常涉及到復(fù)雜 的迭代運算。 近年來，采用狀態(tài)空間法開展人體行為識別的研究較多，但是越來越多的 研究者把目光投向了使用自然語言對人體的靜態(tài)姿勢定義，通過事件語義方式 識別行為。該方法通過合成簡單事件來自然地表達(dá)客觀世界中具有復(fù)雜時空關(guān) 系的一般事件，根據(jù)運動物體的屬性直接定義原子事件，具有連續(xù)性的一系列 原子事件形成了一個事件線程，定義為單線程組合事件。具有時間、空間以及 邏輯關(guān)系的一系列事件組合成為多線程事件。采用這種方法建立起一個透明的 層次事件結(jié)構(gòu)，這種層次化的事件結(jié)構(gòu)表達(dá)方式形成了事件的自然語言描述。 比如k o j i m a 等m 7 1 提出了一種新的方法，用于產(chǎn)生實時視頻圖像中人的行為的自 然語言描述：首先，從每幀圖像中提取出代表整個人體的頭部區(qū)域，并利用基 于模型的方法，估計其三維姿勢和位置。然后，這些參數(shù)軌跡被分解為單一運 動的基元，評估每個基元的諸如姿勢和位置的變化度、與環(huán)境中其它一些目標(biāo) 9 山東人學(xué)碩十學(xué)位論文 的相對距離等概念特征，并且選擇最合適的詞語和其它語義元素。最后，利用 機(jī)器翻譯技術(shù)，產(chǎn)生人行為描述的自然語言文本。 1 3 4 行為理解的難點 盡管近年來利用機(jī)器學(xué)習(xí)工具構(gòu)建人行為的統(tǒng)計模型、理解人行為的研究 有了一定的進(jìn)展，但由于動態(tài)場景中運動的快速分割、寬松的著裝、遮擋、陰 影和光照變化、運動的非剛性和高自由度、行為發(fā)生的場景和人運動的模糊性， 例如不同的運動場景，不同的運動形式等因素的影響，使得行為理解成為一個 復(fù)雜且極具挑戰(zhàn)性的任務(wù)。相對于檢測、跟蹤等技術(shù)的顯著發(fā)展，行為理解的 研究進(jìn)展比較緩慢。目前行為理解的研究仍處于初級階段，仍然集中在人體標(biāo) 準(zhǔn)姿勢 4 8 , 4 9 , 5 0 , 5 1 , 5 2 】、簡單行為的識別與理解5 3 , 5 4 】。從另一個角度看，由于行為理 解廣泛的應(yīng)用前景，在不久的將來，行為理解技術(shù)將深入到我們生活的各個領(lǐng) 域，極大地提高我們的生活水平。 1 4智能空間技術(shù) 家庭服務(wù)機(jī)器人自身的感知和計算能力有限，難以實時的完成家庭環(huán)境下 行為理解任務(wù)，借助智能空間技術(shù)則能夠使得家庭服務(wù)機(jī)器人的感知能力和計 算能力得到了極大的外延。1 9 9 6 年日本東京大學(xué)的h a s h i m o t o 實驗室率先提出 了“智能空間”的概念，它將p c 機(jī)、c c d ( c h a r g ec o u p l e dd e v i c e ) 攝像機(jī)、麥 克風(fēng)、顯示器等設(shè)備通過網(wǎng)絡(luò)連接到一塊，構(gòu)建出了智能空間【5 引。 智能空間的建立主要是通過在室內(nèi)環(huán)境安放傳感器、服務(wù)p c 機(jī)、可觸摸顯 示器、網(wǎng)絡(luò)系統(tǒng)以及數(shù)據(jù)庫等軟硬件設(shè)施，使普通的室內(nèi)環(huán)境具備觀測能力并 能夠為服務(wù)機(jī)器人下達(dá)命令，使機(jī)器人準(zhǔn)確進(jìn)行導(dǎo)航、定位工作，同時完成抓 取、運送等各種家政服務(wù)岡。在智能空間的支持下，服務(wù)機(jī)器人能在未知或半 未知的動態(tài)環(huán)境中，自主的連續(xù)長時間穩(wěn)定的進(jìn)行家政服務(wù)工作，同時能夠完 成對需要服務(wù)的用戶進(jìn)行監(jiān)護(hù)和交流及時為其提供所需的服務(wù)。 目前國際上對智能空間的研究開展的相當(dāng)廣泛，如麻省理工學(xué)院人工智能 實驗室( m i ta il a b ) 的i n t e l l i g e n tr o o m 、斯坦福( s t a n f o r d ) 大學(xué)的i n t e r a c t i v e w o r k s p a c e 等。智能空間思想應(yīng)用廣泛，但根據(jù)目前的資料表明，服務(wù)機(jī)器人的 研究過程少有采用智能空間技術(shù)，因此本文提出將智能空間思想應(yīng)用于服務(wù)機(jī) 器人系統(tǒng)【5 6 1 ，研究在智能空間平臺的支持下，識別人的行為，引導(dǎo)服務(wù)機(jī)器人 l o 第1 蘋緒論 完成服務(wù)任務(wù)，同時通過觀察人的行為使得機(jī)器人獲得更多的環(huán)境的信息。 1 5本文主要研究工作 本文針對家庭環(huán)境中的人的行為理解問題進(jìn)行了研究，家庭環(huán)境下行為理 解問題被定義為“利用計算機(jī)視覺技術(shù)結(jié)合智能空間信息系統(tǒng)的數(shù)據(jù)庫、知識 庫對人的行為和意圖進(jìn)行分析。本文所做的工作及研究成果如下： 1 ) 闡述行為理解的一般性框架，分析行為理解過程中涉及的技術(shù)。介紹 了本文的實驗平臺，并提出了適用于本文的家庭監(jiān)護(hù)系統(tǒng)的行為理解 方案。 2 _ ) 運動人體檢測是行為理解初級階段需要解決的問題，對基于g m m 運 動檢測算法進(jìn)行改進(jìn)，在背景初始化階段采用動態(tài)學(xué)習(xí)率，提高了背 景模型的準(zhǔn)確性。在背景更新階段提出基于區(qū)域的背景更新策略，利 用人體檢測的結(jié)果指導(dǎo)背景重建，使得復(fù)雜形式的人體運動不被背景 吸收。針對復(fù)雜環(huán)境人體檢測的斷裂、孔洞的影響，提出將基于g m m 的運動檢測算法與邊緣差分相結(jié)合的運動檢測算法。 3 ) 提出復(fù)雜環(huán)境下基于特征融合的日常動作、突發(fā)異常( 摔倒) 檢測方 法。利用人的姿態(tài)，姿態(tài)變化速率特征、人的位置變化特征表征人的 運動狀態(tài)，通過合成簡單的姿態(tài)事件并結(jié)合特征來表達(dá)具有復(fù)雜時空 關(guān)系的運動事件。 4 ) 提出利用智能空間信息的行為理解的框架。主要內(nèi)容包括運動人體在 室內(nèi)定位；提出通過建立人體在場景中和物品區(qū)域位置關(guān)系的位置關(guān) 聯(lián)矩陣以及時間上的時空關(guān)聯(lián)矩陣分析人的意圖、理解人的行為習(xí)慣 的方法。實驗表明該方法在實踐中具有可行性，在意圖識別、異常行 為理解方面有廣泛的應(yīng)用前景。 5 ) 人的行為理解利用了智能空間的信息，同時行為理解的結(jié)果也是對智 能空間信息的補充，在本文的最后一節(jié)講述了基于觀察人行為的信息 獲取模式在機(jī)器人導(dǎo)航中的應(yīng)用。 1 6 本文結(jié)構(gòu) 第1 章，簡介論文。介紹了論文的研究背景、研究現(xiàn)狀，行為理解的一般 性處理流程以及涉及的相關(guān)技術(shù)。 l j i 東人學(xué)碩+ 學(xué)位論文 第2 章，給出了本文的總體技術(shù)框架，主要包括家庭助理機(jī)器人綜合實驗 平臺的介紹和家庭環(huán)境下行為理解系統(tǒng)的整體設(shè)計。 第3 章，提出改進(jìn)的基于g m m 背景模型的運動人體檢測算法，檢測家庭 環(huán)境下的運動人體。 第4 章，提出了一種基于多特征融合的動作識別方法。采用分層的運動識 別模型，簡化動作識別的過程，識別系統(tǒng)架構(gòu)便于擴(kuò)展。 第5 章，提出基于智能空間的高層行為識別方法，同時，在最后一節(jié)介紹 了行為理解信息在機(jī)器人獲取環(huán)境信息中的應(yīng)用。 1 2 第6 章，對整個論文進(jìn)行了總結(jié)，給出下一步研究內(nèi)容。 第2 章系統(tǒng)技術(shù)框架 本文要實現(xiàn)的目的是家庭助理機(jī)器人為人提供智能服務(wù)，研究的重點是人 的行為的理解。本章首先介紹了“以人為中心”家庭助理機(jī)器人綜合平臺的搭 建，然后闡述了在此平臺下的行為理解框架，最后引入了行為理解與家庭助理 機(jī)器人綜合平臺的信息交互，即基于行為理解的家庭助理機(jī)器人綜合平臺信息 獲取。 2 1 家庭助理機(jī)器人綜合平臺 本節(jié)將討論家庭助理機(jī)器人綜合平臺的系統(tǒng)結(jié)構(gòu)設(shè)計，包括設(shè)計原則、硬 件體系結(jié)構(gòu)