開題報告_論文.doc

上海大學研究生學位論文開題報告嵌入式計算機視覺系統(tǒng)對自然場景理解方法研究 指導老師 宋進 姓 名 李賠龍 學 號 09721169 專 業(yè) 機械制造及其自動化 類 別 碩 士 日 期 2011年01月 10日 12目錄1計算機視覺與圖像理解11.1計算機視覺的定義11.2計算機視覺的原理及解析21.3圖像理解和自然場景認知32本文的研究目的，背景和意義42.1研究目的42.2研究背景及技術(shù)發(fā)展趨勢42.3技術(shù)發(fā)展趨勢62.4研究意義62.4.1理論意義62.4.2實踐意義73主要研究內(nèi)容及理論創(chuàng)新73.1DSP嵌入式實驗平臺的搭建73.2課題解決的核心問題及難點93.3理論創(chuàng)新點94預期困難及達到結(jié)果105參考文獻：11嵌入式計算機視覺系統(tǒng)對自然場景理解方法研究摘要：21世紀隨著移動機器人技術(shù)的迅猛發(fā)展，機器人要想發(fā)揮更大的作用，從室內(nèi)結(jié)構(gòu)化環(huán)境走向室外自然環(huán)境，機器人導航成為重點要解決的的問題。然而導航本身是一個很龐大的課題，涉及到多種關鍵技術(shù)。機器人能否像人類一樣感知環(huán)境并作出正確的理解與判斷將成為導航技術(shù)成敗的關鍵。環(huán)境感知是機器人進行決策規(guī)劃的基礎，環(huán)境感知能力的強弱直接影響機器人的控制決策能力。如何提高機器人對外界環(huán)境的感知理解能力是智能機器人研究中非常重要的課題，本課題從圖像理解的角度入手，依托嵌入式DSP系統(tǒng)，研究算法重點解決自然場景的理解與感知問題，為機器人從室內(nèi)走向室外，為機器人的導航做準備。關鍵詞：計算機視覺；嵌入式DSP系統(tǒng)；圖像理解；1 計算機視覺與圖像理解1.1 計算機視覺的定義計算機視覺是一門研究如何使機器“看”的科學，更進一步的說，就是是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺，并進一步做圖形處理，用電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科，計算機視覺研究相關的理論和技術(shù)，試圖建立能夠從圖像或者多維數(shù)據(jù)中獲取信息的人工智能系統(tǒng)。這里所 指的信息指Shannon定義的，可以用來幫助做一個“決定”的信息。因為感知可以看作是從感官信號中提 取信息，所以計算機視覺也可以看作是研究如何使人工系統(tǒng)從圖像或多維數(shù)據(jù)中“感知”的科學。計算機視覺是使用計算機及相關設備對生物視覺的一種模擬。它的主要任務就是通過對采集的圖片或視頻進行處理以獲得相應場景的三維信息，就像人類和許多其他類生物每天所做的那樣。計算機視覺既是工程領域，也是科學領域中的一個富有挑戰(zhàn)性重要研究領域。計算機視覺是一門綜合性的學科，它已經(jīng)吸引了來自各個學科的研究者參加到對它的研究之中。其中包括計算機科學和工程、信號處理、物理學、應用數(shù)學和統(tǒng)計學，神經(jīng)生理學和認知科學等。1.2 計算機視覺的原理及解析計算機視覺就是用各種成象系統(tǒng)代替視覺器官作為輸入敏感手段，由計算機來代替大腦完成處理和解釋。計算機視覺的最終研究目標就是使計算機能象人那樣通過視覺觀察和理解世界，具有自主適應環(huán)境的能力。要經(jīng)過長期的努力才能達到的目標。因此，在實現(xiàn)最終目標以前，人們努力的中期目標是建立一種視覺系統(tǒng)，這個系統(tǒng)能依據(jù)視覺敏感和反饋的某種程度的智能完成一定的任務。例如，計算機視覺的一個重要應用領域就是自主車輛的視覺導航，目前還沒有條件實現(xiàn)象人那樣能識別和理解任何環(huán)境，完成自主導航的系統(tǒng)。因此，目前人們努力的研究目標是實現(xiàn)在高速公路上具有道路跟蹤能力，可避免與前方車輛碰撞的視覺輔助駕駛系統(tǒng)。這里要指出的一點是在計算機視覺系統(tǒng)中計算機起代替人腦的作用，但并不意味著計算機必須按人類視覺的方法完成視覺信息的處理。計算機視覺可以而且應該根據(jù)計算機系統(tǒng)的特點來進行視覺信息的處理。但是，人類視覺系統(tǒng)是迄今為止，人們所知道的功能最強大和完善的視覺系統(tǒng)。如在以下的章節(jié)中會看到的那樣，對人類視覺處理機制的研究將給計算機視覺的研究提供啟發(fā)和指導。因此，用計算機信息處理的方法研究人類視覺的機理，建立人類視覺的計算理論，也是一個非常重要和信人感興趣的研究領域。這方面的研究被稱為計算視覺（Computational Vision）。計算視覺可被認為是計算機視覺中的一個研究領域。視覺是各個應用領域，如制造業(yè)、檢驗、文檔分析、醫(yī)療診斷，和軍事等領域中各種智能自主系統(tǒng)中不可分割的一部分。由于它的重要性，一些先進國家，例如美國把對計算機視覺的 圖1 計算機視覺與其他領域的關系研究列為對經(jīng)濟和科學有廣泛影響的科學和工程中的重大基本問題，即所謂的重大挑戰(zhàn)（grand challenge）。計算機視覺的挑戰(zhàn)是要為計算機和機器人開發(fā)具有與人類水平相當?shù)囊曈X能力。機器視覺需要圖象信號，紋理和顏色建模，幾何處理和推理，以及物體建模。一個有能力的視覺系統(tǒng)應該把所有這些處理都緊密地集成在一起。作為一門學科，計算機視覺開始于60年代初，但在計算機視覺的基本研究中的許多重要進展是在80年代取得的。計算機視覺與人類視覺密切相關，對人類視覺有一個正確的認識將對計算機視覺的研究非常有益。為此我們將先介紹人類視覺。 人類正在進入信息時代，計算機將越來越廣泛地進入幾乎所有領域。一方面是更多未經(jīng)計算機專業(yè)訓練的人也需要應用計算機，而另一方面是計算機的功能越來越強，使用方法越來越復雜。這就使人在進行交談和通訊時的靈活性與目前在使用計算機時所要求的嚴格和死板之間產(chǎn)生了尖銳的矛盾。人可通過視覺和聽覺，語言與外界交換信息，并且可用不同的方式表示相同的含義，而目前的計算機卻要求嚴格按照各種程序語言來編寫程序，只有這樣計算機才能運行。為使更多的人能使用復雜的計算機，必須改變過去的那種讓人來適應計算機，來死記硬背計算機的使用規(guī)則的情況。而是反過來讓計算機來適應人的習慣和要求，以人所習慣的方式與人進行信息交換，也就是讓計算機具有視覺、聽覺和說話等能力。這時計算機必須具有邏輯推理和決策的能力。具有上述能力的計算機就是智能計算機。智能計算機不但使計算機更便于為人們所使用，同時如果用這樣的計算機來控制各種自動化裝置特別是智能機器人，就可以使這些自動化系統(tǒng)和智能機器人具有適應環(huán)境和自主作出決策的能力。這就可以在各種場合取代人的繁重工作，或代替人到各種危險和惡劣環(huán)境中完成任務。1.3 圖像理解和自然場景認知圖像理解（image understanding, IU）就是對圖像的語義理解。它是以圖像為對象，知識為核心，研究圖像中有什么目標、目標之間的相互關系、圖像是什么場景以及如何應用場景的一門學科。圖像理解屬于數(shù)字圖像處理的研究內(nèi)容之一，屬于高層操作。其重點是在圖像分析的基礎上進一步研究圖像中各目標的性質(zhì)及其相互關系，并得出對圖像內(nèi)容含義的理解以及對原來客觀場景的解釋，進而指導和規(guī)劃行為。圖像理解所操作的對象是從描述中抽象出來的符號，其處理過程和方法與人類的思維推理有許多相似之處。 詞條圖冊更多圖冊給定一幅圖象，圖象理解程序不僅描述圖象本身，而且描述和解釋圖象所代表的景物，以便對圖象代表的內(nèi)容作出決定。在人工智能視覺研究的初期經(jīng)常使用景物分析這個術(shù)語，以強調(diào)二維圖象與三維景物之間的區(qū)別。圖象理解除了需要復雜的圖象處理以外還需要具有關于景物成象的物理規(guī)律的知識以及與景物內(nèi)容有關的知識。在建立計算機視覺系統(tǒng)時需要用到上述學科中的有關技術(shù)，但計算機視覺研究的內(nèi)容要比這些學科更為廣泛。計算機視覺的研究與人類視覺的研究密切相關。為實現(xiàn)建立與人的視覺系統(tǒng)相類似的通用計算機視覺系統(tǒng)的目標需要建立人類視覺的計算機理論。從認知論的角度來考慮,為了能夠?qū)ψ匀粓鼍暗恼w或各局部區(qū)域進行有效理解,首先必須對場景進行有效的描述,其中特征選擇是其重要環(huán)節(jié)之一.對于室內(nèi)結(jié)構(gòu)化環(huán)境常常用邊緣、角點特征加以描述,而對于室外的自然場景,由于區(qū)域的模糊性往往無法找到類似的規(guī)則化特征,因此特征的選擇對自然場景的描述至關重要.采用顏色均值、顏色直方圖以及紋理等分層變長特征來表征不同地表物質(zhì).然而實際環(huán)境中顏色易受光照強度的影響,紋理易受尺度的影響,所以都不適用于復雜多變的自然環(huán)境.受生物視覺系統(tǒng)的啟發(fā),生物視覺皮層上的V1細胞具有類似Gabor濾波器和高斯拉普拉斯濾波器的作用,即該類細胞可將視覺信號分解為基頻信號分量的線性組合,由此得到的Texton特征在處理自然圖像上較為常用.采用局部描述符進行移動機器人室外自定位和地理信息識別,這些特征對環(huán)境的尺度、平移、旋轉(zhuǎn)變換均具有較好的不變性.Lowe受生物視覺模型啟發(fā)得到尺度不變描述符SIFT.該模型基于一種復雜的視覺神經(jīng)細胞,認為該細胞對場景中特定取向和空間頻率的梯度信息敏感,這種信息代表著某一場景的不變量,而SIFT正是對該不變量的描述.Serre等受生物視覺皮質(zhì)組織機理的啟發(fā)給出復雜度漸增的生物學新特征,該特征可更有效應用于大尺度自然場景圖像的辨識和理解.其次從認知的層次上看,Marr在他開創(chuàng)性的著作中給出了視覺理解過程的三個階段,即提取角點、邊緣、紋理等基本特征;獲取場景可見部分深度、法線方向和輪廓等信息;恢復、表示和識別三維物體.早期人們認為對場景的理解過程首先是對場景中各物體的識別,然后才是對場景整體的認識,即自下而上的過程.然而近年來認知領域的發(fā)展對這一問題有了新認識,人們只需少量的信息即可快速對場景做出判斷.如當看到樹木及灌木,即可做出森林場景的判斷.Li等指出人們可以快速理解未知場景而無需對場景中的物體進行仔細辨識.Oliva等和Greene等給出了場景的全局描述特征,可對多場景進行分類辨識.同時選擇性注意機制模擬生物的視覺功能,為解決大數(shù)據(jù)量的計算,提高系統(tǒng)實時性提供了新的思路.2 本文的研究目的，背景和意義2.1 研究目的21世紀隨著移動機器人技術(shù)的迅猛發(fā)展，機器人要想發(fā)揮更大的作用，從室內(nèi)結(jié)構(gòu)化環(huán)境走向室外自然環(huán)境，機器人導航成為重點要解決的的問題。然而導航本身是一個很龐大的課題，涉及到多種關鍵技術(shù)。機器人能否像人類一樣感知環(huán)境并作出正確的理解與判斷將成為導航技術(shù)成敗的關鍵。環(huán)境感知是機器人進行決策規(guī)劃的基礎，環(huán)境感知能力的強弱直接影響機器人的控制決策能力。如何提高機器人對外界環(huán)境的感知理解能力是智能機器人研究中非常重要的課題。2.2 研究背景及技術(shù)發(fā)展趨勢目前視覺場景理解還沒有嚴格統(tǒng)一的定義.參考麻省理工、斯坦福等大學的國際名科研團隊的研究工作,視覺場景理解可表述為在環(huán)境數(shù)據(jù)感知的基礎上,結(jié)合視覺分析與圖像處理識別等技術(shù)手段,從計算統(tǒng)計、行為認知以及語義等不同角度挖掘視覺數(shù)據(jù)中的特征與模式,從而實現(xiàn)場景有效分析、認知與表達.近年來結(jié)合生物認知特征和統(tǒng)計建模方法構(gòu)建的視覺場景認知理解系統(tǒng),為室外場景辨識和物體識別提供了新的解決方案. 從20世紀70年代開始，美國、英國、德國等發(fā)達國家開始進行智能車輛的研究，目前在可行性和實用化方面都取得了突破性的進展。其中最具代表性的是由美國國防高級研究計劃局(Defence Advanced Research Projects Agency, DARPA)主辦的野外無人車挑戰(zhàn)賽，參賽無人車在室外復雜場景下通過圖象理解等技術(shù)深層感知環(huán)境并能夠穩(wěn)定運行推動了自然場理解在實際平臺上的技術(shù)轉(zhuǎn)化. 通用汽車和卡內(nèi)基梅隆大學（Carnegie Mellon University）的研究者正在合作開發(fā)無人駕駛車，并希望在2018年前投入市場。車輛無人駕駛技術(shù)的優(yōu)點是使出行更安全（因為去除了人為失誤因素）、緩解交通壓力、并減少環(huán)境污染。美國的“勇氣號”和“機遇號”火星探測車，其中利用視覺系統(tǒng)理解機器人周圍的場景然后通過控制系統(tǒng)做出路徑的規(guī)劃，實施導航，成功實現(xiàn)火星表面的行走，為人類探測火星資源做出了重要貢獻。以上案例無不用到視覺系統(tǒng)的環(huán)境理解感知技術(shù)，其核心問題是圖象理解。我國從20世紀80年代開始進行無人駕駛汽車的研究，國防科技大學在1992年成功研制出我國第一輛真正意義上的無人駕駛汽車。 2005年，首輛城市無人駕駛汽車在上海交通大學研制成功，該車有望于兩年之內(nèi)率先在上海世紀公園進行示范運營，并在2010年世博會上一展身手。到時游客只需在公園的入口處按下一個按鈕，一輛沒有司機的四座敞篷汽車就會從遠處開過來緩緩停下，然后搭載著乘客前往他們想去的景點。通過以上調(diào)研可以知以視覺系統(tǒng)為基礎的場景理解技術(shù)是未來智能車，機器人發(fā)展的重要方向和關鍵技術(shù)之一，本課題從大量調(diào)研的基礎上出發(fā)，以現(xiàn)有的實驗平臺和條件為基礎，重點放在機器人對周圍環(huán)境中目標（如車輛行人等動態(tài)目標）的識別及簡單的場景分類描述上。就當前總體研究現(xiàn)狀來看,所發(fā)表的研究成果大多是針對算法的研究,而能在實際自然場景中加以驗證的研究結(jié)果則相對有限.因此要使該領域研究工作真正面向?qū)嵱没?特別要著重考慮如下研究重點:1)多種傳感器的協(xié)同工作.如何協(xié)調(diào)視覺、激光測距等不同傳感器之間的工作,以及在不同層次上對多源傳感器數(shù)據(jù)進行融合,是確保移動機器人在室外自然場景中高效穩(wěn)定工作的關鍵.利用激光測距所構(gòu)建的野外環(huán)境模型雖然可提供典型地形環(huán)境特征,但由于對有遮擋的環(huán)境(灌木、草叢等)以及地表硬度狀況(沙土、砂石、水面、淤泥等)的分析能力有限,這就需要引入視覺傳感器來加強對特定環(huán)境的深度判斷與理解.視覺傳感器很容易區(qū)分在高程圖上很相似的自然場景,可避免“漏報”(如只根據(jù)測距信息將沼澤地歸屬到安全區(qū)域)和“誤報”(如將高草叢歸屬到危險區(qū)域)現(xiàn)象的發(fā)生.2)系統(tǒng)的集成與優(yōu)化.為了充分發(fā)揮視覺系統(tǒng)的功能,需要有效地對視覺系統(tǒng)的各子模塊加以組合,這就是系統(tǒng)集成問題.這些模塊具體包括實時圖像處理模塊、自學習模塊、知識庫模塊以及算法控制策略模塊等.顯然,即使各子模塊的功能很強,但如果沒有一個好的系統(tǒng)架構(gòu)加以組織,系統(tǒng)的整體功能也無法優(yōu)于各子模塊的功能.比如一個易擴展、易更新的全局知識結(jié)構(gòu)要求對內(nèi)具有高的內(nèi)聚性,對外具有簡單易訪問的接口,這樣可以方便地為整個系統(tǒng)所利用,從而提高系統(tǒng)的穩(wěn)定性.系統(tǒng)集成問題可以從軟件工程的角度加以考慮,所以利用軟件工程學為視覺系統(tǒng)設計良好的架構(gòu)也是該領域研究的重點.4)系統(tǒng)實時性能的保證.這需要從系統(tǒng)實用性的角度加以研究.現(xiàn)實中只將場景分割為沒有形成語義信息的不同區(qū)域,這對移動機器人的規(guī)劃與導航是毫無用處的.所以將分割和辨識技術(shù)相結(jié)合,并同時采用不同算法控制策略快速地對場景本身或感興趣區(qū)域進行劃分,這才是實際應用中迫切需要解決的問題.雖然國內(nèi)外很多學者對相關問題進行了長期研究,但如何兼顧場景理解的實時性與辨識效果,從而提高系統(tǒng)的實用性仍是一大難點.而圖形處理器單元(Graphic processing unit, GPU)的使用以及分布式計算技術(shù)的運用,往往為提高系統(tǒng)的實時性提供輔助手段.5)系統(tǒng)對環(huán)境中不確定因素的適應.環(huán)境中的不確定因素主要包括:場景中同類物體間辨識的模糊性及不同類物體間辨識的混疊性;移動機器人運動所引起的幀抖動問題;場景整體理解的不確定性等.為了克服上述困難,往往采用場景多尺度表達、多層次特征聯(lián)合建模、圖像變換、幀間冗余信息處理等技術(shù)手段.但由于缺少統(tǒng)一的解決框架,使得該問題成為移動機器人自然場景理解研究的技術(shù)難點,同時也是該領域未來發(fā)展亟待解決的關鍵問題.6)融入視覺注意機制的場景分析辨識.視覺注意可分為三種類型:第一類是基于初級視覺,由數(shù)據(jù)驅(qū)動的自底向上的注意,其中最具代表性的是高斯金字塔模型.但大多數(shù)模型只考慮了顯著區(qū)域的局部特性,沒有考慮整幅圖像的整體統(tǒng)計特性.第二類是基于高層視覺,與任務、知識等相關的自頂向下的注意.相比于第一類,此類研究較少.較具有代表性的模型有神經(jīng)網(wǎng)絡模型、統(tǒng)計貝葉斯模型、馬爾可夫模型、任務導向模型等.第三類是自底向上和自頂向下處理過程的統(tǒng)計結(jié)合,但目前感知模型對自頂向下和自底向上的視覺注意之間的關系缺乏明確的計算理解,有待于進一步的研究和建立完整合理的基于注意機制的神經(jīng)計算理論框架.2.3 技術(shù)發(fā)展趨勢由于室外自然場景所具有的非結(jié)構(gòu)化與不確定性特點,與傳統(tǒng)的視覺系統(tǒng)相比,室外基于視覺的移動機器人系統(tǒng)更要著重考慮運動狀態(tài)下對環(huán)境的自適應性.相關領域的新技術(shù)和新思路也不斷涌現(xiàn),以下幾點是對該領域技術(shù)發(fā)展趨勢的展望:1)視頻理解技術(shù).圖像區(qū)域標記方法僅針對圖像集中的單幅靜態(tài)圖像,并且圖像之間沒有相互關聯(lián).而室外移動機器人所要處理的自然場景圖像不僅是場景視頻中的某一幀,而且各視頻幀之間有很高的相關性,因此如何利用幀間相關信息來改善場景辨識效果,從而提高區(qū)域標記的實時性是基于單幅圖像處理所無法實現(xiàn)的.Brostow等給出了第一個高標準標記的參考視頻庫CamVid.使用該視頻數(shù)據(jù)庫,從攝像機自運動(Ego-motion)過程所獲得的三維點云數(shù)據(jù)中提取場景低維結(jié)構(gòu)特征向量,并將其投影到二維圖像平面,進而采用訓練過程中得到的隨機決策樹來辨識二維場景圖像中的物體.由于算法沒有使用基于外觀的描述符(如顏色、紋理等),所以對場景的尺度、天氣、光線變化有很強的適應性,同時系統(tǒng)也具有高的實時性.基于場景運動特征的方法從另一個角度來分析處理場景視頻,使得該研究方法成為視頻分析與辨識研究領域的一個新熱點.2)動態(tài)知識結(jié)構(gòu).移動機器人實際運行前要經(jīng)過費時的訓練或者憑借經(jīng)驗來構(gòu)建規(guī)模龐大的知識體系結(jié)構(gòu),這種知識庫所包含的信息相對固定,往往不易于更新.這一缺點使系統(tǒng)無法適應超出訓練集以外或各種非經(jīng)驗情況下環(huán)境信息的改變.而構(gòu)建系統(tǒng)動態(tài)知識結(jié)構(gòu)的目的在于選擇良好的知識表達,如何將顯式知識結(jié)構(gòu)和隱式知識模型相結(jié)合,進而建立優(yōu)良的知識框架,使得移動機器人可以與視覺信息相配合,有選擇地更新已有知識信息,從而確保系統(tǒng)實際運行的穩(wěn)定性和可靠性.3)對場景信息的自學習.如何通過自學習使機器人能夠?qū)Νh(huán)境實現(xiàn)自主適應是非常具有挑戰(zhàn)性的研究問題,而將不同的機器學習方法與視覺處理方法相融合正成為該領域的一大發(fā)展趨勢.現(xiàn)有的與視覺相結(jié)合的學習方法都有一定的局限性,如有監(jiān)督學習算法無法對場景進行在線學習;半監(jiān)督學習算法雖然減少了離線的訓練量,但是算法往往不穩(wěn)定;自監(jiān)督學習也只是針對穩(wěn)定的感興趣區(qū)域進行辨識.如何通過在線學習機制對自然場景進行深度理解仍然是急需解決的熱點和難點問題.4)認知學新特征與場景表達的融合.通過借鑒生物視覺模型,可將場景表達與來自認知學新視覺特征進行融合,為場景辨識提供一種新的技術(shù)手段.由于傳統(tǒng)的圖像分割和分類方法較耗時,同時所選用的特征也易受室外隨機因素的影響,所以從另一個角度來認識該問題往往受到很大啟發(fā).例如提取自然場景中的顯著性區(qū)域作為自然路標,從而可以避免耗時的圖像處理.由此可見認知學新特征與場景表達的融合也是未來該領域的一大發(fā)展趨勢.2.4 研究意義2.4.1 理論意義以計算機視覺的理論為基礎，以人工智能的方法為依據(jù)，探索經(jīng)典場景特征檢測算法的缺陷和不足之處，并加以改進。模擬人類在未知環(huán)境中對目標物體的識別和探測機理，從人工智能的角度出發(fā)，應用于智能機器人的環(huán)境感知系統(tǒng)，進一步提高機器人和外界環(huán)境的交互能力，增強機器人對環(huán)境的理解能力，為未來智能機器人在復雜環(huán)境中的導航打下理論基礎，使之在復雜的未知的環(huán)境中完成人類所不能完成的任務。2.4.2 實踐意義依托嵌入式的DM642平臺，構(gòu)造出智能機器人的視覺環(huán)境場景感知模塊，采集機器人周邊環(huán)境信息并通過算法識別檢測出環(huán)境中目標物體，追蹤環(huán)境場景中的信息改變，建立環(huán)境特征模型。這個嵌入式系統(tǒng)可固化為一個子模塊應用于智能機器人或智能車輛中，完成導航等相關工作。本次研究工作在機器人從室內(nèi)走向室外自然環(huán)境，完成人類所交付的任務，實現(xiàn)全自動導航，在智能車輛實際投入運行，輔助改善駕駛環(huán)境都有著重要的應用意義。3 主要研究內(nèi)容及理論創(chuàng)新3.1 DSP嵌入式實驗平臺的搭建實驗平臺由嵌入式DM642圖像采集處理系統(tǒng)，XDS560硬件仿真器，四輪移動機器人，CCD攝像機等主要部件構(gòu)成，可以進行的仿真實驗，通過視覺系統(tǒng)采集機器人運行環(huán)境信息，經(jīng)過通信傳輸，交付DSP嵌入式系統(tǒng)進行實時處理，將所得結(jié)果知識傳輸給機器人，控制系統(tǒng)可以由場景的分析結(jié)果控制機器人的動作。硬件的核心基于嵌入式視覺系統(tǒng)圖象處理平臺，依據(jù)其進行試驗開發(fā)。在室外的非結(jié)構(gòu)化環(huán)境和隨機性很強的自然場景中，多種場景能夠以不同的形式進行組合。同時在室外的環(huán)境中，由于其他不定性因素的影響。不容易提取出像室內(nèi)那樣簡單有效的結(jié)構(gòu)化的特征。同時增加了機器學習和相應分類算法的難度。要實現(xiàn)移動機器人對室外自然場景的理解，首先要解決三個基本問題。（1）用何種圖像特征來有效的描述圖像，（2）用何種圖像分割的方式，對圖像的子塊或像素進行有效的識別。（3）用何種機器學習的方法來有效的構(gòu)建識別模型。這涉及到圖像提取，圖像分割和圖像識別三大類基本圖像處理方法，它們又有各自不同的現(xiàn)已成熟的基本算法，課題的研究就是在利用這些基本處理算法的基礎上提出下述思想方法，對自然場景的圖像理解提供新的思路和方向。圖2 嵌入式DM642 實驗開發(fā)平臺圖3 SEED-XDS560 仿真器3.2 課題解決的核心問題及難點由于圖像理解的研究核心就是場景的描述以及場景中的目標識別問題，本文從這兩點切入，研究簡單的動態(tài)目標識別和場景環(huán)境背景描述的問題。在現(xiàn)有的實驗設備條件的基礎上，解決機器人在室外校園環(huán)境中的動態(tài)車輛檢測識別和校園環(huán)境背景的特征描述問題。從這些基本問題入手解決機器人在室外自然環(huán)境中的場景理解問題。技術(shù)問題的關鍵在于分層次的圖像表達、場景-目標關聯(lián)的目標識別、場景信息的動態(tài)知識庫建立與學習。下述的研究方法中將對這些關鍵問題的解決提供新的思路和研究算法。為了保證移動機器人進行室外自然場景理解的穩(wěn)定性和自適應性,系統(tǒng)除了要具有實時的圖像處理和分析能力以及優(yōu)良的學習算法外,還應具有完善的系統(tǒng)知識結(jié)構(gòu)和視覺控制策略。首先，為解決場景辨識分類混淆的問題就需要對場景加以約束,即構(gòu)建場景的知識庫,其包括景物信息以及景物間的關聯(lián)信息，并且具有易操作性、易擴展性和易更新性的知識結(jié)構(gòu)是必不可少的。其次，為了使室外自然場景的辨識與理解效果達到最佳，如何依據(jù)不同的場景結(jié)構(gòu)特征對算法流程進行的排布是非常重要的，這會影響到整個系統(tǒng)的效率和功能.以上兩個方面就是要解決的關鍵技術(shù)難題。3.3 理論創(chuàng)新點（1）提出了一種分層的圖像理解算法，將自然場景圖像按照低、中、高 三種表達層次劃分為自然場景圖像的區(qū)域分割、區(qū)域標記和圖像的分類與注釋三個層次.首先，在區(qū)域分割層析中，將分割和區(qū)域分類相融合，為了保證場景理解的實時性,采用面向特定應用的分割方法,基于研究中機器人所處的校園環(huán)境場景，為了要完成動態(tài)目標識別檢測和場景描述的任務，拋開冗余信息，將場景中移動機器人感興趣的目標區(qū)域分割出來，可顯著地降低計算量,從而滿足實時性的要求；其次，區(qū)域標記的目的是要對場景圖像的各不同區(qū)域加以解釋,由于場景的復雜性使得辨識的難度加大,計算量也隨之上升.所以辨識過程要同時兼顧辨識效果與速度.潛在語義分析模型僅對局部區(qū)域進行分類辨識,卻沒有考慮圖像空間結(jié)構(gòu)的關聯(lián)信息,而馬爾可夫隨機場模型可對場景的空間信息形成約束。從現(xiàn)有研究的基礎上，在算法的研究中將二者相結(jié)合希望能夠取得實時的辨識效果.通過訓練從部分標記的場景圖像中學習得到條件隨機場模型,該模型包含場景空間局部約束信息和場景的全局語境信息.由于訓練圖像集只需進行部分標記,因而耗時降低，將會大大提高區(qū)域圖像的標記效率；最后，圖像分類注釋對應于圖像的高層表達,是對整幅圖像信息的解釋,也稱為圖像注解.由于室外校園環(huán)境區(qū)分類別多，差別大.有校園道路，草坪，操場等多種場景層次。對于每一層次采用不同的場景特征與之相對應,采用全新的全局語義方法并輔以自頂向下算法結(jié)構(gòu)，根據(jù)實際的校園環(huán)境分類特征，構(gòu)造實際特征空間，如粗糙度，延伸度，開放度等。這些特征的不同組合可得出新型的特征空間，利用這些特征空間對實際自然場景的辨識有大大的改善作用。（2）提出一種全新的基于實際場景特征引入場景-目標關聯(lián)，先驗信息作輔助的目標識別思想方法。場景中的目標識別通常將圖像區(qū)域的表達與目標模型相匹配，匹配正確即為正確的目標類別，匹配錯誤則拒絕背景區(qū)域，如果能夠充分運用場景知識，首先得出對場景的判斷，則之后的目標識別過程在一定程度上就縮小了范圍。實際上總有一些圖像與場景在空間位置上有著密切的關系，且比較高概率出現(xiàn)在特定的場景中。場景目標關聯(lián)方法從場景的整體分析入手，對給定的輸入圖像搜索有相似場景結(jié)構(gòu)的圖像、為了得到最佳的匹配圖像，可將包含于目標標簽中的語義知識轉(zhuǎn)化為輸入圖像中的檢測目標，同時，目標之間類似深度排序的關聯(lián)信息也進行相應的轉(zhuǎn)換。由于數(shù)據(jù)集中的圖像是部分標記的，因此可以將標記知識轉(zhuǎn)化為查詢圖像。如操場中，包含語義知識的目標作為整體的查詢圖像，可以將包含足球門，健身器材等語義知識的目標作為整體場景查詢圖像，只要找出與之相似的場景圖像，檢測出這些目標的可能性會大大增加，此時，場景中的目標檢測識別問題就成為了場景對應的問題。然后進一步輔以先驗信息即根據(jù)上述方法所得到場景分類信息進一步預測場景中可能存在的其他景物,快速實現(xiàn)模式匹配與識別，提高場景的理解速度和精度.總體來說，一正一反兩種思路（即先通過場景中目標與場景相結(jié)合來的識別算法快速的定位出場景類型信息，再由先驗信息從場景的類型中得到可能會有的目標物體來縮小搜索檢測范圍，實現(xiàn)快速的特征匹配）來對場景中的目標識別檢測。以上（1）（2）兩種方法在應用中是相互聯(lián)系，相互融合在一起的，第一種方法的區(qū)域標記和語義表述方式是在第二種方法圖像的匹配過程作為依據(jù)的，為了得到最佳匹配效果，快速識別場景。第二種的目標識別方法又為第一種多層圖像理解技術(shù)的區(qū)域分割引入了很好的反饋信息。在系統(tǒng)算法的研究過程中，依據(jù)上述兩種解決問題的思路和方法并結(jié)合硬件平臺可以構(gòu)建更加高效的視覺環(huán)境場景理解系統(tǒng)。4 預期困難及達到結(jié)果為了保證移動機器人進行室外自然場景理解的穩(wěn)定性和自適應性,系統(tǒng)除了要具有實時的圖像處理和分析能力以及優(yōu)良的學習算法外,還應具有完善的系統(tǒng)知識結(jié)構(gòu)和視覺控制策略。首先，為解決場景辨識分類混淆的問題就需要對場景加以約束,即構(gòu)建場景的知識庫,其包括景物信息以及景物間的關聯(lián)信息，并且具有易操作性、易擴展性和易更新性的知識結(jié)構(gòu)是必不可少的。其次，為了使室外自然場景的辨識與理解效果達到最佳，如何依據(jù)不同的場景結(jié)構(gòu)特征對算法流程進行的排布是非常重要的，這會影響到整個系統(tǒng)的效率和功能.以上兩個方面就是要解決的關鍵技術(shù)難題。在嵌入式DSP平臺的基礎上開發(fā)圖像處理算法，分多層次理解圖像，完成場景分類和目標的檢測識別，進而讓機器人對場景信息作出準確判斷，完成導航任務是預期所能達到的效果。但由于由于室外自然場景所具有的非結(jié)構(gòu)化與不確定性特點,與傳統(tǒng)的視覺系統(tǒng)相比,室外自然環(huán)境中基于視覺的移動機器人系統(tǒng)更要著重考慮運動狀態(tài)下對環(huán)境的自適應性.這部分研究大都停留在理論方面，實際得到驗證的成果很少，所以必須融入更具創(chuàng)新性的思想和技術(shù)，希望最終能夠在現(xiàn)有基礎上提高機器人對未知環(huán)境場景的感知理解與判斷能力。 基于視覺的室外自然場景的實時辨識與深入理解,是具有實時環(huán)境認知與自主環(huán)境適應能力的移動機器人系統(tǒng)中最為關鍵的共性技術(shù)之一.要在該領域取得創(chuàng)新性的研究成果,必須兼顧研究的創(chuàng)新性與實用性.多種技術(shù)的應用以及不同傳感器之間的協(xié)作與融合都能有效