中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)

中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)申請(qǐng)書中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)申請(qǐng)書中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)

申請(qǐng)書基于立體視覺的

自動(dòng)跟隨智能購物車的設(shè)計(jì)與實(shí)現(xiàn)DesignandImplementationofIntelligentShopping

CartwithAutomaticTrackingbasedonStereoVision

Technique團(tuán)隊(duì)成員：覃姝緣陳彥曉張隆基學(xué)院：信息工程學(xué)院專業(yè)：電子信息工程中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)申請(qǐng)正文中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)申請(qǐng)正文#中央民族大學(xué)本科生研究訓(xùn)練計(jì)劃立項(xiàng)申請(qǐng)書基于立體視覺的自動(dòng)跟隨智能購物車的設(shè)計(jì)與實(shí)現(xiàn)目錄一、立項(xiàng)依據(jù)項(xiàng)目研究背景及意義國內(nèi)外現(xiàn)狀視覺平臺(tái)運(yùn)動(dòng)目標(biāo)檢測與跟蹤雙目視覺學(xué)術(shù)價(jià)值及應(yīng)用價(jià)值團(tuán)隊(duì)及成員優(yōu)勢二、研究目標(biāo)、內(nèi)容、關(guān)鍵問題和主要特色研究目標(biāo)研究內(nèi)容功能組成工作原理主要特色及創(chuàng)新點(diǎn)有待解決的問題建立一體化雙目視覺平臺(tái)的系統(tǒng)體系結(jié)構(gòu)雙目協(xié)調(diào)機(jī)制研究三、預(yù)期效果與具體成果自動(dòng)跟隨羅列清單測重識(shí)別打折信息記賬四、具體安排及進(jìn)度五、經(jīng)費(fèi)預(yù)算參考文獻(xiàn)附件一、立項(xiàng)依據(jù)項(xiàng)目研究背景及意義隨著人民生活水平不斷提高，為滿足廣大消費(fèi)者購物需求，各種連鎖超市應(yīng)運(yùn)而生，超市購物越來越受到廣大消費(fèi)者青睞。但在購物過程中，特別是在規(guī)模大、品種多的大型綜合超市中，手推式購物車使顧客感到疲憊，另外，顧客時(shí)常找不到所需購買物品的位置、無法及時(shí)了解超市商品打折信息，這些浪費(fèi)了顧客的寶貴時(shí)間，擾亂了他們的購物心情，從而一定程度上影響超市營業(yè)額。另外，收銀臺(tái)結(jié)帳時(shí)的排隊(duì)問題，特別是周六、日或者節(jié)假日，收銀臺(tái)處的長龍著實(shí)讓顧客望而卻步。那么，有無一種設(shè)備能夠減少結(jié)賬時(shí)的冗繁環(huán)節(jié)，同時(shí)能為顧客提供打折信息和自動(dòng)導(dǎo)航呢？本小組成員在進(jìn)行了多方面調(diào)研(見附件)，并與導(dǎo)師深入交流之后，發(fā)現(xiàn)將仿生人眼的雙目視覺系統(tǒng)應(yīng)用在超市智能購物車中能夠一定程度上有效地解決上述問題。在小組成員共同努力和導(dǎo)師的幫助下，通過認(rèn)真思考，對(duì)基于雙目視覺系統(tǒng)的自動(dòng)跟隨智能購物車進(jìn)行了可行性分析該車除了能夠?qū)崿F(xiàn)自動(dòng)跟隨購物者外，還能自動(dòng)識(shí)別打折信息，并通過語音和顯示屏告知購物者，購物者可查看購物清單和物品金額、同時(shí)能夠測量所購物品的重量，人性化地提醒購物者注意物品輕重。其簡單的結(jié)構(gòu)和低廉的成本將會(huì)受到購物者和超市的青睞。雙目立體視覺(BinocularStereoVision)是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息。融合兩只眼睛獲得的圖像并觀察它們之間的差別，使我們可以獲得明顯的深度感，建立特征間的對(duì)應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對(duì)應(yīng)起來，這個(gè)差別，我們稱作視差(Disparity)圖像，如圖⑥雙目攝像機(jī)左圖⑹雙目攝像機(jī)右圖⑥雙目攝像機(jī)左圖⑹雙目攝像機(jī)右圖(c)視差圖(Disparity)圖1視差圖像Fig［.DisparityImage雙目立體視覺的開創(chuàng)性工作始于上世紀(jì)的年代中期。美國MIT的Roberts通過從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡單規(guī)則多面體的三維結(jié)構(gòu)，并對(duì)物體的形狀和空間關(guān)系進(jìn)行描述，把過去的簡單二維圖像分析推廣到了復(fù)雜的三維場景，標(biāo)志著立體視覺技術(shù)的誕生。隨著研究的深入，研究的范圍從邊緣、角點(diǎn)等特征的提取，線條、平面、曲面等幾何要素的分析，直到對(duì)圖像明暗、紋理、運(yùn)動(dòng)和成像幾何等進(jìn)行分析，并建立起各種數(shù)據(jù)結(jié)構(gòu)和推理規(guī)則。特別是上世紀(jì)年代初，Marr首次將圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)和臨床精神病學(xué)的研究成果從信息處理的角度進(jìn)行概括，創(chuàng)立了視覺計(jì)算理論框架［1］。國內(nèi)外現(xiàn)狀視覺平臺(tái)1997年美國國防部高級(jí)研究項(xiàng)目署(DARPA)設(shè)立了以卡內(nèi)基梅隆大學(xué)為首，麻省理工學(xué)院等高校參與的視覺監(jiān)控項(xiàng)目VSAM(Visualsurveillanceandmonitoring)”該系統(tǒng)能夠用于普通民用場景以及戰(zhàn)場的實(shí)時(shí)監(jiān)控，卡內(nèi)基梅隆大學(xué)在該系統(tǒng)建成之后，建立了一個(gè)校園監(jiān)控系統(tǒng)。PASSWORDS(Parallelandadvancedsurveillancesystemwithoperatorassistanceforrevealingdangeroussituations)⑶系統(tǒng)是一個(gè)智能視頻圖像分析系統(tǒng)，用于實(shí)現(xiàn)視頻監(jiān)視以滿足不同用戶的安全要求。Pfinder(Personfinder)［4］系統(tǒng)用于實(shí)現(xiàn)對(duì)室內(nèi)人員行為的實(shí)時(shí)監(jiān)視與判定。止匕外，還有許多用于交通、軍事等領(lǐng)域的智能監(jiān)控平臺(tái)。如Coifman等人［5］建立了一個(gè)基于視頻圖像處理系統(tǒng)(Videoimageprocessingsystem，VIPS)的交通監(jiān)控系統(tǒng)，用于交通流量監(jiān)控以及不同車型的統(tǒng)計(jì)。運(yùn)動(dòng)目標(biāo)檢測與跟蹤運(yùn)動(dòng)目標(biāo)檢測的算法依照目標(biāo)與攝像機(jī)之間的關(guān)系可以分為靜態(tài)背景下運(yùn)動(dòng)檢測和動(dòng)態(tài)背景下運(yùn)動(dòng)檢測。靜態(tài)背景下運(yùn)動(dòng)檢測就是攝像機(jī)在整個(gè)監(jiān)視過程中不發(fā)生移動(dòng)，只有被監(jiān)視目標(biāo)在攝像機(jī)視場內(nèi)運(yùn)動(dòng)，這個(gè)過程只有目標(biāo)相對(duì)于攝像機(jī)的運(yùn)動(dòng)；動(dòng)態(tài)背景下運(yùn)動(dòng)檢測就是攝像機(jī)在整個(gè)監(jiān)視過程中發(fā)生了移動(dòng)(如平動(dòng)、旋轉(zhuǎn)或多自由度運(yùn)動(dòng))，被監(jiān)視目標(biāo)在攝像機(jī)視場內(nèi)也發(fā)生了運(yùn)動(dòng)，這個(gè)過程就產(chǎn)生了目標(biāo)與攝像機(jī)之間復(fù)雜的相對(duì)運(yùn)動(dòng)。已有常用算有⑹：相鄰幀差法(TemporalDifference)，背景差分法(BackgroundSubtraction)，光流法(OpticalFlow)。目前，許多研究者都針對(duì)于運(yùn)動(dòng)檢測困難中的某些方面(如剔除陰影、排除光照干擾等)提出了自己的解決方案，盡管已經(jīng)有一些較成熟的方法可以實(shí)現(xiàn)目標(biāo)檢測的任務(wù)，但是不可否認(rèn)的是目前仍然沒有一種方法可以廣泛地應(yīng)用于各類目標(biāo)檢測的任務(wù)中，同時(shí)也沒有一種方法可以保證有百分之百的檢測率。這說明仍有許多如攝像機(jī)抖動(dòng)、背景噪聲、目標(biāo)遮擋、光照變化、特殊場景檢測、計(jì)算機(jī)硬件支持等問題需要解決。視覺跟蹤(Visualtracking)問題是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要問題。視覺跟蹤［7-14］，就是指對(duì)圖像序列中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測，提取、識(shí)別和跟蹤，獲得運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)參數(shù)，如位置、速度、加速度等，以及運(yùn)動(dòng)軌跡，從而進(jìn)行進(jìn)一步處理與分析，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的行為理解，以完成更高一級(jí)的任務(wù)。有文獻(xiàn)對(duì)運(yùn)動(dòng)圖像分析算法進(jìn)行了總結(jié)［11］，將算法分為兩類，一類是基于光流法的分析，另一類是基于特征點(diǎn)的分析。此后在視覺跟蹤領(lǐng)域中，又出現(xiàn)了許多新的方法，最新文獻(xiàn)將視覺跟蹤方法分為四類，分別是基于區(qū)域的跟蹤、基于特征的跟蹤、基于變形模板的跟蹤和基于模型的跟蹤，這種分類方法概括了目前大多數(shù)視覺跟蹤算法。視覺跟蹤領(lǐng)域仍然面臨不少難點(diǎn)問題。從控制的觀點(diǎn)來看［15］，視覺跟蹤問題所面臨的主要難點(diǎn)可以歸結(jié)為對(duì)視覺跟蹤算法在三個(gè)方面的要求，即對(duì)算法的魯棒性、準(zhǔn)確性和快速性要求。此外，視覺跟蹤技術(shù)所面臨的更為一般的難題是：如何從圖像序列中實(shí)現(xiàn)有效的圖像分割和圖像對(duì)應(yīng)。圖像分割問題目前尚未得到有效解決，而圖像對(duì)應(yīng)問題則是與模式識(shí)別緊密相連的人工智能難題?？梢?，實(shí)現(xiàn)一個(gè)具有魯棒性、準(zhǔn)確性和快速性的視覺跟蹤系統(tǒng)還需要許多方面的努力。3.視覺雙目視覺［2416-20］是計(jì)算機(jī)視覺的一個(gè)重要分支，是研究如何利用二維投影圖像恢復(fù)三維景物世界，即由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一副場景，通過計(jì)算空間點(diǎn)的兩幅圖像中的視差，獲得該點(diǎn)的三維坐標(biāo)值。雙目視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領(lǐng)域均極具應(yīng)用價(jià)值，如機(jī)器人導(dǎo)航，三維測量以及虛擬現(xiàn)實(shí)等。根據(jù)匹配算法使用的約束信息的不同，立體匹配算法總體上分為局域算法和全局算法兩種［16］。局域算法利用的是對(duì)應(yīng)點(diǎn)本身以及鄰近的局部區(qū)域的約束信息，局域算法的優(yōu)點(diǎn)是效率高，但是它對(duì)局部的一些由于遮擋和紋理單一等造成的模糊比較敏感，易造成誤匹配。全局算法利用了圖像的全局約束信息，對(duì)局部圖像的模糊不敏感，但是它的計(jì)算代價(jià)很高。根據(jù)匹配基元的不同，局域算法主要分為區(qū)域匹配、特征匹配，以及相位匹配3種。為了找到一點(diǎn)在另一幅圖像中的對(duì)應(yīng)點(diǎn)，區(qū)域匹配法將該點(diǎn)周圍的一個(gè)小區(qū)域(template)同另一幅圖像中的一系列小區(qū)域(searchregion)進(jìn)行比較，定為匹配點(diǎn)。通常，區(qū)域匹配算法的目的是獲取致密的深度圖，其適用于滿足條件的立體視覺問題：光源可理想化為無窮遠(yuǎn)處的點(diǎn)光源，場景中的物體表面為完全漫反射，圖像對(duì)之間的幾何畸變和輻射畸變(或不一致的程度)很小。特征匹配是為使匹配過程滿足一定抗噪能力且減少歧義性問題而提出。一般地，用于匹配的特征應(yīng)滿足以下特性：唯一性、再現(xiàn)性、具有物理意義?；谔卣鞯钠ヅ湟话愫刑卣魈崛『投ㄎ?、特征描述、特征匹配三個(gè)步驟。特征匹配具有較強(qiáng)的抗干擾性，而且計(jì)算量小，速度快，較易處理立體視覺中的視差不連續(xù)問題。其不足之處首先是特征在圖像中的稀疏性決定特征匹配只能得到稀疏的視差場，要獲得密集的視差場需借助插值過程，而插值過程往往較為復(fù)雜。其次，特征的提取和定位過程直接影響特征匹配結(jié)果的精確度。相位匹配在假設(shè)兩幅圖像中對(duì)應(yīng)點(diǎn)的局部相位相等的條件下，對(duì)帶通濾波信號(hào)的相位信息進(jìn)行處理而得到視差圖。相位匹配依據(jù)的原理為傅立葉平移原理，即信號(hào)在空間域上的平移產(chǎn)生頻率域上成比例的相位平移，由于相位本身反映的是信號(hào)的結(jié)構(gòu)信息，因此相位匹配對(duì)圖像的高頻噪音有很好的抑制作用，同時(shí)對(duì)幾何畸變和輻射畸變有很好的抑制作用，能獲得亞像素級(jí)的致密視差。全局匹配算法一般有動(dòng)態(tài)規(guī)劃的算法和圖切割的算法。最常用的全局匹配算法是動(dòng)態(tài)規(guī)劃算法，其思想是把求解整個(gè)圖像深度值的過程分解為一些子過程，從而減少算法的復(fù)雜度，動(dòng)態(tài)規(guī)劃的思想體現(xiàn)了順序約束和連續(xù)性約束。動(dòng)態(tài)規(guī)劃的優(yōu)點(diǎn)是可以很好的處理因局部紋理單一而造成的誤匹配，且算法復(fù)雜度不高，缺點(diǎn)是容易因局部的噪音而造成誤差傳播，形成條紋瑕疵。圖切割的方法可以有效地融合水平和豎直方向上的連續(xù)性約束，是目前處理效果最好的立體匹配算法，其缺點(diǎn)為算法的復(fù)雜度較高。圖切割的基本思想為構(gòu)建一個(gè)網(wǎng)絡(luò)，通過最小割方法尋找網(wǎng)絡(luò)的最大流。目前，立體匹配的研究重點(diǎn)關(guān)注的兩個(gè)重要問題是：遮擋問題(Occlusion)和實(shí)時(shí)性問題(Real-timeImplementation)。遮擋會(huì)造成一個(gè)圖像中的點(diǎn)在另一幅圖像中無對(duì)應(yīng)點(diǎn)，從而導(dǎo)致錯(cuò)誤的匹配。目前許多性能優(yōu)良的算法的實(shí)時(shí)性都很差，耗時(shí)過長，在一般的硬件條件下無法應(yīng)用，實(shí)時(shí)性問題是立體視覺由理論走向普及應(yīng)用的一個(gè)巨大瓶頸。隨著研究的進(jìn)一步深入，以及硬件性能的提高與價(jià)格的降低，相信實(shí)時(shí)性的問題會(huì)迎刃而解。學(xué)術(shù)價(jià)值及應(yīng)用價(jià)值近年來，視覺跟蹤(visualtracking)是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域中的熱點(diǎn)問題。圖2是中國知網(wǎng)關(guān)于學(xué)術(shù)關(guān)注度的統(tǒng)計(jì)結(jié)果，可見視覺跟蹤領(lǐng)域的研究正處于上升的趨勢。視覺跟蹤問題引起廣泛關(guān)注是由于它能夠應(yīng)用于民用和軍事的許多領(lǐng)域，主要包括三個(gè)方面：視頻監(jiān)視，圖像壓縮和三維重構(gòu)。Fig2.TheAcdemicalAttentionDegreeinVisualTracking根據(jù)所使用攝像機(jī)數(shù)目的多少，可以將視覺跟蹤問題分為單攝像機(jī)(Monocularcamera)視覺跟蹤和多攝像機(jī)視覺跟蹤(Multiplecameras)[2-7]。目前，絕大多數(shù)研究都屬于單攝像機(jī)的視覺跟蹤問題，其中對(duì)于圖像壓縮技術(shù)而言，純粹只考慮單攝像機(jī)獲得的圖像序列。但是，在實(shí)際的視頻監(jiān)視系統(tǒng)中，單攝像機(jī)所能監(jiān)視的區(qū)域很有限，因此，在一些大的公共場合，更多的是使用多攝像機(jī)以擴(kuò)大監(jiān)視的范圍。此外，單攝像機(jī)不能獲得運(yùn)動(dòng)目標(biāo)的距離信息，而雙目或三目視覺系統(tǒng)卻能夠得到運(yùn)動(dòng)目標(biāo)的距離信息，在對(duì)運(yùn)動(dòng)目標(biāo)跟蹤過程中，往往發(fā)生運(yùn)動(dòng)目標(biāo)被遮擋或暫時(shí)消失等情況從而丟失運(yùn)動(dòng)目標(biāo)，這一問題(Occlusion)[21-23]是運(yùn)動(dòng)目標(biāo)跟蹤中又一個(gè)難點(diǎn)問題，使用單攝像機(jī)解決這一問題相當(dāng)困難，而使用多攝像機(jī)能在很大程度上解決這一難題。但多攝像機(jī)跟蹤面臨一個(gè)單攝像機(jī)跟蹤所沒有的難題，那就是如何將不同攝像機(jī)所獲得的不同視角的運(yùn)動(dòng)目標(biāo)信息正確地對(duì)應(yīng)起來，由于這一問題的難度甚至比單純跟蹤問題的難度還要大，因此有關(guān)多攝像機(jī)跟蹤的文獻(xiàn)并不是很多[21]。本項(xiàng)目以雙攝像機(jī)主動(dòng)跟蹤人體運(yùn)動(dòng)目標(biāo)為研究主題，在單一攝像機(jī)對(duì)人體運(yùn)動(dòng)目標(biāo)檢測跟蹤的基礎(chǔ)上，提出完整的雙目協(xié)調(diào)機(jī)制，實(shí)現(xiàn)雙目主動(dòng)跟蹤的功能。雙目可以獲得目標(biāo)的深度信息，主動(dòng)跟蹤大大擴(kuò)展了可監(jiān)控的視野，提高主動(dòng)跟蹤的準(zhǔn)確性和及時(shí)性?？梢姡卷?xiàng)目的研究在具有理論意義的同時(shí)，也具有很好的實(shí)用價(jià)值。團(tuán)隊(duì)及成員優(yōu)勢參與本項(xiàng)目研究小組的成員均來自信息工程學(xué)院電子信息工程，具備一定的專業(yè)基礎(chǔ)知識(shí)，已完成《電子電路分析》、《模擬電子線路基礎(chǔ)》、《數(shù)字電子線路基礎(chǔ)》、《C++語言及其程序設(shè)計(jì)》等課程的學(xué)習(xí)，并參與導(dǎo)師的“仿人眼雙目視覺自動(dòng)跟蹤系統(tǒng)”、“無線傳感器網(wǎng)絡(luò)數(shù)據(jù)壓縮’等研究項(xiàng)目，多次獲得“專業(yè)一等獎(jiǎng)學(xué)金“、“專業(yè)二等獎(jiǎng)學(xué)金”等，具備了扎實(shí)的理論知識(shí)。另外，小組成員熟練掌握C++，Visualc++等編程技術(shù)，三人均參加過電子工藝實(shí)習(xí)和相關(guān)的社會(huì)實(shí)踐，在大量的實(shí)踐實(shí)習(xí)中積累了很多經(jīng)驗(yàn)，具備較好地的實(shí)踐操作和實(shí)際動(dòng)手能力。項(xiàng)目組搜集了大量有關(guān)基于雙目視覺系統(tǒng)的文獻(xiàn)資料，并緊跟其最新研究動(dòng)態(tài)，具有較強(qiáng)的創(chuàng)新渴望，而且對(duì)基于雙目視覺立體系統(tǒng)有非常濃厚的研究興趣。此外，指導(dǎo)老師為研究小組提供了較好的實(shí)驗(yàn)室研究環(huán)境?；诖?，項(xiàng)目組具有較好的條件和實(shí)驗(yàn)環(huán)境，為項(xiàng)目的完成奠定了基礎(chǔ)。二、研究目標(biāo)、內(nèi)容、關(guān)鍵問題和主要特色研究目標(biāo)設(shè)計(jì)并制作一套基于立體視覺能夠自動(dòng)跟隨、羅列清單、導(dǎo)購、測重及顯示播報(bào)打折信息的智能購物車。研究內(nèi)容功能組成圖3功能組成Fig3.Functionstructure(1)自動(dòng)跟隨在普通購物車前身平行安置兩個(gè)攝像頭，建立雙目視覺立體系統(tǒng)，系統(tǒng)通過圖像獲取、攝像機(jī)的標(biāo)定、特征點(diǎn)提取、立體匹配、三維重建，在購物者無佩戴任何裝置的狀態(tài)下實(shí)現(xiàn)自動(dòng)跟蹤、及時(shí)跟隨的功能。(2)羅列清單在購物車邊上安裝一電子屏幕，當(dāng)顧客購買結(jié)束時(shí)，按下指定按鍵，屏幕上就會(huì)自動(dòng)顯示出所購物品的清單，方便顧客檢查是否遺漏所需物品。(3)測重在購物車底座上安裝一測重傳感器，當(dāng)顧客往購物車?yán)锓盼锲窌r(shí)，屏幕上自動(dòng)累計(jì)物品重量，方便老人、婦女等弱勢人群，避免物品過重難以拎回家。自動(dòng)識(shí)別、顯示打折信息及語音播報(bào)功能

⑷掃描到指定的二維碼之后，通過電子屏以文字形式顯示打折信息。按下預(yù)先設(shè)定的信息提示鍵，可通過語音的形式播報(bào)。⑸計(jì)算消費(fèi)金額通過掃描所購物品的條形碼自動(dòng)計(jì)算購買金錢總額。工作原理（1）基于雙目視覺的自動(dòng)跟隨）雙目視覺系統(tǒng)［24］雙目成像可獲得同一場景的兩幅不同圖像，其模型可以看成是由兩個(gè)單目成像模型組合而成。圖給出雙目成像的一個(gè)示意圖，圖中兩個(gè)鏡頭中心的連線稱為系統(tǒng)的基線B。利用雙目系統(tǒng)可以確定具有像平面坐標(biāo)點(diǎn)P4%1,y）和P2a2,y2）的世界坐標(biāo)點(diǎn)P的坐標(biāo)x,y,z）Fig4.BinocularvisionschemesFig4.Binocularvisionschemes圖4給出雙目視覺立體視覺的模型示意圖。兩光心的連線B稱為系統(tǒng)的基線。兩攝像機(jī)的焦距均為f，C1,C2別為左右攝像機(jī)的像平面。P1，P2為空間一點(diǎn)P在兩像平面上的成像點(diǎn)?？臻g點(diǎn)P與像點(diǎn)P1、P2的對(duì)應(yīng)關(guān)系是一個(gè)三維到兩維的變換。從圖可以看到，來自物點(diǎn)爬的散射光通過光心，落在像平面上，這是一種從物點(diǎn)到像點(diǎn)的透視變換。圖中P、2、P/個(gè)共線點(diǎn)之間的關(guān)系為［4］：其中，％1,y1為圖的圖像坐標(biāo)。由小孔成像原理及三角關(guān)系可知%2二一%2二一Xf由式（1）?式（4）可得Y-ZTX——― Z—fY——yf1Z——f--Bf-x-x2 1定義視差d=xx，可得到P點(diǎn)的深度值1 2Z——fZ——f-Bf

d上式把物體與像平面的距離Z（即3D信息中的深度）與視差d（像坐標(biāo)x2和x1的差）聯(lián)系起來，視差的大小與深度有關(guān)，所以視差中包含了3-D物體的空間信息。如果視差D可以確定并且基線和焦距已知，計(jì)算P點(diǎn)的Z坐標(biāo)是很簡單的。另外Z坐標(biāo)確定后P點(diǎn)的世界坐標(biāo)X和Y可用（x了y）或儀2,y2）借助式（6）和（7）算得。）立體匹配.立體匹配類型立體匹配是雙目體視中最關(guān)鍵、最困難的一步。與普通的圖像配準(zhǔn)不同，立體像對(duì)之間的差異是由攝像時(shí)觀察點(diǎn)的不同引起的，而不是由其他如景物本身的變化、運(yùn)動(dòng)所引起的。根據(jù)匹配基元的不同，立體匹配可分為區(qū)域相關(guān)匹配、特征匹配和相位匹配三大類。.基于同心圓的米字形匹配區(qū)域相關(guān)匹配算法的實(shí)質(zhì)是利用局部窗口之間灰度信息的相關(guān)程度，它在變化平緩且細(xì)節(jié)豐富的地方可以達(dá)到較高的精度。但該算法的匹配窗大小難以選擇，通常借助于窗口形狀技術(shù)來改善視差不連續(xù)處的匹配;其次是計(jì)算量大、速度慢，采取由粗至精分級(jí)匹配策略能大大減少搜索空間的大小，與匹配窗大小無關(guān)的互相關(guān)運(yùn)算能顯著提高運(yùn)算速度?；趨^(qū)域相關(guān)的匹配中存在兩個(gè)主要問題：一是適當(dāng)?shù)剡x取W和R；一是恰當(dāng)?shù)貙ふ蚁嚓P(guān)準(zhǔn)則。窗口寬度+1的選擇取決于要處理圖像中提取最重要的空間屬性的能力。在本課題中因?yàn)槭褂玫氖瞧叫袛z像機(jī)，所以只在圖像的同一行中進(jìn)行選取，這樣加快了搜索速度。為了減少運(yùn)算量，選取了基于同心圓的米字形窗口代替常用的矩形窗口，作為相關(guān)窗口，如圖所示。在窗口內(nèi)的像素坐標(biāo)如下：水平方向：（i-k,j）到6+k,j）垂直方向：（i,j-k）到（i,j+k）

正對(duì)角線方向：(i-j,j-左)到(i+k,j+k)對(duì)角線方向：(i-k,j+k)到(i+k,j-k)圖5同心圓米字型窗口Fig.5.Concentriccirclesmwordwindow可見，米字條形窗口比矩形窗口極大地減少了運(yùn)算量，運(yùn)算速度更快，有利于建立正確匹配。對(duì)于(2n+1)x(2n+1)的矩形窗口，需要計(jì)算的窗口內(nèi)的像素個(gè)數(shù)為(2n+1)，而對(duì)于相同人小的米字條形窗口，則只需計(jì)算(8n+1)個(gè)像素。在具有相同計(jì)算點(diǎn)數(shù)的情況下，米字條形窗口將比矩形窗口覆蓋更大的范圍，包含更多的鄰域信息，如當(dāng)窗口大小為13x13時(shí)，米字條形窗口的像素點(diǎn)數(shù)為49,而具有相同點(diǎn)數(shù)的矩形窗口大小則為7x7。但是米字形窗口匹配雖然減少了運(yùn)算量，但是也失去了大量有用的信息，使匹配精確度下降。利用同心圓的米字形匹配方法，能夠在一定程度上避免了米字形算法的不利因素，使匹配準(zhǔn)確性大大提高。Fig.6MatchingeffectFig.6Matchingeffect圖7像素移位計(jì)算Fig.7pixelshiftingcalculate°圖像移位運(yùn)算圖表示一種在右圖中搜尋與左圖中某像素對(duì)應(yīng)像素位置的技術(shù)。為了獲取精確的深度信息，必須達(dá)到子像素精度的匹配。假設(shè)左圖中給定像素的坐標(biāo)系為（勺為）分別以該像素及在右圖上具有同樣坐標(biāo)的像素為中心各自配備一假想的窗口。接著，計(jì)算這兩個(gè)窗口中圖像的一致程度。這可以用互相關(guān)，均方差之和或其他類似方法計(jì)算。無論用哪種度量，當(dāng)兩個(gè)窗口包含相同特征時(shí)，圖像一致性度量均應(yīng)達(dá)到最大值。隨著右圖窗口不斷向右移動(dòng)重復(fù)此過程。在某個(gè)時(shí)刻，當(dāng)滑動(dòng)窗口移到中心為（^匕）時(shí)，它包括了與左圖固定窗口基本相同的細(xì)節(jié)特征。這時(shí)兩個(gè)窗口中的圖像內(nèi)容大致相同，圖像一致性度量達(dá)到最大值。）目標(biāo)跟蹤算法研究與實(shí)現(xiàn)°目標(biāo)跟蹤以及Meanshift算法[25]目標(biāo)跟蹤的目標(biāo)是確定目標(biāo)在視頻序列各幀中的位置，從而發(fā)現(xiàn)目標(biāo)的運(yùn)動(dòng)軌跡。到目前為止，目標(biāo)跟蹤算法[26]主要有點(diǎn)跟蹤⑴而玳tracking）,核跟蹤認(rèn)?皿&tracking）,輪廓跟蹤（silhouettetracking）。點(diǎn)跟蹤是跟蹤目標(biāo)上的特征點(diǎn)，適合于可以被表示為單個(gè)點(diǎn)的非常小的目標(biāo)，在跟蹤大目標(biāo)時(shí)，就需要多個(gè)點(diǎn)。核跟蹤的典型做法是計(jì)算原始目標(biāo)區(qū)域在不同幀上的運(yùn)動(dòng)，根據(jù)目標(biāo)表示的不同，可以分為基于模板和密度的跟蹤，基于多視角的跟蹤兩類。輪廓跟蹤可以提供目標(biāo)輪廓形狀的精確描述，主要包括形狀匹配以及輪廓跟蹤兩種方法。上面提到的諸多種類的跟蹤算法，都有自己的優(yōu)勢和不足，在不同的應(yīng)用場合發(fā)揮各自的作用。其中核跟蹤算法適合區(qū)域型目標(biāo)的跟蹤，且對(duì)遮擋情況具備較好的魯棒性，典型的算法有Meanshift算法。Meanshift是一種密度梯度的無參估計(jì)方法，Comaniciu和0Meer[22][23]對(duì)Meanshift在圖像濾波分割和跟蹤中的使用都做了較早的論述。Meanshift算法的主要優(yōu)點(diǎn)是：1）計(jì)算量不大，在目標(biāo)區(qū)域已知的情況下完全可以做到實(shí)時(shí)跟蹤；2）作為一個(gè)無參數(shù)密度估計(jì)算法，很容易作為一個(gè)模塊和別的算法集成；3）采用核函數(shù)直方圖建模，對(duì)邊緣遮擋、目標(biāo)旋轉(zhuǎn)、變形和背景運(yùn)動(dòng)不敏感。這些優(yōu)點(diǎn)是我們決定選擇Meanshift算法作為雙目視覺平臺(tái)跟蹤運(yùn)動(dòng)目標(biāo)核心模塊的原因。Meanshift的缺點(diǎn)包括：1）缺乏必要的模板更新算法；2）跟蹤過程中目標(biāo)窗口的大小如果保存不變，當(dāng)目標(biāo)有尺度變化時(shí)，可能跟蹤失?。?）直方圖是一種比較弱的對(duì)目標(biāo)特征的描述，當(dāng)背景和目標(biāo)的顏色分布較相似時(shí)，算法效果欠佳。許多研究對(duì)上述的3點(diǎn)做了彌補(bǔ)，比如提出了目標(biāo)窗口大小自適應(yīng)的Camshift算法。綜合比較現(xiàn)有研究成果，選擇Meanshift作為核心跟蹤模塊是合適的。°目標(biāo)表示及相似性測度為了描述目標(biāo)，首先需要選取特征空間，并用特征空間的概率密度分布函數(shù)（pdf,probabilitydensityfunction）來表示目標(biāo)。比如可以選取目標(biāo)的顏色空間的概率密度分布函數(shù)。不失一般性，可以認(rèn)為待跟蹤目標(biāo)（參考目標(biāo)）的中心位于原點(diǎn)0處，后續(xù)各幀中目標(biāo)（目標(biāo)候選區(qū)）位于y處。參考目標(biāo)以及目標(biāo)候選區(qū)均用其特征空間的概率分布函數(shù)描述，而概率分布函數(shù)從各幀的像素?cái)?shù)據(jù)中估計(jì)得到。為了降低計(jì)算的復(fù)雜性和成本，使用m-維直方圖（如顏色直方圖），從而，參考目標(biāo)以及目標(biāo)候選區(qū)可以分別表示為：

參考目標(biāo)模型:Eq=1

u

u=Eq=1

u

u=1uu=1…m目標(biāo)候選區(qū)模型:p(y)=u=1...mEpp(y)=u=1...m正如參考文獻(xiàn)中所述，直方圖并非最佳非參數(shù)密度估計(jì)，但已經(jīng)滿足了算法的目的。在某個(gè)特征空間中給出了參考目標(biāo)以及目標(biāo)候選區(qū)的描述后，選擇合適的相似性測度，以衡量目標(biāo)候選區(qū)與參考目標(biāo)之間的相似性?！汶p目視覺平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)雙目視覺系統(tǒng)是一個(gè)典型的機(jī)電一體化系統(tǒng)，涉及機(jī)械、電子、自動(dòng)控制、圖像處理、機(jī)器視覺、模式識(shí)別等諸多領(lǐng)域。本項(xiàng)目將基于如圖所示的總體結(jié)構(gòu)，研究雙攝像機(jī)及其支架與云臺(tái)機(jī)構(gòu)、電機(jī)驅(qū)動(dòng)控制、視頻采集、視頻圖像處理、視頻存儲(chǔ)與播放等模塊的配置與軟硬件設(shè)計(jì)問題，設(shè)計(jì)并實(shí)現(xiàn)一個(gè)簡單可靠的一體化雙目視覺平臺(tái)系統(tǒng)。圖8.圖8.視覺伺服控制結(jié)構(gòu)圖Fig.8VisualservoControlStructure?雙目視覺硬件系統(tǒng)的建立也由于圖像處理的數(shù)據(jù)量大計(jì)算復(fù)雜數(shù)據(jù)處理相關(guān)性高因此實(shí)時(shí)圖像處理系統(tǒng)必須具有強(qiáng)大的運(yùn)算能力。本系統(tǒng)采用雙目視覺對(duì)數(shù)據(jù)處理的要求倍增。在實(shí)時(shí)的應(yīng)用環(huán)境中一方面需要提出更好的圖像處理理論以提高系統(tǒng)的性能如圖像邊緣檢測理論、目標(biāo)點(diǎn)匹配、三維重建神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用等。另一方面需要在復(fù)雜度提高的情況下保證系統(tǒng)處理速度達(dá)到實(shí)時(shí)性的要求以保證系統(tǒng)的實(shí)際應(yīng)用價(jià)值。隨著DSP芯片集成度、運(yùn)算速度、數(shù)據(jù)吞吐率等性能的不斷提高DSP已被廣泛地應(yīng)用于實(shí)時(shí)圖像處理領(lǐng)域。DSP具有良好的可編程性可以使算法的不確定性問題得以解決采用不同算法就對(duì)應(yīng)于不同的程序代碼同時(shí)算法的復(fù)雜性和運(yùn)算時(shí)間的高開銷也可以DSP的高指令速度和高效的并行結(jié)構(gòu)給予補(bǔ)償。因此使用先進(jìn)、高速DSP作為圖像融合系統(tǒng)的主處理芯片完成圖像融合的算法實(shí)現(xiàn)工作可以充分發(fā)揮DSP可編程、高速、流水線結(jié)構(gòu)的并行性好、穩(wěn)定性好等特點(diǎn)以達(dá)到多通道圖像高速融合運(yùn)算的目的。本雙目視覺系統(tǒng)采用基宜乂5320DM642EVM板的系統(tǒng)進(jìn)行圖像處理系統(tǒng)的開發(fā)如圖9這是個(gè)高性能價(jià)格比的通用硬件平臺(tái)板上DSP芯片計(jì)算能力強(qiáng)可以攝像頭的控制。該攝像頭輸出視頻信號(hào)為PAL制式圖像有效像素為752*585水平分辨率為450線垂直分辨率為400線焦距為5.4mm-64.8mm變焦。圖9硬件構(gòu)成Fig.9HardwareStructure輸入方面:把左右攝像頭分別接入DM642的視頻口0和1,通過FPGAXC2S300E,攝像頭采集信號(hào)經(jīng)DM642的J15、J17口輸入。DM642芯片通過RC總線對(duì)SAA7115H進(jìn)行控制，對(duì)輸入信號(hào)進(jìn)行解碼和模數(shù)轉(zhuǎn)換。必要時(shí)，可以通過FPGA完成屏幕顯示功能。輸出方面:由于平臺(tái)輸出為數(shù)據(jù)輸出，通過RS-232接口與電腦或其它上位機(jī)相連，傳輸數(shù)據(jù)獲取實(shí)驗(yàn)結(jié)果數(shù)據(jù)。亦可由板載以太網(wǎng)接口實(shí)現(xiàn)數(shù)據(jù)輸出。?立體圖像的識(shí)別軟件設(shè)計(jì)口乂642的開發(fā)平臺(tái)基于Ti公司提供的集成開發(fā)環(huán)境CCS。本系統(tǒng)的軟件設(shè)計(jì)也是基于CCS2.20.18版本上進(jìn)行開發(fā)的。CCS包含TI公司的CSL芯片支持庫DDK設(shè)備驅(qū)動(dòng)程序開發(fā)包DSPLIB/IMGLIB、DSP/BIOS嵌入式實(shí)時(shí)、多任務(wù)操作系統(tǒng)ReferenceFramworks程序參考架構(gòu)XDAIS算法標(biāo)準(zhǔn)函數(shù)庫等。通過DSP510仿真器將在PC上CCS環(huán)境下編寫完成的程序燒入DM642的RAM中既可以通過仿真器J-Tag接口的連接控制程序的運(yùn)行和調(diào)試也可以在DM642獨(dú)立上電后自動(dòng)運(yùn)行執(zhí)行程序。經(jīng)視頻解碼芯片PhilipsSAA7115H解碼將信號(hào)轉(zhuǎn)變成并行的BT656圖像碼流得到Y(jié)UV(4:2:2)格式的圖像并透過EDMA傳輸?shù)絼?dòng)態(tài)存儲(chǔ)器(SDRAM)中存儲(chǔ)圖像大小為每幀752*585。然后通過CPU即DSP芯片對(duì)存儲(chǔ)器中的圖像進(jìn)行預(yù)處理。處理分三步灰度和二值化、濾波去躁、邊緣銳化和輪廓提取。先設(shè)定圖像灰度化或者是二值化閾值將彩色圖像轉(zhuǎn)成黑白二值化圖像再通過中值濾波的方式把二值化后圖像中存在的系統(tǒng)噪聲、設(shè)備噪聲去除接著通過Sobel邊緣檢測算法對(duì)圖像的邊緣進(jìn)行銳化和提取主要突出圖像的特征點(diǎn)。立體匹配方面選擇邊緣的交點(diǎn)作為匹配基元以唯一匹配點(diǎn)作為匹配準(zhǔn)則現(xiàn)采用區(qū)域相關(guān)的立體匹配算法對(duì)近似區(qū)域搜索然后基于特征匹配完成左右兩幅圖像的特征點(diǎn)立體匹配。匹配完成后計(jì)算出該點(diǎn)的2方向的矢量距離。由于左右兩攝像頭分布在同一水平線上其左右兩個(gè)攝像機(jī)機(jī)的圖像平面是平行的。分別基于左右兩個(gè)攝像頭采集的圖像建立坐標(biāo)系和分別對(duì)應(yīng)和。兩個(gè)像機(jī)之間的距離稱為基線距離用B表示。一般人眼雙目間距離為62?76mm,當(dāng)B接近這個(gè)值時(shí)此時(shí)像機(jī)配置就可模仿人眼的雙目成像系統(tǒng)。用6表示交叉系統(tǒng)中 或 軸與世界坐標(biāo)丫軸間夾角。將世界坐標(biāo)系的原點(diǎn)設(shè)在兩像機(jī)的中點(diǎn)并假定兩像機(jī)的焦距F相同。雙目視覺系統(tǒng)可以得到Xcos8=X--,Xcos8=X+—Ycos。=Y,cos。=Y.l 2r 2l當(dāng)8當(dāng)8時(shí)，，即攝像機(jī)光軸與Z軸平行Z=FBFX-Xlr軟件流程圖如下:圖10軟件設(shè)計(jì)流程圖和匹配流程圖Fig.10Softwaredesignandmatchingflowchart(2導(dǎo)購智能購物車基于先進(jìn)的科學(xué)技術(shù)與創(chuàng)新理念，運(yùn)用紅外線掃描原理顯示器主要由紅外線掃描儀和一個(gè)電子顯示器組成，掃描儀將紅外線掃描到的信息再通過紅外線傳到顯示器里，顯示器里的電子系統(tǒng)會(huì)累加商品價(jià)格。購物車前端配備有一個(gè)電子顯示屏，購物車的四周，安裝有紅外線掃描儀器，底部形成一個(gè)細(xì)密的網(wǎng)狀向上發(fā)射紅外線，檢測附有條形碼的商品，物品放進(jìn)購物車內(nèi)時(shí)，紅外線會(huì)自動(dòng)掃描，識(shí)別商品的條形碼，并在電子屏上顯示相關(guān)信息。考慮到購物車的整體形態(tài)，我們選擇在購物車的框底安裝一個(gè)電容式稱重傳感器［28］,用來測量已購買物品的重量。它利用電容器振蕩電路的振蕩頻率f與極板間距d的正比例關(guān)系工作。極板有兩塊，一塊固定不動(dòng)，另一塊可移動(dòng)。在承重臺(tái)加載被測物時(shí)，板簧撓曲，兩極板之間的距離發(fā)生變化，電路的振蕩頻率也隨之變化。測出頻率的變化即可求出承重臺(tái)上被測物的質(zhì)量。電容式傳感器耗電量少，造價(jià)低，準(zhǔn)確度為1/200?1/500。二維碼是二維條形碼的一種，可以將網(wǎng)址、文字、照片等信息通過相應(yīng)的編碼算法編譯成為一個(gè)方塊形條碼圖案，手機(jī)用戶可以通過攝像頭和解碼軟件將相關(guān)信息重新解碼并查看內(nèi)容。二維條碼二維碼(dimensionalbarcode)是用某種特定的幾何圖形按一定規(guī)律在平面(二維方向上)分布的黑白相間的圖形記錄數(shù)據(jù)符號(hào)信息的；在代碼編制上巧妙地利用構(gòu)成計(jì)算機(jī)內(nèi)部邏輯基礎(chǔ)的“0”、“1”比特流的概念，使用若干個(gè)與二進(jìn)制相對(duì)應(yīng)的幾何形體來表示文字?jǐn)?shù)值信息，通過圖象輸入設(shè)備或光電掃描設(shè)備自動(dòng)識(shí)讀以實(shí)現(xiàn)信息自動(dòng)處理：它具有條碼技術(shù)的一些共性：每種碼制有其特定的字符集；每個(gè)字符占有一定的寬度；具有一定的校驗(yàn)功能等。同時(shí)還具有對(duì)不同行的信息自動(dòng)識(shí)別功能、及處理圖形旋轉(zhuǎn)變化等特點(diǎn)。二維條碼具有儲(chǔ)存量大、保密性高、追蹤性高、抗損性強(qiáng)、備援性大、成本便宜等特性，這些特性特別適用于表單、安全保密、追蹤、證照、存貨盤點(diǎn)、資料備援等方面。我們預(yù)先在商品貨架附近貼上一個(gè)二維碼［29］信息。當(dāng)購物車移動(dòng)到貨架附近時(shí)，第三個(gè)攝像頭拍攝到這個(gè)二維碼之后，采用面陣CCD攝像方式將條碼圖像攝取后進(jìn)行分析和解碼，可閱讀二維條碼，再由終端系統(tǒng)處理，導(dǎo)出預(yù)先已存儲(chǔ)的相關(guān)商品的打折信息，通過電子屏以明顯文字形式顯示，或者通過語音形式播報(bào)。圖11二維碼Fig.11TwoDimensionalBarcode最后，當(dāng)顧客需要清點(diǎn)所購商品時(shí)，電子屏上會(huì)顯示已購買的商品類型，總重量和總價(jià)，方便顧客清算。主要特色及創(chuàng)新點(diǎn)該智能購物車的三大特色為：運(yùn)用機(jī)器視覺技術(shù)完成自動(dòng)跟蹤功能。能夠主動(dòng)識(shí)別打折信息、并將相應(yīng)信息以語音和屏幕形式顯示。具有測重與羅列待購物品清單并計(jì)價(jià)的功能。在保證以上功能實(shí)現(xiàn)的同時(shí)盡量降低成本，以便于在未來的大中型超市中普及。將立體視覺技術(shù)應(yīng)用到智能購物車自動(dòng)跟蹤技術(shù)的開發(fā)中，真正將理論知識(shí)用于生活實(shí)際，具有一定的應(yīng)用價(jià)值。將單片機(jī)，雙目視覺，圖像處理多種技術(shù)融合，推動(dòng)了各學(xué)科交叉應(yīng)用。通過利用雙目視覺進(jìn)行自動(dòng)跟蹤，比傳統(tǒng)利用傳感器跟蹤成本低很多。有待解決的問題建立一體化雙目視覺平臺(tái)的系統(tǒng)體系結(jié)構(gòu)如何依據(jù)雙目視覺實(shí)現(xiàn)購物車的自動(dòng)跟隨，是對(duì)本項(xiàng)目的最大挑戰(zhàn)。目前，絕大多數(shù)研究都屬于單攝像機(jī)的運(yùn)動(dòng)目標(biāo)檢測和跟蹤問題。但在實(shí)際的視頻系統(tǒng)中，單攝像機(jī)所能探測的區(qū)域很有限，因此在一些大的公共場合，更多的是使用多攝像機(jī)以擴(kuò)大視野范圍。而且單攝像機(jī)不能獲得運(yùn)動(dòng)目標(biāo)的距離信息，而雙目視覺系統(tǒng)卻能夠得到運(yùn)動(dòng)目標(biāo)的距離信息。在對(duì)運(yùn)動(dòng)目標(biāo)跟蹤過程中，往往發(fā)生運(yùn)動(dòng)目標(biāo)被遮擋或暫時(shí)消失等情況從而丟失運(yùn)動(dòng)目標(biāo)，這一問題是運(yùn)動(dòng)目標(biāo)跟蹤中又一個(gè)難點(diǎn)問題，使用單攝像機(jī)解決這一問題相當(dāng)困難，而使用多攝像機(jī)能在很大程度上解決這一難題。但多攝像機(jī)跟蹤面臨一個(gè)單攝像機(jī)跟蹤所沒有的難題，那就是如何將不同攝像機(jī)所獲得的不同視角的運(yùn)動(dòng)目標(biāo)信息正確地對(duì)應(yīng)起來，這就需要將兩臺(tái)攝像機(jī)及其云臺(tái)、控制系統(tǒng)、光學(xué)傳感檢測、圖像采集、圖像分析系統(tǒng)及通信系統(tǒng)等集成在一起，構(gòu)成一個(gè)一體化雙目視覺平臺(tái)的系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)，從而實(shí)現(xiàn)更好的，正確率相對(duì)更高的自動(dòng)跟隨。雙目協(xié)調(diào)機(jī)制研究主動(dòng)跟蹤涉及計(jì)算機(jī)視覺等多個(gè)領(lǐng)域多個(gè)研究方向的相關(guān)技術(shù)，包括目標(biāo)檢測，目標(biāo)跟蹤，以及運(yùn)動(dòng)控制等。當(dāng)攝像機(jī)個(gè)數(shù)增多之后，會(huì)帶來一個(gè)新的問題，即攝像機(jī)之間的協(xié)調(diào)，或稱一致性問題。目標(biāo)檢測負(fù)責(zé)發(fā)現(xiàn)運(yùn)動(dòng)的目標(biāo)，提取目標(biāo)區(qū)域；跟蹤則是在視頻的連續(xù)圖像序列中定位目標(biāo)，并計(jì)算運(yùn)動(dòng)參數(shù)，運(yùn)動(dòng)軌跡等；運(yùn)動(dòng)控制則是根據(jù)當(dāng)前目標(biāo)的位置，調(diào)整攝像機(jī)的水平角和俯仰角，使目標(biāo)位于攝像機(jī)視野的中央。如果兩個(gè)攝像機(jī)之間無協(xié)調(diào)機(jī)制，而是對(duì)各自拍攝的圖像序列分別進(jìn)行目標(biāo)檢測與跟蹤，將會(huì)導(dǎo)致不同攝像機(jī)在檢測、跟蹤計(jì)算過程中引入的誤差不一致，進(jìn)而會(huì)導(dǎo)致雙目的動(dòng)作不一致、不協(xié)調(diào)。因此，雙目之間的協(xié)調(diào)機(jī)制是必要的。三、預(yù)期效果與具體成果實(shí)現(xiàn)功能，具體包括：自動(dòng)跟隨在購物車前身平行安置兩個(gè)攝像頭，建立雙目視覺立體系統(tǒng)，系統(tǒng)通過圖像獲取、攝像機(jī)的標(biāo)定、特征點(diǎn)提取、立體匹配、三維重建，在購物者無佩戴任何裝置的狀態(tài)下實(shí)現(xiàn)自動(dòng)、及時(shí)跟隨功能。羅列清單在購物車上安裝一電子屏，當(dāng)購物結(jié)束時(shí)，按下指定鍵，屏幕立即顯示所購物品清單。測重在購物車底座上安裝一測重傳感器，往購物車?yán)锓盼锲窌r(shí)，屏幕上自動(dòng)累計(jì)物品重量，方便老人、婦女等弱勢人群。識(shí)別打折信息安裝第三個(gè)、第四個(gè)攝像頭（左右各有一個(gè)），拍攝提前貼在指定位置的二維碼（即打折信息）之后，通過文字形式或者語音形式反饋。

記賬車上添置紅外條形碼機(jī)，購物者可讀取任何商品條碼以獲取商品信息和價(jià)格，并自動(dòng)計(jì)算購買總金額供購物者參考。以中央民族大學(xué)超市為例，具體成果將以實(shí)物給出，并演示預(yù)期效果。此款普及型智能購物車若真開發(fā)上市，必然使購物者更加輕松便利，另外，低廉的成本使之普及成為可能。四、具體安排及進(jìn)度實(shí)施階段具體任務(wù)實(shí)施階段第一階段 研究檢測算法、識(shí)別與跟蹤、匹配等所需學(xué)科知識(shí);項(xiàng) 收集資料全面深入了解所需雙目視覺等技術(shù)。目 購置所需設(shè)備、工具和元器件；階 )測試各試驗(yàn)器件指標(biāo)、實(shí)際值和準(zhǔn)確度，掌握各設(shè)備、段元器件工作原理；性段元器件工作原理；性第二階段)搭建并完善雙目視覺系統(tǒng).搭建并完善雙目視覺系統(tǒng)；目)初步實(shí)現(xiàn)羅列清單、導(dǎo)購、測重及顯示播報(bào)打折信息標(biāo)功能；)組裝購物車，檢驗(yàn)各部分工作并完善；第三階段 綜合測試系統(tǒng)，并在超市發(fā)演示成品;時(shí)間劃分

(月)2011年時(shí)間劃分

(月)2011年3月到6月末2011年6月末到9月末2011年9月到11月末五、經(jīng)費(fèi)預(yù)算支出明細(xì)項(xiàng)目金額項(xiàng)目類型數(shù)量單價(jià)合計(jì)攝像頭43001200普通超市購物車1400400傳動(dòng)裝置120002000單片機(jī)1400400顯示屏120002000語音設(shè)備1400400條形碼掃描儀1300300電容稱重傳感器1800800資料費(fèi)500小型工具500其他500合計(jì)9000(1)資料費(fèi)：打印、參考材料，購買相關(guān)書籍;其他：交通費(fèi)用等。普通元器件：固定裝置、導(dǎo)線、芯片、電容、電阻、螺絲等;(1)資料費(fèi)：打印、參考材料，購買相關(guān)書籍;其他：交通費(fèi)用等。參考文獻(xiàn)[1]侯志強(qiáng)，韓崇昭.視覺跟蹤技術(shù)綜述，自動(dòng)化學(xué)報(bào)，2006年7月，32(4):603-617..WeimingHu,TieniuTan,LiangWang,etal.ASurveyonVisualSurveillanceofObjectMotionandBehaviors[J].IEEETransactionsonSystems,Man,andCybernetics,2004,34(3):334-352..BogaertM,ChleqN,CornezP,etal.ThePASSWORDSProject[A].ProceedingsofIEEEInternationalConferenceonImageProcessing?,1996,3:675-678..WrenCR,AzarbayejaniA,DarrelT,etal.Pfinder:Real-timeTrackingoftheHumanBody[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1997,19(7):780-785..CollinsR,LiptonA,KanadeT,etal.ASystemforVideoSurveillanceandMonitoring,VSAMfinalreport,CarnegieMellonUniversity:TechnicalReportCMU-RI-TR-00-12,2000..RymelJ,RennoJ,GreenhillD,OrwellJ,JonesG.A.AdaptiveEigen-backgroundsforobjectdetection[C].InternationalConferenceonImageProcessing,2004,3:1847-1850..JianpengZhou,JackHoang.RealTimeRobustHumanDetectionandTrackingSystem?.Proceedingsofthe2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition[C],2005:149-156..Binocularstereovisionbasedindoorsceneperception?.3rdInternationalConferenceonComputerResearchandDevelopment(ICCRD),2011,2:34-37..侯志強(qiáng)，韓崇昭.視覺跟蹤技術(shù)綜述[J].自動(dòng)化學(xué)報(bào),2006,32(4):603-617..張娟，毛曉波，陳鐵軍.運(yùn)動(dòng)目標(biāo)跟蹤算法研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2009,26(12):4407-4410..AlperYilmaz,OmarJaved,MubarakShah.ObjectTracking:ASurvey[J].ACMComputingSurveys,2004,38(4).3-45.JonhCanny.AComputationalApproachtoEdgeDetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1986,8(6):679-698..WeiyuZhu,StephenLevinson.EdgeOrientation-BasedMulti-ViewObjectRecognition[C].Proceedingsof15thInternationalConferenceonPatternRecognition,2000,1.936-939.劉惟錦，章毓晉.基于Kalman濾波和邊緣直方圖的實(shí)時(shí)目標(biāo)跟蹤[J].清華大學(xué)學(xué)報(bào)(自然科學(xué)版),2008,48(7):1104-1107..Chun-KaiWang,Ming-YangCheng,Chien-HsienLiao.Designandimplementationofamulti-purposereal-timepan-tiltvisualtrackingsystem[A].Proceedingsofthe2004IEEEInternationalConferenceonControlApplications[C],2004,2:1079-1084..MyronZ.Brown,DariusBurschka,GregoryD.Hager.AdvancesinComputationalStereo[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(8):993-1008..UmeshR.Dhond,J.K.Aggarwal.StructurefromStereo-AReview[J].IEEETransactionsonSystems,Man,andCybernetics,1989,19(6):1489-1510..BarnardST，F(xiàn)ischlerMA.Computationalstereo[J].ACMComputingSurvey,1982,14(4):533-572..于乃功，秦永鋼，阮曉鋼.立體匹配算法進(jìn)展[J].計(jì)算機(jī)測量與控制，2009,17(5):817-819,840..王珺.計(jì)算機(jī)立體視覺算法研究與實(shí)現(xiàn)[D].大連理工大學(xué),2009..NaoyukiSawasaki,ToshihikoMorita,TakashiUchiyama.DesignandImplementationofHigh-speedVisualTrackingSystemforReal-TimeMotionAnalysis[A].Proceedingsofthe13thInternationalConferenceonPatternRecognition[C],1996,3:478-483..EricHayman,Jan-OlofEklundh.StatisticalBackgroundSubtractionforaMobileObserver[A].ProceedingsoftheNinthIEEEInternationalConferenceonComputerVision[C],2003,67-74..ZhenJia,BalasuriyaA.,ChallaS.RecentDevelopments