MATLAB與語(yǔ)音視頻技術(shù)課程.docx

1、圖像拼接是一個(gè)日益流行的研究領(lǐng)域，他已經(jīng)成為照相繪圖學(xué)、計(jì)算機(jī)視覺(jué)、圖像處理和計(jì)算機(jī)圖形學(xué)研究中的熱點(diǎn)。圖像拼接解決的問(wèn)題一般式，通過(guò)對(duì)齊一系列空間重疊的圖像，構(gòu)成一個(gè)無(wú)縫的、高清晰的圖像，它具有比單個(gè)圖像更高的分辨率和更大的視野。在虛擬現(xiàn)實(shí)領(lǐng)域中，人們可以利用圖像拼接技術(shù)來(lái)得到寬視角的圖像或360 度全景圖像，用來(lái)虛擬實(shí)際場(chǎng)景。這種基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)，通過(guò)全景圖的深度信息抽取，恢復(fù)場(chǎng)景的三維信息，進(jìn)而建立三維模型。這個(gè)系統(tǒng)允許用戶在虛擬環(huán)境中的一點(diǎn)作水平環(huán)視以及一定范圍內(nèi)的俯視和仰視，同時(shí)允許在環(huán)視的過(guò)程中動(dòng)態(tài)地改變焦距。在醫(yī)學(xué)圖像處理方面，顯微鏡或超聲波的視野較小，醫(yī)師無(wú)法通過(guò)一幅圖

2、像進(jìn)行診視，同時(shí)對(duì)于大目標(biāo)圖像的數(shù)據(jù)測(cè)量也需要把不完整的圖像拼接為一個(gè)整體。所以把相鄰的各幅圖像拼接起來(lái)是實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)測(cè)量和遠(yuǎn)程會(huì)診的關(guān)鍵環(huán)節(jié)圓。在遙感技術(shù)領(lǐng)域中，利用圖像拼接技術(shù)中的圖像匹配技術(shù)可以對(duì)來(lái)自同一區(qū)域的兩幅或多幅圖像進(jìn)行比較，也可以利用圖像拼接技術(shù)將遙感衛(wèi)星拍攝到的有失真地面圖像拼接成比較準(zhǔn)確的完整圖像，作為進(jìn)一步研究的依據(jù)。從以上方面可以看出，圖像拼接技術(shù)的應(yīng)用前景十分廣闊，深入研究圖像拼接技術(shù)有著很重要的意義。一、圖像匹配二、圖像融合圖像匹配是指依據(jù)一些相似性度量來(lái)決定圖像間的變換參數(shù)，使從不同傳感器、不同視角、不同時(shí)間獲取的同一場(chǎng)景的兩幅或多幅圖像，變換到同一坐標(biāo)系下，在像

3、素層上得到最佳匹配的過(guò)程。圖像匹配不但是圖像拼接技術(shù)中的難點(diǎn)，而且還是進(jìn)行圖像拼接時(shí)最為關(guān)鍵的一步，它直接影響到整個(gè)圖像拼接過(guò)程中的拼接效果和拼接速度?；趫D像灰度的匹配基于模板的匹配基于變換域的匹配基于特征的匹配基于灰度的匹配方法直接利用圖像的灰度值來(lái)確定圖像的空間變換，充分利用圖像中所包含的信息，因此該方法也被稱(chēng)為基于圖像整體內(nèi)容的匹配方法?；诨叶鹊娜詣?dòng)匹配方法的基本思想是：首先對(duì)待匹配的圖像做幾何變換，然后根據(jù)灰度信息的統(tǒng)計(jì)特性定義一個(gè)目標(biāo)函數(shù)（如互信息、最小均方差等）作為參考圖像與變換圖像之間的相似性度量，配準(zhǔn)參數(shù)在目標(biāo)函數(shù)的極值處取得，并以此作為配準(zhǔn)的判決準(zhǔn)則和配準(zhǔn)參數(shù)最優(yōu)化的目

4、標(biāo)函數(shù)，從而將配準(zhǔn)問(wèn)題轉(zhuǎn)化為多元函數(shù)的極值問(wèn)題，最后通過(guò)一定的最優(yōu)化方法求得正確的幾何變換參數(shù)?；趫D像灰度的方法不需要對(duì)圖像進(jìn)行分割和特征提取，所以精度高，魯棒性好。但這種匹配方法對(duì)灰度變換非常敏感，沒(méi)有充分利用灰度統(tǒng)計(jì)特性，對(duì)每一點(diǎn)的灰度信息依賴(lài)較大。基于模板的匹配即是在圖像的已知重疊區(qū)域中裁剪一塊矩形區(qū)域作為模板，和被搜索圖像中同樣大小的一塊區(qū)域進(jìn)行對(duì)比，根據(jù)相似程度來(lái)確定最佳的匹配位置。模板匹配包括4個(gè)方面：模板特征選??；基準(zhǔn)模板的選取，確定基準(zhǔn)模板的大小和坐標(biāo)定位；模板匹配的相似性度量；匹配模板的搜索策略。基于變換域的匹配方法有：基于傅里葉變換、基于Gabor變換和基于小波變換的匹配

5、。其中最經(jīng)典的方法是由Kuglin和Hines在1975年提出的基于傅里葉變換的相位相關(guān)法。該方法對(duì)待匹配圖像進(jìn)行快速傅里葉變換，將兩幅圖變換到頻域，然后通過(guò)它們的互功率譜計(jì)算出兩幅圖像間的平移量。對(duì)于存在旋轉(zhuǎn)變換的圖像，可以將圖像坐標(biāo)變換到極坐標(biāo)下，將旋轉(zhuǎn)量轉(zhuǎn)換為平移量來(lái)計(jì)算。基于圖像特征的匹配方法，首先要對(duì)待匹配的兩幅圖像進(jìn)行處理，提取滿足特定應(yīng)用要求的特征集，然后將這兩組特征集進(jìn)行匹配對(duì)應(yīng)，生成一組對(duì)應(yīng)特征對(duì)集，最后利用這組特征對(duì)之間的相應(yīng)關(guān)系估計(jì)出全局變換參數(shù)?；谔卣鞯膱D像匹配主要包括四個(gè)步驟。特征提?。焊鶕?jù)待匹配圖像的灰度性質(zhì)決定使用何種特征進(jìn)行匹配。一般要求選取的特征應(yīng)該明顯，易

6、于提取，并且在參考圖像的待匹配圖像上有足夠多的分布。常用的特征有邊緣特征、區(qū)域特征、點(diǎn)特征和高層模型等；提取特征點(diǎn)特征匹配：在提取出的特征集之間建立一個(gè)對(duì)應(yīng)關(guān)系，通常利用特征自身的屬性描述結(jié)合特征所在的區(qū)域的灰度以及特征之間的幾何拓?fù)潢P(guān)系來(lái)確定特征間的對(duì)應(yīng)。常用的特征匹配的方法有空間相關(guān)、描述符方法、松弛方法和金字塔算法等；模型參數(shù)估計(jì)：在參考圖像和待拼接圖像重疊區(qū)域中找到匹配特征集之后，就需要構(gòu)造變換模型，即通過(guò)圖像之間部分元素的匹配關(guān)系確定兩幅圖像的變換關(guān)系。根據(jù)變換模型就可以將待拼接圖像變換到參考圖像的坐標(biāo)系下；圖像變換和灰度插值：將待拼接圖像變換到參考圖像坐標(biāo)系下。待拼接的源圖像，由于

7、拍攝時(shí)光照、視野、地點(diǎn)的差異等不定因素的影響，重疊區(qū)域可能在兩幅圖像中有較大的差別。如果直接對(duì)這樣的圖像進(jìn)行簡(jiǎn)單的疊加拼合，得到的拼接圖在拼接位置上會(huì)存在明顯的拼接縫和重疊區(qū)域模糊失真的現(xiàn)象。 如果不能很好地處理圖像拼接時(shí)的拼接縫問(wèn)題，就無(wú)法得到真正意義的全景圖。圖像融合技術(shù)就是要消除拼接圖像的拼接縫問(wèn)題，即消除拼接圖像中的“鬼影”和“曝光差異”，獲得真正意義上的無(wú)縫拼接圖像。 利用多個(gè)傳感器提供的冗余信息可提高融合圖像的精確性及可靠性。融合圖像具有較強(qiáng)的魯棒性，即使個(gè)別傳感器故障也不會(huì)對(duì)融合圖像產(chǎn)生嚴(yán)重影響。利用多個(gè)傳感器提供的互補(bǔ)信息，融合后的圖像包含了更為全面、豐富的信息，其更符合人或機(jī)

8、器的視覺(jué)特性、更有利于對(duì)圖像的進(jìn)一步分析處理以及自動(dòng)目標(biāo)識(shí)別。在不利的環(huán)境條件下（例如煙、塵、云、霧、雨等），通過(guò)多傳感器圖像 融合可以改善檢測(cè)性能。例如，在煙、塵、云、霧環(huán)境下，TV（可見(jiàn)光）圖像質(zhì)量差（甚至無(wú)法看清目標(biāo)） ，而毫米波雷達(dá)獲得的圖像對(duì)于煙、云、塵、霧卻 有較強(qiáng)的穿透能力，盡管信號(hào)會(huì)有些衰減，但仍然可獲得較清晰的圖像。目前，圖像融合技術(shù)在許多領(lǐng)域都得到了廣泛的應(yīng)用，包括遙感圖像的分析 和處理、自動(dòng)識(shí)別、計(jì)算機(jī)視覺(jué)、醫(yī)學(xué)圖像處理。圖像融合的步驟一般分為兩大步：預(yù)處理階段和融合階段。，像素級(jí)圖像融合是指在嚴(yán)格配準(zhǔn)條件下對(duì)各傳感器輸出的信號(hào)直接進(jìn)行信息綜合處理的過(guò)程。像素級(jí)圖像融合是

9、直接在原始數(shù)據(jù)層上進(jìn)行融合，該層次的融合準(zhǔn)確性最高，相比其他層次上的圖像融合該層次上的圖像融合具有的更精確、更豐富、更可靠的細(xì)節(jié)信息，有利于圖像更進(jìn)一步的理解與分析。像素級(jí)圖像融合是特征級(jí)和決策級(jí)圖像融合的基礎(chǔ)，也是目前應(yīng)用最廣泛圖像融合方式。但像素級(jí)圖像融合也是有缺點(diǎn)的，缺點(diǎn)是預(yù)處理的信息量最大，處理時(shí)間較長(zhǎng)，對(duì)通信帶寬的要求高，因此在此層析上進(jìn)行圖像融合之前必須先對(duì)參加融合的圖像進(jìn)行精確的配準(zhǔn)，加大了工作量。像素級(jí)數(shù)據(jù)融合原理示意圖1.對(duì)圖像的RGB空間中的R、G、B變換，得到I、H、S三個(gè)分量2.再將亮度分量I按規(guī)則融合，得到新的亮度分量3.再將newI、H、S反變換回RGB空間，完成融

10、合過(guò)程特征級(jí)圖像融合是指對(duì)不同傳感器的多源信息進(jìn)行特征提?。òㄐ螤?、邊緣、區(qū)域、輪廓、紋理、角等），然后再對(duì)從多個(gè)傳感器獲得的多個(gè)特征信息進(jìn)行綜合的分析和處理的過(guò)程。特征級(jí)圖像融合屬于中間層次，為決策級(jí)圖像融合做準(zhǔn)備，它既保留了重要信息，有對(duì)信息進(jìn)行了壓縮，便于實(shí)時(shí)處理。但相對(duì)于像素級(jí)圖像融合，特征級(jí)融合信息丟失最多。特征級(jí)數(shù)據(jù)融合原理示意圖決策級(jí)圖像融合是指對(duì)每個(gè)圖像的特征信息進(jìn)行分類(lèi)、識(shí)別等處理，形成相應(yīng)的結(jié)果，進(jìn)行進(jìn)一步的融合過(guò)程，最終的決策結(jié)果是全局最優(yōu)決策。決策級(jí)圖像融合是一種更高層次的信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。決策級(jí)圖像融合的方法主要是基于認(rèn)知模型的方法，需要大型數(shù)據(jù)庫(kù)和專(zhuān)家決策系統(tǒng)，進(jìn)行分析、推理、識(shí)別和判決。此種融合實(shí)時(shí)性好，并且有一定的容錯(cuò)能力，但其預(yù)處理代價(jià)較高，圖像中的原始信息的損失最多。決策級(jí)數(shù)據(jù)融合原理示意圖本文主要是對(duì)圖像拼接技術(shù)所做的一個(gè)研究，圖像拼接技術(shù)作為數(shù)字圖像處理領(lǐng)域的一個(gè)重要分支，在虛擬現(xiàn)實(shí)領(lǐng)域、醫(yī)學(xué)圖像處理領(lǐng)域、遙感技術(shù)領(lǐng)域和軍事領(lǐng)域中均有廣泛