【圖像增強(qiáng)技術(shù)的分析17000字（論文）】

圖像增強(qiáng)技術(shù)的研究目錄畢業(yè)論文（設(shè)計(jì)） 1圖像增強(qiáng)技術(shù)的研究 1第一章緒論 5第一節(jié)研究背景 5第二節(jié)圖像增強(qiáng)技術(shù)的技術(shù)難點(diǎn) 6第三節(jié)圖像增強(qiáng)技術(shù)的研究現(xiàn)狀 6第四節(jié)論文概述 10第二章圖像質(zhì)量評(píng)價(jià) 11第一節(jié)客觀無(wú)參考圖像質(zhì)量評(píng)價(jià) 11第二節(jié)基于圖像質(zhì)量評(píng)價(jià)的圖像類型預(yù)測(cè) 15第三章圖像增強(qiáng)算法的研究 16第一節(jié)基于全局信息的圖像增強(qiáng) 16第二節(jié)基于局部信息的圖像增強(qiáng) 17第三節(jié)基于偏微分方程的圖像濾波算法 18第四章基于GPU的圖像并行處理 19第一節(jié)可編程流水線結(jié)構(gòu)和流式編程模型 19第二節(jié)基于圖形處理器的圖像并行處理 20第三節(jié)圖像質(zhì)量評(píng)價(jià)和增強(qiáng)算法對(duì)GPU的計(jì)算需求分析 22第五章基于GPU的圖像自動(dòng)増強(qiáng)系統(tǒng)實(shí)現(xiàn) 23第一節(jié)基于GPU的圖像處理平臺(tái) 23第二節(jié)基于GPU實(shí)現(xiàn)基本運(yùn)算 24第三節(jié)圖像增強(qiáng)算法的GPU實(shí)現(xiàn) 24第六章結(jié)論 26參考文獻(xiàn) 28第一章緒論第一節(jié)研究背景圖像增強(qiáng)技術(shù)廣泛應(yīng)用于各種監(jiān)控系統(tǒng)中，如檔案室、文件室等機(jī)要部門(mén)的監(jiān)控、交通領(lǐng)域的交通違章監(jiān)控，以及軍事領(lǐng)域的監(jiān)控等。視頻設(shè)備在通常情況下可以達(dá)到較好的監(jiān)控效果。但是，視頻設(shè)備的通用性限制了視頻設(shè)備對(duì)環(huán)境的適應(yīng)性，視頻設(shè)備的參數(shù)一旦設(shè)置，不能自動(dòng)的適應(yīng)環(huán)境變化去調(diào)整參數(shù)，并且一些特殊的場(chǎng)合會(huì)超出視頻設(shè)備的使用范圍，以致拍攝到的圖像根本無(wú)法觀察和辨認(rèn)。長(zhǎng)期安裝在交通路口的攝像機(jī)，在一天時(shí)間內(nèi)就要經(jīng)歷各種不同亮度，不同方向的光照，甚至下雨，大霧等天氣的變化。這些不確定因素都將會(huì)影響攝像機(jī)拍攝的效果。為了使攝像機(jī)對(duì)這種不確定因素具有一定的適應(yīng)性，我們?cè)谠杏布O(shè)備的基礎(chǔ)上，在軟件層次上對(duì)監(jiān)控系統(tǒng)進(jìn)行改進(jìn)，從而在不大幅度增加原系統(tǒng)成本的前提下，提高攝像機(jī)拍攝質(zhì)量，提高監(jiān)控系統(tǒng)的效能。這一課題完成，將在工程應(yīng)用領(lǐng)域起到廣泛的作用。圖像自動(dòng)增強(qiáng)系統(tǒng)作為原有系統(tǒng)的前端處理，能夠在不增加硬件成本的基礎(chǔ)上提高原有系統(tǒng)的發(fā)現(xiàn)目標(biāo)、定位跟蹤目標(biāo)的能力，同時(shí)增加了原有系統(tǒng)對(duì)環(huán)境的適應(yīng)能力，使得原有系統(tǒng)的適用范圍變得更廣，節(jié)約了系統(tǒng)的成本，提高了系統(tǒng)的可靠性。第二節(jié)圖像增強(qiáng)技術(shù)的技術(shù)難點(diǎn)本文重點(diǎn)研究了圖像質(zhì)量評(píng)價(jià)與自動(dòng)增強(qiáng)算法選擇問(wèn)題、圖像增強(qiáng)算法設(shè)計(jì)和增強(qiáng)算法的實(shí)時(shí)性問(wèn)題。研究工作中遇到的技術(shù)難點(diǎn)有：1、圖像質(zhì)量的評(píng)價(jià)與自動(dòng)增強(qiáng)算法選擇問(wèn)題。目前，還沒(méi)有建立圖像評(píng)價(jià)的統(tǒng)一標(biāo)準(zhǔn)，尺度不同，劃分的界線就不同，同樣的數(shù)據(jù)集就會(huì)出現(xiàn)不同的分類。這將直接影響我們選擇圖像增強(qiáng)的算法，處于分類界線模糊的區(qū)域的數(shù)據(jù)集，不同的評(píng)價(jià)尺度對(duì)于其增強(qiáng)后效果的影響較大。2、圖像增強(qiáng)算法的設(shè)計(jì)問(wèn)題。圖像增強(qiáng)往往是一個(gè)矛盾的問(wèn)題，增強(qiáng)目標(biāo)的同時(shí)加劇了噪聲，如何在增強(qiáng)目標(biāo)時(shí)盡可能抑制噪聲。圖像去霧問(wèn)題，僅從單幅圖像中恢復(fù)圖像細(xì)節(jié)信息也是一個(gè)較為棘手的問(wèn)題。3、圖像增強(qiáng)算法的實(shí)時(shí)性問(wèn)題。圖像處理一直有數(shù)據(jù)量大的問(wèn)題，隨著圖像質(zhì)量評(píng)價(jià)算法和圖像增強(qiáng)算法的復(fù)雜度增加，普通的圖像處理系統(tǒng)很難達(dá)到實(shí)時(shí)性要求，使得系統(tǒng)的功能受到了很大的局限性。優(yōu)化算法，采用并行處理技術(shù)來(lái)提高算法效率，盡量使系統(tǒng)滿足實(shí)時(shí)性要求。第三節(jié)圖像增強(qiáng)技術(shù)的研究現(xiàn)狀圖像的自動(dòng)增強(qiáng)是指系統(tǒng)能夠根據(jù)攝像機(jī)所采集到的圖像，通過(guò)一定的評(píng)價(jià)準(zhǔn)則來(lái)判斷圖像質(zhì)量和降質(zhì)類型，從而采取相應(yīng)的增強(qiáng)算法對(duì)其進(jìn)行質(zhì)量改善。圖像質(zhì)量評(píng)價(jià)是一個(gè)經(jīng)典的研究課題，在許多圖像應(yīng)用領(lǐng)域中，圖像質(zhì)量評(píng)價(jià)都具有重要的意義。I.E.Abdou認(rèn)為，圖像質(zhì)量評(píng)價(jià)&主要包括兩個(gè)方面：圖像的逼真度和圖像的可理解度。圖像的逼真度是描述被評(píng)價(jià)圖像與標(biāo)準(zhǔn)圖像的偏離程度，圖像的可理解度則是表示圖像能向人或計(jì)算機(jī)提供信息的能力。目前主要的圖像質(zhì)量評(píng)價(jià)方法可分為兩大類：主觀評(píng)價(jià)和客觀評(píng)價(jià)。主觀評(píng)價(jià)是通過(guò)人眼對(duì)圖像進(jìn)行評(píng)價(jià)，依賴主觀的直覺(jué)去判斷圖像的清晰度、對(duì)比度、以及圖像細(xì)節(jié)信息等等。人眼對(duì)圖像質(zhì)量的評(píng)價(jià)具有較高的準(zhǔn)確性，但是其主觀隨意性較大，無(wú)法用數(shù)學(xué)模型對(duì)其進(jìn)行描述，不易定量測(cè)量?？陀^評(píng)價(jià)是建立能夠自動(dòng)評(píng)價(jià)圖像質(zhì)量的客觀評(píng)價(jià)模型，這些模型一般通過(guò)提取一個(gè)或者多個(gè)圖像質(zhì)量量度指標(biāo)來(lái)衡量圖像質(zhì)量好壞。客觀評(píng)價(jià)模型可以用數(shù)學(xué)公式加以描述，計(jì)算起來(lái)比較方便。相對(duì)于主觀的質(zhì)量評(píng)價(jià)，客觀的圖像質(zhì)量評(píng)價(jià)具有更強(qiáng)的實(shí)用性，客觀圖像質(zhì)量評(píng)價(jià)的目標(biāo)0就是設(shè)計(jì)能夠自動(dòng)預(yù)測(cè)圖像和視頻的感知質(zhì)量的指標(biāo)。因此客觀的圖像的質(zhì)量評(píng)價(jià)吸引了大量學(xué)者的研究，目前己經(jīng)有大量的客觀圖像質(zhì)量評(píng)價(jià)方法，主要有三類：一類是全參考的質(zhì)量評(píng)價(jià)，即圖像的保真度通常這類方法需要有無(wú)失真的參考圖像。一般使用均方誤差(MSE)、信噪比(SNR)等來(lái)表示失真圖像與參考圖像的差距。另一類是半?yún)⒖嫉膱D像質(zhì)量評(píng)價(jià)，這類算法主要是計(jì)算圖像的某些特征，并將這些特征與參考圖像的特征進(jìn)行比對(duì)。在實(shí)際中經(jīng)常需要使用的一類是無(wú)參考的圖像質(zhì)量評(píng)價(jià)，它不需要使用參考圖像，主要是通過(guò)估計(jì)圖像中的噪聲、模糊，塊效應(yīng)等程度來(lái)評(píng)介圖像質(zhì)量。在我們的圖像自動(dòng)增強(qiáng)系統(tǒng)中，我們需要設(shè)計(jì)客觀無(wú)參考的圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，并且在客觀的評(píng)價(jià)模型中注重與人的視覺(jué)感知一致，尋求建立具有人眼視覺(jué)感受特性的客觀的圖像質(zhì)量評(píng)價(jià)模型，為系統(tǒng)采集到的圖像質(zhì)量和降質(zhì)類型的判定提供客觀指導(dǎo)。在圖像增強(qiáng)領(lǐng)域，人們提出了很多種算法。最為通常的方法是直方圖均衡化，通過(guò)直方圖均衡化來(lái)實(shí)現(xiàn)自動(dòng)的對(duì)比度增強(qiáng)，直方圖上灰度分布較密的部分被拉伸，灰度分布稀疏的部分被壓縮，從而使一幅圖像的對(duì)比度在總體上得到增強(qiáng)。但是，在原圖像直方圖中有一個(gè)很大分量情況下，增強(qiáng)的圖像會(huì)出現(xiàn)“退色”和“散斑”效應(yīng)，使得增強(qiáng)的圖像在視覺(jué)效果上較差。為了解決這個(gè)問(wèn)題，人們提出了局部直方圖均衡化將直方圖均衡化運(yùn)算壓縮到圖像的局部區(qū)域，然后遍歷所有的局部區(qū)域，這種方法要遍歷圖像的所有像素，所以它的時(shí)間復(fù)雜度很高，不利于實(shí)時(shí)處理。如果使用不重疊的局部直方圖均衡化，會(huì)造成區(qū)域邊界過(guò)渡的失真。Lee提出的圖像增強(qiáng)方法_的優(yōu)點(diǎn)是處理后的圖像比較清晰，對(duì)比度高，并且基本上保持圖像原來(lái)的灰度范圍，缺點(diǎn)是實(shí)驗(yàn)參數(shù)較多，而且實(shí)驗(yàn)結(jié)果強(qiáng)烈地依賴于參數(shù)的選取，因此帶有較強(qiáng)的實(shí)驗(yàn)性和不好操作性，Deng等人―提出了一種基于LIP模型的Lee圖像增強(qiáng)的新方法，并且在其中使用了非線性變換，提高了圖像增強(qiáng)的能力，也減弱了對(duì)參數(shù)的過(guò)分依賴性。像素的分布適當(dāng)?shù)乩旌蛪嚎s直方圖，達(dá)到很好的調(diào)節(jié)圖像動(dòng)態(tài)范圍的效果，同時(shí)保持了原直方圖的形狀，對(duì)于這種方法，在變換程度上主要取決于構(gòu)建二叉樹(shù)的層數(shù)，構(gòu)建的層數(shù)越高，其時(shí)間復(fù)雜度越高。彩色圖像比灰度圖像具有更豐富的信息，將一幅灰度圖像變換成彩色圖像可以提高圖像的質(zhì)量，同一灰度級(jí)可以對(duì)應(yīng)上百種的顏色，將某一灰度等級(jí)映射為何種顏色是一個(gè)很難解決的問(wèn)題。目前最主要的方法有：基于灰度等級(jí)的偽彩色變換，基于色彩空間模型的偽彩色變換和頻域的偽彩色變換?；诨叶鹊燃?jí)的偽彩色變換是建立灰度級(jí)，梯度或者其它灰度特征與不同顏色的映射關(guān)系，這類方法沒(méi)有考慮圖像的內(nèi)容信息?；陬伾臻g模型的偽彩色變換不僅僅依賴于灰度級(jí)，而且考慮到飽和度，亮度和其它彩色空間中的特征，不足之處是很難區(qū)別圖像的特征。頻域的偽彩色變換是將圖像經(jīng)過(guò)傅立葉變換，然后建立頻率與色彩的映射。然而，采集到的圖像的類型各有不同，建立的映射關(guān)系不可能同時(shí)適應(yīng)不同類型的圖像，在表現(xiàn)效果上會(huì)時(shí)好時(shí)壞。彩色圖像增強(qiáng)主要是對(duì)其亮度、色彩等信息進(jìn)行調(diào)整，使得增強(qiáng)后的圖像更加生動(dòng)、細(xì)節(jié)更加明顯、色彩更加鮮艷，同時(shí)又要保證圖像的色彩沒(méi)有失真和偏移。目前的彩色圖像增強(qiáng)算法主要有三類：基于RGB顏色空間的增強(qiáng)算法、基于變換空間的彩色圖像增強(qiáng)算法和基于顏色恒常理論的彩色圖像增強(qiáng)算法?；赗GB顏色空間的彩色圖像增強(qiáng)算法主要有RGB單色通道二維直方圖均衡、直方圖規(guī)定以及三維直方圖均衡―。在RGB顏色空間進(jìn)行直方圖均衡可以增強(qiáng)圖像亮度，但是容易導(dǎo)致顏色的失真，這主要是因?yàn)檫@類算法是單獨(dú)地作用于R、G、B各個(gè)分量，而沒(méi)有考慮彩色圖像R、G、B各個(gè)分量之間的相關(guān)性，改變像素的任一分量都會(huì)改變R、G、B三個(gè)分量的比例，使得圖像產(chǎn)生顏色的失真或偏移?；谧儞Q空間的彩色圖像增強(qiáng)算法主要有保持圖像色調(diào)不變的彩色圖像增強(qiáng)該算法主要是通過(guò)選擇一個(gè)合理的彩色空間模型，將RGB空間映射到其它的空間上。例如HSV，YCrCb和Lab等，主要目的是降低分量之間的相關(guān)性，使得能夠?qū)ζ渲械哪骋环至窟M(jìn)行處理，而不至于改變整個(gè)圖像的色調(diào)。惡劣天氣條件下的退化圖像往往對(duì)比度大幅度下降，模糊不清，如霧天圖像。由于霧對(duì)圖像的影響隨圖像的深度變化而變化，所以去霧算法具有很強(qiáng)的挑戰(zhàn)性。研究者提出了很多基于多幅圖像和附加信息的去霧算法。Narasimhan等人提出的基于大氣模型的去霧算法需要利用同一場(chǎng)景下多幅不同的天氣條件的圖像。他們的另一個(gè)思路是利用交互的方法得到場(chǎng)景的深度信息胃。這些方法在處理效果上確實(shí)能夠?qū)D像的質(zhì)量進(jìn)行改善，但是對(duì)于我們的應(yīng)用來(lái)說(shuō)，這些方法過(guò)多的依賴先驗(yàn)信息或者多幅圖像信息，在我們應(yīng)用中很難得到滿足，并且不利于圖像的實(shí)時(shí)處理。近來(lái)，基于單幅圖像的去霧算法獲得了很大的進(jìn)步。這類方法成功的相似之處在于它們?cè)诜治鲮F的成因后在算法中作出了一些強(qiáng)制性的假設(shè)。Tan—等人通過(guò)觀察，提出了沒(méi)有霧的圖像一定比有霧圖像具有更強(qiáng)的對(duì)比度，并且通過(guò)最大化局部對(duì)比度來(lái)復(fù)原圖像。這種方法能夠明顯的增強(qiáng)對(duì)比度，但是使圖像變得不自然。Fattal等人假定介質(zhì)的傳導(dǎo)率和表面的光照變化的不相關(guān)性，通過(guò)估計(jì)場(chǎng)景的反射率推斷介質(zhì)的傳導(dǎo)率。該方法在物理上較為合理并且具有很好的復(fù)原效果，但是這種方法不能很好適應(yīng)圖像中霧較濃的情KaimingHe等人提出了一種優(yōu)先暗通道的單幅圖像去霧算法。優(yōu)先暗通道是一種霧圖的數(shù)據(jù)統(tǒng)計(jì)。這種方法基于一種重要的觀察，大多數(shù)霧圖的局部塊中在某個(gè)色彩通道具有較小的強(qiáng)度。使用這種假設(shè)和霧圖模型結(jié)合，能夠直接估計(jì)霧的濃度和恢復(fù)霧圖的圖像質(zhì)量。高密集度的運(yùn)算。由于圖形卡內(nèi)部的內(nèi)存接口位寬大于CPU上的位寬，如GeForce9800GT的內(nèi)存位寬256位，顯然高于CPU上32位的位寬，這樣整個(gè)計(jì)算的帶寬大大提高。作為處理器緩存，512M的顯存容量也遠(yuǎn)遠(yuǎn)大于CPU上2M的一級(jí)緩存。高帶寬。GPU與顯存之間的帶寬達(dá)到了57.6GB/S，和CPU之間通過(guò)PCI-E傳輸數(shù)據(jù),這些優(yōu)勢(shì)使得GPU比CPU更適合于流處理計(jì)算，可以用于處理大規(guī)模數(shù)據(jù)集，使得應(yīng)用得到加速。另外，實(shí)時(shí)繪制語(yǔ)言的出現(xiàn)更加快了GPU在通用計(jì)算上的應(yīng)用，如Cg1、HLSL1^以及計(jì)算統(tǒng)一設(shè)備架構(gòu)(CUDA)1^1等，使得人們更容易編程實(shí)現(xiàn)這些運(yùn)算。在機(jī)器視覺(jué)方面，特征點(diǎn)檢測(cè)和匹配一直是最關(guān)鍵和最耗時(shí)的部分。Heymann等人M在GPU上實(shí)現(xiàn)Sift特征檢測(cè)，大大縮減了Sift特征檢測(cè)的時(shí)間消耗。近來(lái)，Cornelis等人m又成功的應(yīng)用GPU實(shí)現(xiàn)了Surf特征點(diǎn)檢測(cè)。Sugita等人利用GPU實(shí)現(xiàn)圖像濾波和立體匹配。Zach等人利用GPU加速KLT特征點(diǎn)跟蹤。GPU在特征點(diǎn)檢測(cè)和特征點(diǎn)匹配上都表現(xiàn)優(yōu)越。近年來(lái)，利用GPU做圖像處理方面的計(jì)算成為研究者研究的熱點(diǎn)，Moreland等人—利用GPU實(shí)現(xiàn)了快速傅立葉變換，大大提高了傅立葉變換的效率。王劍清等人在GPU上實(shí)現(xiàn)了完整的小波變換。Colanton等人—利用GPU圖像濾波及色彩變換。彭韜等人利用GPU求解泊松方程，實(shí)現(xiàn)圖像高動(dòng)態(tài)范圍壓縮_。GPU在圖像處理領(lǐng)域的潛力漸漸表現(xiàn)出來(lái)。第四節(jié)論文概述本文主要研究了圖像自動(dòng)增強(qiáng)系統(tǒng)，改進(jìn)了基于銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)算法、提出了多尺度的對(duì)數(shù)圖像增強(qiáng)算法以及改進(jìn)了圖像去霧算法，并且設(shè)計(jì)了基于GPU的并行圖像質(zhì)量評(píng)價(jià)和圖像增強(qiáng)算法，利用GPU的并行計(jì)算能力，實(shí)現(xiàn)了自動(dòng)選擇增強(qiáng)算法的實(shí)時(shí)圖像增強(qiáng)系統(tǒng)。主要研究工作和成果如下：研究了具有人眼視覺(jué)特性的客觀無(wú)參考圖像質(zhì)量評(píng)價(jià)準(zhǔn)則問(wèn)題，考慮人眼主要對(duì)圖像的局部反差和圖像的邊緣信息較為敏感的特點(diǎn)，改進(jìn)了點(diǎn)銳度和邊緣銳度評(píng)價(jià)準(zhǔn)則，提出了基于點(diǎn)銳度和邊緣銳度函數(shù)的質(zhì)量評(píng)價(jià)算法，該質(zhì)量評(píng)價(jià)算法結(jié)合了基于點(diǎn)銳度函數(shù)和改進(jìn)的基于邊緣銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)方法的優(yōu)點(diǎn)，能夠準(zhǔn)確的反映圖像的局部反差信息和邊緣信息，并且具有與內(nèi)容無(wú)關(guān)性的特點(diǎn)，對(duì)圖像類型的判斷具有較強(qiáng)的指導(dǎo)性。本文改進(jìn)了基于全局信息的圖像增強(qiáng)算法，提高了算法的效果和實(shí)時(shí)性；提出了一種新的多尺度對(duì)數(shù)Lee圖像增強(qiáng)算法，該算法能夠?qū)崿F(xiàn)自適應(yīng)圖像動(dòng)態(tài)范圍調(diào)整、增加圖像對(duì)比度和提高圖像視覺(jué)質(zhì)量；在此基礎(chǔ)上，我們將該算法與局部受限的直方圖均衡化結(jié)合形成了改進(jìn)的圖像去霧算法，使得增強(qiáng)算法對(duì)圖像中的小目標(biāo)增強(qiáng)效果更加明顯。研究并實(shí)現(xiàn)了基于GPU的圖像增強(qiáng)并行算法，利用GPU的向量處理、并行處理特性，使用渲染到紋理等技術(shù)，設(shè)計(jì)、實(shí)現(xiàn)了基于GPU的圖像質(zhì)量評(píng)價(jià)和圖像增強(qiáng)并行算法。本文提出的多尺度Lee圖像增強(qiáng)算法，在GPU上計(jì)算的效率可以達(dá)到CPU處理的3倍。對(duì)于PAL制式的視頻數(shù)據(jù)，我們?cè)O(shè)計(jì)的圖像自動(dòng)增強(qiáng)系統(tǒng)能夠?qū)ζ溥M(jìn)行實(shí)時(shí)的自動(dòng)增強(qiáng)處理，保證了系統(tǒng)的實(shí)時(shí)性。第一章，緒論。主要闡述了課題背景及意義，綜述圖像增強(qiáng)技術(shù)發(fā)展現(xiàn)狀和存在技術(shù)難點(diǎn)，并簡(jiǎn)要介紹了本文的主要研究工作和成果以及本文的結(jié)構(gòu)。第二章，圖像質(zhì)量評(píng)價(jià)。分析了常規(guī)的質(zhì)量評(píng)價(jià)方法，同時(shí)改進(jìn)了基于點(diǎn)銳度和邊緣銳度的圖像質(zhì)量評(píng)價(jià)方法。第三章，圖像增強(qiáng)算法。介紹了通常的圖像增強(qiáng)方法，提出了多尺度對(duì)數(shù)Lee增強(qiáng)算法，以及結(jié)合自適應(yīng)受限直方圖均衡和多尺度對(duì)數(shù)Lee算法的增強(qiáng)方法，并且設(shè)計(jì)、并實(shí)現(xiàn)了適合GPU處理的偏微分方程濾波算法。第四章，并行計(jì)算研究。介紹了GPU的結(jié)構(gòu)和編程模型，重點(diǎn)研究了圖像并行處理特點(diǎn)和GPU并行處理特點(diǎn)的結(jié)合，分析了圖像處理算法對(duì)GPU并行處理的需求。第五章，基于GPU的圖像并行質(zhì)量評(píng)價(jià)和圖像增強(qiáng)算法。介紹了GPU的并行計(jì)算流水線，構(gòu)建了基于GPU的圖像處理框架，利用GPU的并行處理特點(diǎn)設(shè)計(jì)、并實(shí)現(xiàn)了圖像質(zhì)量評(píng)價(jià)和圖像增強(qiáng)的并行算法，實(shí)現(xiàn)了實(shí)時(shí)的圖像自動(dòng)增強(qiáng)系統(tǒng)。第二章圖像質(zhì)量評(píng)價(jià)第一節(jié)客觀無(wú)參考圖像質(zhì)量評(píng)價(jià)針對(duì)我們的實(shí)際應(yīng)用背景，我們需要對(duì)采集到的序列圖像進(jìn)行自動(dòng)圖像增強(qiáng)，通過(guò)圖像質(zhì)量評(píng)價(jià)決定是否需要進(jìn)行圖像增強(qiáng)，或選擇合適的增強(qiáng)算法，達(dá)到增強(qiáng)效果和算法實(shí)時(shí)性的最優(yōu)化。在實(shí)際應(yīng)用中，由于場(chǎng)景的隨意性，我們不可能建立場(chǎng)景的參考圖像，很多情況下都無(wú)法或者較難獲得參考圖像進(jìn)行對(duì)比，因此我們需要采用無(wú)參考的圖像質(zhì)量評(píng)價(jià)。無(wú)參考圖像質(zhì)量評(píng)價(jià)，也稱為“盲評(píng)估”,盡管實(shí)現(xiàn)起來(lái)非常困難，但是應(yīng)用領(lǐng)域的需求還是吸引了眾多學(xué)者的關(guān)注。由于目前尚未能充分理解視覺(jué)心理、生理特性，因此通常的做法是先將影響圖像質(zhì)量的因素分解，為某類降質(zhì)或應(yīng)用建立模型。建立圖像質(zhì)量評(píng)價(jià)指標(biāo)必須滿足下列準(zhǔn)則預(yù)測(cè)的準(zhǔn)確性。預(yù)測(cè)的單調(diào)性。預(yù)測(cè)的一致性。一個(gè)好的評(píng)價(jià)指標(biāo)應(yīng)該能夠準(zhǔn)確、正確地反映圖像質(zhì)量。目前，國(guó)內(nèi)外對(duì)圖像清晰度評(píng)價(jià)函數(shù)的構(gòu)造有大量的研究，常用的方法有：灰度梯度函數(shù)、頻域函數(shù)、信息學(xué)函數(shù)和統(tǒng)計(jì)函數(shù)^J等?；诨叶忍荻忍卣鞯膱D像清晰度評(píng)價(jià)方法主要利用對(duì)圖像灰度的各種處理方法來(lái)表征圖像清晰度。在圖像處理中，梯度函數(shù)常被用來(lái)提取圖像的邊緣信息，對(duì)細(xì)節(jié)程度高的圖像，也即具有更尖銳的邊緣的圖像，應(yīng)有更大的梯度函數(shù)值，常用的梯度函數(shù)有絕對(duì)方差函數(shù)、Roberts梯度函數(shù)、梯度相鄰模方函數(shù)、梯度向量平方函數(shù)、Brenner函數(shù)、Lapladan函數(shù)、Tenengrad函數(shù)和Variance函數(shù)等等。頻域函數(shù)評(píng)價(jià)方法以傅立葉變換為基礎(chǔ)。高清晰度圖像的主要特征是具有清晰的邊緣和豐富的圖像細(xì)節(jié)，而邊緣的細(xì)節(jié)對(duì)應(yīng)于圖像傅立葉變換的高頻分量，圖像清晰度低的圖像體現(xiàn)在高頻分量的衰減。在信息學(xué)函數(shù)評(píng)價(jià)方法中，由于熵是從信息論角度反映圖像信息豐富程度的一種度量方式，因此根據(jù)香農(nóng)信息論原理，熵最大時(shí)信息量最多。信息熵具有如下特點(diǎn)：①當(dāng)圖像中的像素在各個(gè)灰度級(jí)均勻分布，即各個(gè)灰度級(jí)出現(xiàn)的頻率均為1/L時(shí)，熵具有最大值。此時(shí)圖像的信息論最豐富，灰度分布最均勻，層次最多。②當(dāng)圖像中的所有像素只有某一灰度級(jí)，而沒(méi)有其他灰度級(jí)時(shí)，熵具有最小值0，此時(shí)圖像實(shí)際上無(wú)信息。③圖像中灰度級(jí)減少時(shí)，熵也減少。從以上幾類評(píng)價(jià)方法可看出，他們都是通過(guò)客觀的評(píng)價(jià)指標(biāo)定量地得到圖像清晰度與圖像像素值之間的關(guān)系，這些指標(biāo)能夠在一定程度上反映圖像的質(zhì)量，但是不足之處在于這些評(píng)價(jià)準(zhǔn)則過(guò)多的依賴每一個(gè)像素，或者像素的梯度，沒(méi)有考慮當(dāng)前像素與更大的局部范圍內(nèi)像素之間的關(guān)系，而且忽略了人眼的視覺(jué)特性。我們通過(guò)加強(qiáng)分析像素與鄰域像素之間的相互關(guān)系以及結(jié)合人眼的視覺(jué)特性，對(duì)基于點(diǎn)銳度和邊緣銳度的圖像質(zhì)量評(píng)價(jià)算法進(jìn)行改進(jìn)，使得圖像質(zhì)量的評(píng)價(jià)更為準(zhǔn)確，更符合基于銳度函數(shù)的客觀無(wú)參考圖像質(zhì)量評(píng)價(jià)人眼觀察圖像時(shí)，往往對(duì)邊緣、反差、噪點(diǎn)較為敏感，因此我們?cè)谠O(shè)計(jì)評(píng)價(jià)準(zhǔn)則時(shí)要對(duì)圖像中的這些特征特別關(guān)注。點(diǎn)銳度質(zhì)量評(píng)價(jià)算法注重像素點(diǎn)與鄰域中像素的反差，能夠很好的反映圖像中的局部細(xì)節(jié)程度，但是該算法中噪點(diǎn)對(duì)評(píng)價(jià)準(zhǔn)則影響大，特別是對(duì)含有類似椒鹽噪聲的圖像質(zhì)量評(píng)估失真較大。為此，我們先對(duì)圖像進(jìn)行中值濾波，減小噪聲對(duì)圖像質(zhì)量評(píng)價(jià)結(jié)果的影響。邊緣銳度質(zhì)量評(píng)價(jià)算法注重邊緣的變化率，對(duì)圖像中的邊緣信息評(píng)估較為準(zhǔn)確，但是該算法通過(guò)統(tǒng)計(jì)圖像某一邊緣法向方向的灰度變化情況來(lái)進(jìn)行評(píng)價(jià)，我們通過(guò)尋找邊緣梯度下降邊界來(lái)對(duì)其改進(jìn)，使得該算法對(duì)邊緣的變化率計(jì)算具有更強(qiáng)的抗干擾性。最后我們采取基于點(diǎn)銳度和邊緣銳度的相結(jié)合的評(píng)價(jià)準(zhǔn)則，充分的利用局部反差、邊緣信息來(lái)表征圖像的質(zhì)量，增強(qiáng)評(píng)價(jià)算法的準(zhǔn)確性，同時(shí)提高算法的抗干擾性。點(diǎn)銳度函數(shù)是通過(guò)圖像的梯度特征信息而定量得出圖像質(zhì)量與圖像像素值之間的關(guān)系。對(duì)于細(xì)節(jié)程度高的圖像，圖像的梯度大，因此點(diǎn)銳度增大，圖像質(zhì)量評(píng)價(jià)的分?jǐn)?shù)高。但是，在實(shí)際應(yīng)用中，圖像往往會(huì)存在噪聲干擾，基于梯度特征的點(diǎn)銳度函數(shù)受椒鹽噪聲等影響劇烈，帶有噪聲的圖像往往具有較高的圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)。事實(shí)上，帶有噪聲的圖像屬于質(zhì)量較差的圖像。為了降低點(diǎn)銳度函數(shù)的噪聲敏感性，我們對(duì)圖像先進(jìn)行中值濾波預(yù)處理，對(duì)濾波后的圖像進(jìn)行基于點(diǎn)銳度的圖像質(zhì)量評(píng)價(jià)。該方法能夠保留點(diǎn)銳度函數(shù)準(zhǔn)確描述細(xì)節(jié)信息的特點(diǎn)，同時(shí)很好地降低噪聲對(duì)圖像質(zhì)量評(píng)價(jià)的影響，使我們的評(píng)價(jià)準(zhǔn)則更具有準(zhǔn)確性。由圖像和評(píng)價(jià)結(jié)果可以看出，基于點(diǎn)銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)結(jié)果確實(shí)能夠準(zhǔn)確的反映圖像的細(xì)節(jié)程度，基本上能夠判定圖像是否降質(zhì)，由大量數(shù)據(jù)統(tǒng)計(jì)觀察，我們基本上可以認(rèn)為基于點(diǎn)銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)分?jǐn)?shù)低于30的圖像基本上存在降質(zhì)。但是對(duì)于圖像中存在部分平坦的區(qū)域，這種評(píng)價(jià)準(zhǔn)則就會(huì)存在失真。此外，僅僅根據(jù)基于點(diǎn)銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)很難確定圖像的降質(zhì)屬于哪種類型的降質(zhì)，因此，我們有必要對(duì)基于點(diǎn)銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)進(jìn)行補(bǔ)充。圖像中的細(xì)節(jié)信息一方面表現(xiàn)在圖像的局部反差上，另一方面就表現(xiàn)在圖像中的邊緣上?；邳c(diǎn)銳度的圖像質(zhì)量評(píng)價(jià)能夠很好地根據(jù)圖像中的細(xì)節(jié)信息來(lái)評(píng)價(jià)圖像的質(zhì)量，但是，該算法對(duì)于圖像中的雨霧噪聲非常敏感，以致評(píng)估標(biāo)準(zhǔn)魯棒性不高。圖像的邊緣往往受噪聲影響較小，而且不受圖像的內(nèi)容影響。文獻(xiàn)中采用尋找梯度下降的極值作為邊緣擴(kuò)散的端點(diǎn)，并且使用圖像中最大的邊緣銳度來(lái)表征圖像質(zhì)量。這種方法首先在計(jì)算極值時(shí)容易陷入局部的極值，而不是真正意義上的極值點(diǎn)，如果邊緣擴(kuò)展的方向上，圖像的灰度具有曲折的變化，那么，該算法將會(huì)產(chǎn)生較大偏差。此外，使用圖像中的邊緣銳度最大值作為圖像質(zhì)量評(píng)價(jià)指標(biāo)會(huì)因圖像中某個(gè)尖銳邊緣使評(píng)價(jià)失真。為了克服這一問(wèn)題，我們通過(guò)以下方法對(duì)其改進(jìn)。(1)邊緣擴(kuò)散端點(diǎn)的計(jì)算。我們計(jì)算邊緣處圖像的梯度值，并且計(jì)算邊緣法向方向上的梯度值，在法向方向上尋找梯度下降到邊緣處梯度的90%的像素點(diǎn)，作為邊緣擴(kuò)散的端點(diǎn)。這樣就可以避免尋找到法向方向上梯度值大于邊緣處梯度值10%的像素點(diǎn)的局部最小值。從而提高了邊緣擴(kuò)散端點(diǎn)計(jì)算的準(zhǔn)確性。如圖2.6所示。(2)邊緣銳度的統(tǒng)計(jì)。擴(kuò)散對(duì)圖像中的所有邊緣進(jìn)行計(jì)算，我們選擇所有邊緣處的尖銳度的均值作為圖像質(zhì)量的評(píng)價(jià)指標(biāo)。對(duì)于圖像中的噪聲，一般邊緣尖銳程度不大，而我們通過(guò)統(tǒng)計(jì)所有邊緣處尖銳程度的均值這一方法使得噪聲的存在會(huì)降低整個(gè)圖像邊緣銳度，所以該算法對(duì)噪聲具有很強(qiáng)的魯棒性。改進(jìn)后的評(píng)價(jià)算法能夠準(zhǔn)確的評(píng)估圖像的邊緣尖銳程度，該算法不依賴于圖像的內(nèi)容，對(duì)于圖像中有大面積背景區(qū)域的評(píng)價(jià)比基于點(diǎn)銳度的評(píng)價(jià)方法準(zhǔn)確。此外，該算法對(duì)于每個(gè)像素處理具有極高的獨(dú)立性，包括Canny邊緣檢測(cè)，都是可以利用GPU并行實(shí)現(xiàn)，算法在GPU上實(shí)現(xiàn)具有極高的效率。由圖像和評(píng)價(jià)結(jié)果可以看出，清晰的圖像比降質(zhì)的圖像具有更大的邊緣銳度。由不同的圖像觀察比較可以看出，光照不均勻引起的圖像部分區(qū)域過(guò)飽和對(duì)圖像的質(zhì)量影響不大，霧對(duì)于圖像的質(zhì)量影響就相對(duì)較大，而邊緣模糊，如離焦、運(yùn)動(dòng)模糊對(duì)圖像的邊緣影響劇烈，所以這類圖像的基于邊緣銳度的圖像質(zhì)量就較小。為了綜合圖像的局部反差信息和邊緣信息，我們結(jié)合基于點(diǎn)銳度函數(shù)和邊緣銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)方法，對(duì)兩種評(píng)價(jià)結(jié)果進(jìn)行加權(quán)處理，最后得到我們的評(píng)價(jià)結(jié)果。大量的實(shí)驗(yàn)結(jié)果表明，基于點(diǎn)銳度函數(shù)的評(píng)價(jià)結(jié)果一般處于0-100之間內(nèi)，而基于邊緣銳度函數(shù)的評(píng)價(jià)結(jié)果一般處于0-40之間。另外，考慮到基于邊緣銳度的圖像質(zhì)量評(píng)價(jià)算法的準(zhǔn)確程度更高，對(duì)噪聲的魯棒性高的特點(diǎn)，我們?cè)鰪?qiáng)邊緣函數(shù)在加權(quán)過(guò)程的比重。第二節(jié)基于圖像質(zhì)量評(píng)價(jià)的圖像類型預(yù)測(cè)統(tǒng)計(jì)圖像灰度均值可以提供圖像是否偏暗或者偏亮的信息，圖像方差可以提供圖像的對(duì)比度信息，這些全局信息可以對(duì)圖像的整體進(jìn)行評(píng)估，對(duì)于某些線性變換具有很強(qiáng)的指導(dǎo)性?；邳c(diǎn)銳度評(píng)價(jià)方法可以提供圖像的局部細(xì)節(jié)信息，基于邊緣銳度評(píng)價(jià)方法可以提供圖像的邊緣尖銳程度，這些局部信息可以對(duì)圖像的局部細(xì)節(jié)進(jìn)行評(píng)估，可以反映圖像中是否存在大霧或者過(guò)強(qiáng)光照的信息，可以為一些局部增強(qiáng)或者去霧算法提供指導(dǎo)。我們通過(guò)對(duì)圖像序列和視頻圖像進(jìn)行客觀的圖像質(zhì)量評(píng)價(jià)，根據(jù)不同的評(píng)價(jià)指標(biāo)來(lái)確定圖像的類型，從而針對(duì)不同的圖像類型選擇圖像增強(qiáng)算法。本章從人眼視覺(jué)特性出發(fā)，提出了綜合點(diǎn)銳度和邊緣銳度函數(shù)的圖像質(zhì)量評(píng)價(jià)算法，該評(píng)價(jià)算法既能夠準(zhǔn)確的反映圖像的細(xì)節(jié)豐富程度，又能利用邊緣信息更準(zhǔn)確地反映減小噪聲對(duì)圖像質(zhì)量評(píng)價(jià)的影響。評(píng)價(jià)算法具有與內(nèi)容無(wú)關(guān)性的特點(diǎn)，對(duì)圖像類型的判斷具有較強(qiáng)的指導(dǎo)性。我們的圖像質(zhì)量評(píng)價(jià)算法在計(jì)算中具有很強(qiáng)的并行性，適合用GPU進(jìn)行計(jì)算。利用GPU的片段程序?qū)崿F(xiàn)該算法，能夠明顯提高算法的計(jì)算效率，在第五章中將介紹質(zhì)量評(píng)價(jià)算法的GPU具體實(shí)現(xiàn)。由于圖像場(chǎng)景和內(nèi)容的不確定性，我們的圖像質(zhì)量評(píng)價(jià)算法只能針對(duì)我們的應(yīng)用要求進(jìn)行質(zhì)量評(píng)價(jià)，并且對(duì)圖像增強(qiáng)算法選擇提供有限的指導(dǎo)，研究高效合理圖像質(zhì)量評(píng)價(jià)的方法將是一個(gè)嚴(yán)峻的挑戰(zhàn)。第三章圖像增強(qiáng)算法的研究第一節(jié)基于全局信息的圖像增強(qiáng)線性變換是一類簡(jiǎn)單直接的圖像增強(qiáng)方法，對(duì)于某類圖像，經(jīng)過(guò)線性變換后就能達(dá)到很好的增強(qiáng)效果。但是在大多數(shù)線性變換中，我們需要設(shè)定一些參數(shù)，為了自適應(yīng)的、動(dòng)態(tài)的設(shè)定這些參數(shù)以增加算法的自適應(yīng)性，我們通過(guò)統(tǒng)計(jì)圖像的全局信息來(lái)對(duì)算法進(jìn)行改進(jìn)。這里我們主要改進(jìn)了分段線性變換、直方圖均衡化算法和基于連續(xù)變量變化的圖像增強(qiáng)算法。原圖中的大片暗背景被加亮很多，但其中稍亮的部分沒(méi)有得到足夠的加亮，因而這些部分與背景之間的對(duì)比度沒(méi)有得到改善。原圖像暗背景被加亮后，其中出現(xiàn)了一些類似“椒鹽噪聲”的斑塊。這兩類缺陷，實(shí)際上都是來(lái)自同一原因：原圖像直方圖中有一個(gè)很大的分量，使累積直方圖在小于10時(shí)幾乎為零，而大于10后則突變到0.5。于是只要原來(lái)的灰度值稍小于10，其輸出的灰度將接近于零，而原灰度值等于或稍大于10，則輸出的灰度將約等于130，于是產(chǎn)生了“漂白”的背景。以上分析表明，以累積直方圖作為灰度變換函數(shù)的方法，在有些情況下，所得到的結(jié)果是不能令人滿意的。直方圖均衡化過(guò)程是利用圖像的累計(jì)直方圖分布來(lái)實(shí)現(xiàn)圖像灰度等級(jí)的重新映射，對(duì)于圖像直方圖中有一個(gè)很大的分量時(shí)，累計(jì)直方圖會(huì)發(fā)生突變，容易使映射后的圖像產(chǎn)生“散斑”和“漂白”效應(yīng)。為此，我們對(duì)直方圖映射后的圖像進(jìn)行改進(jìn)。算法的主要思想是根據(jù)圖像中灰度值的分布情況對(duì)圖像進(jìn)行二叉樹(shù)分解，然后對(duì)各個(gè)像素進(jìn)行灰度級(jí)映射，從而實(shí)現(xiàn)對(duì)圖像動(dòng)態(tài)范圍和對(duì)比度的調(diào)節(jié)。這種方法對(duì)于一幅嚴(yán)重偏暗或偏亮的圖像處理非常適合。對(duì)于256灰度級(jí)的圖像，8層就可以實(shí)現(xiàn)各個(gè)像素的分在我們的實(shí)際應(yīng)用中，必須考慮到算法的實(shí)時(shí)性問(wèn)題，將圖像進(jìn)行8層的二叉樹(shù)分解過(guò)于耗時(shí)，我們需要對(duì)其進(jìn)行改進(jìn)。我們的改進(jìn)的思路是減少二叉樹(shù)分解層數(shù)，并且結(jié)合線性變換的方法。我們對(duì)圖像進(jìn)行3層的二叉樹(shù)分解，計(jì)算各個(gè)分層的灰度均值作為分段線性變換的端點(diǎn)，然后將像素在各個(gè)分段中進(jìn)行線性映射。如圖3.7所示。第二節(jié)基于局部信息的圖像增強(qiáng)基于圖像全局信息的增強(qiáng)算法，如全局對(duì)比度拉伸和直方圖均衡化，往往不能很好增強(qiáng)圖像局部細(xì)節(jié)對(duì)比度，對(duì)于空間對(duì)比度較大的圖像，增強(qiáng)效果微弱?；趫D像局部信息的增強(qiáng)算法能夠很好改善這一問(wèn)題。我們重點(diǎn)研究了基于Lee算法和局部直方圖均衡化的局部增強(qiáng)算法，并對(duì)其進(jìn)行針對(duì)性的改進(jìn)，提出了多尺度對(duì)數(shù)Lee圖像增強(qiáng)算法，改進(jìn)了圖像去霧增強(qiáng)算法，算法應(yīng)用于降質(zhì)圖像增強(qiáng)（如霧天圖像）具有較好的效果。Lee提出了一種局部圖像增強(qiáng)方法該方法根據(jù)局部反差程度增強(qiáng)圖像細(xì)節(jié)信息，但是該方法對(duì)噪聲敏感，增強(qiáng)細(xì)節(jié)的同時(shí)也增強(qiáng)了噪聲，圖像中物體邊緣振蕩過(guò)大，而且缺乏對(duì)不同圖像的適應(yīng)性。Deng、Cahill利用對(duì)數(shù)特性提出了基于LIP模型的Lee圖像增強(qiáng)算法M，通過(guò)對(duì)數(shù)變換提高了算法的計(jì)算效率，同時(shí)，該算法遵循了Weber定律中人眼的主觀亮度感覺(jué)與客觀亮度的對(duì)數(shù)成線性關(guān)系的特性，將人眼視覺(jué)特性引入到增強(qiáng)算法設(shè)計(jì)中，增強(qiáng)了圖像暗部區(qū)域的細(xì)節(jié)信息，使增強(qiáng)后的圖像更加符合人眼視覺(jué)機(jī)理。但是，該算法仍然存在噪聲敏感性高，圖像中物體邊緣過(guò)增強(qiáng)問(wèn)題。1963年E.Land提出Retinex理論，認(rèn)為人類視覺(jué)具有色彩恒常性，經(jīng)過(guò)Jobson等人的改進(jìn)，提出了多尺度的Retinex(MSR)算法該算法中的多尺度特性能夠改善邊緣過(guò)增強(qiáng)問(wèn)題。我們吸收以上兩種圖像增強(qiáng)算法的優(yōu)點(diǎn)，提出基于多尺度對(duì)數(shù)Lee圖像增強(qiáng)算法。將多尺度特性和對(duì)數(shù)特性引入到Lee圖像增強(qiáng)算法中去，其中利用局部信息對(duì)算法中的參數(shù)進(jìn)行動(dòng)態(tài)調(diào)整，并且利用全局信息對(duì)圖像的動(dòng)態(tài)范圍進(jìn)行校正。該算法能夠保持Lee算法調(diào)整圖像動(dòng)態(tài)范圍、增強(qiáng)圖像細(xì)節(jié)的基礎(chǔ)上，抑制過(guò)增強(qiáng)和降低噪聲敏感性，而且能夠提高算法的適應(yīng)性。這種算法的特點(diǎn)是通過(guò)對(duì)數(shù)變換和結(jié)合像素的鄰域信息進(jìn)行變換，用來(lái)消除光照影響、調(diào)整動(dòng)態(tài)范圍和增強(qiáng)圖像的邊緣，算法通過(guò)設(shè)定參數(shù)來(lái)對(duì)不同的圖像增強(qiáng)。但是算法由于對(duì)數(shù)以及窗函數(shù)的運(yùn)算，在CPU上算法效率很低，不能夠達(dá)到實(shí)時(shí)性的要求。針對(duì)上述Lee圖像增強(qiáng)中噪聲問(wèn)題，我們采用不同尺度的高斯濾波器進(jìn)行濾波，提出了多尺度的Lee增強(qiáng)算法，同時(shí)保留LIP模型Lee增強(qiáng)算法的對(duì)數(shù)特性，最終形成多尺度對(duì)數(shù)Lee圖像增強(qiáng)算法。該算法通過(guò)使用不同尺度的高斯濾波器來(lái)克服增強(qiáng)過(guò)程對(duì)于不同尺度結(jié)構(gòu)細(xì)節(jié)的影響，達(dá)到抑制增強(qiáng)過(guò)程中噪聲的目的。對(duì)于在大霧天氣條件下，僅僅通過(guò)多尺度的對(duì)數(shù)Lee算法對(duì)圖像進(jìn)行增強(qiáng)不足以將圖像中的小目標(biāo)凸顯出來(lái)，為了進(jìn)一步提高增強(qiáng)效果，我們結(jié)合局部直方圖均衡化的思想，提出了改進(jìn)的圖像去霧算法，該算法結(jié)合多尺度的對(duì)數(shù)Lee算法和局部的直方圖均衡化思想，通過(guò)在均衡化過(guò)程中引入對(duì)比度受限的限制，能夠很好的提高小目標(biāo)的細(xì)節(jié)程度，同時(shí)避免了直方圖均衡化的過(guò)增強(qiáng)問(wèn)題。該算法能夠很好的提高霧天圖像中小目標(biāo)的清晰度，從而提高小目標(biāo)的可辨識(shí)度。由于圖像中存在不均勻的光照，以及圖像中存在霧的影響，全局的直方圖均衡化往往不能達(dá)到預(yù)期效果，為了提高圖像的局部細(xì)節(jié)對(duì)比度，我們嘗試使用分塊的直方圖均衡化，將均衡化從全局轉(zhuǎn)到局部。這種方法確實(shí)能夠增大圖像局部的反差，提高局部對(duì)比度。但是不可避免產(chǎn)生一些過(guò)增強(qiáng)和邊界效應(yīng)。為了消除這一問(wèn)題，我們對(duì)直方圖均衡化過(guò)程進(jìn)行了改進(jìn)，主要是增加了對(duì)比度的限制。以及通過(guò)插值操作來(lái)消除邊界效應(yīng)。多尺度對(duì)數(shù)Lee圖像增強(qiáng)算法能夠?qū)τ徐F的圖像進(jìn)行色彩的校正，利用較小的局部區(qū)域?qū)植康募?xì)節(jié)進(jìn)行增強(qiáng)，但是沒(méi)有在更大的局部范圍內(nèi)考慮圖像中霧、光照等影響，因此增強(qiáng)的效果受到了一定的限制。通過(guò)局部分塊的直方圖均衡化處理能夠在更大的空間范圍內(nèi)對(duì)像素值進(jìn)行調(diào)整，并且通過(guò)對(duì)比度受限方法合理的控制增強(qiáng)程度。該算法充分體現(xiàn)了在不同空間尺度、不同頻域尺度的增強(qiáng)理念，算法增強(qiáng)效果更為突出。此外，該算法僅僅利用單幀圖像的信息進(jìn)行去霧處理，而且不需要引入場(chǎng)景的深度信息，比利用多幀圖像和引入深度信息的去霧算法具有更強(qiáng)的實(shí)用性。第三節(jié)基于偏微分方程的圖像濾波算法為了達(dá)到增強(qiáng)圖像中小目標(biāo)的目的，我們經(jīng)常采用增大局部反差的增強(qiáng)方法，這一方法不可避免的加劇圖像中的噪聲，如何達(dá)到降低噪聲的同時(shí)保持圖像中的細(xì)節(jié)信息是一個(gè)很關(guān)鍵的問(wèn)題。通常的方法是采取Gaussian濾波和中值濾波等方法，但是這些方法在降低圖像中噪聲的同時(shí)對(duì)圖像中的一些邊緣和細(xì)節(jié)信息也起到了模糊的作用，對(duì)我們的增強(qiáng)效果不利。我們利用偏微分方程的非線性擴(kuò)散對(duì)圖像濾波，對(duì)圖像中的不同部分使用不同的傳導(dǎo)系數(shù)，從而得到降噪的同時(shí)保持圖像的邊緣和細(xì)節(jié)信息。同時(shí)利用GRJ在求解線性方程組的優(yōu)勢(shì)，利用共軛梯度法實(shí)現(xiàn)偏微分方程的濾波算法，算法在濾波效果和算法實(shí)時(shí)性上都取得了較好的效果?；谄⒎址匠痰膱D像處理給我們提供了一個(gè)很好的思路，根據(jù)課題中實(shí)際情況的需要，對(duì)不同類型的圖像，不同的處理方式（或者圖像演化）進(jìn)行建模，將圖像處理中出現(xiàn)的各種問(wèn)題以一定的權(quán)重建立模型，對(duì)于某些不能被割裂開(kāi)的算法將它們結(jié)合在一起進(jìn)行處理。我們通過(guò)將演化模型進(jìn)行離散化，并且選擇適當(dāng)?shù)挠绊懞瘮?shù)來(lái)控制演化進(jìn)程，最后將偏微分方程的求解轉(zhuǎn)化為線性方程組求解問(wèn)題，利用GPU使用共軛梯度方法對(duì)線性方程組求解。既利用了偏微分方程的思想，又結(jié)合了GPU的并行處理能力，算法在效果和效率上都表現(xiàn)出色。第四章基于GPU的圖像并行處理實(shí)時(shí)圖像增強(qiáng)技術(shù)在諸多領(lǐng)域具有廣泛的應(yīng)用。如，無(wú)人駕駛的汽車、無(wú)人駕駛飛機(jī)都要求高速圖像處理和實(shí)時(shí)反應(yīng)能力。為了達(dá)到實(shí)時(shí)增強(qiáng)的目的，本章深入分析了圖像處理算法的特點(diǎn)，結(jié)合現(xiàn)代圖形處理器的并行計(jì)算體系，針對(duì)圖像自動(dòng)增強(qiáng)的并行計(jì)算方法展開(kāi)了研究和探討，重點(diǎn)研究如何高效的利用GRJ進(jìn)行圖像質(zhì)量評(píng)價(jià)和增強(qiáng)算法的計(jì)算。第一節(jié)可編程流水線結(jié)構(gòu)和流式編程模型由這種流水線構(gòu)成的GPU的工作集中于可編程頂點(diǎn)處理器和可編程片段處理器中進(jìn)行，頂點(diǎn)和片段處理器都可以執(zhí)行相似的數(shù)學(xué)操作，如向量的加、乘、乘加、內(nèi)積、最小值和最大值等。此外，片段處理器還支持紋理操作。在圖像處理的通用計(jì)算中，各種算子和參數(shù)都可以代入到GPU的各寄存器中，然后執(zhí)行渲染操作，實(shí)現(xiàn)圖像處理的功能。在流式編程模型中，所有數(shù)據(jù)都表現(xiàn)為流。我們把流定義為具有相同數(shù)據(jù)類型的數(shù)據(jù)的有序集。核操作整個(gè)流，獲取一個(gè)或多個(gè)流作為輸入并產(chǎn)生一個(gè)或多個(gè)流作為輸出。核的定義特征是它操作多個(gè)流上的所有元素而不是獨(dú)立的元素。核的典型用途是對(duì)輸入流的每個(gè)元素用一個(gè)函數(shù)進(jìn)行求值。核的輸出時(shí)函數(shù)只作用于其核輸入的結(jié)果，并且在核之內(nèi)，對(duì)流元素的計(jì)算從不依賴于其他元素上的計(jì)算。這種計(jì)算法方式具有兩個(gè)好處。首先，當(dāng)寫(xiě)核時(shí)，核執(zhí)行所需要的數(shù)據(jù)完全已知。其次，在一個(gè)核內(nèi)對(duì)不同的流元素需要獨(dú)立計(jì)算，這就把看起來(lái)像是串行核計(jì)算的內(nèi)容映射到數(shù)據(jù)并行的硬件。我們可以利用流式編程模型的特點(diǎn)，通過(guò)把多個(gè)核串聯(lián)在一起來(lái)實(shí)現(xiàn)復(fù)雜的圖像處理任務(wù)，而在每個(gè)核執(zhí)行中就利用到了GPU的并行處理能力。第二節(jié)基于圖形處理器的圖像并行處理圖像處理任務(wù)常常需要在整幅圖像上執(zhí)行相似的計(jì)算，GPU提供了一個(gè)流式的、數(shù)據(jù)并行的算術(shù)體系結(jié)構(gòu)，這類體系結(jié)構(gòu)能夠在一塊圖像數(shù)據(jù)上同時(shí)執(zhí)行同一個(gè)操作，GPU的單指令多數(shù)據(jù)(SIMD)能力特別適合圖像處理。尤其是GPU的向量處理能力，使得我們對(duì)彩色圖像處理尤為方便。圖像數(shù)據(jù)量大，對(duì)數(shù)據(jù)的傳輸和計(jì)算方面有著巨大的要求，利用GPU來(lái)進(jìn)行圖像并行處理具有很好的前景。圖像數(shù)據(jù)具有數(shù)據(jù)量大、規(guī)律性強(qiáng)、相關(guān)性強(qiáng)、視頻圖像數(shù)據(jù)傳輸速率高等特點(diǎn)，這些特點(diǎn)不僅僅強(qiáng)烈地表現(xiàn)在視頻圖像的數(shù)據(jù)中，也表現(xiàn)在一些高分辨率的圖像中，諸如遙感、超聲、CT等。對(duì)圖像數(shù)據(jù)進(jìn)行處理，必然會(huì)遇到存儲(chǔ)容量大、運(yùn)算量大、實(shí)時(shí)應(yīng)用困難等問(wèn)題。例如對(duì)于512x512x8bit的灰度圖像，單幅圖像的存儲(chǔ)容量為256KB，實(shí)時(shí)幀速率為25幀/秒，實(shí)時(shí)數(shù)據(jù)傳輸率為6.25MB/S，在此條件下實(shí)現(xiàn)實(shí)時(shí)的3x3卷積計(jì)算則要完成5xl07次/s的乘加運(yùn)算。對(duì)于PAL制式（768x576x24bit)的視頻圖像，一幅圖像的存儲(chǔ)容量為1.265MB，實(shí)時(shí)數(shù)據(jù)傳輸率為31.64MB/S，在此條件下實(shí)現(xiàn)實(shí)時(shí)的3x3卷積則要完成3xl08次/s的乘加運(yùn)算。針對(duì)我們的實(shí)際應(yīng)用，我們需要對(duì)PAL格式的視頻圖像進(jìn)行實(shí)時(shí)增強(qiáng)處理，視頻圖像數(shù)據(jù)量大的特點(diǎn)和增強(qiáng)算法的計(jì)算復(fù)雜特點(diǎn)表現(xiàn)的尤為突出，是本文研究的難點(diǎn)。圖像數(shù)據(jù)的特點(diǎn)鮮明，如何采取相應(yīng)的圖像處理算法，是圖像處理界一直努力探索的問(wèn)題。圖像并行處理硬件的發(fā)展確實(shí)能夠提高圖像處理的數(shù)據(jù)吞吐能力，但是伴隨著視頻圖像的分辨率增大和不同圖像處理算法的復(fù)雜程度增加，實(shí)時(shí)性的對(duì)圖像處理的算法設(shè)計(jì)提出了更高的要求，推動(dòng)著圖像并行處理算法的發(fā)展。在圖像數(shù)據(jù)層處理中，以圖像處理算法所涉及像素區(qū)域的差別，大體上可以把圖像處理劃分為點(diǎn)處理、鄰域處理和幾何變換處理。點(diǎn)處理是對(duì)單一像素進(jìn)行處理，可以是一幀圖像內(nèi)的點(diǎn)處理，也可以是對(duì)兩個(gè)不同幀圖像對(duì)應(yīng)像素點(diǎn)的點(diǎn)對(duì)點(diǎn)處理，這些處理不需要依賴該像素的鄰域就可以完成處理。鄰域處理是在對(duì)單一像素進(jìn)行處理時(shí)，需要該像素的相鄰像素參加運(yùn)算才能完成，這一類鄰域處理算法有Roberts、Sobel算子等等。鄰域處理的另一種形式是該算法必須要求一個(gè)數(shù)據(jù)塊參加運(yùn)算，即對(duì)圖像數(shù)據(jù)進(jìn)行分塊。如按8x8數(shù)據(jù)塊進(jìn)行的JPEG圖像壓縮，相鄰兩次處理采用不同的8x8數(shù)據(jù)塊。幾何變換處理一般是指圖像的放大、縮小、旋轉(zhuǎn)和平移等處理，這類處理往往是被處理的像素在處理后的地址發(fā)生了變化，放大和縮小處理還在像素?cái)?shù)量上發(fā)生了變化。圖像處理的鄰域性是指圖像處理的許多算法屬于鄰域處理，也就是算法在計(jì)算時(shí)需要鄰域數(shù)據(jù)的支持。例如3x3的卷積運(yùn)算，每一個(gè)點(diǎn)的運(yùn)算都需要3x3鄰域數(shù)據(jù)。所謂實(shí)時(shí)圖像處理，一般是指在電視幀頻的速率下完成一幅圖像的處理，具體來(lái)說(shuō)，對(duì)于PAL制式的圖像，圖像處理系統(tǒng)在40ms的時(shí)間內(nèi)完成了一幅圖像的某種處理，我們說(shuō)該系統(tǒng)具有這種算法的實(shí)時(shí)處理能力。課題的主要目的是對(duì)圖像進(jìn)行增強(qiáng)處理，屬于數(shù)據(jù)處理層的圖像處理算法，處理前和處理后的對(duì)象均為圖像。在數(shù)據(jù)處理層里，主要進(jìn)行點(diǎn)處理和鄰域處理算法，這兩類算法對(duì)數(shù)據(jù)的要求是不同的。數(shù)據(jù)處理層里的點(diǎn)處理算法所要求的數(shù)據(jù)可以是一幅圖像的單點(diǎn)，也可以是多幅圖像相同位置的單點(diǎn)；而數(shù)據(jù)處理層里的鄰域處理算法所要求的數(shù)據(jù)可以是一幅圖像單點(diǎn)的一個(gè)鄰域，也可以是多幅圖像相同位置的單點(diǎn)的一個(gè)鄰域。在我們的實(shí)時(shí)圖像增強(qiáng)算法中，我們主要是對(duì)單幅圖像進(jìn)行增強(qiáng)處理，其中單幅圖像包括灰度和彩色圖像。點(diǎn)處理算法主要有兩類：幀內(nèi)點(diǎn)處理算法和幀間點(diǎn)處理算法。幀內(nèi)點(diǎn)處理算法包括一幀灰度圖像的點(diǎn)處理和一幀彩色圖像的多分量點(diǎn)處理，如RGB或者HSV分量的點(diǎn)處理。同樣，幀間點(diǎn)處理算法也包括多幀灰度圖像的點(diǎn)處理和多幀彩色圖像的多分量點(diǎn)處理。圖像分段線性變換、對(duì)數(shù)變換、圖像反轉(zhuǎn)和偽彩色處理都屬于單幅圖像點(diǎn)處理算法。幀間差分，運(yùn)動(dòng)平均算法等則屬于多幀圖像的點(diǎn)處理算法。我們可以看到，點(diǎn)處理算法具有單點(diǎn)數(shù)據(jù)特點(diǎn)，這就是點(diǎn)處理算法的數(shù)據(jù)結(jié)構(gòu)。孤立的單點(diǎn)并不是并行的數(shù)據(jù)結(jié)構(gòu)。在行方向上依次讀出單點(diǎn)數(shù)據(jù)，則形成了行方向的數(shù)據(jù)流，這是流水線圖像處理所利用的典型數(shù)據(jù)形式。在一幅圖像中讀出Mx#塊數(shù)據(jù)，或把一幅圖像均勻分成幾個(gè)數(shù)據(jù)塊，再按順序并行讀出各數(shù)據(jù)塊的單點(diǎn)數(shù)據(jù)，這是數(shù)據(jù)并行處理采用的數(shù)據(jù)形式。對(duì)于并行的點(diǎn)處理算法，所包含的像素點(diǎn)越多，則并行性越高。對(duì)于我們選擇的圖像處理器，我們可以直接將圖像以紋理形式加載到GPU中，用GPU的片段處理器完全并行地處理整幅圖像數(shù)據(jù)，因此GPU具有極高的并行性。第三節(jié)圖像質(zhì)量評(píng)價(jià)和增強(qiáng)算法對(duì)GPU的計(jì)算需求分析在我們?cè)O(shè)計(jì)的系統(tǒng)中，我們的瓶頸是算法的實(shí)時(shí)性問(wèn)題，即圖像處理算法的計(jì)算效率問(wèn)題。圖形處理器(GPU)的并行計(jì)算能力給我們提供了一個(gè)很好的解決方案。目前，利用GPU做實(shí)時(shí)圖像處理的研究還不多，如何定位圖像處理算法的耗時(shí)部分和適合GPU的計(jì)算部分，并將這部分計(jì)算轉(zhuǎn)換到GPU上并行處理將是我們研究的重點(diǎn)和難點(diǎn)。在圖像質(zhì)量評(píng)價(jià)算法中，客觀的無(wú)參考圖像質(zhì)量評(píng)價(jià)往往需要計(jì)算圖像的均值、方差和梯度等，基于點(diǎn)銳度的圖像質(zhì)量評(píng)價(jià)中計(jì)算當(dāng)前像素與各鄰域的梯度都具有很強(qiáng)的獨(dú)立性和相似性，這些運(yùn)算就非常適合用GPU完成。另外，在改進(jìn)的點(diǎn)銳度算法中的Gaussian卷積運(yùn)算，以及基于邊緣銳度算法中Canny邊緣檢測(cè)，以及檢測(cè)局部極值的計(jì)算都屬于算法中較為耗時(shí)的部分，這些部分都可以利用GPU完成。在圖像增強(qiáng)算法中，我們不僅可以利用GPU計(jì)算圖像中的一些統(tǒng)計(jì)量，而且可以利用GPU實(shí)現(xiàn)圖像的映射，在一次片段程序的執(zhí)行中完成圖像增強(qiáng)算法，將增強(qiáng)的圖像輸出。在多尺度對(duì)數(shù)Lee圖像增強(qiáng)中，最為耗時(shí)的部分是使用不同尺度的Gaussian核對(duì)圖像進(jìn)行卷積運(yùn)算，梯度計(jì)算以及對(duì)數(shù)變換的運(yùn)算，而這類計(jì)算都可以由GPU完成。在偏微分方程濾波算法中，也涉及到Gaussian核卷積、梯度的計(jì)算，另外，在算法中需要求解線性方程，利用GPU的矩陣計(jì)算特點(diǎn)和多次渲染過(guò)程可以高效實(shí)現(xiàn)。第五章基于GPU的圖像自動(dòng)増強(qiáng)系統(tǒng)實(shí)現(xiàn)第一節(jié)基于GPU的圖像處理平臺(tái)傳統(tǒng)的實(shí)時(shí)圖像處理平臺(tái)一般是基于CPU的軟件處理平臺(tái)或針對(duì)某具體的應(yīng)用而開(kāi)發(fā)的基于DSP或FPGA的硬件平臺(tái)?；贑PU的軟件處理平臺(tái)由于受到硬件結(jié)構(gòu)的限制，很難做到處理的實(shí)時(shí)性?；贒SP和FPGA的硬件平臺(tái)在速度上可以做到實(shí)時(shí)處理，但是具有開(kāi)發(fā)難度大、成本高的缺點(diǎn)?？删幊蘂PU其內(nèi)部的頂點(diǎn)處理器和片段處理器在Cg程序的控制下，可對(duì)流入的數(shù)據(jù)流實(shí)時(shí)地實(shí)現(xiàn)各種圖像處理算法，形成高速的實(shí)時(shí)圖像并行處理平臺(tái)?；贕PU算法的實(shí)現(xiàn)流程為：初始化OpenGL和CG;主要是設(shè)定OpenGL環(huán)境，初始化CG環(huán)境，設(shè)定OpenGL視口，使紋素與圖像像素——對(duì)應(yīng)。將CPU中圖像以紋理形式傳送到GPU中；GPU上的基本數(shù)組數(shù)據(jù)結(jié)構(gòu)是紋理和頂點(diǎn)數(shù)組，CPU上任何數(shù)據(jù)數(shù)組都能在GPU上使用紋理代替。初始化片段程序；對(duì)于通用計(jì)算來(lái)說(shuō)，片段處理器比頂點(diǎn)處理器更有用，因此，我們?cè)谄纬绦蛑袑?shí)現(xiàn)本文的算法。啟動(dòng)渲染過(guò)程；渲染過(guò)程實(shí)現(xiàn)將片段程序的結(jié)果寫(xiě)入存儲(chǔ)器。在我們的算法中，計(jì)算被拆成許多步，每一步依賴于前一步的輸出。為了實(shí)現(xiàn)反饋，必須使用渲染到紋理技術(shù)。對(duì)GPU進(jìn)行編程需要利用硬件編程語(yǔ)言，早期使用匯編指令對(duì)圖形硬件進(jìn)行編程，開(kāi)發(fā)難度較大。高級(jí)著色語(yǔ)言的出現(xiàn)解決了這一問(wèn)題，Cg語(yǔ)言就是其中一種。Cg語(yǔ)言由Nvidia和Microsoft合作開(kāi)發(fā)，獨(dú)立于任何的三維編程結(jié)構(gòu)。Cg語(yǔ)言的目標(biāo)在于為開(kāi)發(fā)人員提供與匯編語(yǔ)言一樣的靈活性和高性能的同時(shí)，提供高級(jí)編程語(yǔ)言的表達(dá)力和易用性。由于受到硬件限制，不同的GPU對(duì)Cg程序的指令個(gè)數(shù)、最大紋理數(shù)、循環(huán)次數(shù)都有不同的限制。指令數(shù)的增加、紋理查找次數(shù)的增加、復(fù)雜函數(shù)的使用都會(huì)影響GPU的運(yùn)行速度。第二節(jié)基于GPU實(shí)現(xiàn)基本運(yùn)算為了更好的利用GPU做并行運(yùn)算之前，我們介紹一些GPU上的基本運(yùn)算―，以及GPU上能夠?qū)崿F(xiàn)的基本圖像處理算法。在所有的運(yùn)算中，我們都是通過(guò)渲染一個(gè)2D的紋理實(shí)現(xiàn)計(jì)算過(guò)程，并且可以通過(guò)渲染到紋理技術(shù)實(shí)現(xiàn)連續(xù)的渲染操作。向量是ID數(shù)據(jù)結(jié)構(gòu)，所以在GPU上可以使用ID紋理來(lái)實(shí)現(xiàn)。目前GPU上的紋理大小是有限制的，允許的最大1D紋理長(zhǎng)度是4096，因此只能實(shí)現(xiàn)一個(gè)4096長(zhǎng)度的向量。為了解決上述問(wèn)題，在GPU上將1D向量展開(kāi)為2D紋理重新排序，如圖5.3所示。為了進(jìn)一步降低內(nèi)部表示數(shù)據(jù)的大小，將連續(xù)的2*2數(shù)據(jù)壓縮為一個(gè)RGBA紋素，這種存儲(chǔ)方式能夠提高紋理的訪問(wèn)功能。在GPU上，縮減可以通過(guò)交替地對(duì)一對(duì)緩沖區(qū)渲染和讀取來(lái)執(zhí)行。在每次渲染中，輸出的大小按某個(gè)因數(shù)縮小。為了生成輸出的每個(gè)元素，片段程序讀取兩個(gè)或者更多的值，并使用縮減操作計(jì)算出一個(gè)新的值。渲染過(guò)程直到輸出是單元素的緩沖區(qū)為止，在這個(gè)單獨(dú)的像素點(diǎn)上就會(huì)得到縮減運(yùn)算的結(jié)果。對(duì)于一幅圖像來(lái)說(shuō)，是一個(gè)2D的縮減操作，片段程序可能從輸出緩沖區(qū)的4個(gè)象限中讀取4個(gè)元素，因此在每一次渲染中，輸出大小在這里我們主要介紹了兩種基本的圖像處理運(yùn)算的GPU實(shí)現(xiàn)，也是我們?cè)趫D像質(zhì)量評(píng)價(jià)和圖像增強(qiáng)算法中經(jīng)常使用的實(shí)現(xiàn)方式。類似邊緣檢測(cè)算法和Gaussian卷積的實(shí)現(xiàn)過(guò)程在我們?cè)O(shè)計(jì)的圖像質(zhì)量評(píng)價(jià)和圖像增強(qiáng)中都有較多的應(yīng)用。第三節(jié)圖像增強(qiáng)算法的GPU實(shí)現(xiàn)基于統(tǒng)計(jì)信息的方法主要是將均值和方差作為uniform參數(shù)傳遞到GPU