第一課-opencv數(shù)字圖像處理-基本知識

基于OPENCV的數(shù)字圖像處理及應用第1章基本知識前言人類傳遞信息的主要媒介是語音和圖像。據(jù)統(tǒng)計，在人類接受的信息中，聽覺信息占20％，視覺信息占60％，其他如味覺、觸覺、嗅覺總起來不過占20％。所以，作為傳遞信息的重要媒體和手段－--圖像信息是十分重要的，俗話說“百聞不如一見”。

一、數(shù)字圖像處理的起源數(shù)字圖像處理的歷史可追溯至二十世紀二十年代。最早應用之一是在報紙業(yè)，當時，引入巴特蘭電纜圖片傳輸系統(tǒng)，圖像第一次通過海底電纜橫跨大西洋從倫敦送往紐約傳送一幅圖片。

為了用電纜傳輸圖片，首先進行編碼，然后在接收端用特殊的打印設備重現(xiàn)該圖片。按照1929年的技術水平，如果不壓縮，需要一個多星期，壓縮后傳輸時間減少到3個小時。1929年通過海底電纜從倫敦到紐約傳輸?shù)囊环掌?921年經(jīng)編碼后用電報打印機打印的圖像1922年兩次通過大西洋后打印的數(shù)字圖像

與空間應用同時，數(shù)字圖像處理技術在20世紀60年代末和70年代初開始用于醫(yī)學圖像、地球遙感監(jiān)測和天文學領域。早在20世紀70年代計算機軸向斷層(CAT)、簡稱計算機斷層(CT)是圖像處理在醫(yī)學診斷應用中最重要的事件之一。

計算機斷層是一種處理方法，在這種處理中，一個檢測器環(huán)圍繞著一個物體(或病人)，一個X射線源，帶有檢測器的同心圓繞著物體旋轉，X射線通過物體并由位于環(huán)上對面的相應的檢測器收集起來，然后用特定的重建算法重建通過物體的“切片”的圖像，

這些切片組成了物體內(nèi)部的再現(xiàn)圖像。斷層技術是GodfreyN.Hounsfield和AllanM.Cormack教授分別發(fā)明的，他們共同獲得1979年諾貝爾醫(yī)學獎。

1895年11月8日傍晚，他研究陰極射線時發(fā)現(xiàn)了X射線。他發(fā)現(xiàn)的X射線可穿透千頁書、2～3厘米厚的木板、幾厘米厚的硬橡皮、15毫米厚的鋁板等等．可是1.5毫米的鉛板幾乎就完全把X射線擋住了．

他偶然發(fā)現(xiàn)的X射線可以穿透肌肉照出手骨輪廓，于是有一次他夫人到實驗室來看他時，他請她把手放在用黑紙包嚴的照相底片上，然后用X射線對準照射15分鐘，顯影后，底片上清晰地呈現(xiàn)出他夫人的手骨像，手指上的結婚戒指也很清楚．

這是一張具有歷史意義的照片，它表明了人類可借助X射線，隔著皮肉去透視骨骼。1895年12月28日倫琴向維爾茨堡物理醫(yī)學學會遞交了第一篇X射線的論文“一種新射線——初步報告”，報告中敘述了實驗的裝置，做法，初步發(fā)現(xiàn)的X射線的性質(zhì)等等。

x射線和x射線CT這兩項發(fā)明相差近100年。但是，一個是科學發(fā)現(xiàn),一個是技術創(chuàng)新,他們引領著圖像處理某些最活躍的應用領域。

從20世紀60年代至今，數(shù)字圖像處理技術發(fā)展迅速，目前已成為工程學、計算機科學、信息科學、統(tǒng)計學、物理、化學、生物學、醫(yī)學甚至社會科學等領域中各學科之間學習和研究的對象。如今圖像處理技術已給人類帶來了巨大的經(jīng)濟和社會效益。不久地將來它不僅在理論上會有更深入的發(fā)展，在應用上亦是科學研究、社會生產(chǎn)乃至人類生活中不可缺少的強有力的工具。二、圖像處理科學對人類具有重要意義

（1）圖像是人們從客觀世界獲取信息的重要來源：人類是通過感覺器官從客觀世界獲取信息，即通過耳、目、口、鼻、手通過聽、看、味、嗅和觸摸的方式獲取信息。在這些信息中，視覺信息占60％～70％。

視覺信息的特點是信息量大，傳播速度快，作用距離遠，有心理和生理作用，加上大腦的思維和聯(lián)想，具有很強的判斷能力。其次是人的視覺十分完善，人眼靈敏度高，鑒別能力強，不僅可以辨別景物，還能辨別人的情緒，由此可見，圖像信息對人類來說是十分重要的。（2）圖像處理技術對國計民生有重要意義圖像處理技術發(fā)展到今天，許多技術已日趨成熟。在各個領域的應用取得了巨大的成功和顯著的經(jīng)濟效益。如在工程領域、工業(yè)生產(chǎn)、軍事、醫(yī)學以及科學研究中的應用已十分普遍。

如：通過分析資源衛(wèi)星得到的照片可以獲得地下礦藏資源的分布及埋藏量；利用紅外線、微波遙感技術可偵查到隱蔽的軍事設施；X-rayCT已廣泛應用于臨床診斷，由于它可得到的人體內(nèi)部器官的斷層圖像，為診斷和治療疾病帶來了極大的方便。

在工業(yè)生產(chǎn)中的設計自動化及產(chǎn)品質(zhì)量檢驗中更是大有可為。在安全保障及監(jiān)控方面圖像處理技術更是不可缺少的基本技術；至于在通信及多媒體技術中圖像處理更是重要的關鍵技術。因此，圖像處理技術在國計民生中的重要意義是顯而易見的。三：什么是圖像圖像是客觀對象的一種相似性的、生動性的描述或?qū)懻?，是人類社會活動中最常用的信息載體。或者說圖像是客觀對象的一種表示，它包含了被描述對象的有關信息。它是人們最主要的信息源四、圖像的分類一、光學圖像波長0.38-0.8um二、其他波段圖像

射線：0.003～0.03；射線：0.03～3；紫外線：3～300；紅外線：0.8～300；微波0.3～100；五、什么是圖像處理技術對圖像信息進行加工處理，以滿足人的視覺心理和實際應用的要求六、圖像處理技術的分類

模擬圖像處理數(shù)字圖像處理。（1）模擬圖像處理(Analogimageprocessing)；

模擬處理包括：光學處理（利用透鏡）和電子處理，如：照相、遙感圖像處理、電視信號處理等，電視圖像是模擬信號處理的典型例子，它處理的是活動圖像，25幀/秒。

優(yōu)點：模擬圖像處理的特點是速度快，一般為實時處理，理論上講可達到光的速度，并可同時并行處理。缺點：模擬圖像處理的缺點是精度較差，靈活性差，很難有判斷能力和非線性處理能力。（2）數(shù)字圖像處理(DigitalImageprocessing)：

數(shù)字圖像處理一般都用計算機處理，因此也稱之謂計算機圖像處理（ComputerImageprocessing）。優(yōu)點：處理精度高，處理內(nèi)容豐富，可進行復雜的非線性處理，有靈活的變通能力，一般來說只要改變軟件就可以改變處理內(nèi)容。

缺點：處理速度還是一個問題，特別是進行復雜的處理更是如此。一般情況下處理靜止畫面居多，如果實時處理一般精度的數(shù)字圖像需要具有100Mips的處理能力；

其次是分辨率及精度尚有一定限制，如一般精度圖像是512×512×8bits，分辨率高的可2048×2048×12bits，如精度及分辨率再高，所需處理時間將顯著的增加。七、圖像點的性質(zhì)用數(shù)學方法描述圖像信息時，通?？紤]其點的性質(zhì)

點是什么？點在數(shù)字圖像中又叫做像素pixel其中該式表示活動的、三維的、彩色的圖像視頻圖像八、數(shù)字圖像的基本參數(shù)1、圖像分辨率2、圖像深度3、圖像數(shù)據(jù)量圖像分辨率（resolution）指圖像中存儲的信息量，是每英寸圖像內(nèi)有多少個像素點，分辨率的單位為PPI(PixelsPerInch)，通常叫做：像素每英寸。圖像分辨率、屏幕分辨率有何區(qū)別？圖像深度（imagedeepness）圖像深度是指存儲每個像素所用的位數(shù)

圖像深度和顯示深度有何區(qū)別？八、數(shù)字圖像處理的特點（1）圖像信息量大、數(shù)據(jù)量也大；（2）圖像處理技術綜合性強；（1）圖像信息量大、數(shù)據(jù)量也大；在數(shù)字圖像處理中，一幅圖像可看成是由圖像矩陣中的像素（pixel）組成的，每個像素的灰度級至少要6bit（單色圖像）來表示，一般采用8bit（彩色圖像），高精度的可用12bit或16bit。

X光照片一般用64Kb～256Kb的數(shù)據(jù)量，一幅遙感圖像3240×2340×4=30Mbits，因此，大數(shù)據(jù)量給存儲、傳輸和處理都帶來巨大的困難。

（2）圖像處理技術綜合性強；在數(shù)字圖像處理中涉及的基礎知識和專業(yè)技術相當廣泛。一般來說涉及通信技術、計算機技術、電子技術、電視技術，至于涉及到的數(shù)學、物理等方面的基礎知識就更多。

當今的圖像處理理論大多是通信理論的推廣，只是把通信中的一維問題推廣到二維，以便于分析，在此基礎上，逐步發(fā)展自己的理論體系。因此，圖像處理技術與通信技術休戚相關。

在圖像處理工程中的信息獲取和顯示技術主要源于電視技術，其中的攝像、顯示、同步等各項技術是必不可少的。計算機已是圖像處理的常規(guī)工具，在圖像處理中涉及到軟件、硬件、網(wǎng)絡、接口等多項技術，特別是并行處理技術在實時圖像處理中顯得十分重要。

圖像處理技術的發(fā)展涉及越來越多的基礎理論知識，雄厚的數(shù)理基礎及相關的邊緣學科知識對圖像處理科學的發(fā)展有越來越大的影響?？傊畧D像處理科學是一項涉及多學科的綜合性科學。九、數(shù)字圖像的表示方法1、黑白圖像用表示且對模擬圖像來講該函數(shù)為連續(xù)函數(shù)2、對數(shù)字圖像來講模擬圖像采樣、量化后得數(shù)字圖像（1）陣列表示法（2）二值圖像表示法只有黑白兩個灰度級十、數(shù)字圖像處理的主要方法及主要內(nèi)容

數(shù)字圖像處理方法：

兩大類：空域法和變換域法。

A、空域法：這種方法是把圖像看作是平面中各個像素組成的集合，然后直接對這一二維函數(shù)進行相應的處理。空域處理法主要有兩大類：(1)、鄰域處理法：其中包括梯度運算(gradientAlgorithm)拉普拉斯算子運算(Laplacianoperator)平滑算子運算(Smoothingoperator)卷積運算(Convolutionalgorithm)(2)、點處理法：如灰度處理（greyprocessing），面積、周長、體積、重心運算等等。B、變換域法：數(shù)字圖像處理的變換域處理方法是首先對圖像進行正交變換，得到變換域系數(shù)陣列，然后再施行各種處理，處理后再反變換到空間域，得到處理結果。這類處理包括：濾波、數(shù)據(jù)壓縮、特征提取等處理。

數(shù)字圖像處理的主要內(nèi)容：完整的數(shù)字圖像處理工程大體上可分為如下幾個方面：①圖像信息的獲取；②圖像信息的存貯；③圖像信息的傳送；④圖像信息處理；⑤圖像信息的輸出和顯示。1、圖像信息的獲取(ImageInformationAcquisition):

主要是把一幅圖像轉換成適合輸入計算機或數(shù)字設備的數(shù)字信號，這一過程主要包括攝取圖像、光電轉換及數(shù)字化等幾個步驟。圖像獲取的方法有如下幾種：(1)電視攝像機(VideoCamera)：

這是目前使用最廣泛的圖像獲取設備。早期主要有光電攝像管、超正析攝像管等。近年來，主要是采用CCD攝像設備。特點：設備小巧、速度快、成本低、靈敏度高。

缺點：灰度層次較差、非線性失真較大、有黑斑效應，在使用中需校正。目前CCD攝像機在分辨率、靈敏度等方面已做到較高水平，如：1920×1035或1024×1024的高分辨率的CCD攝像機已很成熟。(2)飛點掃描器(flyingpointScanner)：

這是一種以光源做掃描的圖像獲取設備。其特點是：精度較高、圖像清晰、可透射成像亦可反射成像，但是其體積略顯龐大。(3)掃描鼓：這是一種高精度的滾桶式的圖像攝取設備。特點：精度高、分辨率高，可以輸入也可以輸出。缺點：價錢昂貴、速度低、維護要求高。多用于靜止圖像的輸入、輸出設備。(4)掃描儀：特點：精度和分辨率中等，600DPI精度的掃描儀已常見。掃描儀的成本很低，近幾年尤其降價顯著，一般臺式的已有不足一千元的產(chǎn)品。所以是當今應用最為廣泛的圖像信息獲取設備。缺點：速度較慢，非實時設備。(5)顯微光密度計，精度較高，速度低。(6)遙感中常用的圖像獲取設備已有多種設備，如：光學攝影：攝像機、多光譜像機等。紅外攝影：紅外輻射計、紅外攝像儀、多通道紅外掃描儀。

MSS：多光譜掃描儀。微波：微波輻射計，側視雷達、真實空孔徑雷達、合成孔徑雷達(SAR)。(B)信息的存貯：(ImageinformationStorage)

圖像信息的突出特點是數(shù)據(jù)量巨大。一般作檔案存貯主要采用磁帶、磁盤或光盤。為解決海量存貯問題主要研究數(shù)據(jù)壓縮、圖像格式及圖像數(shù)據(jù)庫、圖像檢索技術等。

(C)圖像信息的傳送：(Imageinformationtransmission)

圖像信息的傳送可分為系統(tǒng)內(nèi)部傳送與遠距離傳送。內(nèi)部傳送多采用DMA技術(DirectMemoryAccess）以解決速度問題，外部遠距離傳送主要解決占用帶寬問題。目前，已有多種國際壓縮標準來解決這一問題，圖像通信網(wǎng)正在逐步建立。

(D)數(shù)字圖像處理(DigitalImageprocessing)

數(shù)字圖像處理概括的說主要包括如下幾項內(nèi)容：①．幾何處理(geometricalprocessing)②．算術處理(Arithmeticprocessing)③．圖像增強(ImageEnhancement)④．圖像復原(ImageRestoration)⑤．圖像重建(ImageReconstruction)⑥．圖像編碼(ImageEncoding)⑦．圖像識別(ImageRecognition)⑧．圖像理解(ImageUnderstanding)（1）、幾何處理幾何處理主要包括座標變換、圖像的放大、縮小、旋轉、移動、多個圖像配準，全景畸變校正，扭曲校正，周長、面積、體積計算等。（2）、算術處理算術處理主要對圖像施以＋、－、×、÷等運算，雖然該處理主要針對像素點的處理，但非常有用，如醫(yī)學圖像的減影處理就有顯著的效果。（3）、圖像增強圖像增強處理主要是突出圖像中感興趣的信息，而減弱或去除不需要的信息，從而使有用信息得到加強，便于區(qū)分或解釋。主要方法有直方圖增強、偽彩色增強法(pseudocolor)、灰度窗口等技術。（4）、圖像復原圖像復原處理的主要目的是去掉干擾和模糊，恢復圖像的本來面目。典型的例子如去噪就屬于復原處理。圖像噪聲包括隨機噪聲和相干噪聲，隨機噪聲干擾表現(xiàn)為麻點干擾，相干噪聲表現(xiàn)為網(wǎng)紋干擾。

去模糊也是復原處理的任務。這些模糊來自透鏡散焦，相對運動，大氣湍流，云層遮擋等。這些干擾可用維納濾波、逆濾波、同態(tài)濾波等方法加以去除。

圖像復原的新方法(Partialdifferentialequation)(PDE)

偏微分方程圖像修復方法

（5）、圖像重建幾何處理、圖像增強、圖像復原都是從圖像到圖像的處理，即輸入的原始數(shù)據(jù)是圖像，處理后輸出的也是圖像，而重建處理則是從數(shù)據(jù)到圖像的處理。也就是說輸入的是某種數(shù)據(jù)，而處理結果得到的是圖像。

該處理的典型應用就是CT技術，CT技術發(fā)明于1972年，早期為X光CT，后來發(fā)展的有ECT、超聲CT、核磁共振（NMR）等。圖像重建的主要算法有代數(shù)法、迭代法、付里哀反投影法、卷積反投影法等，其中以卷積反投影法運用最為廣泛，因為它的運算量小、速度快。（6）、圖像編碼圖像編碼的研究屬于信息論中信源編碼范疇，其主要宗旨是利用圖像信號的統(tǒng)計特性及人類視覺的生理學及心理學特性對圖像信號進行高效編碼，即研究數(shù)據(jù)壓縮技術，以解決數(shù)據(jù)量大的矛盾。

一般來說，圖像編碼目的有三個：①減少數(shù)據(jù)存貯量；②降低數(shù)據(jù)率以減少傳輸帶寬；③壓縮信息量，便于特征抽取，為識別作準備。

M.Kunt提出第一代、第二代編碼的概念。

Kunt把1948年至1988年這四十年中研究的以去除冗余為基礎的編碼方法稱為第一代編碼。

如：PCM、DPCM、△M、亞取樣編碼法；變換編碼中的DFT、DCT、Walsh-Hadamard變換等方法以及以此為基礎的混合編碼法均屬于經(jīng)典的第一代編碼法。

而第二代編碼方法多是二十世紀八十年代以后提出的新的編碼方法，如金字塔編碼法、Fractal編碼、基于神經(jīng)元網(wǎng)絡的編碼方法、小波變換編碼