數(shù)字圖像處理實(shí)戰(zhàn) 課件 第1、2章 數(shù)字圖像處理概述、圖像的基本變換

第1章數(shù)字圖像處理概述1認(rèn)識數(shù)字圖像目錄認(rèn)識數(shù)字圖像處理2認(rèn)識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關(guān)Python庫41.1認(rèn)識數(shù)字圖像處理1922年，圖像第一次通過海底電纜從倫敦傳往紐約。早期數(shù)字圖像視覺質(zhì)量的過程中遇到了很多問題，其首要問題涉及打印方法的選擇和亮度等級的分布。1.1.1了解數(shù)字圖像處理的起源1.數(shù)字圖像最早應(yīng)用于報(bào)紙業(yè)圖1?11921年由電報(bào)打印機(jī)采用特殊字體在編碼紙帶上產(chǎn)生的數(shù)字圖像（灰度級：5）圖1?21929年使用穿孔紙帶的照相還原技術(shù)得到的數(shù)字圖像（灰度級：15）從馮·諾依曼開始，一系列重要的進(jìn)展使得計(jì)算機(jī)強(qiáng)大到足以用于數(shù)字圖像處理第一臺功能強(qiáng)大到足以執(zhí)行有意義的數(shù)字圖像處理任務(wù)的大型計(jì)算機(jī)出現(xiàn)在20世紀(jì)60年代初利用計(jì)算機(jī)技術(shù)改善空間探測器發(fā)回的圖像，始于1964年美國加利福尼亞的噴氣推進(jìn)實(shí)驗(yàn)室1.1.1了解數(shù)字圖像處理的起源2.

計(jì)算機(jī)的概念可追溯到古代“算盤”的發(fā)明圖1?3“徘徊者7號”月球探測器在撞擊月球表面前拍攝的圖像隨著科技水平的日益提高，危、重、繁、雜的體力勞動正在逐漸被智能機(jī)器人及機(jī)器生產(chǎn)線所取代具有環(huán)境理解的機(jī)器視覺在工業(yè)裝配、自動化生產(chǎn)線控制、救火、排障、引爆等方面的應(yīng)用家庭的輔助勞動、烹飪、清潔、老年人及殘障人士的監(jiān)護(hù)方面的應(yīng)用1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域1.

工業(yè)圖1?4工業(yè)無損探傷和檢驗(yàn)（紡織產(chǎn)品瑕疵檢測）遠(yuǎn)程多媒體網(wǎng)絡(luò)視頻聊天已經(jīng)被普遍使用，圖、文、聲、像并茂的網(wǎng)絡(luò)媒體已經(jīng)融入人們的日常生活高清晰度的數(shù)字電視已經(jīng)走進(jìn)千家萬戶可視電話與可視圖書資料等即將成為普通家庭的必備品。1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域2.

通信圖1?5高清數(shù)字圖像醫(yī)用超聲成像X光造影成像、X光斷影成像核磁共振斷層成像1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域3.

醫(yī)學(xué)圖1?6醫(yī)學(xué)圖像遙感圖像提供精確、客觀的調(diào)查和檢測資料各種農(nóng)作物的生產(chǎn)情況、收獲估計(jì)林業(yè)資源、礦產(chǎn)資源、地質(zhì)、水文、海洋、氣象等觀測1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域4.

遙感圖1?7遙感圖像圖像制導(dǎo)技術(shù)在戰(zhàn)略、戰(zhàn)術(shù)武器制導(dǎo)中發(fā)揮了極大作用，其特點(diǎn)是高精度與智能化圖像匹配與定位技術(shù)為基礎(chǔ)的光學(xué)制導(dǎo)正在進(jìn)一步發(fā)展在測控技術(shù)中，光學(xué)跟蹤測控也是最精密的測控技術(shù)之一1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域5.

軍事圖1?8紅外成像制導(dǎo)頭傳回的數(shù)字圖像印刷體漢字識別和手寫漢字識別技術(shù)已經(jīng)進(jìn)入實(shí)用化階段漢字識別輸入將逐步取代打字輸入語音識別輸入，辦公的自動化程度正在不斷提高1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域6.

辦公自動化圖1?8發(fā)票文字信息自動識別利用數(shù)字圖像變形技術(shù)產(chǎn)生的特技效果在電影、電視、動畫和媒體廣告中有很多非常成功的應(yīng)用計(jì)算機(jī)圖像生成技術(shù)在廣告制作、動畫制作、網(wǎng)絡(luò)游戲中更是有令人嘆為觀止的成果在服裝設(shè)計(jì)、發(fā)型設(shè)計(jì)、歌舞動作設(shè)計(jì)等諸多方面也都有廣泛的應(yīng)用1.1.2了解數(shù)字圖像處理的應(yīng)用領(lǐng)域7.

影視娛樂圖1?9人臉轉(zhuǎn)動漫臉特效數(shù)字圖像處理，是用計(jì)算機(jī)對圖像進(jìn)行處理和分析，以達(dá)到所需結(jié)果的技術(shù)，又稱數(shù)字圖像處理。數(shù)字圖像是指用工業(yè)相機(jī)、攝像機(jī)、掃描儀等設(shè)備經(jīng)過拍攝、掃描得到的二維數(shù)組，該數(shù)組的元素稱為像素，像素的值稱為灰度值。數(shù)字圖像處理技術(shù)一般包括圖像壓縮、增強(qiáng)、復(fù)原、分割、描述、匹配和識別等幾個(gè)部分。圖像工程，是各種與數(shù)字圖像有關(guān)的技術(shù)的總稱。這些技術(shù)可根據(jù)各自的特點(diǎn)分為3個(gè)既有聯(lián)系又有區(qū)別的層次：圖像處理、圖像分析和圖像理解。這三者的有機(jī)結(jié)合稱為圖像工程。換句話說，圖像工程是既有聯(lián)系又有區(qū)別的圖像處理、圖像分析及圖像理解的有機(jī)結(jié)合，除此之外圖像工程還包括對它們的工程應(yīng)用。1.1.3了解圖像工程與數(shù)字圖像處理的關(guān)系1認(rèn)識數(shù)字圖像目錄認(rèn)識數(shù)字圖像處理2認(rèn)識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關(guān)Python庫41.2認(rèn)識數(shù)字圖像人眼的形狀近似為一個(gè)球體（成人眼球前后徑約為24mm），它由3層膜包裹：外覆的角膜與鞏膜、脈絡(luò)膜、視網(wǎng)膜。角膜相當(dāng)于相機(jī)的鏡頭，瞳孔相當(dāng)于光圈，晶狀體相當(dāng)于調(diào)焦器，視網(wǎng)膜相當(dāng)于底片。1.2.1了解人眼的視覺系統(tǒng)1.人眼與相機(jī)圖1?11相機(jī)和人的眼球的結(jié)構(gòu)對比圖1?10人眼結(jié)構(gòu)物體在人眼中成像的示意如圖1?12所示，反映了光學(xué)系統(tǒng)的光路原理在人眼中，晶狀體和成像區(qū)域的距離是固定的，晶狀體中心和沿視軸的視網(wǎng)膜的距離約為17mm1.2.1了解人眼的視覺系統(tǒng)2.人眼成像圖1?12物體在人眼中成像的示意把一幅連續(xù)圖像在空間上分割成M（行）×N（列）個(gè)方格，每個(gè)方格可以用一個(gè)亮度值來表示，每一個(gè)方格又被稱為一個(gè)像素，這時(shí)連續(xù)圖像就變成了離散圖像1.2.2了解數(shù)字圖像1.采樣圖1?13圖像采樣的過程為了形成數(shù)字圖像，亮度值也要轉(zhuǎn)化（量化）為離散量量化就是把采樣點(diǎn)上對應(yīng)的亮度連續(xù)變化區(qū)間轉(zhuǎn)換為單個(gè)特定數(shù)值的過程，將圖像的連續(xù)灰度值量化成256個(gè)離散灰度級，灰度范圍從黑（0）到白（255）1.2.2了解數(shù)字圖像2.量化圖1?14圖像的量化當(dāng)像素相鄰時(shí)，兩個(gè)像素之間有鄰接關(guān)系，鄰接的模式有4鄰接、對角鄰接、8鄰接、m鄰接。1.2.3熟悉像素間的基本關(guān)系1.鄰接性圖1?17像素的8鄰接圖1?16像素的對角鄰接圖1?15像素的4鄰接m鄰接，也稱混合鄰接，需滿足以下條件之一①像素q在像素p的4鄰域中。②像素p在像素q的對角鄰域中，并且像素p的4鄰域和像素q的4鄰域的交集中的值沒有來自V中的值，此時(shí)像素p和像素q為m鄰接。1.2.3熟悉像素間的基本關(guān)系1.鄰接性圖1?18m鄰接與8鄰接對比連通反映兩個(gè)像素的空間關(guān)系對于兩個(gè)像素p和q，如果q在p的4鄰域集合中，則稱這兩個(gè)像素是4連通的對于兩個(gè)像素p和q，如果q在p的8鄰域集合中，則稱這兩個(gè)像素是8連通的1.2.3熟悉像素間的基本關(guān)系2.連通性圖1?19像素的連通性區(qū)域的定義是建立在連通集的基礎(chǔ)上的令R為圖像的一個(gè)像素子集，

如果R是連通集，則稱R為一個(gè)區(qū)域

如果兩個(gè)區(qū)域和聯(lián)合形成一個(gè)連通集，則區(qū)域和稱為鄰接區(qū)域1.2.3熟悉像素間的基本關(guān)系3.區(qū)域圖1?20兩個(gè)鄰接區(qū)域（8鄰接）1認(rèn)識數(shù)字圖像目錄認(rèn)識數(shù)字圖像處理2認(rèn)識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關(guān)Python庫41.3認(rèn)識數(shù)字圖像處理工具VisualC++是Windows操作系統(tǒng)下的C++集成設(shè)計(jì)環(huán)境，隨著Windows操作系統(tǒng)的普及，在VisualC++下實(shí)現(xiàn)數(shù)字圖像處理成為在普通PC上進(jìn)行數(shù)字圖像處理操作的常用途徑之一CImage類，其能夠勝任大多數(shù)類型的數(shù)字圖像處理任務(wù)1.3.1熟悉常用數(shù)字圖像處理工具1.VisualC++表1-1CImage類的主要函數(shù)和功能MATLAB是MathWorks公司開發(fā)的一款工程數(shù)學(xué)計(jì)算軟件MATLAB圖像處理工具箱（ImageProcessingToolbox，IPT）中封裝有一系列針對不同數(shù)字圖像處理需求的標(biāo)準(zhǔn)算法MATLAB有許多與數(shù)字圖像處理密切相關(guān)的數(shù)據(jù)結(jié)構(gòu)及基本操作，如基本文件操作、變量使用、程序流程控制、打開和關(guān)閉圖像、圖像格式轉(zhuǎn)換和存儲等在MATLAB中，有3種方法可以獲取軟件的在線幫助：1.3.1熟悉常用數(shù)字圖像處理工具2.MATLABhelp命令，doc命令，lookfor命令2021年IEEESpectrum的編程語言排行榜中，Python排名第一Python有著其他語言不可比擬的優(yōu)勢，正逐步成為數(shù)據(jù)科學(xué)領(lǐng)域的主流語言用Python編程實(shí)現(xiàn)數(shù)字圖像處理算法，需要安裝Python2.6以上的版本初學(xué)者也可以直接從Python3.x入手，學(xué)習(xí)并掌握Python的基本語法1.3.1熟悉常用數(shù)字圖像處理工具3.Python1.3.2數(shù)字圖像處理工具對比從語言學(xué)習(xí)難易程度、執(zhí)行速度、使用場景、第三方支持、流行領(lǐng)域和軟件成本等方面對比表1-2

數(shù)字圖像處理工具對比1認(rèn)識數(shù)字圖像目錄認(rèn)識數(shù)字圖像處理2認(rèn)識數(shù)字圖像處理工具3了解數(shù)字圖像處理相關(guān)Python庫41.4了解數(shù)字圖像處理相關(guān)Python庫Pillow提供通用的數(shù)字圖像處理功能，如圖像縮放、裁剪、旋轉(zhuǎn)、顏色轉(zhuǎn)換等使用Pillow讀取一幅圖像，如代碼所示1.4.1了解Pillow庫PIL（PythonImagingLibrary）是Python平臺上的數(shù)字圖像處理標(biāo)準(zhǔn)庫NumPy中的數(shù)組對象可以實(shí)現(xiàn)數(shù)字圖像處理的許多重要操作，如矩陣乘積、轉(zhuǎn)置、解方程系統(tǒng)、向量歸一化等，為圖像的變換、縮放、去噪、求導(dǎo)、形態(tài)學(xué)處理、復(fù)原、分割、分類等提供了基礎(chǔ)使用NumPy處理圖像，首先要將圖像轉(zhuǎn)換成NumPy的數(shù)組對象，如代碼所示。1.4.2了解NumPy庫NumPy是非常著名的Python科學(xué)計(jì)算基礎(chǔ)庫之一將圖像作為NumPy數(shù)組進(jìn)行處理，并提供很多數(shù)字圖像處理功能，對像素的操作和圖像整體的操作更符合科學(xué)計(jì)算要求使用skimage讀取一幅圖像，如代碼所示1.4.3了解scikit-image庫scikit-image的簡稱是skimage，skimage也是一個(gè)基于Python的數(shù)字圖像處理庫OpenCV支持多種編程語言，如C++、Python、Java等，可在Windows、Linux、macOS、Android和iOS等不同平臺上使用與計(jì)算機(jī)視覺技術(shù)有關(guān)的OpenCV-Python常用函數(shù)如表所示1.4.4熟悉OpenCV庫OpenCV是一個(gè)開源的計(jì)算機(jī)視覺庫，支持大量與計(jì)算機(jī)視覺相關(guān)的算法，并日益擴(kuò)展數(shù)字圖像處理的起源、數(shù)字圖像處理的應(yīng)用領(lǐng)域以及數(shù)字圖像工程與數(shù)字圖像處理的關(guān)系圖像的基本知識，包括人眼的視覺系統(tǒng)、數(shù)字圖像的基本構(gòu)成和像素間的基本關(guān)系若干常見的數(shù)字圖像處理工具，對它們的性能進(jìn)行橫向?qū)Ρ萈ython庫中常用于數(shù)字圖像處理的相關(guān)庫數(shù)字圖像處理是一門科學(xué)技術(shù)，強(qiáng)調(diào)科學(xué)的思維方式和方法。理性思考、嚴(yán)謹(jǐn)求實(shí)，關(guān)注社會、人文和倫理問題，是開展本課程學(xué)習(xí)的基本要求。小結(jié)第2章圖像的基本變換1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉(zhuǎn)換圖像的顏色空間3圖像幾何變換42.1讀寫圖像數(shù)據(jù)一幅圖像需要在空間和灰度上都離散化才能被計(jì)算機(jī)處理在實(shí)際應(yīng)用中，陣列傳感器獲取的數(shù)字圖像如圖2?1所示圖2?1陣列傳感器獲取的數(shù)字圖像導(dǎo)言用Python讀取一幅圖像，需要導(dǎo)入OpenCV模塊，它包含數(shù)字圖像處理的不同算法使用OpenCV中的imread()方法讀取圖像使用OpenCV中的imshow()方法在指定窗口中顯示圖像2.1.1讀取和顯示圖像常用的圖像文件格式有BMP（Bitmap）、TIFF（TagImageFileFormat）、GIF（GraphicInterchangeFormat）、JPEG（JointPhotographicExpertsGroup）、PDF（PortableDocumentFormat）和PNG(PortableNetworkGraphics)等若想保存結(jié)果圖像，可以使用OpenCV中的imwrite()方法保存圖像2.1.2保存圖像1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉(zhuǎn)換圖像的顏色空間3圖像幾何變換42.2在圖像上繪制圖形line()方法用于在圖像上繪制直線，其語法格式如下：2.2.1繪制簡單的圖形1.在圖像上繪制直線2.2.1繪制簡單的圖形使用line()方法在圖像上繪制一條直線，如代碼所示circle()方法用于在圖像上繪制圓，其語法格式如下：2.2.1繪制簡單的圖形2.在圖像上繪制圓2.2.1繪制簡單的圖形使用circle()方法在圖像上繪制圓，如代碼所示rectangle()方法用于在圖像上繪制矩形，其語法格式如下：2.2.1繪制簡單的圖形3.在圖像上繪制矩形2.2.1繪制簡單的圖形使用rectangle()方法用于在圖像上繪制矩形，如代碼所示putText()方法用于在圖像上添加文字，其語法格式如下：2.2.1繪制簡單的圖形4.在圖像上添加文字2.2.1繪制簡單的圖形使用putText()方法在圖像上添加文字，如代碼所示在圖像上標(biāo)注出和任務(wù)相關(guān)的、特定于任務(wù)的標(biāo)簽主要包括基于文本的標(biāo)簽（類）、繪制在圖像上的標(biāo)簽（邊框），甚至是像素級的標(biāo)簽在圖像上添加人臉區(qū)域的標(biāo)注和標(biāo)簽，如代碼所示2.2.2標(biāo)注圖像中的人臉區(qū)域圖像標(biāo)注是計(jì)算機(jī)視覺任務(wù)的關(guān)鍵1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉(zhuǎn)換圖像的顏色空間3圖像幾何變換42.3轉(zhuǎn)換圖像的顏色空間人的視覺認(rèn)知依賴亮度、色調(diào)和飽和度這3個(gè)基本特征量來區(qū)分顏色任何一種顏色都可由其亮度、色調(diào)和飽和度來表征形成任何一種顏色的紅色量、綠色量和藍(lán)色量被稱為三色值，并分別表示為X、Y和Z一種色彩就可以由其三色系數(shù)來規(guī)定，三色系數(shù)定義如下2.3.1了解顏色空間非常典型、常用的面向硬件設(shè)備的顏色空間是三基色顏色空間電視、攝像機(jī)和彩色掃描儀都是根據(jù)RGB顏色空間工作的RGB顏色空間是一種與人的視覺系統(tǒng)結(jié)構(gòu)密切相連的顏色空間2.3.1了解顏色空間1.RGB圖2?8CIE色度圖

圖2?9RGB顏色空間灰度圖像能以較少的數(shù)據(jù)表征圖像的大部分特征在某些算法的預(yù)處理階段需要將彩色圖像轉(zhuǎn)換為灰度圖像，以提高后續(xù)算法的效率常用的RGB圖像灰度化方法有3種：最大值灰度化、平均值灰度化、加權(quán)平均灰度化2.3.1了解顏色空間2.灰度空間面向彩色處理的常用的顏色空間是HSI顏色空間，其中H表示色調(diào)，S表示飽和度，I表示亮度色調(diào)與亮度對應(yīng)，并與物體的反射率成正比，如果無彩色就只有亮度一個(gè)維度的變化HSI顏色空間中的色度可借助以R、G、B為3個(gè)頂點(diǎn)的三角形來描述2.3.1了解顏色空間3.HSI與HSV從RGB顏色空間到HSI顏色空間的轉(zhuǎn)換2.3.1了解顏色空間3.HSI與HSV從HSI顏色空間到RGB顏色空間的轉(zhuǎn)換①當(dāng)H在[)區(qū)間內(nèi)時(shí)，轉(zhuǎn)換公式如下②

當(dāng)H在[)區(qū)間內(nèi)時(shí)，轉(zhuǎn)換公式如下③當(dāng)H在[)區(qū)間內(nèi)時(shí)，轉(zhuǎn)換公式如下2.3.1了解顏色空間3.HSI與HSV利用三基色光疊加可產(chǎn)生光的三補(bǔ)色：藍(lán)綠（C，即綠加藍(lán)）、品紅（M，即紅加藍(lán)）、黃（Y，即紅加綠）按一定的比例混合三基色光或?qū)⒁粋€(gè)補(bǔ)色光與相對的基色光混合可以產(chǎn)生白色光顏料的三基色正好是光的三補(bǔ)色，而顏料的三補(bǔ)色正好是光的三基色一種簡單的CMY顏色空間到RGB顏色空間的轉(zhuǎn)換方法如下2.3.1了解顏色空間4.

CMY2.3.2顏色空間的相互轉(zhuǎn)換

OpenCV中提供的cvtColor()方法可以進(jìn)行圖像顏色空間轉(zhuǎn)換，其語法格式如下2.3.2顏色空間的相互轉(zhuǎn)換將RGB空間圖像轉(zhuǎn)換為灰度空間圖像2.3.2顏色空間的相互轉(zhuǎn)換將RGB空間圖像轉(zhuǎn)換為HSV空間圖像1在圖像上繪制圖形目錄讀寫圖像數(shù)據(jù)2轉(zhuǎn)換圖像的顏色空間3圖像幾何變換42.4圖像幾何變換相同內(nèi)容的兩幅圖像可能由于成像角度、透視乃至鏡頭自身原因所造成的幾何失真而呈現(xiàn)出截然不同的外觀，給數(shù)字圖像處理和識別任務(wù)帶來困難通過適當(dāng)?shù)膸缀巫儞Q可以最大限度地消除這些幾何失真所產(chǎn)生的負(fù)面影響圖像幾何變換又稱為圖像空間變換，它將一幅圖像中的坐標(biāo)位置映射到另一幅圖像中的新坐標(biāo)位置圖像的幾何變換包括基本的平移、縮放、旋轉(zhuǎn)和復(fù)雜的仿射、透視等2.4.1了解圖像的幾何變換幾何變換常常作為其他數(shù)字圖像處理應(yīng)用的預(yù)處理步驟圖像的平移變換就是將圖像中所有的像素坐標(biāo)分別加上指定的水平偏移量和垂直偏移量假設(shè)原本像素的位置坐標(biāo)為，經(jīng)過平移量后，坐標(biāo)變?yōu)?。其變換公式如下：矩陣表示的坐標(biāo)關(guān)系式為2.4.1了解圖像的幾何變換1.平移變換圖像的縮放變換主要用于改變圖像的尺寸，縮放后圖像的寬度和高度會發(fā)生變化為縮放前坐標(biāo)，為縮放后坐標(biāo)，其矩陣表示的坐標(biāo)映射關(guān)系如下：2.4.1了解圖像的幾何變換2.縮放變換圖像的旋轉(zhuǎn)變換就是讓圖像按照某一點(diǎn)旋轉(zhuǎn)指定的角度旋轉(zhuǎn)后圖像的坐標(biāo)和原圖像坐標(biāo)之間的關(guān)系已不能通過簡單的加、減、乘法運(yùn)算得到，而需要通過一系列的復(fù)雜運(yùn)算才能得到設(shè)旋轉(zhuǎn)中心為，旋轉(zhuǎn)前的坐標(biāo)為，旋轉(zhuǎn)后的坐標(biāo)為，則旋轉(zhuǎn)坐標(biāo)的變換如下：矩陣表示的坐標(biāo)關(guān)系式為：2.4.1了解圖像的幾何變換3.旋轉(zhuǎn)變換圖像的仿射變換是一種基于平面的變換，它能夠保持點(diǎn)的共線性（即保持二維圖形之間的相對位置關(guān)系不變，平行仍平行、相交直線的交角不變等）和直線的平行性（即變換后圓弧還是圓弧、直線還是直線等）仿射變換中假設(shè)原圖像的某個(gè)像素點(diǎn)為，經(jīng)過仿射變換后為，那么仿射變換的過程矩陣表示的坐標(biāo)關(guān)系式為：2.4.1了解圖像的幾何變換4.仿射變換透視變換是空間變換，能夠?qū)D像投影到一個(gè)新的視平面，也稱作投影映射透視變換中假設(shè)原圖像的某個(gè)像素點(diǎn)