北京大學(xué)數(shù)字圖像處理(岡薩雷斯)（課堂PPT）

1、研究生課程研究生課程數(shù)字圖像處理數(shù)字圖像處理 Digital Image Digital Image ProcessingProcessing彭宇新彭宇新 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所究所 E_mail:.cE_mail: n數(shù)字圖像處理 課程介紹課程介紹教材及參考書(shū)教材及參考書(shū)上課主要內(nèi)容上課主要內(nèi)容課程目的與要求課程目的與要求考試內(nèi)容考試內(nèi)容助教老師助教老師國(guó)內(nèi)外相關(guān)會(huì)議和雜志國(guó)內(nèi)外相關(guān)會(huì)議和雜志目前需要做的事情目前需要做的事情教材及參考書(shū)教材教材Rafael C. Gonzalez, Richard E. Woods Ra

2、fael C. Gonzalez, Richard E. Woods 著，著，阮秋琦、阮宇智等譯，數(shù)字圖像處理（第阮秋琦、阮宇智等譯，數(shù)字圖像處理（第 二二版），電子工業(yè)出版社，版），電子工業(yè)出版社，20032003年。年。Rafael C. Gonzalez, Richard E. WoodsRafael C. Gonzalez, Richard E. Woods， Digital Image Processing(Second Edition)Digital Image Processing(Second Edition)，Prentice HallPrentice Hall，200320

3、03。教材及參考書(shū)（續(xù)）參考書(shū)參考書(shū)Kenneth R. CastlemanKenneth R. Castleman著，朱志剛、林學(xué)訚、石定著，朱志剛、林學(xué)訚、石定 機(jī)機(jī)等譯，數(shù)字圖像處理，電子工業(yè)出版社，等譯，數(shù)字圖像處理，電子工業(yè)出版社，20022002年。年。章毓晉，圖象工程上冊(cè)章毓晉，圖象工程上冊(cè)圖象處理和分析，清華大圖象處理和分析，清華大 學(xué)出版社，學(xué)出版社，20032003年。年。阮秋琦，數(shù)字圖像處理學(xué)，電子工業(yè)出版社，阮秋琦，數(shù)字圖像處理學(xué)，電子工業(yè)出版社，2004 2004 年。年。楊枝靈、王開(kāi)等，楊枝靈、王開(kāi)等，Visual C+Visual C+數(shù)字圖像獲取、處理數(shù)字圖像獲

4、取、處理 及實(shí)踐應(yīng)用，人民郵電出版社，及實(shí)踐應(yīng)用，人民郵電出版社，20032003年。年。章毓晉，基于內(nèi)容的視覺(jué)信息檢索，科學(xué)出版社，章毓晉，基于內(nèi)容的視覺(jué)信息檢索，科學(xué)出版社， 20032003年。年。上課主要內(nèi)容1.1.概述概述2.2.空間域圖像增強(qiáng)空間域圖像增強(qiáng)3.3.彩色圖像處理彩色圖像處理4.4.基于內(nèi)容的圖像檢索（補(bǔ)充）基于內(nèi)容的圖像檢索（補(bǔ)充）5.5.傅里葉變換傅里葉變換6.6.頻率域圖像增強(qiáng)頻率域圖像增強(qiáng)7.7.圖像復(fù)原圖像復(fù)原8.8.圖像壓縮（圖像壓縮（1 1）上課主要內(nèi)容（續(xù)）9.9.圖像壓縮（圖像壓縮（2 2）10.10.形態(tài)學(xué)圖像處理形態(tài)學(xué)圖像處理11.11.圖像分割圖

5、像分割12.12.表示與描述表示與描述13.13.基于內(nèi)容的視頻分析和檢索技術(shù)（補(bǔ)充）基于內(nèi)容的視頻分析和檢索技術(shù)（補(bǔ)充）14.14.考試復(fù)習(xí)考試復(fù)習(xí)課程目的與要求掌握數(shù)字圖像處理的基本概念、原理掌握數(shù)字圖像處理的基本概念、原理和和 方法方法初步運(yùn)用所學(xué)知識(shí)解決實(shí)際問(wèn)題初步運(yùn)用所學(xué)知識(shí)解決實(shí)際問(wèn)題為圖像處理及相關(guān)領(lǐng)域的研究打下基為圖像處理及相關(guān)領(lǐng)域的研究打下基礎(chǔ)礎(chǔ)圖像處理圖像處理計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)基于內(nèi)容的圖像、視頻檢索基于內(nèi)容的圖像、視頻檢索人臉識(shí)別、指紋識(shí)別、掌紋識(shí)別、虹膜識(shí)別人臉識(shí)別、指紋識(shí)別、掌紋識(shí)別、虹膜識(shí)別圖像分類(lèi)、圖像和視頻的語(yǔ)義概念檢測(cè)、圖像分類(lèi)、圖像和視頻的語(yǔ)義概念檢測(cè)、考

6、試內(nèi)容平時(shí)作業(yè)平時(shí)作業(yè)50%50%，考試成績(jī)，考試成績(jī)50%50%平時(shí)作業(yè)選擇下列兩個(gè)之一：平時(shí)作業(yè)選擇下列兩個(gè)之一：分組完成一個(gè)大作業(yè)分組完成一個(gè)大作業(yè)其他與圖像處理相關(guān)的課題其他與圖像處理相關(guān)的課題( (需要上課老師需要上課老師 認(rèn)認(rèn)可可) )考試閉卷完成（基本概念、原理和算法）考試閉卷完成（基本概念、原理和算法）助教老師曹磊E_mail: 電話：82529384注意：有不懂的地方多問(wèn)助教老師，充分發(fā)揮助教老師的 指導(dǎo)作用國(guó)內(nèi)外相關(guān)會(huì)議和雜志國(guó)內(nèi)雜志：一級(jí)學(xué)國(guó)內(nèi)雜志：一級(jí)學(xué)報(bào)報(bào)軟件學(xué)報(bào)軟件學(xué)報(bào)電子學(xué)報(bào)電子學(xué)報(bào)計(jì)算機(jī)研究與發(fā)展計(jì)算機(jī)研究與發(fā)展JournaJournal l of of Tec

7、hnologyTechnologyComputer Science Computer Science (JCST)(SCI)(JCST)(SCI)andand計(jì)算機(jī)學(xué)報(bào)計(jì)算機(jī)學(xué)報(bào)國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）國(guó)外會(huì)議：國(guó)外會(huì)議：IEEE International Conference on Computer IEEE International Conference on Computer Vision (ICCV)Vision (ICCV)IEEE International Conference on Computer IEEE International Conference on Com

8、puter Vision and Pattern Recognition (CVPR)Vision and Pattern Recognition (CVPR)ACM Multimedia Conference (MM)ACM Multimedia Conference (MM)國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）國(guó)外會(huì)議：國(guó)外會(huì)議：IEEE International Conference on Image IEEE International Conference on Image Processing (ICIP)Processing (ICIP)IEEE International Confer

9、ence on Multimedia and IEEE International Conference on Multimedia and Expo (ICME)Expo (ICME)International Conference on Pattern Recognition International Conference on Pattern Recognition (ICPR)(ICPR)ACM International Conference on Image and Video ACM International Conference on Image and Video Ret

10、rieval (CIVR)Retrieval (CIVR)國(guó)內(nèi)外相關(guān)會(huì)議和雜志（續(xù)）國(guó)外期刊：國(guó)外期刊：IEEE Transactions on Pattern Analysis and IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI)Machine Intelligence (PAMI)IEEE Transactions on Image Processing (IP)IEEE Transactions on Image Processing (IP)IEEE Transactions on Circu

11、its and Systems IEEE Transactions on Circuits and Systems for Video Technology (CSVT)for Video Technology (CSVT)International Journal of Computer Vision International Journal of Computer Vision (IJCV)(IJCV)Pattern Recognition (PR)Pattern Recognition (PR)Image and Vision Computing (IVC)Image and Visi

12、on Computing (IVC)目前需要做的事情選課學(xué)生發(fā)送下列信息給老師選課學(xué)生發(fā)送下列信息給老師: : 姓名姓名學(xué)號(hào)學(xué)號(hào)聯(lián)系方式：聯(lián)系方式：E_mail,E_mail,電話電話碩士生或博士生，年級(jí)碩士生或博士生，年級(jí)所在院系、實(shí)驗(yàn)室、導(dǎo)師所在院系、實(shí)驗(yàn)室、導(dǎo)師研究方向研究方向數(shù)字圖像處理基礎(chǔ)概述概述概念：圖像、數(shù)字圖像、像素概念：圖像、數(shù)字圖像、像素?cái)?shù)字圖像處理的起源數(shù)字圖像處理的起源數(shù)字圖像處理的應(yīng)用領(lǐng)域數(shù)字圖像處理的應(yīng)用領(lǐng)域圖像處理系統(tǒng)的部件圖像處理系統(tǒng)的部件基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)圖像的采樣和量化圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的表示數(shù)字圖像的質(zhì)量數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系

13、像素間的一些基本關(guān)系什么是圖像？定義為二維函數(shù)定義為二維函數(shù)f(x,y),f(x,y),其中，其中，x,yx,y是空間坐標(biāo)，是空間坐標(biāo)，f(x,y)f(x,y)是點(diǎn)（是點(diǎn)（x,yx,y）的幅值）的幅值灰度圖像是一個(gè)二維灰度（或亮度）函數(shù)灰度圖像是一個(gè)二維灰度（或亮度）函數(shù)f(x,y)f(x,y)彩色圖像由三個(gè)（如彩色圖像由三個(gè)（如RGB,HSVRGB,HSV）二維灰度（或亮度）函）二維灰度（或亮度）函數(shù)數(shù)f(x,y)f(x,y)組成組成x xy yy yx x什么是數(shù)字圖像？像素組成的二維排列，可以用矩陣表示像素組成的二維排列，可以用矩陣表示 對(duì)于單色（灰度）圖像而言，每個(gè)像素的亮度用一個(gè)對(duì)于

14、單色（灰度）圖像而言，每個(gè)像素的亮度用一個(gè)數(shù)數(shù) 值來(lái)表示，通常數(shù)值范圍在值來(lái)表示，通常數(shù)值范圍在0 0到到255255之間，之間，0 0表示黑、表示黑、255255表表 示白，其它值表示處于黑白之間的灰度示白，其它值表示處于黑白之間的灰度彩色圖像可以用紅、綠、藍(lán)三元組的二維矩陣來(lái)表示。彩色圖像可以用紅、綠、藍(lán)三元組的二維矩陣來(lái)表示。 通常，三元組的每個(gè)數(shù)值也是在通常，三元組的每個(gè)數(shù)值也是在0 0到到255255之間，之間，0 0表示相應(yīng)表示相應(yīng) 的基色在該像素中沒(méi)有，而的基色在該像素中沒(méi)有，而255255則代表相應(yīng)的基色在該像則代表相應(yīng)的基色在該像 素中取得最大值素中取得最大值yx數(shù)字圖像的像

15、素表示xy什么是像素？什么是像素？數(shù)字圖像由二維的元素組成，每一個(gè)元素具有一個(gè)數(shù)字圖像由二維的元素組成，每一個(gè)元素具有一個(gè) 特特定的位置（定的位置（x,yx,y）和幅值）和幅值f(x,y),f(x,y),這些元素就稱為像素這些元素就稱為像素?cái)?shù)字圖像處理的起源人類(lèi)分析圖像在傳輸過(guò)程后的更好復(fù)原圖像在傳輸過(guò)程后的更好復(fù)原空間應(yīng)用：圖像增強(qiáng)、圖像復(fù)原空間應(yīng)用：圖像增強(qiáng)、圖像復(fù)原醫(yī)學(xué)圖像醫(yī)學(xué)圖像作用：通過(guò)圖像增強(qiáng)、圖像復(fù)原等技術(shù)，增強(qiáng)或作用：通過(guò)圖像增強(qiáng)、圖像復(fù)原等技術(shù)，增強(qiáng)或復(fù)復(fù) 原模糊或損毀的圖像原模糊或損毀的圖像機(jī)器感知機(jī)器感知自動(dòng)字符識(shí)別自動(dòng)字符識(shí)別OCROCR人臉識(shí)別人臉識(shí)別指紋識(shí)別，生物特

16、征識(shí)別指紋識(shí)別，生物特征識(shí)別數(shù)字圖像處理的應(yīng)用領(lǐng)域 傳統(tǒng)領(lǐng)域傳統(tǒng)領(lǐng)域醫(yī)學(xué)、空間應(yīng)用、地理學(xué)、生物學(xué)、軍事醫(yī)學(xué)、空間應(yīng)用、地理學(xué)、生物學(xué)、軍事 最新領(lǐng)域最新領(lǐng)域數(shù)碼相機(jī)數(shù)碼相機(jī)(DC)(DC)、數(shù)碼攝像機(jī)、數(shù)碼攝像機(jī)(DV)(DV)指紋識(shí)別、人臉識(shí)別指紋識(shí)別、人臉識(shí)別互聯(lián)網(wǎng)、視頻、多媒體等互聯(lián)網(wǎng)、視頻、多媒體等基于內(nèi)容的圖像檢索、視頻檢索、多媒體檢索基于內(nèi)容的圖像檢索、視頻檢索、多媒體檢索水印、游戲、電影特技、虛擬現(xiàn)實(shí)、電子商務(wù)等水印、游戲、電影特技、虛擬現(xiàn)實(shí)、電子商務(wù)等數(shù)字圖像處理的應(yīng)用無(wú)處不在數(shù)字圖像處理的應(yīng)用無(wú)處不在例1：圖像增強(qiáng)直方圖均衡化例2：人臉檢測(cè)與識(shí)別例3：鏡頭邊界檢測(cè)例4：基于

17、內(nèi)容的圖像檢索 例5：基于內(nèi)容的鏡頭檢索例6：基于內(nèi)容的視頻片斷檢索例7：視頻字幕識(shí)別例7：視頻字幕識(shí)別例8：101個(gè)視頻概念的檢測(cè)視頻語(yǔ)義標(biāo)注的基本方法測(cè)試 視頻訓(xùn)練 學(xué)習(xí)標(biāo)注訓(xùn)練 視頻庫(kù)語(yǔ)義 概念 模型視頻 標(biāo)注特征提取特征提取概念 檢測(cè)例8：101個(gè)視頻概念的檢測(cè)輸入圖像輸入圖像輸出圖像輸出圖像數(shù)數(shù) 字字 化化 設(shè)設(shè) 備備圖圖 像像 輸輸 出出 設(shè)設(shè) 備備InternetInternet圖像存儲(chǔ)系統(tǒng)圖像存儲(chǔ)系統(tǒng)圖像處理系統(tǒng)的基本組成結(jié)圖像處理系統(tǒng)的基本組成結(jié)構(gòu)構(gòu)圖像處理計(jì)算機(jī)圖像處理計(jì)算機(jī)圖圖 像像圖像處理系統(tǒng)的基本組成結(jié)構(gòu)圖像處理系統(tǒng)的基本組成結(jié)構(gòu)主要由三大部分組成主要由三大部分組成圖

18、像數(shù)字化設(shè)備，包括數(shù)碼相機(jī)、數(shù)圖像數(shù)字化設(shè)備，包括數(shù)碼相機(jī)、數(shù) 碼碼攝像機(jī)、帶照相和攝像機(jī)、帶照相和/ /或攝像功能的手機(jī)或攝像功能的手機(jī) 等等圖像處理設(shè)備，包括計(jì)算機(jī)和存儲(chǔ)系圖像處理設(shè)備，包括計(jì)算機(jī)和存儲(chǔ)系 統(tǒng)統(tǒng)圖像輸出設(shè)備，包括打印機(jī)，也可以圖像輸出設(shè)備，包括打印機(jī)，也可以 輸輸出到出到InternetInternet上的其它設(shè)備上的其它設(shè)備圖像存儲(chǔ)系統(tǒng)圖像文件格式體系互聯(lián)網(wǎng)用：GIF、JPG印 刷 用：TIF、JPG、TAG 、PCX 國(guó)際標(biāo)準(zhǔn)：TIF、JPG、BMP圖像存儲(chǔ)體系：分級(jí)存儲(chǔ) 內(nèi)存存儲(chǔ)：處理時(shí)使用 硬盤(pán)存儲(chǔ)：處理、備份時(shí)用（在線） 備份存儲(chǔ)：光盤(pán)、磁帶（離線、近線） 網(wǎng)絡(luò)存

19、儲(chǔ)：SAN、 NAS為什么要用SAN傳統(tǒng)存儲(chǔ)解決方案 信息島存儲(chǔ)區(qū)域網(wǎng)SAN(Storage Area Network)SANSANSAN是什么？SAN是什么？（續(xù)）不是client/server,而是client/storage devices獨(dú)立于LAN之外的高速存儲(chǔ)網(wǎng)絡(luò)一般采用高速的光纖通道作為傳輸媒體（2Gbit/s）將存儲(chǔ)設(shè)備通過(guò)光通道互連設(shè)備構(gòu)成一個(gè)存儲(chǔ)子網(wǎng)支持服務(wù)器和存儲(chǔ)設(shè)備之間任意到任意的連接SAN上的任何一臺(tái)服務(wù)器均可存取網(wǎng)絡(luò)中的任何一個(gè)存 儲(chǔ)設(shè)備對(duì)網(wǎng)上的存儲(chǔ)資源實(shí)施集中統(tǒng)一的管理NAS (Network Attached Storage)是什么？是優(yōu)化的文件服務(wù)器，存儲(chǔ)設(shè)備

20、與服務(wù)器均直接連 接到LAN上，使用TCP/IP等LAN協(xié)議，通過(guò)LAN實(shí)現(xiàn)數(shù)據(jù)交 換和存儲(chǔ)管理。由于使用網(wǎng)絡(luò)協(xié)議，因而會(huì)有速度和延 時(shí)的問(wèn)題，且系統(tǒng)擴(kuò)展能力受到網(wǎng)絡(luò)帶寬的限制。File I/OFile I/OSAN與NAS比較SANNAS塊級(jí)共享文件級(jí)共享遠(yuǎn)程存儲(chǔ)訪問(wèn)遠(yuǎn)程文件訪問(wèn)存儲(chǔ)專(zhuān)用網(wǎng)共享LAN存儲(chǔ)協(xié)議（如FCP)網(wǎng)絡(luò)協(xié)議(如TCP/IP)集中式管理分散式管理無(wú)限的擴(kuò)展能力有限的擴(kuò)展能力更高的連接速度和處理能力較低的連接速度和處理能力數(shù)字圖像處理基礎(chǔ)數(shù)字圖像處理基礎(chǔ)圖像的采樣和量化圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的表示數(shù)字圖像的質(zhì)量數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)系像素間的一些基本

21、關(guān)系 鄰域處理鄰域處理方法是圖像增強(qiáng)和復(fù)原過(guò)程方法是圖像增強(qiáng)和復(fù)原過(guò)程的核心的核心圖像的采樣和量化圖像的采樣和量化大多數(shù)傳感器的輸出是連續(xù)電壓波形為了產(chǎn)生一幅數(shù)字圖像，需要把連續(xù)的 感知數(shù)據(jù)轉(zhuǎn)化為數(shù)字形式這包括兩種處理：取樣和量化取樣：圖像空間坐標(biāo)的數(shù)字化量化：圖像函數(shù)值（灰度值）的數(shù)字化N N圖像采樣圖像采樣空間坐標(biāo)(x,y)的數(shù)字化被稱為圖像采樣確定水平和垂直方向上的像素個(gè)數(shù)N、MM M函數(shù)取值的數(shù)字化被稱為圖像的量化，如 量化到256個(gè)灰度級(jí)f圖像的量化圖像的采樣與數(shù)字圖像的質(zhì)量圖像的采樣與數(shù)字圖像的質(zhì)量1024102451251225625612812864643232265x1801

22、33x9066x4533x22圖像的采樣與數(shù)字圖像的質(zhì)量256灰度級(jí)灰度級(jí)16灰度級(jí)灰度級(jí)8灰度級(jí)灰度級(jí)4灰度級(jí)灰度級(jí)圖像的量化與數(shù)字圖像的質(zhì)量非統(tǒng)一的圖像的采樣 在灰度級(jí)變化尖銳的區(qū)域，用細(xì)膩的采樣， 在灰度級(jí)比較平滑的區(qū)域，用粗糙的采樣圖像的采樣和量化圖像的采樣和量化圖像的采樣和量化非統(tǒng)一的圖像的量化 在邊界附近使用較少的灰度級(jí)。剩余的 灰度級(jí)可用于灰度級(jí)變化比較平滑的區(qū) 域 避免或減少由于量化的太粗糙，在灰度 級(jí)變化比較平滑的區(qū)域出現(xiàn)假輪廓的現(xiàn) 象數(shù)字圖像處理基礎(chǔ)數(shù)字圖像處理基礎(chǔ)圖像的采樣和量化圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的表示數(shù)字圖像的質(zhì)量數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)像素

23、間的一些基本關(guān)系系二維離散亮度函數(shù)f(x,y)x，y說(shuō)明圖像像素的空間坐標(biāo)函數(shù)值 f 代表了在點(diǎn)(x,y)處像素的灰度 值二維矩陣Am,nm , n說(shuō)明圖像的寬和高。 矩陣元素a(i，j)的值，表示圖像在第 i 行，第 j 列的像素的灰度值；i,j表示幾何 位置數(shù)字圖像的表示圖像描述信息如圖像高度和寬度等 信息圖像數(shù)據(jù)順序存放的連續(xù)數(shù)據(jù)BMP格式1.位圖文件頭2.位圖信息頭3.調(diào)色板4.圖像數(shù)據(jù)headData數(shù)字圖像的表示typedef struct tagBITMAPFILEHEADERWORDDWORD WORD WORD DWORDbfType;bfSize; bfReserved1;

24、 bfReserved2; bfOffBits;/文件類(lèi)型，必須是字符串”BM”/指定文件大小/保留字，不考慮/保留字，不考慮/從文件頭到位圖數(shù)據(jù)的偏移字節(jié)數(shù) BITMAPFILEHEADER;BMP格式1、位圖文件頭typedef struct tagBITMAPINFOHEADERDWORD LONG LONG WORD WORD DWORD DWORD LONG LONG DWORD DWORDbiSize; biWidth; biHeight; biPlanes; biBitCount biCompression; biSizeImage;biXPelsPerMeter; biYPel

25、sPerMeter; biClrUsed; biClrImportant;/該結(jié)構(gòu)的長(zhǎng)度，40個(gè)字節(jié)/圖像的寬度，單位是像素/圖像的高度，單位是像素/必須是1/顏色位數(shù)，如1，4，8，24/壓縮類(lèi)型，如BI_RGB,BI_RLE4/實(shí)際位圖數(shù)據(jù)占用的字節(jié)數(shù)/水平分辨率/垂直分辨率/實(shí)際使用的顏色數(shù)/重要的顏色數(shù) BITMAPINFOHEADER;BMP格式2、位圖信息頭BMP格式3、調(diào)色板typedef struct tagRGBQUADBYTE BYTE BYTE BYTErgbBlue; rgbGreen; rgbRed; rgbReserved;/該顏色的藍(lán)色分量/該顏色的綠色分量/該顏

26、色的紅色分量/保留值，不考慮 RGBQUAD;注：有些位圖不需要調(diào)色板，如真彩色圖， 它們的BITMAPINFOHEADER后面直接是位圖數(shù)據(jù)BMPBMP格式格式4 4、實(shí)際的圖像數(shù)據(jù)、實(shí)際的圖像數(shù)據(jù)對(duì)于對(duì)于2 2色位圖，色位圖，1 1位表示一個(gè)像素顏色，位表示一個(gè)像素顏色， 所以一個(gè)字節(jié)表示所以一個(gè)字節(jié)表示8 8個(gè)像素個(gè)像素對(duì)于對(duì)于1616色位圖，色位圖，4 4位表示一個(gè)像素顏色，位表示一個(gè)像素顏色， 所以一個(gè)字節(jié)表示所以一個(gè)字節(jié)表示2 2個(gè)像素個(gè)像素對(duì)于對(duì)于256256色位圖，色位圖，1 1個(gè)字節(jié)表示個(gè)字節(jié)表示1 1個(gè)像素個(gè)像素對(duì)于真彩色圖，對(duì)于真彩色圖，3 3個(gè)字節(jié)表示一個(gè)像素個(gè)字節(jié)表示

27、一個(gè)像素?cái)?shù)字圖像處理基礎(chǔ)數(shù)字圖像處理基礎(chǔ)圖像的采樣和量化圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的表示數(shù)字圖像的質(zhì)量數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)像素間的一些基本關(guān)系系圖像的質(zhì)量：圖像的質(zhì)量：1 1、層次、層次灰度級(jí)：表示像素明暗程度的整數(shù)量例如：像素的取值范圍為0-255，就稱該 圖像為256個(gè)灰度級(jí)的圖像層 次：表示圖像實(shí)際擁有的灰度級(jí)的 數(shù)量例如：具有32種不同取值的圖像，可稱 該圖像具有32個(gè)層次圖像數(shù)據(jù)的實(shí)際層次越多，視覺(jué)效果就越好256個(gè)層次的圖像16個(gè)層次的圖像64個(gè)層次的圖像圖像的質(zhì)量：1、層次圖像的質(zhì)量：圖像的質(zhì)量：2 2、對(duì)比度、對(duì)比度對(duì)比度：是指一幅圖像中灰度反差的大小

28、對(duì)比度 = 最大亮度 / 最小亮度 與清晰度相關(guān)的主要因素 亮度 對(duì)比度 尺寸大小 細(xì)微層次 顏色飽和度圖像的質(zhì)量：圖像的質(zhì)量：3 3、清晰、清晰度度降低亮度影響清晰度因素1、亮度原圖降低對(duì)比度原圖影響清晰度因素2、對(duì)比度縮小尺寸原圖影響清晰度因素3、尺寸大小減少細(xì)微層次原圖影響清晰度因素4、細(xì)微層次降低顏色飽和度原圖影響清晰度因素5、顏色飽和度數(shù)字圖像處理基礎(chǔ)數(shù)字圖像處理基礎(chǔ)圖像的采樣和量化圖像的采樣和量化數(shù)字圖像的表示數(shù)字圖像的表示數(shù)字圖像的質(zhì)量數(shù)字圖像的質(zhì)量像素間的一些基本關(guān)像素間的一些基本關(guān)系系像素間的一些基本關(guān)系相鄰像素：4鄰域D鄰域8鄰域連通性4連通8連通m連通距離(x-1,y)P

29、(x+1,y)4鄰域：像素p(x,y)的4鄰域是： (x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)用N4(p)表示像素p的4鄰域(x,y+1)(x,y-1)相鄰像素4鄰域D鄰域定義：像素p(x,y)的D鄰域是：對(duì)角上的點(diǎn) (x+1,y+1)；(x+1,y-1)；(x-1,y+1)；(x-1,y-1)用ND(p)表示像素p的D鄰域相鄰像素D鄰域(x-1,y+1)(x+1,y+1)(x-1,y-1)(x+1,y-1)P相鄰像素相鄰像素8 8鄰域鄰域8鄰域定義：像素p(x,y)的8鄰域是： 4鄰域的點(diǎn) D鄰域的點(diǎn)用N8(p)表示像素p的8鄰域。 N8(p) = N4(p) + ND(

30、p)P 連通性是描述區(qū)域和邊界的重要概 念 兩個(gè)像素連通的兩個(gè)必要條件是： 兩個(gè)像素的位置是否相鄰 兩個(gè)像素的灰度值是否滿足特定的相 似性準(zhǔn)則（或者是否相等） 4連通、8連通、m連通的定義像素間的連通性像素間的連通性 對(duì)于具有值V的像素p和q，如果q在 集合N4(p)中，則稱這兩個(gè)像素是4 連通的像素的連通性4連通pq像素的連通性像素的連通性8 8連通連通 對(duì)于具有值V的像素p和q，如果q在集 合N8(p)中，則稱這兩個(gè)像素是8連通 的pq對(duì)于具有值V的像素p和q，如果:I.q在集合N4(p)中，或II.q在集合ND(p)中，并且N4(p)與N4(q) 的交集為空（沒(méi)有值V的像素） 則稱這兩個(gè)

31、像素是m連通的，即4連通和D連通的混合連通。像素的連通性像素的連通性m m連連通通是m連通不是m連通像素的連通性m連通p qp q 通路的定義一條從具有坐標(biāo)(x,y)的像素p,到具有坐標(biāo)(s,t) 的像素q的通路，是具有坐標(biāo)(x0,y0),(x1,y1),.,(xn,yn)的不同像素的序列。其中，(x0,y0) = (x,y)，(xn,yn) = (s,t)， (xi,yi) 和(xi-1,yi-1)是鄰接的，1 i n，n 是路徑的長(zhǎng)度。如果(x0,y0) = (xn,yn) ,則該通 路是閉合通路像素的連通性通路像素之間距離的定義歐氏距離定義D4距離（城市距離）定義D8距離（棋盤(pán)距離）定義

32、像素的連通性距離像素之間距離的定義像素之間距離的定義對(duì)于像素p、q和z，分別具有坐標(biāo)(x,y)， (s,t)和(u,v)，如果(1) D(p,q) 0 (D(p,q)=0，當(dāng)且僅 當(dāng)p=q),(2) D(p,q)=D(q,p)(3)D(p,z) D(p,q) + D(q,z) 則稱D是距離函數(shù)或度量歐式距離定義歐式距離定義 像素p(x,y)和q(s,t)間的歐式距離定 義如下：D p, q x s2 y t2e 對(duì)于這個(gè)距離計(jì)算法，具有與(x,y) 距離小于等于某個(gè)值r的像素是：包含 在以(x,y)為圓心，以r為半徑的圓平 面D4距離（城市距離）像素p(x,y)和q(s,t)之間的D4距 離定

33、義為：D4(p,q) = |x s| + |y t|具有D4= 1的像素是(x,y)的4鄰域rD D4 4距離舉例距離舉例 具有與(x,y)距離小于 等于某個(gè)值r的那些像 素形成一個(gè)菱形例如，與點(diǎn)(x,y)（中 心點(diǎn)）D4距離小于等 于2的像素，形成右邊 固定距離的輪廓22 1221 01 22 122D D8 8距離（棋盤(pán)距離）距離（棋盤(pán)距離） 像素p(x,y)和q(s,t)之間的D8距離定義為：D8(p,q) = max(|x s| ,|y t|)rD8距離舉例 具有與(x,y)距離小于 等于某個(gè)值r的那些像 素形成一個(gè)正方形例如，與點(diǎn)(x,y)（中心點(diǎn)）D 距離小于等8于2的像素，形成右

34、邊固定距離的輪廓具有D8= 1的像素是(x,y)的8鄰域22 22221 11221 01221 11222 222數(shù)字圖像處理（1）任何問(wèn)題？任何問(wèn)題？研究生課程研究生課程數(shù)字圖像處理數(shù)字圖像處理 Digital Image Digital Image ProcessingProcessing彭宇新彭宇新 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所究所 E_mail:.cE_mail: n研究生課程圖圖 像像 增增 強(qiáng)強(qiáng)處理策略處理策略處理方法處理方法 空域方法空域方法點(diǎn)處理（變換）點(diǎn)處理（變換）模板處理（濾波）模板處理（濾波）頻域方法頻域

35、方法 全局處理全局處理局部處理局部處理處理對(duì)象處理對(duì)象灰度圖像灰度圖像彩色圖像彩色圖像空間域圖像增強(qiáng)基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)基本概念基本概念點(diǎn)運(yùn)算點(diǎn)運(yùn)算代數(shù)運(yùn)算代數(shù)運(yùn)算直方圖運(yùn)算直方圖運(yùn)算應(yīng)用實(shí)例應(yīng)用實(shí)例鏡頭邊界的檢測(cè)（補(bǔ)充知識(shí)）鏡頭邊界的檢測(cè)（補(bǔ)充知識(shí)）空間濾波器空間濾波器平滑空間濾波器平滑空間濾波器銳化空間濾波器銳化空間濾波器基本概念基本概念圖像增強(qiáng)分為兩類(lèi)：圖像增強(qiáng)分為兩類(lèi)：空間域增強(qiáng)：對(duì)圖像的像素直接處理空間域增強(qiáng)：對(duì)圖像的像素直接處理頻域增強(qiáng)頻域增強(qiáng) ： 修改圖像的傅里葉變換（后面介紹）修改圖像的傅里葉變換（后面介紹）空間域增強(qiáng)：空間域增強(qiáng)： gx, y Tf x, yf(x,y)f(x,y

36、)是原圖像是原圖像g(x,y)g(x,y)是處理后的圖像是處理后的圖像T T是作用于是作用于f f的操作，定義在的操作，定義在(x,y)(x,y)的鄰域的鄰域空間域增強(qiáng)的簡(jiǎn)化形式：空間域增強(qiáng)的簡(jiǎn)化形式： s Trr r是是f(x,y)f(x,y)在任意點(diǎn)在任意點(diǎn)(x,y)(x,y)的灰度級(jí)的灰度級(jí)s s是是g(x,y)g(x,y)在任意點(diǎn)在任意點(diǎn)(x,y)(x,y)的灰度級(jí)的灰度級(jí)點(diǎn)運(yùn)算點(diǎn)運(yùn)算點(diǎn)運(yùn)算點(diǎn)運(yùn)算1 1反轉(zhuǎn)變換，反轉(zhuǎn)變換，2 2對(duì)數(shù)變對(duì)數(shù)變換換0,L-10,L-1為圖像的灰度級(jí)。作用：黑的變白，白的變?yōu)閳D像的灰度級(jí)。作用：黑的變白，白的變黑黑有時(shí)原圖的動(dòng)態(tài)范圍太大，超出某些顯示設(shè)備的允

37、有時(shí)原圖的動(dòng)態(tài)范圍太大，超出某些顯示設(shè)備的允許許 動(dòng)態(tài)范圍，如直接使用原圖，則一部分細(xì)節(jié)可能丟動(dòng)態(tài)范圍，如直接使用原圖，則一部分細(xì)節(jié)可能丟失失解決辦法是對(duì)原圖進(jìn)行灰度壓縮，如對(duì)數(shù)變換解決辦法是對(duì)原圖進(jìn)行灰度壓縮，如對(duì)數(shù)變換反轉(zhuǎn)變換：s L 1 r對(duì)數(shù)變換：對(duì)數(shù)變換：s c log1 rc c是常數(shù)是常數(shù)r 0點(diǎn)運(yùn)算1反轉(zhuǎn)變換，2對(duì)數(shù)變換圖圖a a顯示了值為顯示了值為0- 0- 1.5106 的傅里葉頻譜的傅里葉頻譜在一個(gè)在一個(gè)8 8位的系統(tǒng)中顯示位的系統(tǒng)中顯示圖圖b b顯示了對(duì)數(shù)變換在顯示了對(duì)數(shù)變換在8 8位系統(tǒng)中的顯示結(jié)果位系統(tǒng)中的顯示結(jié)果a ab b點(diǎn)運(yùn)算3冪次變換冪次變換：冪次變換：s

38、cr c c和和 是正常數(shù)是正常數(shù) 1 提高灰度級(jí)，在正比函數(shù)上方，使圖像變亮提高灰度級(jí)，在正比函數(shù)上方，使圖像變亮 1 降低灰度級(jí)，在正比函數(shù)下方，使圖像變暗降低灰度級(jí)，在正比函數(shù)下方，使圖像變暗例：人體胸上部脊椎骨折的核磁共振圖像例：人體胸上部脊椎骨折的核磁共振圖像 1 提高灰度級(jí)，使圖像變亮。提高灰度級(jí)，使圖像變亮。c=1,c=1, 0.6,0.4,0.3點(diǎn)運(yùn)算3冪次變換 0.4增強(qiáng)效果增強(qiáng)效果最好最好點(diǎn)運(yùn)算3冪次變換 5例：航空地面圖像例：航空地面圖像 1降低灰度級(jí)，使圖像變暗降低灰度級(jí)，使圖像變暗c=1, c=1, 3,4,5 3 4點(diǎn)運(yùn)算4對(duì)比度拉伸思想：提高圖像處理時(shí)灰度級(jí)思想：

39、提高圖像處理時(shí)灰度級(jí) 的動(dòng)態(tài)范圍的動(dòng)態(tài)范圍點(diǎn)運(yùn)算5灰度級(jí)切片關(guān)心范圍指定較高值，關(guān)心范圍指定較高值， 其它保持不變其它保持不變r(jià) rr r關(guān)心范圍指定較高值，關(guān)心范圍指定較高值， 其它指定較低值其它指定較低值s ss sa a變換變換b b變換變換一幅圖像一幅圖像a a變換結(jié)果變換結(jié)果0255255點(diǎn)運(yùn)算5灰度級(jí)切片點(diǎn)運(yùn)算6位平面切片位平面切片位平面切片 假設(shè)圖像中每個(gè)像素的灰度級(jí)是假設(shè)圖像中每個(gè)像素的灰度級(jí)是256256，這，這可以用可以用8 8位來(lái)表位來(lái)表示，假設(shè)圖像是由示，假設(shè)圖像是由8 8個(gè)個(gè)1 1位平面組成，范圍從位平面位平面組成，范圍從位平面0 0到位到位平面平面7 7。其中，位平

40、面。其中，位平面0 0包含圖像中像素的最低位，位平包含圖像中像素的最低位，位平面面 7 7包含像素的最高位包含像素的最高位點(diǎn)運(yùn)算6位平面切片作用作用通過(guò)對(duì)特定位提高亮度，改善圖像質(zhì)量通過(guò)對(duì)特定位提高亮度，改善圖像質(zhì)量較高位（如前較高位（如前4 4位）包含大多數(shù)視覺(jué)重要數(shù)位）包含大多數(shù)視覺(jué)重要數(shù) 據(jù)據(jù)較低位（如后較低位（如后4 4位）對(duì)圖像中的微小細(xì)節(jié)有位）對(duì)圖像中的微小細(xì)節(jié)有 作作用用分解為位平面，可以分析每一位在圖像中的分解為位平面，可以分析每一位在圖像中的 相對(duì)重要性相對(duì)重要性點(diǎn)運(yùn)算點(diǎn)運(yùn)算6 6位平面切片位平面切片一幅一幅8 8比特分形圖像比特分形圖像點(diǎn)運(yùn)算6位平面切片代數(shù)運(yùn)算算術(shù)運(yùn)算算術(shù)

41、運(yùn)算加加減減乘乘除除: :一幅圖像取反和另一幅圖像相一幅圖像取反和另一幅圖像相乘乘邏輯運(yùn)算邏輯運(yùn)算非非與與或或異或異或加法運(yùn)算的定義C(x,y) = A(x,y) + B(x,y)主要應(yīng)用舉例 去除疊加性噪聲 生成圖像疊加效果代數(shù)運(yùn)算加法去除疊加性噪聲對(duì)于原圖像f(x,y),有一個(gè)噪聲圖像集 gi(x,y) i =1,2,.N其中：gi(x,y) = f(x,y) + h(x,y)i假設(shè)噪聲h(x,y)均值為0，且互不相關(guān) N個(gè)圖像的均值定義為：g(x,y) = 1/N(g0(x,y)+g1(x,y)+ gN(x,y)期望值E(g(x,y) = f(x,y)上述圖像均值將降低噪聲的影響代數(shù)運(yùn)算

42、加法代數(shù)運(yùn)算加法原圖原圖噪聲圖像噪聲圖像N=8N=8N=16N=16N=64N=64N=128N=128去除疊加性噪聲星系圖舉例N=8N=8N=16N=16N=64N=64N=128N=128去除疊加性噪聲星系圖舉例灰度級(jí)灰度級(jí)差差 別別 越越 小小， 圖圖像像 越越暗暗原圖與均值圖像的差值圖像和直方圖像素個(gè)數(shù)像素個(gè)數(shù)均均值值 減減 小小， 標(biāo)標(biāo) 準(zhǔn)準(zhǔn) 差差 減減 小小生成圖像疊加效果 對(duì)于兩個(gè)圖像f(x,y)和h(x,y)的均值有：g(x,y) = 1/2f(x,y) + 1/2h(x,y) 推廣這個(gè)公式為：g(x,y) = f(x,y) + h(x,y)其中+= 1可以得到各種圖像合成的效

43、果，也可以用于 兩張圖片的銜接代數(shù)運(yùn)算加法代數(shù)運(yùn)算加法減法的定義C(x,y) = A(x,y) - B(x,y)主要應(yīng)用舉例顯示兩幅圖像的差異，檢測(cè)同一場(chǎng)景兩 幅圖像之間的變化如：視頻中鏡頭邊界的檢測(cè)去除不需要的疊加性圖案圖像分割：如分割運(yùn)動(dòng)的車(chē)輛，減法去 掉靜止部分，剩余的是運(yùn)動(dòng)元素和噪聲代數(shù)運(yùn)算減法 檢測(cè)同一場(chǎng)景兩幅圖像之間的變化設(shè)：時(shí)間1的圖像為T(mén)1(x,y)， 時(shí)間2的圖像為T(mén)2(x,y)g(x,y) = T2(x,y) - T1(x,y)例：視頻中鏡頭邊界的檢測(cè)(后面介紹)代數(shù)運(yùn)算代數(shù)運(yùn)算減法減法去除不需要的疊加性圖案設(shè)：背景圖像 b(x,y) ，前景背景混合 圖 像 f(x,y)g

44、(x,y) = f(x,y) b(x,y)g(x,y) 為去除了背景的圖像。代數(shù)運(yùn)算減法代數(shù)運(yùn)算減法g(x,y)疊加藍(lán)色背景疊加藍(lán)色背景減去背景減去背景b(x,y)b(x,y)去除不需要的疊加性圖案 例：電視制作的藍(lán)屏技術(shù)問(wèn)題？問(wèn)題？f(x,y)代數(shù)運(yùn)算代數(shù)運(yùn)算乘法乘法乘法的定義C(x,y) = A(x,y) * B(x,y)主要應(yīng)用舉例圖像的局部顯示 用二值蒙板圖像與原圖像做乘法代數(shù)運(yùn)算代數(shù)運(yùn)算乘法乘法非的定義g(x,y) = 255 - f(x,y)主要應(yīng)用舉例 獲得一個(gè)陰圖像 獲得一個(gè)子圖像的補(bǔ)圖像代數(shù)運(yùn)算1、非代數(shù)運(yùn)算代數(shù)運(yùn)算1、非、非獲得一個(gè)陰圖像=代數(shù)運(yùn)算代數(shù)運(yùn)算1、非、非獲得一個(gè)

45、子圖像的補(bǔ)圖像 與運(yùn)算的定義g(x,y) = f(x,y) h(x,y) 主要應(yīng)用舉例求兩個(gè)子圖像的相交子圖 =代數(shù)運(yùn)算2、與代數(shù)運(yùn)算代數(shù)運(yùn)算2、與、與模板運(yùn)算：提取感興趣的子圖像 或運(yùn)算的定義g(x,y) = f(x,y) v h(x,y) 主要應(yīng)用舉例合并子圖像 =代數(shù)運(yùn)算3、或代數(shù)運(yùn)算代數(shù)運(yùn)算3、或、或模板運(yùn)算：提取感興趣的子圖像 異或運(yùn)算的定義g(x,y) = f(x,y) h(x,y) 主要應(yīng)用舉例獲得相交子圖像代數(shù)運(yùn)算4、異或 =直方圖運(yùn)算直方圖定義直方圖定義直方圖均衡化直方圖均衡化一個(gè)灰度級(jí)在范圍0，L-1的數(shù)字圖像的直 方圖是一個(gè)離散函數(shù)h(rk)= nknk是圖像中灰度級(jí)為r

46、k的像素個(gè)數(shù)rk 是第k個(gè)灰度級(jí)，k = 0,1,2,L-1由于rk的增量是1，直方圖可表示為：p(k)= nk 即，圖像中不同灰度級(jí)像素出現(xiàn)的次數(shù)直方圖定義圖像直方圖的定義（1）圖像直方圖的定義（2）一個(gè)灰度級(jí)在范圍0，L-1的數(shù)字圖像的直 方圖是一個(gè)離散函數(shù)p(rk)= nk/nn 是圖像的像素總數(shù) nk是圖像中灰度級(jí)為rk的像素個(gè)數(shù)rk 是第k個(gè)灰度級(jí)，k = 0,1,2,L-1直方圖定義兩種圖像直方圖定義的比較其中，定義（2） 使函數(shù)值正則化到0,1區(qū)間，成為實(shí)數(shù)函 數(shù) 函數(shù)值的范圍與象素的總數(shù)無(wú)關(guān) 給出灰度級(jí)rk在圖像中出現(xiàn)的概率密度統(tǒng)計(jì)直方圖定義h(rk)= nk定義(1)p(rk

47、)= nk/n定義(2)圖像直方圖的定義舉例p(rk) rk直方圖定義灰度級(jí)灰度級(jí)rk像素?cái)?shù)目像素?cái)?shù)目p(rk)直方圖均衡化達(dá)到的效果直方圖均衡化達(dá)到的效果直方圖應(yīng)用舉例直方圖均衡化 希望一幅圖像的像素占有全部可能的灰度級(jí) 且分布均勻，能夠具有高對(duì)比度 使用的方法是灰度級(jí)變換：s = T(r) 基本思想是把原始圖的直方圖變換為均勻分 布的形式，這樣就增加了像素灰度值的動(dòng)態(tài) 范圍，從而達(dá)到增強(qiáng)圖像整體對(duì)比度的效果直方圖均衡化直方圖均衡化0r1s=T(r)T(r)滿足下列兩個(gè)條件：（1）T(r)在區(qū)間0r1中為單值且單調(diào)遞增（2）當(dāng)0r1時(shí),0T(r) 1條件（1）保證原圖各灰度級(jí)在變換后仍保持從

48、黑 到白（或從白到黑）的排列次序條件（2）保證變換前后灰度值動(dòng)態(tài)范圍的一致性直方圖均衡化直方圖均衡化Pr(r)是r的概率密度函數(shù)，Ps(s)是s的概 率密度函數(shù)，Pr(r)和T(r)已知，且T-1(s) 滿足上述條件(1)，所以dssrPs Pr dr直方圖均衡化直方圖均衡化r已知一種重要的變換函數(shù)：s T r 0 pr w dwdsdTdrdrrrrpw dw pr drr d 0關(guān)于上限的定積分的導(dǎo)數(shù)就是該上限的積分值（萊布尼茨準(zhǔn)則）1 1pr pr drrrps s pr r ds直方圖均衡化直方圖均衡化n對(duì)于離散值：prnkrkjrjkknnprs T r kj 0j 0k0,1,2,

49、L-1sk稱作直方圖均衡化將輸入圖像中灰度級(jí)為rk（橫坐標(biāo)）的像素映射 到輸出圖像中灰度級(jí)為sk （橫坐標(biāo)）的對(duì)應(yīng)像素 得到已知變換函數(shù)的離散形式為：kjrjnnp r sk Trk kj0kj0直方圖均衡化直方圖均衡化r rk ks sk k應(yīng)用鏡頭邊界的檢測(cè)為什么要補(bǔ)充該部分知識(shí)？為什么要補(bǔ)充該部分知識(shí)？涉及兩幅圖像相減涉及兩幅圖像相減涉及直方圖知識(shí)涉及直方圖知識(shí)涉及兩幅圖像直方圖的相減涉及兩幅圖像直方圖的相減什么是鏡頭？什么是鏡頭？鏡頭檢測(cè)方法鏡頭檢測(cè)方法1 1連續(xù)幀相減連續(xù)幀相減鏡頭檢測(cè)方法鏡頭檢測(cè)方法2 2連續(xù)幀的直方圖相減連續(xù)幀的直方圖相減鏡頭檢測(cè)方法鏡頭檢測(cè)方法3 3時(shí)空切片分析

50、時(shí)空切片分析什么是鏡頭？ 從視頻的制造產(chǎn)生來(lái)看，視頻由一個(gè)個(gè)鏡頭 (shot)所組成 一個(gè)鏡頭是指一系列連續(xù)記錄的圖像幀，用于 表示一個(gè)時(shí)間段或相同地點(diǎn)連續(xù)的動(dòng)作 鏡頭由攝像機(jī)一次攝像的開(kāi)始和結(jié)束所決定什么是鏡頭？檢測(cè)到鏡頭及由鏡頭產(chǎn)生的關(guān)鍵幀，可以：檢測(cè)到鏡頭及由鏡頭產(chǎn)生的關(guān)鍵幀，可以：提供基于關(guān)鍵幀的視頻瀏覽提供基于內(nèi)容的視頻檢索和查詢計(jì)算機(jī)自動(dòng)分析和總結(jié)，節(jié)省人力和時(shí)間使海量視頻數(shù)據(jù)的管理和索引成為可能鏡頭檢測(cè)方法1連續(xù)幀相減算法原理：算法原理：計(jì)算相鄰兩幀像素變化的數(shù)目。當(dāng) 超過(guò)設(shè)定的閾值時(shí)，即找到鏡頭的邊界缺點(diǎn)：缺點(diǎn)：對(duì)攝像機(jī)運(yùn)動(dòng)敏感，如放縮、平移解決辦法：解決辦法：通過(guò)濾波器的使用

51、來(lái)降低。在比較 一幀的每個(gè)像素前，用它的鄰近區(qū)域的平均值來(lái)代 替，這也過(guò)濾了輸入圖像的一些噪聲鏡頭檢測(cè)方法鏡頭檢測(cè)方法2 2直方圖相減直方圖相減算法原理：算法原理：統(tǒng)計(jì)相鄰兩幀中所有像素在 不同灰度（顏色）上的分布差異，當(dāng)差異 的累加值超過(guò)閾值T時(shí)，即檢測(cè)到鏡頭邊界（后面有算法的詳細(xì)說(shuō)明）優(yōu)點(diǎn)：優(yōu)點(diǎn)：對(duì)對(duì)象運(yùn)動(dòng)不敏感，因?yàn)橹狈綀D 忽略了幀內(nèi)的空間變化 缺點(diǎn)：缺點(diǎn)：可能兩個(gè)圖像有類(lèi)似的直方圖但 卻是完全不同的內(nèi)容。然而，這種事件的 概率是足夠低鏡頭檢測(cè)方法2直方圖相減（1）首先計(jì)算相鄰兩幀顏色分布差值的均值和方差鏡頭檢測(cè)方法2直方圖相減參考文獻(xiàn)：參考文獻(xiàn)：H.J.Zhang,A.Kankanha

52、lli,and S.W.Smoliar, “Automatic Partitioning of Full-Motion Video”. ACM Multimedia System,Apr.1993.鏡頭檢測(cè)方法3時(shí)空切片分析什么是時(shí)空切片spatio-temporal slices？鏡頭檢測(cè)方法3時(shí)空切片分析顏色和紋理的不連續(xù)，表明鏡頭邊界的出現(xiàn)鏡頭檢測(cè)方法鏡頭檢測(cè)方法3 3時(shí)空切片分析時(shí)空切片分析紋理的方向表明攝像機(jī)和對(duì)象的不同運(yùn)動(dòng)鏡頭檢測(cè)方法3時(shí)空切片分析 參考文獻(xiàn)：C.W.Ngo,T.C.Pong,and R.T.Chin. “Video Partitioning by Temporal

53、 Slice Coherency”. IEEE Transactions on Circuits and Systems for Video Technology, Aug.2001.空間域圖像增強(qiáng)基礎(chǔ)知識(shí)基礎(chǔ)知識(shí)基本概念基本概念點(diǎn)運(yùn)算點(diǎn)運(yùn)算代數(shù)運(yùn)算代數(shù)運(yùn)算直方圖運(yùn)算直方圖運(yùn)算應(yīng)用鏡頭邊界的檢測(cè)應(yīng)用鏡頭邊界的檢測(cè)空間濾波器空間濾波器平滑空間濾波器平滑空間濾波器銳化空間濾波器銳化空間濾波器空間濾波器空間濾波器空間濾波和空間濾波器的定義空間濾波和空間濾波器的定義 使用空間模板進(jìn)行的圖像處理，被稱為空間濾波。模板本身被稱為空間濾波 器空間濾波和空間濾波器的定空間濾波和空間濾波器的定義義在在 MN 的

54、圖像的圖像f f上，使用上，使用 mn 的濾波器：的濾波器：abgx, y ws, t f x s, y t sat b其中，其中，m=2a+1,n=2b+1, w(s,t)m=2a+1,n=2b+1, w(s,t)是濾波是濾波器系數(shù)，器系數(shù)，f(x,y)f(x,y)是圖像值是圖像值空間濾波的簡(jiǎn)化形式：空間濾波的簡(jiǎn)化形式：mnR w1z1 w2z2 .wmnzmn wi zii1其中，其中，w w是濾波器系數(shù)，是濾波器系數(shù)，z z是與該系數(shù)對(duì)是與該系數(shù)對(duì)應(yīng)的圖應(yīng)的圖 像灰度值，像灰度值，mnmn為濾波器中包含的為濾波器中包含的像素點(diǎn)總數(shù)像素點(diǎn)總數(shù)平滑空間濾波器的作用模糊處理模糊處理: :去除圖

55、像中一些不重要的細(xì)節(jié)去除圖像中一些不重要的細(xì)節(jié)減小噪聲減小噪聲 平滑空間濾波器的分類(lèi)平滑空間濾波器的分類(lèi)線性濾波器：均值濾波器線性濾波器：均值濾波器非線性濾波器非線性濾波器最大值濾波器最大值濾波器中值濾波器中值濾波器最小值濾波器最小值濾波器線性濾波器線性濾波器包含在濾波器鄰域內(nèi)像素的平均值，也包含在濾波器鄰域內(nèi)像素的平均值，也 稱為均值濾波器稱為均值濾波器作用作用減小圖像灰度的減小圖像灰度的“尖銳尖銳”變化，減變化，減小噪小噪 聲聲由于圖像邊緣是由圖像灰度尖銳變由于圖像邊緣是由圖像灰度尖銳變化化 引起的，所以也存在邊緣模糊的問(wèn)題引起的，所以也存在邊緣模糊的問(wèn)題線性濾波器ababws, t sa

56、t bws, t f x s, y t gx, y sat ba ab b圖圖a a是標(biāo)準(zhǔn)的像素平均值是標(biāo)準(zhǔn)的像素平均值 圖圖b b是像素的加權(quán)平是像素的加權(quán)平均，表明一些像素更為重要均，表明一些像素更為重要線性濾波器例1原圖原圖3 x 33 x 35 x 55 x 59 x 99 x 915 x 1515 x 1535 x 3535 x 35線性濾波器例2原圖原圖15 x 1515 x 15閾值閾值2525 x bx b圖像的最高亮圖像的最高亮度度提取感興趣物體而模糊圖提取感興趣物體而模糊圖像像什么是統(tǒng)計(jì)排序?yàn)V波器？什么是統(tǒng)計(jì)排序?yàn)V波器？是一種非線性濾波器是一種非線性濾波器基于濾波器所在圖像

57、區(qū)域中像素的排序，由基于濾波器所在圖像區(qū)域中像素的排序，由 排序結(jié)果決定的值代替中心像素的值排序結(jié)果決定的值代替中心像素的值分類(lèi)分類(lèi)中值濾波器：中值濾波器： 用像素領(lǐng)域內(nèi)的中間值代替該像素用像素領(lǐng)域內(nèi)的中間值代替該像素最大值濾波器：用像素領(lǐng)域內(nèi)的最大值代替該像素最大值濾波器：用像素領(lǐng)域內(nèi)的最大值代替該像素最小值濾波器：用像素領(lǐng)域內(nèi)的最小值代替該像素最小值濾波器：用像素領(lǐng)域內(nèi)的最小值代替該像素統(tǒng)計(jì)排序?yàn)V波器 中值濾波器 主要用途：去除噪聲 計(jì)算公式：R = mid zk | k = 1,2,n 最大值濾波器 主要用途：尋找最亮點(diǎn) 計(jì)算公式：R = max zk | k = 1,2,n 最小值濾波

58、器 主要用途：尋找最暗點(diǎn) 計(jì)算公式：R = min zk | k = 1,2,n統(tǒng)計(jì)排序?yàn)V波器中值濾波的原理 用模板區(qū)域內(nèi)像素的中間值，作為結(jié)果值R = mid zk| k = 1,2,n 強(qiáng)迫突出的亮點(diǎn)（暗點(diǎn)）更象它周?chē)闹担?以消除孤立的亮點(diǎn)（暗點(diǎn)）中值濾波器 中值濾波算法的實(shí)現(xiàn) 將模板區(qū)域內(nèi)的像素排序，求出中間值例如：3x3的模板，第5大的是中值， 5x5的模板，第13大的是中值，7x7的模板，第25大的是中值，9x9的模板，第41大的是中值。 對(duì)于同值像素，連續(xù)排列。如（10,15,20,20,20,20,20,25,100）中值濾波器中值濾波器中值濾波器 中值濾波算法的特點(diǎn)在去除噪音

59、的同時(shí)，可以比較好地保留邊的銳度和圖像的細(xì)節(jié)（優(yōu)于均值 濾波器）能夠有效去除脈沖噪聲：以黑白點(diǎn)疊加在圖像上中值濾波器原圖原圖3x33x3均值濾波均值濾波3x33x3中值濾波中值濾波最大值濾波器最小值濾波器銳化濾波器銳化濾波器的主要用途 突出圖像中的細(xì)節(jié)，增強(qiáng)被模糊了的細(xì)節(jié) 印刷中的細(xì)微層次強(qiáng)調(diào)。彌補(bǔ)掃描對(duì)圖像的 鈍化 超聲探測(cè)成像，分辨率低，邊緣模糊，通過(guò) 銳化來(lái)改善 圖像識(shí)別中，分割前的邊緣提取 銳化處理恢復(fù)過(guò)度鈍化、暴光不足的圖像 尖端武器的目標(biāo)識(shí)別、定位 微分濾波器的原理 均值產(chǎn)生鈍化的效果，而均值與積分相 似，由此而聯(lián)想到，微分能不能產(chǎn)生相反 的效果，即銳化的效果？結(jié)論是肯定的。 在圖

60、像處理中應(yīng)用微分最常用的方法是計(jì) 算梯度。函數(shù)f(x,y)在(x,y)處的梯度為 一個(gè)向量：銳化濾波器 y f x f G G fy x銳化濾波器銳化濾波器 銳化濾波器的分類(lèi) 二階微分濾波器拉普拉斯算子 一階微分濾波器梯度算子拉普拉斯算子拉普拉斯算子圖像函數(shù)的拉普拉斯變換定義為22f fx2y22 f 2f f x 1, y f x 1, y 2 f x, yx22 f f x, y 1 f x, y 12 f x, yy22 f f x1, y f x1, y f x, y1 f x, y14f x, y拉普拉斯算子f(x-1,y) f(x,y) f(x-1,y) f(x,y) f(x+1,