多媒體圖像處理_1_簡介

1、多媒體技術(shù)與圖像處理Multimedia Image Processing 參考書n多媒體技術(shù)基礎(chǔ)（第三版）n多媒體技術(shù)基礎(chǔ)（第二版）林福宗清華大學(xué)出版社2002年n多媒體技術(shù)基礎(chǔ)與應(yīng)用（網(wǎng)絡(luò)版）林福宗清華大學(xué)出版社2000年教材多媒體技術(shù)基礎(chǔ)及應(yīng)用 （第二版） 鄂大偉 編著 高等教育出版社，2003 http:/ 參考書n多媒體計(jì)算機(jī)技術(shù)基礎(chǔ)及應(yīng)用鐘玉琢、蔡蓮紅、李樹青、史元春高等教育出版社面向21世紀(jì)課程教材1999年參考書n多媒體系統(tǒng)設(shè)計(jì)Prabhat K.Andleigh & Kiran Thakrar徐光佑、史元春電子工業(yè)出版社1998年參考書n多媒體技術(shù)：計(jì)算、通信及應(yīng)用R

2、alf Steinmetz, Klara Nahrstedt清華大學(xué)出版社什么是多媒體？什么是多媒體？9Video日環(huán)食專題第一家獨(dú)播劇晚婚魔獸世界-巫妖王之怒姚明科比爆粗口回應(yīng)阿凡達(dá)花絮搶先MJThis is it鐵齒銅牙紀(jì)曉嵐第四部首播愛上琉璃苣女孩首播獨(dú)家首播花木蘭倔強(qiáng)的蘿卜首播海地地震專題第一家央視Nobody酷6星客廳山寨新聞火星新聞10多媒體世界多媒體世界Search EngineSearch EngineImage SharingImage SharingVideo SharingVideo SharingSocial NetworkSocial NetworkNewsNewsI

3、MIM0.1B onlineMicroblogMicroblogE-commerceE-commerce1112To Summarize:To Summarize:多媒體的定義n多媒體多媒體（multimedia）是兩種或者兩種以上感覺媒體(聲音、圖像、圖形、視頻、動(dòng)畫、文字、數(shù)據(jù)、文件等)的組合。n廣義廣義: 是指多種信息媒體的表現(xiàn)和傳播形式。n狹義狹義: 用計(jì)算機(jī)及其它設(shè)備交互處理多媒體信息的方法和手段，或指在計(jì)算機(jī)中處理多種媒體的一系列技術(shù)。n一 多媒體技術(shù)概述n二 音頻處理技術(shù)n三 文本處理技術(shù)n三 圖像處理技術(shù)n四 視頻處理技術(shù)n五 多媒體搜索技術(shù)一 多媒體技術(shù)概述n提綱多媒體的基本

4、概念多媒體技術(shù)的發(fā)展與趨勢多媒體技術(shù)的應(yīng)用多媒體數(shù)據(jù)的特性與表現(xiàn)形式多媒體技術(shù)的研究內(nèi)容多媒體計(jì)算機(jī)系統(tǒng)1.1多媒體技術(shù)的基本概念n媒體是一種信息的表現(xiàn)形式信息的實(shí)際載體：紙、磁盤、光盤、錄像帶和錄音帶等。信息的邏輯載體：文字、圖像、圖形、視頻、 音頻等。1.1多媒體技術(shù)的基本概念n按國際電信聯(lián)盟(ITU)標(biāo)準(zhǔn)的定義，媒體分為五類感覺媒體表示媒體顯示媒體存儲(chǔ)媒體傳輸媒體感覺媒體(Perception)n感覺媒體直接作用于人的感官，使人直接產(chǎn)生感覺，幫助人們感知周圍的世界。文字、聲音文字、聲音圖像、視頻圖像、視頻甜、酸、苦、辣甜、酸、苦、辣疼、冷、熱疼、冷、熱 、甜、甜？表示媒體(Represe

5、ntation)n表示媒體，為了有效的加工、處理和傳輸感覺媒體而人為研究和構(gòu)造出來的媒體。文字、聲音文字、聲音圖像、視頻圖像、視頻甜、酸、苦、辣甜、酸、苦、辣疼、冷、熱、疼、冷、熱、 甜甜？表示媒體(Representation)n文本ASCII碼、漢字國標(biāo)編碼GB、Unicoden圖形GKS圖形編碼、CEPT或CAPTAIN標(biāo)準(zhǔn)n音頻PCM、MP3、RA、WMAn圖像JPEG、GIF、TIF、BMP編碼n視頻MPEG、H.26X顯示媒體(Display)n感覺媒體和用于通信的電信號之間轉(zhuǎn)換用的一類媒體，可分為輸入顯示媒體和輸出顯示媒體。顯示媒體(Display)存儲(chǔ)媒體(Storage)n用

6、于存放數(shù)字化的表示媒體的存儲(chǔ)介質(zhì)如硬盤、磁帶、如硬盤、磁帶、CD-ROM、DVD等等 傳輸媒體(Transmission)n能夠?qū)⒈硎久襟w從一處傳遞到另一處的物理傳輸介質(zhì)，如同軸電纜、雙絞線、光纖等。n根據(jù)與時(shí)間的關(guān)系可以將媒體劃分為靜態(tài)媒體靜態(tài)媒體：信息的再現(xiàn)與時(shí)間無關(guān)，如文本、圖形、圖像等等連續(xù)媒體連續(xù)媒體：具有隱含的時(shí)間關(guān)系，其播放速度將影響所含信息的再現(xiàn)。如聲音、動(dòng)畫、視頻等。連續(xù)媒體的引入給傳統(tǒng)的計(jì)算機(jī)系統(tǒng)、通信系統(tǒng)和分布式應(yīng)用系統(tǒng)提出了更高的要求。媒體另外一種分類方法計(jì)算機(jī)與媒體之間的關(guān)系CPUOutputDeviceStorageInputDevice表示媒體存儲(chǔ)媒體顯示媒體顯示

7、媒體感覺媒體感覺媒體表示媒體傳輸媒體多媒體的定義n狹義多媒體的概念包含幾層含義：媒體的表示形式處理多種媒體的硬件設(shè)備存儲(chǔ)信息的實(shí)體多媒體技術(shù)n利用計(jì)算機(jī)技術(shù)將多種媒體綜合一體的技術(shù)，使之建立起邏輯連接，并對它們獲取、壓縮編碼、編輯、加工處理、存儲(chǔ)和展示。n多媒體技術(shù)多媒體技術(shù)就是把聲音、文字、圖像、視頻等多就是把聲音、文字、圖像、視頻等多種媒體和計(jì)算機(jī)集成在一起的技術(shù)。種媒體和計(jì)算機(jī)集成在一起的技術(shù)。n學(xué)科交叉：數(shù)字化信息處理技術(shù)、音頻處理技術(shù)、圖像和視頻處理技術(shù)、計(jì)算機(jī)軟件和硬件技術(shù)、人工智能和模式識別技術(shù)、通信和網(wǎng)絡(luò)技術(shù)等。多媒體的關(guān)鍵特性n多樣化多樣化 ：文字、數(shù)字、聲音、圖像、圖形、視

8、頻等。n集成性集成性：多種信息媒體的集成和處理這些媒體的設(shè)備的集成。n交互性交互性：人的活動(dòng)（activity）本身能作為一種媒體介入到信息轉(zhuǎn)變?yōu)橹R的過程。被動(dòng)主動(dòng)n數(shù)字化數(shù)字化：多媒體信息是以數(shù)字的形式而不是以模擬信號的形式存儲(chǔ)和傳輸?shù)摹?.2多媒體技術(shù)的發(fā)展與趨勢計(jì)算機(jī)計(jì)算機(jī)0，1通通 信信大眾傳媒大眾傳媒文文 本本圖像圖形圖像圖形聲音聲音視頻視頻MPC郵郵 政政電電 報(bào)報(bào)電電 話話數(shù)字網(wǎng)數(shù)字網(wǎng)ISDN信息高速信息高速報(bào)報(bào) 紙紙廣廣 播播電電 影影電電 視視HDTVITV多媒體時(shí)代多媒體時(shí)代1.2多媒體技術(shù)的發(fā)展與趨勢n歷史上的多媒體系統(tǒng)1984年美國Apple公司的Macintosh，

9、位圖概念（Bitmap），圖符用戶接口，1987年Hyper Card1985年美國Commodore公司推出世界上第一臺多媒體計(jì)算機(jī)系統(tǒng) Amiga系統(tǒng) 1986年P(guān)hilips/Sony推出交互式緊湊光盤系統(tǒng)CD-I1987年RCA公司推出交互式數(shù)字視頻系統(tǒng)DVI到20世紀(jì)的90年代，MPC、JPEG、MPEG和H.26X標(biāo)準(zhǔn)等1.2多媒體技術(shù)的發(fā)展與趨勢n當(dāng)前發(fā)展多媒體信息存儲(chǔ)：CD/DVD、下一代高清DVD、大容量硬盤 數(shù)據(jù)壓縮技術(shù)網(wǎng)絡(luò)技術(shù)提供多媒體信息的共享與遠(yuǎn)程傳輸數(shù)字音視頻處理算法、硬件與系統(tǒng)多功能圖像采集和處理系統(tǒng)，高分辨率或超高分辨率圖像合成與顯示系統(tǒng)新一代人機(jī)接口: 觸摸屏

10、、三維鼠標(biāo)、三維掃描儀、立體顯示頭盔、數(shù)據(jù)手套、無線鼠標(biāo)自然語言理解、語音合成與識別技術(shù)具有多媒體處理指令的CPU高速發(fā)展1.2多媒體技術(shù)的發(fā)展與趨勢1.2多媒體技術(shù)的發(fā)展與趨勢n未來的主要發(fā)展趨勢分布式、網(wǎng)絡(luò)化、協(xié)同工作的多媒體系統(tǒng)。分布式、網(wǎng)絡(luò)化、協(xié)同工作的多媒體系統(tǒng)。n尤其是在因特網(wǎng)上的可視電話、點(diǎn)播電視、電子商務(wù)、遠(yuǎn)程教學(xué)和醫(yī)療等方面迅速發(fā)展。以用戶為中心，發(fā)展交互多媒體和智能多媒體技術(shù)與設(shè)備。以用戶為中心，發(fā)展交互多媒體和智能多媒體技術(shù)與設(shè)備。n使人用日常的感知和表達(dá)技能，與計(jì)算機(jī)進(jìn)行自然的交互，讓計(jì)算機(jī)主動(dòng)感知用戶的交互意圖，這包括了多通道人機(jī)交互技術(shù)，情感識別技術(shù)、生物識別技術(shù)和

11、無障礙的虛擬現(xiàn)實(shí)技術(shù)等。三電（電信、電腦、電器）通過多媒體數(shù)字化技術(shù)，相互滲透融合。三電（電信、電腦、電器）通過多媒體數(shù)字化技術(shù)，相互滲透融合。n 信息智能家電、移動(dòng)辦公等。1.2多媒體技術(shù)的發(fā)展與趨勢n三電合一 三網(wǎng)合一電腦電腦 因特網(wǎng) Web TV, Web Phone, Meeting, Business, Education, Diagnosis, .電信電信 通信網(wǎng) 有線電話網(wǎng), 移動(dòng)電話網(wǎng), 衛(wèi)星通信, 光纜通信, 可視電話電視電視 有線電視網(wǎng) 點(diǎn)播電視, 交互式電視,圖文電視 數(shù)字電視, HDTV1.3多媒體技術(shù)的應(yīng)用n娛樂n教育與培訓(xùn)n多媒體辦公系統(tǒng)n多媒體通信系統(tǒng)n工業(yè)領(lǐng)域與

12、科學(xué)計(jì)算領(lǐng)域n醫(yī)療影像與診斷n咨詢服務(wù)、多媒體設(shè)計(jì)、廣告宣傳、創(chuàng)意媒體n電子出版n影視特效、動(dòng)漫2022-3-538CHEN Junzhou圖像處理Why Digital Image Processing?2022-3-539CHEN Junzhou2022-3-540CHEN JunzhouMultiple Camera System412022-3-5CHEN JunzhouImages and Videos are Everywhere .2022-3-542CHEN JunzhouVideo is image sequence2022-3-543CHEN JunzhouIf We Wa

13、nt If We Want 2022-3-545CHEN JunzhouPhotoshop2022-3-546CHEN JunzhouAfter Effect472022-3-5CHEN JunzhouIf You Want2022-3-548CHEN JunzhouFish Drive the Car2022-3-549CHEN JunzhouFlappy Bird Robot2022-3-550CHEN JunzhouPhoto!Simulated color pencils!Simulated oil painting!source: Feng Xiao, EE368 class pro

14、ject, spring 2000. Image Processing Examples !Special Effects!2022-3-551CHEN JunzhouImage Processing Examples !Pseudocolor enhancement for security screening!Source: Gonzalez+Woods, Fig. 6.24!2022-3-552CHEN Junzhou2022-3-554CHEN JunzhouDraw Image2022-3-555CHEN JunzhouImage Processing Examples !Mosai

15、c from 33source images!Mosaic from 21 source images!source: M. Borgmann, L. Meunier, EE368 class project, spring 2000. 2022-3-556CHEN JunzhouDrag-and-Drop PastingDrag-and-Drop Pasting.hk/leojia/all_project_webpages/ddp/drag-and-drop_pasting.htmlExamples: Artistic EffectsnArtist

16、ic effects are used to make images more visually appealing, to add special effects and to make composite images60CHEN Junzhou2022-3-5Examples: Law EnforcementnImage processing techniques are used extensively by law enforcersNumber plate recognition for speed cameras/automated toll systemsFingerprint

17、 recognitionEnhancement of CCTV imagesImages taken from Gonzalez & Woods, Digital Image Processing (2002)Image Processing Examples !License Plate Recognition !/1103.htm!http:/ JunzhouExamples: HCInTry to make human computer interfaces more naturalFace recognitionGe

18、sture recognitionnDoes anyone remember the user interface from “Minority Report”?nThese tasks can be extremely difficultImage Processing Examples !Face Detection !source: Henry Chang, Ulises Robles, EE368 class project, spring 2000. 2022-3-564CHEN JunzhouFace recognitionWho is she? Vision-based biom

19、etrics“How the Afghan Girl was Identified by Her Iris Patterns” Read the story Image Processing Examples !Biometrics: Iris recognition!Source: J. Daugman, U. Cambridge!2022-3-567CHEN JunzhouImage CompressionYoyogi Park, Tokyo, October 1999. Photo by Alan Peters.Original image is 5244w x 4716h 1200 p

20、pi: 127MBytes2022-3-568CHEN JunzhouImage Compression: JPEGJPEG quality levelFile size in bytes2022-3-569CHEN JunzhouJPEG quality levelFile size in bytesImage Compression: JPEG2022-3-570CHEN JunzhouExamples: Industrial InspectionnHuman operators are expensive, slow andunreliablenMake machines do thej

21、ob insteadnIndustrial vision systems are used in all kinds of industriesnCan we trust them?Images taken from Gonzalez & Woods, Digital Image Processing (2002)Examples: PCB InspectionnPrinted Circuit Board (PCB) inspectionMachine inspection is used to determine that all components are present and

22、 that all solder joints are acceptableBoth conventional imaging and x-ray imaging are usedLogin without a passwordFingerprint scanners on many new laptops, other devicesFace recognition systems now beginning to appear more widelyhttp:/ recognition (in mobile phones)nThis is becoming real: Microsoft

23、ResearchPoint & Find, NokiaRobotics/NASAs Mars Spirit Rover/wiki/Spirit_roverApplications: RoboticsNatureRiver Cherwell, OxfordOptical character recognition (OCR)Digit recognition, AT&T labshttp:/ to convert scanned docs to textIf you have a scanner

24、, it probably came with OCR softwareLicense plate readers/wiki/Automatic_number_plate_recognitionThe Matrix movies, ESC Entertainment, XYZRGB, NRCSpecial effects: shape capturePirates of the Carribean, Industrial Light and MagicSpecial effects: motion captureSmart carsnMobileye

25、Vision systems currently in high-end BMW, GM, Volvo models By 2010: 70% of car manufacturers.DemoSlide content courtesy of Amnon ShashuaVision-based interaction (and games)Nintendo Wii has camera-based IRtracking built in. See Lees work atCMU on clever tricks on using it tocreate a multi-touch displ

26、ay! Digimask: put your face on a 3D avatar.“Game turns moviegoers into Human Joysticks”, CNETCamera tracking a crowd, based on this work.Vision in spacenVision systems (JPL) used for several tasksPanorama stitching3D terrain modelingObstacle detection, position trackingFor more, read “Computer Vision on Mars” by Matthies et al.NASAS Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007. Medical imagingImage guided surgeryGr