多媒體圖像處理-1-簡介資料

1、多媒體技術(shù)與圖像處理Multimedia Image Processing 參考書多媒體技術(shù)基礎(chǔ)（第三版）多媒體技術(shù)基礎(chǔ)（第二版）林福宗清華大學(xué)出版社2002年多媒體技術(shù)基礎(chǔ)與應(yīng)用（網(wǎng)絡(luò)版）林福宗清華大學(xué)出版社2000年教材多媒體技術(shù)基礎(chǔ)及應(yīng)用 （第二版） 鄂大偉 編著 高等教育出版社，2003 /mn/detailApp?qid=1203855170&ref=SR&sr=1-7&uid=168-0688744-3921030&prodid=zjbk054440/product.aspx?product_id=9083227 參考書多媒體計算機技術(shù)基礎(chǔ)及應(yīng)用鐘玉琢、蔡蓮紅、李樹青、史元春高等教

2、育出版社面向21世紀課程教材1999年參考書多媒體系統(tǒng)設(shè)計Prabhat K.Andleigh & Kiran Thakrar徐光佑、史元春電子工業(yè)出版社1998年參考書多媒體技術(shù)：計算、通信及應(yīng)用Ralf Steinmetz, Klara Nahrstedt清華大學(xué)出版社什么是多媒體？9Video日環(huán)食專題第一家獨播劇晚婚魔獸世界-巫妖王之怒姚明科比爆粗口回應(yīng)阿凡達花絮搶先MJThis is it鐵齒銅牙紀曉嵐第四部首播愛上琉璃苣女孩首播獨家首播花木蘭倔強的蘿卜首播海地地震專題第一家央視Nobody酷6星客廳山寨新聞火星新聞10多媒體世界Search EngineImage SharingV

3、ideo SharingSocial NetworkNewsIM0.1B onlineMicroblogE-commerce11Contemporary Multimedia Services12MULTIMEDIAInfluences and Changes Our Daily LivesTo Summarize:多媒體的定義多媒體（multimedia）是兩種或者兩種以上感覺媒體(聲音、圖像、圖形、視頻、動畫、文字、數(shù)據(jù)、文件等)的組合。廣義: 是指多種信息媒體的表現(xiàn)和傳播形式。狹義: 用計算機及其它設(shè)備交互處理多媒體信息的方法和手段，或指在計算機中處理多種媒體的一系列技術(shù)。主要內(nèi)容一 多

4、媒體技術(shù)概述二 音頻處理技術(shù)三 文本處理技術(shù)三 圖像處理技術(shù)四 視頻處理技術(shù)五 多媒體搜索技術(shù)一 多媒體技術(shù)概述提綱多媒體的基本概念多媒體技術(shù)的發(fā)展與趨勢多媒體技術(shù)的應(yīng)用多媒體數(shù)據(jù)的特性與表現(xiàn)形式多媒體技術(shù)的研究內(nèi)容多媒體計算機系統(tǒng)Multimedia1.1多媒體技術(shù)的基本概念媒體是一種信息的表現(xiàn)形式信息的實際載體：紙、磁盤、光盤、錄像帶和錄音帶等。信息的邏輯載體：文字、圖像、圖形、視頻、 音頻等。1.1多媒體技術(shù)的基本概念按國際電信聯(lián)盟(ITU)標準的定義，媒體分為五類感覺媒體(Perception)表示媒體(Representation)顯示媒體(Display)存儲媒體(Storage)

5、傳輸媒體(Transmission)感覺媒體(Perception)感覺媒體直接作用于人的感官，使人直接產(chǎn)生感覺，幫助人們感知周圍的世界。文字、聲音圖像、視頻甜、酸、苦、辣疼、冷、熱 、甜？表示媒體(Representation)表示媒體，為了有效的加工、處理和傳輸感覺媒體而人為研究和構(gòu)造出來的媒體。文字、聲音圖像、視頻甜、酸、苦、辣疼、冷、熱、 甜計算機對信息的表示方法的描述。？表示媒體(Representation)文本ASCII碼、漢字國標編碼GB、Unicode圖形GKS圖形編碼、CEPT或CAPTAIN標準音頻PCM、MP3、RA、WMA圖像JPEG、GIF、TIF、BMP編碼視頻M

6、PEG、H.26X顯示媒體(Display)感覺媒體和用于通信的電信號之間轉(zhuǎn)換用的一類媒體，可分為輸入顯示媒體和輸出顯示媒體。顯示媒體(Display)能夠輸入/輸出信息的工具和設(shè)備。存儲媒體(Storage)用于存放數(shù)字化的表示媒體的存儲介質(zhì)如硬盤、磁帶、CD-ROM、DVD等 傳輸媒體(Transmission)能夠?qū)⒈硎久襟w從一處傳遞到另一處的物理傳輸介質(zhì)，如同軸電纜、雙絞線、光纖等。根據(jù)與時間的關(guān)系可以將媒體劃分為靜態(tài)媒體：信息的再現(xiàn)與時間無關(guān)，如文本、圖形、圖像等等連續(xù)媒體：具有隱含的時間關(guān)系，其播放速度將影響所含信息的再現(xiàn)。如聲音、動畫、視頻等。連續(xù)媒體的引入給傳統(tǒng)的計算機系統(tǒng)、通

7、信系統(tǒng)和分布式應(yīng)用系統(tǒng)提出了更高的要求。媒體另外一種分類方法計算機與媒體之間的關(guān)系CPUOutputDeviceStorageInputDevice表示媒體存儲媒體顯示媒體顯示媒體感覺媒體感覺媒體表示媒體傳輸媒體多媒體的定義狹義多媒體的概念包含幾層含義：媒體的表示形式處理多種媒體的硬件設(shè)備存儲信息的實體多 媒 體多種感官作用多種儀器設(shè)備多學(xué)科交匯多領(lǐng)域應(yīng)用多種信息和碼流一體化設(shè)備控制一體化具有實時交互控制環(huán)境人和客觀世界之間的中介多媒體技術(shù)利用計算機技術(shù)將多種媒體綜合一體的技術(shù)，使之建立起邏輯連接，并對它們獲取、壓縮編碼、編輯、加工處理、存儲和展示。多媒體技術(shù)就是把聲音、文字、圖像、視頻等多種

8、媒體和計算機集成在一起的技術(shù)。學(xué)科交叉：數(shù)字化信息處理技術(shù)、音頻處理技術(shù)、圖像和視頻處理技術(shù)、計算機軟件和硬件技術(shù)、人工智能和模式識別技術(shù)、通信和網(wǎng)絡(luò)技術(shù)等。多媒體的關(guān)鍵特性多樣化 ：文字、數(shù)字、聲音、圖像、圖形、視頻等。集成性：多種信息媒體的集成和處理這些媒體的設(shè)備的集成。交互性：人的活動（activity）本身能作為一種媒體介入到信息轉(zhuǎn)變?yōu)橹R的過程。被動主動數(shù)字化：多媒體信息是以數(shù)字的形式而不是以模擬信號的形式存儲和傳輸?shù)摹?.2多媒體技術(shù)的發(fā)展與趨勢計算機0，1通 信大眾傳媒文 本圖像圖形聲音視頻MPC郵 政電 報電 話數(shù)字網(wǎng)ISDN信息高速報 紙廣 播電 影電 視HDTVITV多媒體

9、時代1.2多媒體技術(shù)的發(fā)展與趨勢歷史上的多媒體系統(tǒng)1984年美國Apple公司的Macintosh，位圖概念（Bitmap），圖符用戶接口，1987年Hyper Card1985年美國Commodore公司推出世界上第一臺多媒體計算機系統(tǒng) Amiga系統(tǒng) 1986年P(guān)hilips/Sony推出交互式緊湊光盤系統(tǒng)CD-I1987年RCA公司推出交互式數(shù)字視頻系統(tǒng)DVI到20世紀的90年代，MPC、JPEG、MPEG和H.26X標準等1.2多媒體技術(shù)的發(fā)展與趨勢當前發(fā)展多媒體信息存儲：CD/DVD、下一代高清DVD、大容量硬盤 數(shù)據(jù)壓縮技術(shù)網(wǎng)絡(luò)技術(shù)提供多媒體信息的共享與遠程傳輸數(shù)字音視頻處理算法、

10、硬件與系統(tǒng)多功能圖像采集和處理系統(tǒng)，高分辨率或超高分辨率圖像合成與顯示系統(tǒng)新一代人機接口: 觸摸屏、三維鼠標、三維掃描儀、立體顯示頭盔、數(shù)據(jù)手套、無線鼠標自然語言理解、語音合成與識別技術(shù)具有多媒體處理指令的CPU高速發(fā)展1.2多媒體技術(shù)的發(fā)展與趨勢1.2多媒體技術(shù)的發(fā)展與趨勢未來的主要發(fā)展趨勢分布式、網(wǎng)絡(luò)化、協(xié)同工作的多媒體系統(tǒng)。尤其是在因特網(wǎng)上的可視電話、點播電視、電子商務(wù)、遠程教學(xué)和醫(yī)療等方面迅速發(fā)展。以用戶為中心，發(fā)展交互多媒體和智能多媒體技術(shù)與設(shè)備。使人用日常的感知和表達技能，與計算機進行自然的交互，讓計算機主動感知用戶的交互意圖，這包括了多通道人機交互技術(shù)，情感識別技術(shù)、生物識別技術(shù)

11、和無障礙的虛擬現(xiàn)實技術(shù)等。三電（電信、電腦、電器）通過多媒體數(shù)字化技術(shù)，相互滲透融合。 信息智能家電、移動辦公等。1.2多媒體技術(shù)的發(fā)展與趨勢三電合一 三網(wǎng)合一電腦 因特網(wǎng) Web TV, Web Phone, Meeting, Business, Education, Diagnosis, 電信 通信網(wǎng) 有線電話網(wǎng), 移動電話網(wǎng), 衛(wèi)星通信, 光纜通信, 可視電話電視 有線電視網(wǎng) 點播電視, 交互式電視,圖文電視 數(shù)字電視, HDTV1.3多媒體技術(shù)的應(yīng)用娛樂教育與培訓(xùn)多媒體辦公系統(tǒng)多媒體通信系統(tǒng)工業(yè)領(lǐng)域與科學(xué)計算領(lǐng)域醫(yī)療影像與診斷咨詢服務(wù)、多媒體設(shè)計、廣告宣傳、創(chuàng)意媒體電子出版影視特效、動

12、漫2022/8/2638CHEN Junzhou圖像處理Why Digital Image Processing?2022/8/2639CHEN Junzhou2022/8/2640CHEN JunzhouMultiple Camera System412022/8/26CHEN JunzhouImages and Videos are Everywhere .2022/8/2642CHEN JunzhouVideo is image sequence2022/8/2643CHEN JunzhouIf We Want 2022/8/2645CHEN JunzhouPhotoshop2022/8

13、/2646CHEN JunzhouAfter Effect472022/8/26CHEN JunzhouIf You Want2022/8/2648CHEN JunzhouFish Drive the Car2022/8/2649CHEN JunzhouFlappy Bird Robot2022/8/2650CHEN JunzhouPhoto!Simulated color pencils!Simulated oil painting!source: Feng Xiao, EE368 class project, spring 2000. Image Processing Examples !

14、Special Effects!2022/8/2651CHEN JunzhouImage Processing Examples !Pseudocolor enhancement for security screening!Source: Gonzalez+Woods, Fig. 6.24!2022/8/2652CHEN Junzhou2022/8/2654CHEN JunzhouDraw Image2022/8/2655CHEN JunzhouImage Processing Examples !Mosaic from 33source images!Mosaic from 21 sour

15、ce images!source: M. Borgmann, L. Meunier, EE368 class project, spring 2000. 2022/8/2656CHEN JunzhouDrag-and-Drop PastingDrag-and-Drop Pasting.hk/leojia/all_project_webpages/ddp/drag-and-drop_pasting.htmlExamples: Artistic EffectsArtistic effects are used to make images more visually appealing, to a

16、dd special effects and to make composite images60CHEN Junzhou2022/8/26Examples: Law EnforcementImage processing techniques are used extensively by law enforcersNumber plate recognition for speed cameras/automated toll systemsFingerprint recognitionEnhancement of CCTV imagesImages taken from Gonzalez

17、 & Woods, Digital Image Processing (2002)Image Processing Examples !License Plate Recognition !/1103.htm!/government?a=325!2022/8/2662CHEN JunzhouExamples: HCITry to make human computer interfaces more naturalFace recognitionGesture recognitionDoes anyone remember the user interface from “Minority R

18、eport”?These tasks can be extremely difficultImage Processing Examples !Face Detection !source: Henry Chang, Ulises Robles, EE368 class project, spring 2000. 2022/8/2664CHEN JunzhouFace recognitionWho is she? Vision-based biometrics“How the Afghan Girl was Identified by Her Iris Patterns” Read the s

19、tory Image Processing Examples !Biometrics: Iris recognition!Source: J. Daugman, U. Cambridge!2022/8/2667CHEN JunzhouImage CompressionYoyogi Park, Tokyo, October 1999. Photo by Alan Peters.Original image is 5244w x 4716h 1200 ppi: 127MBytes2022/8/2668CHEN JunzhouImage Compression: JPEGJPEG quality l

20、evelFile size in bytes2022/8/2669CHEN JunzhouJPEG quality levelFile size in bytesImage Compression: JPEG2022/8/2670CHEN JunzhouExamples: Industrial InspectionHuman operators are expensive, slow andunreliableMake machines do thejob insteadIndustrial vision systems are used in all kinds of industriesC

21、an we trust them?Images taken from Gonzalez & Woods, Digital Image Processing (2002)Examples: PCB InspectionPrinted Circuit Board (PCB) inspectionMachine inspection is used to determine that all components are present and that all solder joints are acceptableBoth conventional imaging and x-ray imagi

22、ng are usedLogin without a passwordFingerprint scanners on many new laptops, other devicesFace recognition systems now beginning to appear more widely/Object recognition (in mobile phones)This is becoming real: Microsoft ResearchPoint & Find, NokiaRobotics/NASAs Mars Spirit Rover/wiki/Spirit_roverAp

23、plications: RoboticsNatureRiver Cherwell, OxfordOptical character recognition (OCR)Digit recognition, AT&T labs/yann/Technology to convert scanned docs to textIf you have a scanner, it probably came with OCR softwareLicense plate readers/wiki/Automatic_number_plate_recognitionThe Matrix movies, ESC

24、Entertainment, XYZRGB, NRCSpecial effects: shape capturePirates of the Carribean, Industrial Light and MagicSpecial effects: motion captureSmart carsMobileyeVision systems currently in high-end BMW, GM, Volvo models By 2010: 70% of car manufacturers.DemoSlide content courtesy of Amnon ShashuaVision-

25、based interaction (and games)Nintendo Wii has camera-based IRtracking built in. See Lees work atCMU on clever tricks on using it tocreate a multi-touch display! Digimask: put your face on a 3D avatar.“Game turns moviegoers into Human Joysticks”, CNETCamera tracking a crowd, based on this work.Vision in spaceVision systems (JPL) used for several tasksPanorama stitching3D terrain modelingObstacle detection, position trackingFor more, read “Computer Vision on Mars” by Matthies et al.NASAS Mars Exploration Rover Spirit captured thi