圖庫、視頻播放器

1、圖庫、視頻播放器培訓(xùn) 唐 念 2013-8-26常見圖片格式圖片顯示原理視頻播放介紹及原理常見視頻格式及編碼格式測試注意事項圖片按結(jié)構(gòu)分類一、點陣圖像 又叫位圖、像素圖、光柵圖，它由許多點（稱為像素）排列組合成圖像的方式。位圖的清晰度受兩大因素影響：一是顯示或打印設(shè)備分辨率，二是圖像文件自身分辨率位圖文件記錄圖像是以像素為單位，導(dǎo)致文件容量大。當(dāng)位圖文件放大時的現(xiàn)象：邊緣鋸齒、圖像馬賽克化。位圖以固定數(shù)量的像素來表現(xiàn)圖像數(shù)據(jù)的。特點：只要有足夠多的不同色彩的像素，就可以制作出色彩豐富的圖像；文件體積大，旋轉(zhuǎn)和縮放時容易失真。相關(guān)軟件：畫圖、photoshop、Fireworks等。 常見的位圖

2、圖片格式：BMP、GIF、JPEG、PNG、PCX、TIFF、EXIF、PSD常見圖片格式二、向量圖像 又叫矢量圖像，是由一串可重構(gòu)圖像的指令構(gòu)成。它以數(shù)學(xué)的向量方式來記錄圖像內(nèi)容。特點：簡潔明了，邏輯性強，無級別放大而始終平滑 ；不易制作色彩變化太多的圖像。相關(guān)軟件：CorelDraw、Illustrator、FreeHand等。常見的矢量圖片格式：WMF、DXF、CDR、EMF、PICT、CGM常見圖片格式位圖與矢量圖的區(qū)別常見圖片格式文件格式文件內(nèi)容文件大小顯示速度應(yīng)用特點位圖圖像點陣數(shù)據(jù)與圖的尺寸、色彩深度有關(guān)與圖的大小有關(guān)適于“獲取”和“復(fù)制”，表現(xiàn)力較豐富，但編輯較復(fù)雜。圖像文件大

3、，不便于網(wǎng)絡(luò)傳輸矢量圖圖像指令與圖的復(fù)雜度有關(guān)圖越復(fù)雜，需執(zhí)行的指令越多，顯示越慢易于編輯，適于“繪畫”和“創(chuàng)建”，便于網(wǎng)絡(luò)傳輸，但表現(xiàn)力受限靜態(tài)圖片壓縮標(biāo)準(zhǔn)JPEG：是國際標(biāo)準(zhǔn)化組織（ISO）和國際電報電話咨詢委員會（CCITT）關(guān)于靜止圖像編碼的聯(lián)合專家組名稱的縮寫，該標(biāo)準(zhǔn)可用于自然景象或任何連續(xù)色調(diào)圖像的數(shù)字?jǐn)?shù)據(jù)的壓縮編碼和解碼。該標(biāo)準(zhǔn)規(guī)定了兩種工作方式：順序方式，漸進(jìn)方式JPEG2000：是國際標(biāo)準(zhǔn)化組織（ISO）發(fā)布的標(biāo)準(zhǔn)，它同時支持有損壓縮和無損壓縮 ，且壓縮率高常見圖片格式按壓縮方式分：有損壓縮、無損壓縮、無壓縮有損壓縮：可以減少圖像在內(nèi)存和磁盤中占用的空間。因為人的眼睛對光線比

4、較敏感，光線對景物的作用比顏色的作用更為重要，在屏幕上觀看圖像時，不會發(fā)現(xiàn)它對圖像的外觀產(chǎn)生太大的不利影響，這就是有損壓縮技術(shù)的基本依據(jù)。有損壓縮的特點是保持顏色的逐漸變化，刪除圖像中顏色的突然變化。常見的有損壓縮格式：JPEG、WMF、WebP常見圖片格式無損壓縮：其基本原理是相同的顏色信息只需保存一次。但是，無損壓縮的方法并不能減少圖像的內(nèi)存占用量，這是因為，當(dāng)從磁盤上讀取圖像時，軟件又會把丟失的像素用適當(dāng)?shù)念伾畔⑻畛溥M(jìn)來。如果要減少圖像占用內(nèi)存的容量，就必須使用有損壓縮方法。優(yōu)點：是能夠比較好地保存圖像的質(zhì)量。常見的無損壓縮圖片格式：JPEG2000、PNG、GIF、TGA、TIFF無

5、壓縮： 為經(jīng)過壓縮的圖片 常見的無壓縮格式：BMP相同分辨率下，不同格式圖片大小比較： BMPPSDTIFFJPGPNGGIF常見圖片格式BMP文件介紹及顯示流程BMP文件格式是Windows操作系統(tǒng)推薦和支持的圖像文件格式，是一種將內(nèi)存或顯示器的圖像數(shù)據(jù)不經(jīng)過壓縮而直接按位存盤的文件格式，故稱位圖(bitmap)，其擴展名為BMP。BMP圖像文件被分為3個部分：a.位圖文件頭，它包括BMP圖像文件的類型、大小、顯示內(nèi)容b.位圖信息，它由位圖信息頭和顏色表兩個結(jié)構(gòu)組成。位圖信息頭包含了有關(guān)BMP圖像的寬、高、壓縮方法等信息；顏色表是定義一種顏色。c.位圖列陣，它記錄了圖像的每一個像素值。在生成

6、圖像時，從圖像的左下角開始逐行掃描圖像，即從左到右、從下到上，將圖像的像素值一一記錄下來，這些記錄像素值的字節(jié)組成了位圖陣列。圖片解碼流程及顯示塊名稱對應(yīng)windows結(jié)構(gòu)體定義大小（Byte）文件信息頭BITMAPFILEHEADER14位圖信息頭BITMAPINFOHEADER 40位圖列陣BYTE*由圖片長寬尺寸決定圖片解碼流程開始初始化以二進(jìn)制方式打開圖片文件是否打開是讀入文件信息區(qū)是否是BMP文件結(jié)束否否讀入圖像信息讀入調(diào)色板數(shù)據(jù)讀入圖像存儲區(qū)數(shù)據(jù)顯示圖片256色BMP圖顯示流程是從網(wǎng)絡(luò)中讀取圖片的流程圖片解碼流程圖片像素、分辨率、幅面大小區(qū)別及關(guān)系像素：是相機感光器件上的感光最小單

7、位。像素的高低，表示著照片幅面的大小。要想得到分辨率高（也就是細(xì)膩的照片），必須保證有一定的像素數(shù)。照片的清晰度不是取決于像素數(shù)，而是取決于像素的“點密度”（就是圖片的分辨率）分辨率：反映照片清晰程度的參數(shù)。分辨率的計算方法是，以其在長度方向上的像素數(shù)，除以長度的尺寸數(shù)（英寸）；或以其在寬度方向的像素數(shù)，除以寬度的尺寸數(shù)（英寸）。例如以圖片的像素是640480，其尺寸大小是：長：3.556寸，寬：2.667寸；該圖片的分辨率就是：6403.556180（像素/英寸）。在分辨率一定的情況下，像素值是圖片幅面的標(biāo)志。圖片有關(guān)參數(shù)視頻播放器是指能播放以數(shù)字信號形式存儲的視頻的軟件，也指具有播放視頻功

8、能的電子器件產(chǎn)品。除了少數(shù)波形文件外，大多數(shù)視頻播放器攜帶解碼器以還原經(jīng)過壓縮媒體文件，視頻播放器還要內(nèi)置一整套轉(zhuǎn)換頻率以及緩沖的算法。當(dāng)然大多數(shù)的視頻播放器還能支持播放音頻文件。 視頻播放器簡介幾乎所有的視頻播放器，如VLC、MPlayer、Xine，包括DirectShow，在播放視頻的原理和架構(gòu)上都是非常相似的。大致的來說，播放一個視頻分為4個步驟，如下圖：視頻播放的原理acess訪問，理解為接收、獲取、得到demux解復(fù)用，就是把通常合在一起的音頻和視頻分離(還有可能的字幕)，音視頻在制作的時候?qū)嶋H上是獨立編碼的, 得到的是分開的數(shù)據(jù), 為了傳輸方便必須要用某種方式合起來, 這就有了各

9、種封裝格式。例如：rm avi mov mpg 等等。他首先解析TS流的信息, 之后把分解出來的音頻和視頻流分別送往音頻解碼器和視頻解碼器進(jìn)行解碼操作 decode解碼，包括音頻和視頻的解碼。影像在錄制后, 原始的音視頻都是占用大量空間, 而且是冗余度較高的數(shù)據(jù)。因此, 通常會在制作的時候就會進(jìn)行某種壓縮 ( 壓縮技術(shù)就是將數(shù)據(jù)中的冗余信息去除數(shù)據(jù)之間的相關(guān)性 )。這就是我們熟知的音視頻編碼格式, 包括MPEG1（VCD） MPEG2（DVD） MPEG4 H.264 等等。視頻播放的原理音視頻解碼器的作用就是把這些壓縮了的數(shù)據(jù)還原成原始的音視頻數(shù)據(jù). 當(dāng)然, 編碼解碼過程基本上都是有損的 .

10、output 輸出，也分為音頻和視頻的輸出（aout和vout）ES流(Elementary Stream): 也叫基本碼流,包含視頻、音頻或數(shù)據(jù)的連續(xù)碼流.PES流(Packet Elementary Stream): 也叫打包的基本碼流, 是將基本的碼流ES流根據(jù)需要分成長度不等的數(shù)據(jù)包, 并加上包頭就形成了打包的基本碼流PES流.TS流(Transport Stream): 也叫傳輸流, 是由固定長度為188字節(jié)的包組成, 含有獨立時基的一個或多個program, 一個program又可以包含多個視頻、音頻、和文字信息的ES流；每個ES流會有不同的PID標(biāo)示。而又為了可以分析這些ES流,

11、 TS有一些固定的PID用來間隔發(fā)送program和ES流信息的表格：PAT（節(jié)目關(guān)聯(lián)表）和PMT（節(jié)目映射表）表。視頻播放的原理MPEG-4視頻解碼技術(shù)： MPEG-4壓縮視頻的碼流結(jié)構(gòu): 通過MPEG-4碼流的分析有助于更好的理解MPEG-4解碼流程，MPEG-4標(biāo)準(zhǔn)定義了一個標(biāo)準(zhǔn)MPEG-4碼流中的每一位的具體含義。MPEG-4碼流的組織形式是按分層的形式組織起來的，如下圖所示：（對很多標(biāo)準(zhǔn)的碼流都是這樣的 ）視頻播放的原理宏塊按塊形式組織的幀數(shù)據(jù)幀頭按宏塊組織的幀數(shù)據(jù)碼流頭按幀組織的數(shù)據(jù)表碼流頭：是一個在碼流中其它地方不會出現(xiàn)的一個比較長的特殊序列，又叫起始碼字；然后是具體的頭信息，它

12、定義了整個碼流的一些特征，這些特征將會對如何對這個碼流進(jìn)行解碼產(chǎn)生影響，例如，幀的長度和寬度，該碼流使用投術(shù)等 幀頭：首先是幀起始碼字；然后是具體的幀頭信息，它定義了當(dāng)前幀的一些特征，如當(dāng)前幀使用的量化值等，這些信息決定了該如何解碼當(dāng)前幀。從宏塊頭開始就是具體的數(shù)據(jù)了，宏塊頭并沒有一個宏塊起始碼字，它緊跟在幀頭信息后面。只要給出一個符合MPEG-4標(biāo)準(zhǔn)的碼流，就能按照標(biāo)準(zhǔn)定義的碼流形式對這個碼流解析并進(jìn)行解碼。首先，搜索碼流起始碼字，由于起始碼字唯一，只要碼流正確，肯定能搜索到，找到起始碼字后，就可以對碼流頭信息進(jìn)行解析，并把對后面的解碼有影響的碼字保存下來；接著，尋找?guī)^起始碼字，找到后，對

13、幀頭信息進(jìn)行解析，并存儲對解碼過程有影響的碼字；最后，從碼流中讀出宏塊數(shù)據(jù)，并進(jìn)行解碼，恢復(fù)為原來的圖像。視頻播放的原理視頻播放的原理開始打開視頻播放設(shè)備編碼數(shù)據(jù)流解碼器初始化讀入一幀數(shù)據(jù)分析幀頭I-VOPP-VOP解碼NI-VOP解碼解碼碼流輸出編碼幀結(jié)束Y結(jié)束YN常見的本地視頻格式： 無聲時代的FLC、載歌載舞的AVI、nAVI、 DV-AVI、容量與質(zhì)量兼顧的MPEG系列編碼、DivX格式、MOV格式常見的網(wǎng)絡(luò)視頻格式： ASF格式、WMV格式、RM格式、RMVB格式、FLV常見視頻格式及編碼方式常見的有損壓縮視頻格式：Microsoft Video1編碼方式，對應(yīng)的后綴名為avi常見的

14、無損壓縮視頻格式：Microsoft RLE編碼方式，對應(yīng)的視頻后綴名為avi常見視頻格式及編碼方式主流的視頻編碼格式有：MPEG系列、ITU系列、WMV系列、REALMEDIA系列MPEG系列，全稱Moving Picture Experts Group,即活動圖像專家組常見視頻編碼格式MPEG系列時間典型應(yīng)用常見的對應(yīng)文件后綴名MPEG-11992VCD.mpg、.mlv、.mpe、.mpeg、.datMPEG-21994DVD、衛(wèi)星電視、有線電視.mpg、.mpe、.mpeg、.m2v、.vob、.tp、.ts MPEG-4（擴展DivX、Xvid、WMV9、Qick Time）1999

15、網(wǎng)上串流、光碟、數(shù)字電視等高清視頻.avi、.mov、.asf、.mp4 MPEG-72001多媒體內(nèi)容描述接口MPEG-212005多媒體應(yīng)用的一個開發(fā)框架ITU全稱International munication Union，即國際電信聯(lián)盟主導(dǎo)的H.26X系列編碼主要應(yīng)用于實時視頻通信領(lǐng)域常見視頻編碼格式H.26X系列時間典型應(yīng)用常見的對應(yīng)文件后綴名H.2611990可視電話、視頻會議.3gpH.2621994DVDH.2631999低碼率視頻編碼標(biāo)準(zhǔn).3gpH.264(MPEG-4AVC)高級視訊編碼2003高清視頻、藍(lán)光技術(shù)（Blu-ray）、H264壓縮比DVD系統(tǒng)中MPEG-2高2

16、-3倍，比MPEG-4高1.5-2倍.3gp、.mp4(官方唯一指定的格式)WMV系列，是微軟開發(fā)的一組數(shù)字視頻編解碼系列，它主要是為了進(jìn)行網(wǎng)絡(luò)視頻傳輸。常見視頻編碼格式WMV系列時間典型應(yīng)用對應(yīng)的文件后綴名Microsoft MPEG-4v1/V2/V3早期ASF流媒體、DivX3.11.asf、.aviWMV-7網(wǎng)絡(luò)視頻點播.asf 、.wmvWMV-8有改進(jìn).asf 、.wmvWMV-9WMV-HD2006高清視頻，DVDrip壓縮比無法勝過H.264.asf 、.wmvRealMedia系列，是Real Nerwork所開發(fā)的系列編碼技術(shù)，主要用于網(wǎng)絡(luò)傳輸，在低碼率下表現(xiàn)不錯常見視頻編

17、碼格式RealVideo系列FourCC典型應(yīng)用RealVideo 1.0基于H.263RM流媒體RealVideo 2G基于H.263網(wǎng)絡(luò)視頻點播RealVideo 8基于H.264draft主流的網(wǎng)絡(luò)視頻編碼RealVideo 9基于H.264高清視頻RealVideo 10基于H.264精確控制碼率高清視頻高清編碼：對于高清視頻來說，主流的技術(shù)目前主要有MPEG-2 TS、Divx、Xvid、H.264、WMV-HD和VC-1。其中MPEG-2、H.264和VC-1是被HD-DVD（已停止推廣）和藍(lán)光DVD共同選擇的三種編碼格式，也因此最受矚目。MPEG-2由MPEG（Moving Pi

18、cture Experts Group）運動圖像專家組制定，這是國際標(biāo)準(zhǔn)化組織（ISO）于1988年成立的專責(zé)制定有關(guān)運動壓縮編碼標(biāo)準(zhǔn)的工作組，所制定的標(biāo)準(zhǔn)是國際通用標(biāo)準(zhǔn)，MPEG-2也是由MPEG和ITU-T兩方合作開發(fā)的，因此MPEG-2在ITU-T的命名規(guī)範(fàn)中被稱之為H.262。MPEG-2最大的缺點就是文件體積過大，不過它也有一個優(yōu)點，那就是相對于另外兩種編碼，它對于系統(tǒng)資源的消耗是最小的。目前最流行的只有H.264與VC-1這兩種編碼方式。H.264也許是三種格式中最有前途的一個了，其壓縮效率是三種編碼中最高的。H.264標(biāo)準(zhǔn)由國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門（ITU-T）和國際標(biāo)準(zhǔn)化組織

19、/國際電工委員會（ISO/IEC）共同研究發(fā)布，因此H.264有兩個名稱，一個是沿用ITU-T組織的H.26x名稱，叫“H.264”，另一個則是“MPEG4第10部分”，又叫“AVC”（高級視頻編碼）。H.264格式的最大特點是在保證畫面質(zhì)量的情況下，它可以把文件大小控制在MPEG-2格式的二分之一甚至三分之一。所以其更高的壓縮比、更好的IP和無線網(wǎng)絡(luò)信道的適應(yīng)性，在數(shù)字視頻通信和存儲領(lǐng)域得到越來越廣泛的應(yīng)用。H.264獲得優(yōu)越性能的代價是計算復(fù)雜度增加，硬件要求是最高的。 常見視頻編碼格式X264，在播放影片時，打開媒體信息，有時候會看到X264的字樣，其實X264是一種編碼器，是按照H.2

20、64編碼規(guī)則運行的一個程序。用X264壓縮出來的影片就可以叫H.264編碼影片。所以H.264=MPEG4-AVC=X264。VC-1即視頻解碼方案一（Video Codec One），它起源于微軟公司的Windows Media Video 9 。 VC-1是繼MPEG-2 TS和H.264之后，最后被認(rèn)可的高清編碼標(biāo)準(zhǔn)格式。相對于MPEG-2 TS，VC-1的壓縮率更高，但相對于H.264，編碼解碼的計算要簡單的多，相當(dāng)于MPEG-2 TS和H.264之間的平衡。VC-1現(xiàn)在已經(jīng)最終被Blue-ray（藍(lán)光光碟，是DVD之后的下一代光碟）寫入支持規(guī)格之中。WMV：WMV（Windows M

21、edia Video）是微軟公司的視頻編解碼器家族，包括WMV 7、WMV 8、WMV 9、WPV 10。這一族的編解碼器可以應(yīng)用在從撥號上網(wǎng)的窄帶視頻到高清晰度電視(HDTV)的寬帶視頻。使用Windows Media Video用戶還可以將視頻文件刻錄到CD、DVD或者其它一些設(shè)備上。它也適用于用作媒體服務(wù)器。WMV 可以被看作是MPEG-4的一個增強版本。最新的WMV的版本是正在SMPTE制定中的VC-1標(biāo)準(zhǔn)。WMV-9（VC-1，開發(fā)代號為“Corona”）剛推出的時候稱為VC-9，之后才被電影電視工程師協(xié)會(SMPTE)改稱為VC-1（VC指Video Codec）。技術(shù)上，VC-1

22、也與H.264有諸多相似之處。常見視頻編碼格式AVI：最常見的視頻封裝格式，可以兼容各種視頻編碼，目前也有1080p分辨率的AVI文件，最早也是由微軟開發(fā)，交互式存儲方式是該格式最大的特點，當(dāng)然作為一種1992年就已經(jīng)問世的視頻封裝格式，缺點也比較突出，那就是體積大，同樣的一部影片，AVI與MPEG-2的文件大小幾乎相同。TS：網(wǎng)絡(luò)下載最流行的封裝格式之一，MPEG-2或者VC-1等編碼都可以封裝，是藍(lán)光和全高清視頻常采用的封裝格式，體積較大，但視頻質(zhì)量相當(dāng)優(yōu)秀，還原準(zhǔn)確，是高清發(fā)燒友比較喜歡的格式，在下載中也可以注意這一點，基本以.TS結(jié)尾的視頻質(zhì)量很高。MKV：相比前幾種封裝格式，MKV是最純粹“封裝”的格式，MKV文件僅僅是將其他視頻流和聲音、字幕等文件整合到一個MKV文件中，雖然對圖像質(zhì)量和壓縮方面沒有明顯的優(yōu)勢，但MKV能夠內(nèi)置16條以上的音軌，字幕支持16條以上的字幕，與之前的DVD碟片類似，也是最近比較熱的格式，不過受到文件體積龐大的限制，目前1080p分辨率的MKV文件還比較少。 常見視頻編碼格式常見視頻編碼格式常見視頻編碼格式圖示：準(zhǔn)確的說，AVI，ASF，F(xiàn)LV是一種文件格式，我們在電腦上看到的*.AVI這種文件。即使是同一種文件格式，如AVI，又