視頻信息處理與傳輸課題研究報(bào)告

西南科技大學(xué)

課程研究報(bào)告課程名稱：視頻信息處理與傳輸班級(jí)：姓名：學(xué)號(hào)：指導(dǎo)老師：2016年11月曰課程學(xué)習(xí)目的：《視頻信息處理與傳輸》是數(shù)字媒體技術(shù)方向中的一門專業(yè)必選課，學(xué)習(xí)的目的是讓我們系統(tǒng)地理解和掌握視頻信息的采集、壓縮編碼視頻信息傳輸?shù)葦?shù)字視頻技術(shù),并靈活應(yīng)用。為我們補(bǔ)充TCP/IPUDP,RT若視頻信息在網(wǎng)絡(luò)中傳輸所必需的協(xié)議。老師為我們講解了視頻信息處理與傳輸概述，視頻信息采集技術(shù)，以及傳輸協(xié)議。我將分別敘述我從中學(xué)習(xí)到的知識(shí)。第一部分視頻信息處理與傳輸概述隨著科學(xué)技術(shù)，視頻信息處理與傳輸?shù)募夹g(shù)也成了人們關(guān)注的一個(gè)熱點(diǎn)。 從采集到應(yīng)用系統(tǒng)，每步都在提升。信息安全與信息垃圾就如人們的生活中的隱私與生活垃圾一樣重要，如何維護(hù)信息的安全和如何處理信息垃圾已成為一個(gè)熱點(diǎn)。信息安全是指信息網(wǎng)絡(luò)硬件、軟件及其系統(tǒng)中的數(shù)據(jù)受到保護(hù)，不受偶然或者惡意的原因而遭到破壞、更改、泄露。系統(tǒng)連續(xù)可靠正常地運(yùn)行，信息服務(wù)不中斷。信息安全主要包括以下五方面：保證信息的保密性、真實(shí)性、完整性、未受權(quán)拷貝和所寄生系統(tǒng)的安全性。信息安全的根本目的就是使內(nèi)部信息不受外部威脅，因此信息通常要加密。為保障信息安全，要求有信息源認(rèn)證、訪問控制，不能有非法軟件駐留，不能有非法操作。信息垃圾就是那些混在大量有用信息中的無用信息、有害信息，以及對(duì)人類社會(huì)的各個(gè)方面帶來危害的信息。 它對(duì)信息安全應(yīng)用和轉(zhuǎn)播構(gòu)成了威脅。這一部分就是老師講的關(guān)于這個(gè)課程的一些概述，也沒用從中獲取太多的知識(shí)。第二部分視頻信息采集技術(shù)從這一部分，我從中學(xué)到了視頻是怎么樣組成的，以及視頻的采集技術(shù)。我們所看到的視頻信息都是由一幀一幀的靜態(tài)圖像構(gòu)成的，再加上每一幀圖像的時(shí)間信息，通過連續(xù)播放而成 .。視頻分為模擬視頻和數(shù)字視頻，而數(shù)字視頻是模擬視頻的數(shù)字化。模擬信號(hào)對(duì)應(yīng)于時(shí)間軸有連續(xù)的無窮多個(gè)值，它完全準(zhǔn)確地表示信號(hào)電平，如話音、圖像等均是模擬信號(hào)。以模擬信號(hào)傳輸或處理的電視稱為模擬電視。模擬電視的訊號(hào)廣播公司通常是使用NTSCPA或SECAM模擬制式把它們的信號(hào)進(jìn)行調(diào)頻后，調(diào)節(jié)這些信號(hào)并放進(jìn)VHFE者UHF勺載波上。數(shù)字視頻就是以數(shù)字形式記錄的視頻，和模擬視頻相對(duì)的。數(shù)字視頻有不同的產(chǎn)生方式，存儲(chǔ)方式和播出方式。比如通過數(shù)字?jǐn)z像機(jī)直接產(chǎn)生數(shù)字視頻信號(hào)，存儲(chǔ)在數(shù)字帶，藍(lán)光盤或者磁盤上，從而得到不同格式的數(shù)字視頻。然后通過 PC，特定的播放器等播放出來。為了存儲(chǔ)視覺信息，模擬視頻信號(hào)的山峰和山谷必須通過模擬/數(shù)字 （A/D）轉(zhuǎn)換器來轉(zhuǎn)變?yōu)閿?shù)字的“ 0”或“ 1”。這個(gè)轉(zhuǎn)變過程就是我們所說的視頻捕捉（或采集過程）。如果要在電視機(jī)上觀看數(shù)字視頻，則需要一個(gè)從數(shù)字到模擬的轉(zhuǎn)換器將二進(jìn)制信息解碼成模擬信號(hào)，才能進(jìn)行播放。模擬視頻的數(shù)字化包括不少技術(shù)問題，如電視信號(hào)具有不同的制式而且采用復(fù)合的 YUV1號(hào)方式，而計(jì)算機(jī)工作在RG密問；電視機(jī)是隔行掃描，計(jì)算機(jī)顯示器大多逐行掃描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換以及分辨率的統(tǒng)一?？梢姽馐遣ㄩL在380nm?780nm之間的電磁波，我們看到的大多數(shù)光不是一種波長的光，而是由許多不同波長的光組合成的。如果光源由單波長組成，就稱為單色光源。該光源具有能量，也稱強(qiáng)度。實(shí)際中，只有極少數(shù)光源是單色的，大多數(shù)光源是由不同波長組成，每個(gè)波長的光具有自身的強(qiáng)度。這稱為光源的光譜分析。研究表明，人的視網(wǎng)膜有對(duì)紅、綠、藍(lán)顏色敏感程度不同的三種錐體細(xì)胞。紅、綠和藍(lán)三種錐體細(xì)胞對(duì)不同頻率的光的感知程度不同，對(duì)不同亮度的感知程度也不同。自然界中的任何一種顏色都可以由 R，G，B這3種顏色值之和來確定，以這三種顏色為基色構(gòu)成一個(gè)RGB顏色空間，基色的波長分別為700nm（紅色）、546.1nm（綠色）和435.8nm（藍(lán)色）。顏色=R（紅色的百分比）+G（綠色的百分比）+B（藍(lán)色的百分比），只要其中一種不是由其它兩種顏色生成，可以選擇不同的三基色構(gòu)造不同的顏色空間，即三基色原理。模擬視頻的數(shù)字化包括不少技術(shù)問題，如電視信號(hào)具有不同的制式而且采用復(fù)合的YUV信號(hào)方式，而計(jì)算機(jī)工作在RGB空間；電視機(jī)是隔行掃描，計(jì)算機(jī)顯示器大多逐行掃描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換以及分辨率的統(tǒng)一。模擬視頻一般采用分量數(shù)字化方式，先把復(fù)合視頻信號(hào)中的亮度和色度分離，得到Y(jié)UV或YIQ分量，然后用三個(gè)模/數(shù)轉(zhuǎn)換器對(duì)三個(gè)分量分別采樣并進(jìn)行數(shù)字化，最后再轉(zhuǎn)換成RGB空間。對(duì)彩色電視圖像進(jìn)行采樣時(shí)，可以采用兩種采樣方法。一種是使用相同的采樣頻率對(duì)圖像的亮度信號(hào)（Y）和色差信號(hào)（Cr,Cb））進(jìn)行采樣，另一種是對(duì)亮度信號(hào)和色差信號(hào)分別采用不同的采樣頻率進(jìn)行采樣。如果對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱為圖像子采樣 （subsampling）。由于人的視覺對(duì)亮度信號(hào)的敏感度高于對(duì)色差的敏感度，這樣做利用人的視覺特性來節(jié)省信號(hào)的帶寬和功率，通過選擇合適的顏色模型，可以使兩個(gè)色差信號(hào)所占的帶寬明顯低于Y的帶寬，而又不明顯影響重顯彩色圖像的觀看。目前使用的子采樣格式有如下幾種：4:4:4這種采樣格式不是子采樣格式，它是指在每條掃描線上每 4個(gè)連續(xù)的采樣點(diǎn)取 4個(gè)亮度 Y樣本、 4個(gè)紅色差 Cr樣本和 4個(gè)藍(lán)色差 Cb樣本，這就相當(dāng)于每個(gè)像素用 3個(gè)樣本表示。4:2:2這種子采樣格式是指在每條掃描線上每 4個(gè)連續(xù)的采樣點(diǎn)取 4個(gè)亮度Y樣本、 2個(gè)紅色差 Cr樣本和 2個(gè)藍(lán)色差 Cb樣本，平均每個(gè)像素用 2個(gè)樣本表示。4:1:1這種子采樣格式是指在每條掃描線上每 4個(gè)連續(xù)的采樣點(diǎn)取 4個(gè)亮度Y樣本、1個(gè)紅色差Cr樣本和1個(gè)藍(lán)色差Cb樣本，平均每個(gè)像素用1.5個(gè)樣本表示。4:2:0這種子采樣格式是指在水平和垂直方向上每 2個(gè)連續(xù)的采樣點(diǎn)上取2個(gè)亮度 Y樣本、1個(gè)紅色差Cr樣本和1個(gè)藍(lán)色差Cb樣本，平均每個(gè)像素用1.5個(gè)樣本表示。等間隔量化適合像素灰度值在黑白范圍較均勻分布的圖像。非等間隔量化(非均勻量化)——對(duì)圖像中像素灰度值頻繁出現(xiàn)的灰度值范圍，量化間隔取小一些，而對(duì)那些像素灰度值極少出現(xiàn)的范圍，則量化間隔取大一些。在數(shù)字圖像處理技術(shù)上，亮度信號(hào)的取樣頻率為13.5MHz,理由如下：①按照奈奎斯特取樣定理，取樣頻率至少應(yīng)為信號(hào)上限頻率的2倍，為獲得滿意的圖像質(zhì)量，在PA附中亮度彳S號(hào)要求5.8--6MHZ的帶寬。因此，取樣頻率應(yīng)大于12MHz。②為了取樣后保證產(chǎn)生足夠小的混疊噪聲，要求取樣頻率是信號(hào)寬帶的 2.2-2.7倍。因此對(duì)PAl>J信號(hào)，取樣頻率應(yīng)大于13.2MHz我們使用的圖像傳感器主要有CMOSCC的種。下面就是我學(xué)習(xí)到的知識(shí)。CCD0像傳感器可直接將光學(xué)信號(hào)轉(zhuǎn)換為模擬電流信號(hào)，電流信號(hào)經(jīng)過放大和模數(shù)轉(zhuǎn)換，實(shí)現(xiàn)圖像的獲取、存儲(chǔ)、傳輸、處理和復(fù)現(xiàn)。其顯著特點(diǎn)是，體積小重量輕，功耗小，工作電壓低，抗沖擊與震動(dòng)，性能穩(wěn)定，壽命長，靈敏度高，噪聲低，動(dòng)態(tài)范圍大，響應(yīng)速度快，有自掃描功能，圖像畸變小，無殘像，應(yīng)用超大規(guī)模集成電路工藝技術(shù)生產(chǎn)，像素集成度高，尺寸精確，商品化生產(chǎn)成本低。因此，許多采用光學(xué)方法測(cè)量外徑的儀器，把 CC解件作為光電接收器。CMOS像傳感器是一種典型的固體成像傳感器，與CCDC著共同的歷史淵源。CMOS像傳感器通常由像敏單元陣列、行驅(qū)動(dòng)器、列驅(qū)動(dòng)器、時(shí)序控制邏輯、 AD轉(zhuǎn)換器、數(shù)據(jù)總線輸出接口、控制接口等幾部分組成,這幾部分通常都被集成在同一塊硅片上。其工作過程一般可分為復(fù)位、光電轉(zhuǎn)換、積分、讀出幾部分。CMOS圖像傳感器具有以下幾個(gè)優(yōu)點(diǎn)：隨機(jī)窗口讀取能力，抗輻射能力。，系統(tǒng)復(fù)雜程度和可靠性，非破壞性數(shù)據(jù)讀出方式。第三部分視頻信息壓縮編碼及標(biāo)準(zhǔn)視頻信息壓縮的必要性與可行性，必要性：以較少的數(shù)據(jù)來表示圖像；節(jié)約儲(chǔ)存器空間；節(jié)省傳輸信道帶寬；加快處理速度。可行性：冗余越大，可壓縮的程度就越高。①由于相鄰像素之間存在關(guān)聯(lián)而產(chǎn)生大量的空間冗余。 ②由于彩色元素間存在相互關(guān)聯(lián)而產(chǎn)生大量頻譜冗余。③由于人類視覺系統(tǒng)特點(diǎn)而引起的大量心理視覺冗余。視頻信息壓縮的評(píng)價(jià)指標(biāo)，衡量一種數(shù)據(jù)壓縮技術(shù)的重要性能指標(biāo)有壓縮比、壓縮速度、壓縮質(zhì)量和計(jì)算量等。典型的視頻信息壓縮編碼方法，常見的視頻信息壓縮編碼方法有：K-L變換編碼、DC及換編碼、子帶編碼、預(yù)測(cè)編碼、小波變換編碼、模型基編碼、分形編碼、基于對(duì)象的視頻編碼。通常變換編碼的基本思想：先將空間域圖像通過某種正交變換，獲得一系列變換系數(shù)，在變換過程中，使圖像變換系數(shù)能量相對(duì)集中，再對(duì)其變換系數(shù)進(jìn)行區(qū)域量化等，按其所含能量大小，分配以不同的數(shù)據(jù)量去描述，從而達(dá)到壓縮的目的。數(shù)字圖像包含的冗余信息一般有以下幾種：空問冗余、時(shí)間冗余、信息嫡冗余、統(tǒng)計(jì)冗余、結(jié)構(gòu)冗余、視覺冗余以及知識(shí)冗余等。圖像壓縮算法就是要在保證圖像一定的熏建質(zhì)量的同時(shí)，盡可能多的去除這些冗余信息.以達(dá)到對(duì)圖像壓縮的目的。隨著科學(xué)技術(shù)的發(fā)展，圖像壓縮編碼技術(shù)越來越引起人們的關(guān)注。所謂的圖像壓縮編碼技術(shù)就是對(duì)要處理的圖像數(shù)據(jù)按一定的規(guī)則進(jìn)行變換和組合 ，從而達(dá)到以盡可能少的數(shù)據(jù)流來表示盡可能多的數(shù)據(jù)信息。DCTE換后具有絕對(duì)的去相關(guān)性，并且變換后的矩陣從左上角到右下角頻率規(guī)律的漸高。有損壓縮方法利用了人類視覺對(duì)圖像中的某些頻率成分不敏感的特性，允許壓縮過程中損失一定的信息；雖然不能完全恢復(fù)原始數(shù)據(jù)，但是所損失的部分對(duì)理解原始圖像的影響較小，卻換來了大得多的壓縮比。因此舍棄高頻分量保留低頻分量的做法對(duì)于圖像壓縮具有絕對(duì)的優(yōu)勢(shì)。只要損失的數(shù)據(jù)不太影響人眼主觀接收的效果，就可采用。首先將輸入圖像顏色空間轉(zhuǎn)換后分解為8X8大小的數(shù)據(jù)塊，然后用正向二維DCT巴每個(gè)塊轉(zhuǎn)變成64個(gè)DCT（數(shù)值，其中1個(gè)數(shù)值是直流（DC）系數(shù)，即8X8空域圖像子塊的平均值，其余的63個(gè)是交流（AC）系數(shù)，接下來對(duì)DCT＜數(shù)進(jìn)行量化，最后將變換得到的量化的DCT（數(shù)進(jìn)行編碼和傳送，這樣就完成了圖像的壓縮過程。DC啕碼過程現(xiàn)在主要的視頻信息縮編碼標(biāo)準(zhǔn)有MPEG-1H.261、MPEG-2H.262、H.263/H.263+/H.264、MPEG-4MPEG-7MPEG-21這里介紹MPEG列標(biāo)準(zhǔn)。1、MPEG-標(biāo)準(zhǔn)MPEG-標(biāo)準(zhǔn)于199孫8月公布，是針對(duì)1.5Mbps以下數(shù)據(jù)傳輸率的數(shù)字存儲(chǔ)媒質(zhì)運(yùn)動(dòng)圖像及其伴音編碼的國際標(biāo)準(zhǔn)。它提供的重要特性包括基于幀的視頻隨機(jī)訪問，通過壓縮比特流的快進(jìn) /快退搜索，視頻的倒放，以及壓縮比特流的可編輯性。MPEG-1色差分量采用4：1：1的二次采樣率。MPEG1在達(dá)到VR（K量，其視頻壓縮率為26：1。該標(biāo)準(zhǔn)包括五個(gè)部分：第一部分說明了如何根據(jù)第二部分（視頻）以及第三部分（音頻）的規(guī)定，對(duì)音頻和視頻進(jìn)行復(fù)合編碼。第四部分說明了檢驗(yàn)解碼器或編碼器的輸出比特流符合前三部分規(guī)定的過程。第五部分是一個(gè)用完整的 C吾言實(shí)現(xiàn)的編碼和解碼器。2、MPEG-2準(zhǔn)MPEG組織于1994年推出MPEG-2縮標(biāo)準(zhǔn)，以實(shí)現(xiàn)視/音頻服務(wù)與應(yīng)用互操作的可能性。MPEG-2準(zhǔn)是針對(duì)標(biāo)準(zhǔn)數(shù)字電視和高清晰度電視在各種應(yīng)用下的壓縮方案和系統(tǒng)層的詳細(xì)規(guī)定，編碼碼率從每秒3兆比特?100兆比特，特別適用于廣播級(jí)的數(shù)字電視的編碼和傳送，被認(rèn)定為SDTV口HDTVJ編碼標(biāo)準(zhǔn)。MPEG-2還專門規(guī)定了多路節(jié)目的復(fù)分接方式。MPEG-2編碼碼流分為六個(gè)層次。為更好地表示編碼數(shù)據(jù)，MPEG-2句法規(guī)定了一個(gè)層次性結(jié)構(gòu)。它分為六層，自上到下分別是：圖像序列層、圖像組 （GOP）、圖像、宏塊條、宏塊、塊。MPEG-2準(zhǔn)目前分為9個(gè)部分，統(tǒng)稱為ISO/IEC13818國際標(biāo)準(zhǔn)。各部分的內(nèi)容描述如下：一部分—ISO/IEC13818-1,System：系統(tǒng)，描述多個(gè)視頻，音頻和數(shù)據(jù)基本碼流合成傳輸碼流和節(jié)目碼流的方式。二部分－ISO/IEC13818-2，Video：視頻，描述視頻編碼方法。三部分—ISO/IEC13818-3,Audio：音頻，描述與MPEG-1頻標(biāo)準(zhǔn)反向兼容的音頻編碼方法。四部分－ISO/IEC13818-4，Compliance：符合測(cè)試，描述測(cè)試一個(gè)編碼碼流是否符合MPEG-2流的方法。五部分—ISO/IEC13818-5,Software:軟件，描述了MPEG-2準(zhǔn)的第一、二、三部分的軟件實(shí)現(xiàn)方法。六部分—ISO/IEC13818-6,DSM-CC數(shù)字存儲(chǔ)媒體-命令與控制，描述交互式多媒體網(wǎng)絡(luò)中服務(wù)器與用戶間的會(huì)話信令集。上六個(gè)部分均已獲得通過，成為正式的國際標(biāo)準(zhǔn)。止匕外，MPEG-標(biāo)準(zhǔn)還有三個(gè)部分：第七部分規(guī)定不與MPEG-1頻反向兼容的多通道音頻編碼；第八部分現(xiàn)已停止；第九部分規(guī)定了傳送碼流的實(shí)時(shí)接口。3、MPEG-4準(zhǔn)MPEG-斬準(zhǔn)專家組成立于1993年，該標(biāo)準(zhǔn)的目標(biāo)為：支持多種多媒體應(yīng)用（主要側(cè)重于對(duì)多媒體信息內(nèi)容的訪問），可根據(jù)應(yīng)用的不同要求現(xiàn)場配置解碼器。MPEG-42000年年初正式成為國際標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)旨在為視音頻數(shù)據(jù)的通信、存取與管理提供一個(gè)靈活的框架與一套開放的編碼工具。這些工具將支持大量的應(yīng)用功能（新的和傳統(tǒng)的）。尤為引人注目的是， MPEG-4供的多種視音頻（自然的與合成的）的編碼模式使圖象或視頻中對(duì)象的存取大為便利。這種視頻、音頻對(duì)象的存取，常被稱作基于內(nèi)容的存取。基于內(nèi)容的檢索是它的一種特殊形式。它分為以下 27個(gè)部分：第一部分（ISO/IEC14496-1）：系統(tǒng)：描述視訊和音頻數(shù)據(jù)流的控制、同步以及混合方式（即混流Multiplexing,簡寫為MUX。第二部分(ISO/IEC14496-2)：視訊：定義了一個(gè)對(duì)各種視覺訊息(包括自然視訊、靜止紋理、計(jì)算機(jī)合成圖形等等)的編譯碼器。 (例如XviD編碼就屬于MPEG-4Part2)第三部分(ISO/IEC14496-3)：音訊：定義了一個(gè)對(duì)各種音頻訊號(hào)進(jìn)行編碼的編譯碼器的集合。包括高階音頻編碼 (AdvancedAudioCoding，縮寫為 AAC)的若干變形和其他一些音頻 /語音編碼工具。第四部分( ISO/IEC14496-4)：一致性：定義了對(duì)本標(biāo)準(zhǔn)其他的部分進(jìn)行一致性測(cè)試的程序。第五部分( ISO/IEC14496-5)：參考軟件：提供了用于演示功能和說明本標(biāo)準(zhǔn)其他部分功能的軟件。第六部分( ISO/IEC14496-6)：多媒體傳輸整合框架( DMIFforDeliveryMultimediaIntegrationFramework)第七部分( ISO/IEC14496-7)：優(yōu)化的參考軟件：提供了對(duì)實(shí)作進(jìn)行優(yōu)化的例子(這里的實(shí)作指的是第五部分)。第八部分(ISO/IEC14496-8):在IP網(wǎng)絡(luò)上傳輸：定義了在IP網(wǎng)絡(luò)上傳輸MPEG-4容的方式。第九部分(ISO/IEC14496-9)：參考硬件：提供了用于演示怎樣在硬件上實(shí)作本標(biāo)準(zhǔn)其他部分功能的硬件設(shè)計(jì)方案。第十部分(ISO/IEC14496-10)：進(jìn)階視訊編碼或稱高階視訊編碼 (AdvancedVideoCoding,縮寫為AVC:定義了一個(gè)視訊編譯碼器(codec)。AV體口XviD者B屬于MPEG-編碼，但由于AV(B于MPEG-4Part10,在技術(shù)特性上比屬于MPEG-4Part2^XviD要先進(jìn)。另外，它和ITU-TH.264標(biāo)準(zhǔn)是一致的，故又稱為H.264。第十二部分(ISO/IEC14496-12):基于ISO的媒體文件格式：定義了一個(gè)儲(chǔ)存媒體內(nèi)容的文件格式。第十三部分(ISO/IEC14496-13)：知識(shí)產(chǎn)權(quán)管理和保護(hù)(IPMPforIntellectualPropertyManagementandProtection)拓展。第十四部分(ISO/IEC14496-14):MPEG-4件格式：定義了基于第十二部分的用于儲(chǔ)存MPEG-4容的視訊文件格式。第十五部分(ISO/IEC14496-15):AVCC件格式：定義了基于第十二部分的用于儲(chǔ)存第十部分的視訊內(nèi)容的文件格式。第十六部分( ISO/IEC14496-16)：動(dòng)畫框架擴(kuò)充功能( AFX:AnimationFrameworkeXtension)。第十七部分( ISO/IEC14496-17)：同步文字字幕格式。第十八部分( ISO/IEC14496-18)：字型壓縮和串流傳輸(針對(duì)開放字型格式OpenFontFormat)。第十九部分( ISO/IEC14496-19)：合成材質(zhì)流( SynthesizedTextureStream)。第二十部分( ISO/IEC14496-20)：簡單場景表示(LASeRforLightweightSceneRepresentation。第二H^一部分(ISO/IEC14496-21):用于描繪(Rendering)的MPEG-J展。第二十二部分 (ISO/IEC14496-22)：開放字型格式 (OpenFontFormat)。第二十三部分(ISO/IEC14496-23)：符號(hào)化音樂表示(SymbolicMusicRepresentation)。第二十四部分(ISO/IEC14496-24)：音頻與系統(tǒng)互動(dòng)作用(Audioandsystemsinteraction)。第二十五部分(ISO/IEC14496-25):3D圖形壓縮模型(3DGraphicsCompressionModel)。第二十六部分(ISO/IEC14496-26)：音訊一致性檢查：定義了測(cè)試音頻數(shù)據(jù)與ISO/IEC14496-3是否一致的方法(Audioconformance)。第二十七部分(ISO/IEC14496-27):3D圖形一致性檢查：定義了測(cè)試3D圖形數(shù)據(jù)與 ISO/IEC14496-11:2005,ISO/IEC14496-16:2006,ISO/IEC14496-21:2006,和ISO/IEC14496-25:2009是否一致的方法(3DGraphicsconformance)。MPEG-標(biāo)準(zhǔn)隨著Internet的普及和網(wǎng)絡(luò)帶寬的增加，產(chǎn)生了大量的多媒體數(shù)據(jù)，如何在浩如煙海的信息中快速、準(zhǔn)確地獲得自己所需的內(nèi)容則成為當(dāng)前必須解決的問題。在此需求下，MPEG-應(yīng)運(yùn)而生。規(guī)定一個(gè)用于描述各種不同類型多媒體信息的描述符的標(biāo)準(zhǔn)集合被稱為“多媒體內(nèi)容描述接口”。該標(biāo)準(zhǔn)于 1998年10月提出，于2001年最終完成并公布。MPEG-的目標(biāo)是支持多種音頻和視覺的描述，包括自由文本、N隹時(shí)空結(jié)構(gòu)、統(tǒng)計(jì)信息、客觀屬性、主觀屬性、生產(chǎn)屬性和組合信息；是根據(jù)信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶對(duì)信息的需求；是支持?jǐn)?shù)據(jù)管理的靈活性、數(shù)據(jù)資源的全球化和互操作性。最終的目的是把網(wǎng)上的多媒體內(nèi)容變成文本內(nèi)容，具有可搜索性。MPEG-7以下幾部分組成：MPEG-系統(tǒng)：它保證MPEG-描述有效傳輸和存儲(chǔ)所必須的工具，并確保內(nèi)容與描述之間進(jìn)行同步，這些工具有管理和保護(hù)的智能特性；MPEG-描述定義語言：用來定義新的描述結(jié)構(gòu)(說明成員之間的結(jié)構(gòu)和語義)的語言；MPEG-音頻：只涉及音頻描述的描述子(定義特征的語法和語義)和描述結(jié)構(gòu)；MPEG-視頻：只涉及視頻描述的描述子和描述結(jié)構(gòu)；MPEG-7性實(shí)體和多媒體描述結(jié)構(gòu)；MPEG-參考軟件：實(shí)現(xiàn)MPEG-標(biāo)準(zhǔn)相關(guān)成分的軟件；MPEG-7致性：測(cè)試MPEG-執(zhí)行一致性的指導(dǎo)方針和程序。5、MPEG-2標(biāo)準(zhǔn)MPEG-2的正式名稱是多媒體框架，又稱數(shù)字視聽框架(DigitalAudio-VisualFramework)。它的目標(biāo)就是理解如何將不同的技術(shù)和標(biāo)準(zhǔn)結(jié)合在一起，需要什么樣的新標(biāo)準(zhǔn)以及完成不同標(biāo)準(zhǔn)的結(jié)合工作。簡言之，制定MPEG-21標(biāo)準(zhǔn)的目的是：(1)將不同的協(xié)議、標(biāo)準(zhǔn)、技術(shù)等有機(jī)地融合在一起；(2)制定新的標(biāo)準(zhǔn)；(3)將這些不同的標(biāo)準(zhǔn)集成在一起。MPEG-2標(biāo)準(zhǔn)其實(shí)就是一些關(guān)鍵技術(shù)的集成，通過這種集成環(huán)境就對(duì)全球數(shù)字媒體資源進(jìn)行透明和增強(qiáng)管理，實(shí)現(xiàn)內(nèi)容描述、創(chuàng)建、發(fā)布、使用、識(shí)別、收費(fèi)管理、產(chǎn)權(quán)保護(hù)、用戶隱私權(quán)保護(hù)、終端和網(wǎng)絡(luò)資源抽取、事件報(bào)告等功能。

第四部分 視頻信息傳輸網(wǎng)絡(luò)及協(xié)議這一部分我學(xué)到OSI7層模型標(biāo)準(zhǔn)（ISO7498）,ip、tcp、udp、rtcp協(xié)議，電話系統(tǒng)等知識(shí)，下面的內(nèi)容就是我就得這一部分最有用的內(nèi)容ppni1mppni1m十一SPDU一SeamentFrame應(yīng)用層淺示層會(huì)話層傳輸層網(wǎng)絡(luò)層數(shù)據(jù)鏈躇應(yīng)用層表示層會(huì)話層傳輸層.Packet網(wǎng)絡(luò)層數(shù)據(jù)鏈路物理層OSI7層模型標(biāo)準(zhǔn)（ISO7498）網(wǎng)絡(luò)通信系統(tǒng)主要有電話系統(tǒng)、N-ISDNB-ISDN、ATM移動(dòng)電話系統(tǒng)、有線電視系統(tǒng)、通信衛(wèi)星、無線網(wǎng)絡(luò)。它的特點(diǎn)：基礎(chǔ)通信平臺(tái)，提供計(jì)算機(jī)網(wǎng)絡(luò)的數(shù)據(jù)傳輸信道，但又獨(dú)立于計(jì)算機(jī)通信；逐步吸收融合計(jì)算機(jī)網(wǎng)絡(luò)的許多思想，越來越復(fù)雜。這里簡單介紹一下電話系統(tǒng)PSTN公共交換電話網(wǎng)絡(luò)，一種常用舊式電話系統(tǒng)。即我們?nèi)粘Ｉ钪谐Ｓ玫碾娫捑W(wǎng)。工作原理 公共交換電話網(wǎng)絡(luò)是一種全球語音通信電路交換網(wǎng)絡(luò)，包括商業(yè)的和政府擁有的。所謂公用電話交換網(wǎng)（PSTN PublicSwitchedTelephoneNetwork）,即我們?nèi)粘Ｉ钪谐Ｓ玫碾娫捑W(wǎng)。眾所周知，PSTNI一種以模擬技術(shù)為基礎(chǔ)的電路交換網(wǎng)絡(luò)。 在眾多的廣域網(wǎng)互連技術(shù)中，通過PSTN4行互連所要求的通信費(fèi)用最低，但其數(shù)據(jù)傳輸質(zhì)量及傳輸速度也最差，同時(shí)PSTN勺網(wǎng)絡(luò)資源利用率也比較低。統(tǒng)計(jì)時(shí)分復(fù)用（按需分配帶寬）基本原理是把時(shí)間劃分為不等長的時(shí)間片，長短不同的時(shí)間片就是傳送不同長度分組所需要的時(shí)間，每路通信按需分配時(shí)間片，當(dāng)通信需要傳送的分組多時(shí)，所占用時(shí)間片的個(gè)數(shù)就多，反之，所占用時(shí)間片的個(gè)數(shù)就少，不傳輸信息時(shí)不分配帶寬。由此可見，統(tǒng)計(jì)時(shí)分復(fù)用是按需分配帶寬（動(dòng)態(tài)分配帶寬）的。標(biāo)志化信道：在統(tǒng)計(jì)時(shí)分復(fù)用中，靠分組頭中的標(biāo)志來區(qū)分不同的通信分組。具有相同標(biāo)志的分組屬于同一個(gè)通信，也就構(gòu)成了一個(gè)子信道，識(shí)別這個(gè)子信道的標(biāo)志也叫做信道標(biāo)志，該子信道被稱為標(biāo)志化信道。而同步時(shí)分復(fù)用靠時(shí)間位置來識(shí)別每路通信的分組，被稱為位置化信道。信息傳送有差錯(cuò)控制，分組交換是專門為數(shù)據(jù)通信網(wǎng)設(shè)計(jì)的交換方式，為保證數(shù)據(jù)信息的可靠性，在分組交換中設(shè)有CRC0僉、重發(fā)等差錯(cuò)控制機(jī)制。信息傳送不具有透明性。分組交換對(duì)所傳送的數(shù)據(jù)信息要進(jìn)行處理。視頻信息傳輸協(xié)議IP協(xié)議是用于將多個(gè)包交換網(wǎng)絡(luò)連接起來的，它在源地址和目的地址之間傳送一種稱之為數(shù)據(jù)包的東西，它還提供對(duì)數(shù)據(jù)大小的重新組裝功能，以適應(yīng)不同網(wǎng)絡(luò)對(duì)包大小的要求。IP實(shí)現(xiàn)兩個(gè)基本功能：尋址和分段。IP可以根據(jù)數(shù)據(jù)包包頭中包括的目的地址將數(shù)據(jù)報(bào)傳送到目的地址，在此過程中IP負(fù)責(zé)選擇傳送的道路，這種選擇道路稱為路由功能。如果有些網(wǎng)絡(luò)內(nèi)只能傳送小數(shù)據(jù)報(bào)，IP可以將數(shù)據(jù)報(bào)重新組裝并在報(bào)頭域內(nèi)注明。IP使用四個(gè)關(guān)鍵技術(shù)提供服務(wù)：服務(wù)類型，生存時(shí)間，選項(xiàng)和報(bào)頭校驗(yàn)碼。服務(wù)類型指希望得到的服務(wù)質(zhì)量。服務(wù)類型是一個(gè)參數(shù)集，這些參數(shù)是Internet能夠提供服務(wù)的代表。這種服務(wù)類型由網(wǎng)關(guān)使用，用于在特定的網(wǎng)絡(luò)，或是用于下下一個(gè)要經(jīng)過的網(wǎng)絡(luò)，或是下一個(gè)要對(duì)這個(gè)數(shù)據(jù)報(bào)進(jìn)行路由的網(wǎng)關(guān)上選擇實(shí)際的傳送參數(shù)。生存時(shí)間是數(shù)據(jù)報(bào)可以生存的時(shí)間上限。它由發(fā)送者設(shè)置，由經(jīng)過路由的地方處理。如果未到達(dá)時(shí)生存時(shí)間為零，拋棄此數(shù)據(jù)報(bào)。對(duì)于控制函數(shù)來說選項(xiàng)是重要的，但對(duì)于通常的通信來說它沒有存在的必要。選項(xiàng)包括時(shí)間戳，安全和特殊路由。報(bào)頭校驗(yàn)碼保證數(shù)據(jù)的正確傳輸。如果校驗(yàn)出錯(cuò)，拋棄整個(gè)數(shù)據(jù)報(bào)。IP不提供可靠的傳輸服務(wù)，它不提供端到端的或（路由）結(jié)點(diǎn)到（路由）結(jié)點(diǎn)的確認(rèn)，對(duì)數(shù)據(jù)沒有差錯(cuò)控制，它只使用報(bào)頭的校驗(yàn)碼，它不提供重發(fā)和流量控制。如果出錯(cuò)可以通過ICMP艮告，ICMP&IP模塊中實(shí)現(xiàn)。TCPUD初議UD新議全稱是用戶數(shù)據(jù)報(bào)協(xié)議，在網(wǎng)絡(luò)中它與TCPJ、議一樣用于處理數(shù)據(jù)包，是一種無連接的協(xié)議。在0$模型中，在第四層一一傳輸層，處于IP協(xié)議的上一層。UDPC不提供數(shù)據(jù)包分組、組裝和不能對(duì)數(shù)據(jù)包進(jìn)行排序的缺點(diǎn)，也就是說，當(dāng)報(bào)文發(fā)送之后，是無法得知其是否安全完整到達(dá)的。 UDPB來支持那些需要在計(jì)算機(jī)之間傳輸數(shù)據(jù)的網(wǎng)絡(luò)應(yīng)用。包括網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)在內(nèi)的眾多的客戶 /服務(wù)器模式的網(wǎng)絡(luò)應(yīng)用都需要使用UD新議。UD新議從問世至今已經(jīng)被使用了很多年，雖然其最初的光彩已經(jīng)被一些類似協(xié)議所掩蓋，但是即使是在今天 UDP5然不失為一項(xiàng)非常實(shí)用和可行的網(wǎng)絡(luò)傳輸層協(xié)議。TCP1一種面向連接的、可靠的、基于字節(jié)流的傳輸層通信協(xié)議，由 IETF的RFC793定義。在簡化白^計(jì)算機(jī)網(wǎng)絡(luò)OSI模型中，它完成第四層傳輸層所指定的功能，用戶數(shù)據(jù)報(bào)協(xié)議（UDP是同一層內(nèi)另一個(gè)重要的傳輸協(xié)議。在因特網(wǎng)協(xié)議族中，TCP1是位于IP層之上，應(yīng)用層之下的中間層。不同主機(jī)的應(yīng)用層之間經(jīng)常需要可靠的、像管道一樣的連接，但是IP層不提供這樣的流機(jī)制，而是提供不可靠的包交換。UD報(bào)文格式UDP源端口UDP源端口UDP信宿端UDP校驗(yàn)和數(shù)據(jù)Tcp報(bào)文格式Tcp報(bào)文格式RTP/RTCP/RSVP議RTF^r名是Real-timeTransportProtocol （實(shí)時(shí)傳輸協(xié)議）。它是IETF提出的一個(gè)標(biāo)準(zhǔn)，對(duì)應(yīng)的RFCC檔為RFC3550（RFC188的其過期版本）。。RTM來為IP網(wǎng)上的語音、圖像、傳真等多種需要實(shí)時(shí)傳輸?shù)亩嗝襟w數(shù)據(jù)提供端到端的實(shí)時(shí)傳輸服務(wù)。RTF%Internet上端到端的實(shí)時(shí)傳輸提供時(shí)間信息和流同步，但并不保證服務(wù)質(zhì)量，服務(wù)質(zhì)量由RTC來提供。RTP艮文格式0 1 2 301234567890123456789012345678901+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+|V=2|P|X|CC|M|PT| sequencenumberI+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| timestamp|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+| synchronizationsource(SSRC)identifier+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+| contributingsource(CSRC)identifiers|| ■■■■|+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+上圖引自rfc3550,由上圖中可知道RTP艮文由兩個(gè)部分構(gòu)成--RTP報(bào)頭和RTP的負(fù)載：RTP艮文由兩部分組成：報(bào)頭和有效載荷。 RTP艮頭格式如圖所示，其中：.V:RTP＞議的版本號(hào)，占2位，當(dāng)前協(xié)議版本號(hào)為2。.P:填充標(biāo)志，占1位，如果P=1,則在該報(bào)文的尾部填充一個(gè)或多個(gè)額外的八位組，它們不是有效載荷的一部分。.X:擴(kuò)展標(biāo)志，占1位，如果X=1,則在RTP艮頭后跟有一個(gè)擴(kuò)展報(bào)頭。.CC:CSRCb數(shù)器，占4位，指示CSRC標(biāo)識(shí)符的個(gè)數(shù)。.M:標(biāo)記，占1位，不同的有效載荷有不同的含義，對(duì)于視頻，標(biāo)記一幀的結(jié)束；對(duì)于音頻，標(biāo)記會(huì)話的開始。.PT:有效載荷類型，占7位，用于說明RTP艮文中有效載荷的類型，如GSM音頻、JPEMfl像等，在流媒體中大部分是用來區(qū)分音頻流和視頻流的，這樣便于客戶端進(jìn)行解析。.序列號(hào)：占16位，用于標(biāo)識(shí)發(fā)送者所發(fā)送的RTP艮文的序列號(hào)，每發(fā)送一個(gè)報(bào)文，序列號(hào)增1。這個(gè)字段當(dāng)下層的承載協(xié)議用UDP勺時(shí)候，網(wǎng)絡(luò)狀況不好的時(shí)候可以用來檢查丟包。同時(shí)出現(xiàn)網(wǎng)絡(luò)抖動(dòng)的情況可以用來對(duì)數(shù)據(jù)進(jìn)行重新排序，在helix服務(wù)器中這個(gè)字段是從0開始的，同時(shí)音頻包和視頻包的sequence是分別記數(shù)的。.時(shí)戳(Timestamp)：占32位，時(shí)戳反映了該RTP艮文的第一個(gè)八位組的采樣時(shí)刻。接收者使用時(shí)戳來計(jì)算延遲和延遲抖動(dòng)，并進(jìn)行同步控制。.同步信源(SSRC標(biāo)識(shí)符：占32位，用于標(biāo)識(shí)同步信源。該標(biāo)識(shí)符是隨機(jī)選擇的，參加同一視頻會(huì)議的兩個(gè)同步信源不能有相同的