多媒體復習資料

第一章思考：計算機數(shù)據(jù)處理方式的發(fā)展歷程0/1數(shù)值，轉換為二進制字符，ASCII碼，GB2312碼圖形，圖像，音頻，視頻。多媒體技術媒體媒體（Media）是信息表示、存儲和傳輸?shù)妮d體根據(jù)媒體的時間依賴性不同，媒體分成兩種類型：離散媒體和連續(xù)媒體離散媒體是獨立于時間的媒體，如文本、圖形、圖像。連續(xù)媒體（時基媒體）：是依賴于時間的媒體，如聲音、視頻，不僅用一系列值表示，而且要指出相應值出現(xiàn)的時間，信息的表示與時間有關多媒體：定義：多媒體是指信息表示媒體的多樣化，包括文本、圖形、圖像、聲音、音樂、動畫、視頻等性質：多媒體是多種信息載體的表現(xiàn)形式、存儲和傳輸方式的有機集合多媒體技術：定義：計算機綜合處理多種媒體信息，在文本、圖形、圖像、音頻和視頻等多種信息之間建立邏輯關系，并連同多媒體設備一起集成為一個具有交互性能的應用系統(tǒng)的技術簡言之，多媒體技術就是計算機綜合處理聲、文、圖等信息性質:多媒體系統(tǒng)具有多樣性、集成性、實時性和交互性多樣性:包含的媒體種類非常豐富集成性:媒體集成性“表示媒體集成氣設備的集成性“表現(xiàn)媒體集成”實時性:聲音、視頻與時間密切相關，（多媒體信息處理、傳輸實時）交互性:低級（檢索）、中級（介入信息過程）、高級（VR）交互感覺媒體:能直接作用于人的感官，使人直接產生感覺的一類媒體（作用于人）主要研究表示媒體:計算機對信息的表示方法的描述。是為了加工、處理和傳輸感覺媒體而人為研究、構造出來的一種媒體（作用于計算機）表示媒體具體體現(xiàn)為:編碼表現(xiàn)媒體:感覺媒體和用于通信的電信號之間轉換用的一類媒體，分為輸入表現(xiàn)媒體和輸出表現(xiàn)媒體。如打印機、音箱、MIDI鍵盤，掃描儀、鍵盤、鼠標。除此之外，還有耳麥、軌跡球、繪圖儀等（用于人與計算機交互）存儲媒體:用于計算機存放表示媒體，以便計算機隨時處理、加工和調用信息編碼。常用的有光盤、硬盤、磁帶、活動硬盤、優(yōu)盤等廣義存儲媒體：報紙、書籍、雜志等平面媒體（也是新聞學意義上的傳播媒體傳輸媒體:用于傳輸表示媒體，將表示媒體從一處傳送到另一處的物理載體。如雙絞線、同軸電纜、光纖等存儲媒體 傳輸媒體多媒體技術的研究內容多媒體硬件支持技術多媒體基本處理設備多媒體輸入/輸出設備多媒體轉換設備多媒體數(shù)據(jù)存儲技術多媒體通信設備支持多媒體應用的軟件技術多媒體操作系統(tǒng)多媒體創(chuàng)作工具基礎多媒體技術多媒體數(shù)據(jù)編碼壓縮技術高級多媒體技術多媒體信息的組織與管理技術多媒體網絡和通信技術分布式多媒體技術基于內容的檢索技術多媒體智能監(jiān)控技術虛擬現(xiàn)實（VR）技術增強現(xiàn)實（AR）技術多媒體安全語音識別文語轉換多媒體信息的組織與管理表現(xiàn)層：超文本HTMLXML存儲層：多媒體數(shù)據(jù)庫VRAR多媒體技術研究內容總結獲?。喊ㄓ布夹g及軟件技術，我們可以研究軟件技術，包括采樣、量化表示：軟件技術，我們可以研究，包括表示方式、編碼方式、壓縮技術表現(xiàn)：主要是硬件技術，我們不研究存儲：主要是硬件技術，我們不研究傳輸：包括硬件技術及軟件技術，我們可以研究信源編碼、加密、信道編碼處理：主要是軟件技術，與具體的媒體特性有關多媒體系統(tǒng)的體系結構/多媒體應用系統(tǒng)、,多媒*創(chuàng)作系統(tǒng)j媒體制作平臺與工由多媒體核心系統(tǒng)\/多媒體計算機硬件系統(tǒng)、/多媒體外圍設備\多媒體應用系統(tǒng)：針對某一主題設計開發(fā)的具體多媒體應用系統(tǒng)多媒體創(chuàng)作系統(tǒng)：用于生成各種多媒體應用系統(tǒng)媒體制作平臺工具：多媒體數(shù)據(jù)的采集、制作及編輯（Photoshop）多媒體核心系統(tǒng)：核心是多媒體操作系統(tǒng)，還包括設備驅動程序多媒體計算機硬件系統(tǒng)：包括多媒體計算機主機系統(tǒng)及各種外圍設備的接口部件多媒體外圍設備：包括音頻、視頻等多種媒體的輸入/輸出設備和裝置，通信（網絡）傳輸設備及裝置數(shù)字圖「符號、圖表、圖形、圖像」離散化：（采樣）「空間、時間」、（量化）幅值編碼香農采樣定理：采樣頻率是圖像變化最高頻率的2倍時，能保證由離散圖像數(shù)據(jù)無失真地恢復原圖色彩要素：色調、飽和度、亮度注視點：注視點一般集中在高頻部分顏色模型：.RGB顏色模型（顯示設備）.CMYK顏色模型（打印設備）?HSL顏色模型（人眼）灰度=0.299R0.587G0.144B.YUV（彩色電視）4:1:1Y-亮度信號，U、V-色差信號（B-Y,R-Y）YIQ（彩色電視）Y-亮度，I和Q-色差信號Lab顏色模型Index（索引）色彩模式Grayscale（灰度）模式Binary（二值）模式RGB相加混色模型CMYK相減混色模型HSLH色調S飽和度L亮度Lab生成的顏色與使用設備無關Index索引8bit表示，最多使用256種顏色（顏色存放在調色板）Grayscale灰度8bit表示，最多使用256級灰度Binary二值1bit表示通過抖動可以模擬灰度圖像真彩色偽彩色直接色BMP壓縮00:行的結束01：圖像結束02:后2個字節(jié)表示下一個像素從當前開始的水平和垂直位置的偏移量0,第2個字節(jié)為0x03~0xFF之間的一個值（絕對方式）：第2個字節(jié)表示跟在這個字節(jié)后面的字節(jié)數(shù)，每個字節(jié)包含單個像素的顏色索引。壓縮數(shù)據(jù)格式需要字邊界對齊第1個字節(jié)非0（編碼方式）：第1個字節(jié)指定使用相同顏色的像素數(shù)目，第2個字節(jié)指定使用的顏色索引BMP文件頭14字節(jié)+40字節(jié)BMP信息頭文件大小=54+調色板大小+像素大小+（2Bytes"對齊”）TIFF「文件頭+IFD、數(shù)據(jù)」RGB無壓縮、RLE壓縮、JEPG壓縮第三章音頻：「聲音、語音、音樂」聲音的聽覺心理特性、聲音信號數(shù)字化方法及其與圖像數(shù)字化的區(qū)別聲音分類：（聲音特性）不規(guī)則聲音：噪音規(guī)則聲音：語音、音樂、音效（頻率）次音信號＜20Hz音頻信號20Hz~20kHz其中300?3000Hz為話音信號超聲波信號＞20kHz聲音的聽覺，心理特性音調、響度、聽閾：人能聽到的最低聲壓級痛閾：當聲壓級增大到一定強度時，人耳會感到不適或疼痛掩蔽效應（頻域掩蔽「一個強純音會掩蔽在其附近同時發(fā)聲的弱純音」、時域掩蔽「時間上相鄰的聲音之間也有掩蔽現(xiàn)象」）：聲音數(shù)字化：采樣、量化、編碼（數(shù)據(jù)+控制信息）音頻質量：采樣頻率、采樣精度（量化位數(shù)）和聲道數(shù)奈奎斯特采樣定理：采樣頻率高于信號最高頻率的兩倍，就可以從采樣中完全恢復原始信號的波形。因此，采樣頻率不應低于聲音信號最高頻率的兩倍數(shù)據(jù)率（字節(jié)/每秒）=采樣頻率（Hz）x樣本精度（位）x聲道數(shù)8MIDI電子樂器數(shù)字接口：MIDI是動作指令MIDI音樂設備「音源、音序器、輸入設備」動態(tài)圖像：原理：視覺暫留動畫：視頻：泛指將一系列的靜態(tài)影像以電信號方式加以捕捉，紀錄，處理，儲存，傳送，與重現(xiàn)的各種技術彩色空間變換：不同色彩格式間的轉換第五章冗余：多媒體數(shù)據(jù)冗余：統(tǒng)計冗余（空間冗余、時間冗余）、結構冗余、知識冗余、感知冗余（視覺冗余、聽覺冗余）信息表達冗余：信息熵冗余統(tǒng)計冗余：時間冗余:相鄰的2幀中會有大量的區(qū)域有相同或相近的數(shù)據(jù)，形成幀間的數(shù)據(jù)冗余，即時間冗余（音頻數(shù)據(jù)亦然）空間冗金：在同一個靜態(tài)圖像或畫面中，有部分區(qū)域數(shù)據(jù)值一樣或相差不大，形成空間冗余結構冗余:圖像存在著明顯的分布模式知識冗余:許多圖像的理解與某些基礎知識有相當大的相關性。如人臉的圖像有固定的結構感知冗余:聽覺、視覺等冗余視覺：「亮度和色度、高亮度區(qū)和非高亮度區(qū)、邊緣和非邊緣」信息熵冗余：信息熵:一組數(shù)據(jù)所攜帶的平均信息量（不確定性的度量）：H土N-lP"

取值范圍：0<H（x）<log2NN為數(shù)據(jù)的種類（信源符號）的個數(shù)Pi為第i個信源符號出現(xiàn)的概率平均信息量乘以數(shù)據(jù)的個數(shù)，就是整個一組數(shù)據(jù)的信息量信息的表達存在冗余，稱為信息熵冗余信源編碼器模型編碼器輸出碼字的平均碼長：d=￡niP（xi）d>>H（x）有冗余，稱為信息熵冗余d<H（x）不可能d~H（x）最佳編碼原始圖像冗余度編碼效率數(shù)據(jù)壓縮方法分類根據(jù)解碼（解壓縮）后數(shù)據(jù)與原始數(shù)據(jù)是否完全一致?可逆編碼（無失真編碼，無損編碼,lossless）Huffman編碼、算術編碼、游程長度（RLE）編碼等統(tǒng)計編碼?不可逆編碼（有失真編碼，有損編碼，lossy）變換編碼和預測編碼根據(jù)數(shù)據(jù)壓縮的原理統(tǒng)計編碼針對信息嫡冗余，即信息表達冗余(游程(RLE)、Huffman編碼、算術編碼)預測編碼針對統(tǒng)計冗余，即多媒體信號的相關性變換編碼針對感知冗余，即多媒體信號的人類感知冗余其他編碼游程編碼RLE：(PCX、Targa)Huffman編碼：變長編碼，編碼效率高，依賴于信源的統(tǒng)計特性算數(shù)編碼：基本參數(shù)「符號的概率和它的編碼間隔」，整個消息只產生一個碼字，精度在64位以內，區(qū)別于Huffman編碼的是，它是根據(jù)信源符號估計出各個元素的概率，然后進行迭代計算。而不Huffman編碼必須預先得知信源的出現(xiàn)概率1 e0,5ea0.26eai0,2360.2 0.2 0.23詞典編碼：第一類:用已經出現(xiàn)過的字符串替代重復的部分，輸出僅僅是指向早期出現(xiàn)過的字符串的“指針”。LZ77算法

第二類：創(chuàng)建一個“短語詞典”。編碼中遇到已在詞典中出現(xiàn)的“短語”時，輸出詞典中的短語的“索引號”。LZ78算法LZW壓縮編碼：LZW不需要傳輸壓縮編碼時建立的詞典，而是在解壓縮時建立詞典，此點不同于Huffman編碼。但需要初始化詞典/表/串表ABABA讀入的字符上次的當前申無串登加結果查找重復項97(A)輸出代碼新添加表項當前串重新賦值BAAB無97AB-25SBABBA無98BA459ABAAB細AABABA無祝ABA-260A結束A97流結束標志輸出數(shù)據(jù)StringoQcode)讀入的字符（code）Combine(string)newtable(string-code)97CA>AA98(B)AB25S:ABB25S(AB}BAAB97CA>ABA260:ABAAEOF衡量數(shù)據(jù)壓縮技術性能的三個指標壓縮比（壓縮效果）：壓縮前數(shù)據(jù)量/壓縮后數(shù)據(jù)量算法復雜性和運算速度（壓縮效率）：｛對稱壓縮非對稱壓縮失真度（壓縮質量）預測編碼（壓縮數(shù)據(jù)的空間冗余和時間冗余）根據(jù)離散信號之間存在一定的相關性的特點，利用前面的一個或多個信號對下一個信號進行預測，然后對實際值和預測值的差值進行編碼壓縮對象聲音：聲波的下一個幅度、音色圖像：下一個像點、下一條線或幀特點簡捷且易于實現(xiàn)要求數(shù)據(jù)傳輸速度很高，需要前面多個信號參與預測壓縮能力有限，預測差值不一定可以大量壓縮變換編碼（感知冗余有損壓縮編碼變換->變換域采樣->量化對欲編碼的原始數(shù)據(jù)所在的時間或空間域從一種信號空間變換到另一種信號空間，產生一批變換系數(shù)，使得通過變換后能夠突出原始數(shù)據(jù)中的重要部分，以便重點處理。然后再對這些系數(shù)進行編碼處理（突出重要性）關鍵是要尋找一個最佳變換各種編碼方式的比較ASCII碼、GB2312碼針對單個信源符號編碼定長碼消息的編碼由消息中各個信源符號編碼連接而成解碼時需要編碼規(guī)則（即相應的編碼表）解碼方式為查表方式無錯誤傳播Huffman編碼針對單個信源符號編碼變長碼消息的編碼由消息中各個信源符號的編碼連接而成解碼時不需要信源符號的概率統(tǒng)計模型，但需要相應的編碼規(guī)則表Huffman表），使用固定概率模型時對于不同的消息，可以使用相同的編碼規(guī)則表解碼方式為查表方式有錯誤傳播算術編碼針對消息編碼變長碼不產生單個信源符號的編碼，直接得到消息的編碼解碼時需要信源符號的概率統(tǒng)計模型，不需要其它表解碼方式為根據(jù)信源符號的概率統(tǒng)計模型進行有錯誤傳播LZW編碼針對單個信源符號或若干個信源符號的組合編碼（即可能多個信源符號被看作一個信源符號）定長碼消息的編碼由消息中各個信源符號或信源符號的組合的編碼連接而成解碼時不需要信源符號的概率統(tǒng)計模型，不需要詞典，但需要初始詞典，解碼過程中生成詞典解碼方式為查表方式有錯誤傳播（雖然是定長編碼，但在解碼過程中需要生成詞典。如果存在錯誤，可能導致生成詞典出錯，甚至無法生成詞典）瑞碼名稱編碼對象京閣變匕消息編馮為式解誥規(guī)則解電￡錯謖用播ASCII碼GB23L2媽單個信源符號定長碼由消息中各個信源符號編媽連接而成需要蝙戰(zhàn)規(guī)則表查表無畢個信源符號黎碼由消息中各個信源符號編碼連接而成不需要信源符號的概率統(tǒng)計模型需是編碼規(guī)則表（Huffrnan表）查表有算術蝙碼消息不產生單個倩源符號的編碼’直接得到消息的編媽需要信源符號的概率統(tǒng)計模型,不需要共它表根據(jù)侑源符號的概率統(tǒng)計模型進行有LZW編碼單不信源符號或若干個信源符號的組合編碼《即可能多個信源符號祐看作一個信源符號】定長瑪由消息吊答個佰源符號或信儺符號的組合的蝙碼連接而成不需要信源符號的概率統(tǒng)計模型，不需要詞感,回需要初始詞典'解碼過程中生成詞典直表有音頻譯碼器：波形編連碼器：對模擬語音信號進行采樣，然后進行幅度量化與二進制編碼（簡單，失真最?。┮粼淳幾g碼器：以聲音信號產生的模型為基礎，將聲音信號轉換成參數(shù)后再進一步編碼（壓縮率大，計算量大，保真度不高，保密性能好）混合編譯碼器：PCM:脈沖編碼調制模擬聲音信號->（防失真濾波器〉波形編碼器）->PCM樣本采樣頻率為聲音頻率的2倍DM：增量調制（預測編碼）纏過載（反饋回路輸出信號的最大變化速率受到量化階大小的限制）、粒狀噪聲（在輸入信號緩慢變化部分，即輸入信號與預測信號的差值接近零的區(qū)域，增量調制器的輸出出現(xiàn)隨機交變的“0”和“1”）矛盾：在輸入信號變化快的區(qū)域，斜率過載是關心的焦點；在輸入信號變化慢的區(qū)域，關心的焦點是粒狀噪聲，為了盡可能避免出現(xiàn)斜率過載，就要加大量化階△，但這樣做又會加大粒狀噪聲；相反，如果要減小粒狀噪聲，就要減小量化階△，這又會使斜率過載更加嚴重DPCM:差分脈沖編碼調制原理同預測編碼區(qū)別：PCM:量化絕對值

DM:量化相對值（2值量化）DPCM:量化相對值（多值量化）量化均勻量化非均勻量化：在滿足精度要求的情況下用較少的位數(shù)來表示（大的輸入信號采用大的量化間隔，小的輸入信號采用小的量化間