FFmpeg入門詳解（音視頻原理及應用）

FFmpeg入門詳解（音視頻原理及應用）目錄TOC\h\h第1章編程之美與內功修為\h1.1編程修行之路\h1.2選好發(fā)展方向\h1.3從小白到大牛的煉鋼之路\h第2章音視頻入門\h2.1音視頻入門引言\h2.1.15G+將推動音視頻行業(yè)高度融合發(fā)展\h2.1.2音視頻產業(yè)將迎來新的商機\h2.1.3未來音視頻產業(yè)發(fā)展的新轉變\h2.1.4自學音視頻的困惑\h2.2音視頻基礎概念\h2.2.1視頻\h2.2.2音頻\h2.2.3音視頻編碼\h2.2.4音視頻容器\h2.3多媒體基礎概念\h2.3.1媒體\h2.3.2多媒體\h2.3.3多媒體技術\h2.3.4多媒體的應用領域\h2.4數字電視基礎概念\h2.4.1數字電視簡介\h2.4.2數字電視的發(fā)展歷程\h2.4.3數字電視的基本原理\h2.4.4數字電視的分類\h2.4.5數字電視的優(yōu)點\h2.4.6數字電視的相關技術\h2.5短視頻基礎概念\h2.5.1短視頻的簡介\h2.5.2短視頻的特點\h2.5.3短視頻帶貨\h第3章音視頻開發(fā)常用工具\h3.1VLC播放器簡介\h3.1.1VLC播放器\h3.1.2VLC的功能列表\h3.1.3VLC播放網絡串流\h3.1.4VLC作為流媒體服務器\h3.2MediaInfo簡介\h3.2.1MediaInfo\h3.2.2MediaInfo使用方法\h3.2.3MediaInfo參數說明\h3.3FlvAnalyser簡介\h3.3.1FLV簡介\h3.3.2FlvAnalyser\h3.4ElecardStreamAnalyzer碼流分析工具\h3.4.1簡介\h3.4.2功能列表\h3.5FFmpeg簡介\h3.5.1FFmpeg\h3.5.2FFmpeg命令行\(zhòng)h3.5.3FFmpeg開發(fā)包\h第4章音頻基礎\h4.1音頻基礎概念\h4.1.1聲音和音頻\h4.1.2數字音頻\h4.1.3音頻采集\h4.1.4音頻處理\h4.1.5音頻使用場景及應用\h4.1.6音頻格式\h4.1.7混音技術\h4.1.8音頻重采樣\h4.2音頻編碼原理\h4.2.1音頻壓縮\h4.2.2音頻編碼\h4.2.3音頻編碼基本手段\h4.2.4音頻編碼算法\h4.3音頻深度學習\h4.3.1音頻深度學習的簡介\h4.3.2十大音頻處理任務\h第5章視頻基礎\h5.1視頻基礎概念\h5.1.1圖像與像素\h5.1.2色彩空間\h5.1.3數字視頻\h5.1.4視頻的基礎概念\h5.1.5視頻格式\h5.2音視頻封裝\h5.2.1數據封裝和解封裝\h5.2.2音視頻的封裝\h5.2.3封裝格式\h5.3視頻壓縮編碼\h5.3.1視頻編碼基礎知識\h5.3.2視頻壓縮\h5.3.3視頻編碼原理\h5.3.4視頻編碼的關鍵技術\h5.3.5視頻編解碼流程\h5.4視頻播放原理\h5.4.1視頻播放器簡介\h5.4.2FFmpeg播放架構與原理\h5.4.3VLC播放原理\h5.4.4現代播放器架構\h5.5視頻轉碼原理\h5.5.1視頻轉碼\h5.5.2非線性編輯\h5.6短視頻技術\h第6章音視頻壓縮編碼基礎\h6.1音視頻壓縮編碼\h6.2壓縮編碼技術分類\h6.2.1無損壓縮\h6.2.2有損壓縮\h6.3壓縮編碼關鍵技術\h6.3.1預測編碼\h6.3.2變換\h6.3.3量化\h6.3.4熵編碼\h6.4幀內編碼與幀間編碼\h6.4.1幀內編碼\h6.4.2幀間編碼\h6.4.3運動矢量\h6.4.4運動補償\h6.4.5雙向預測\h6.5GOP與DTS/PTS\h6.5.1I/P/B/IDR幀\h6.5.2GOP詳細講解\h6.5.3DTS和PTS詳細講解\h第7章音視頻編解碼原理與標準\h7.1視頻編碼原理\h7.2視頻采集原理\h7.3音頻編碼原理\h7.4視頻編碼標準\h7.4.1ITU/ISO/JVT\h7.4.2MPEG-x系列\(zhòng)h7.4.3H.26x系列\(zhòng)h第8章音視頻編解碼技術與流程\h8.1視頻編碼簡介\h8.2視頻編碼流程\h8.3I/P/B幀技術詳細講解\h8.3.1I/P/B幀編解碼技術\h8.3.2I/P/B幀的特點\h8.3.3I/P/B幀的基本流程\h8.3.4幀內與幀間編碼\h8.3.5幀內編碼流程\h8.3.6塊與宏塊\h8.4運動估計和運動補償\h8.5音頻編碼技術與流程\h8.5.1MPEG-1音頻編碼\h8.5.2MPEG-2音頻編碼\h8.5.3MPEG-4音頻編碼\h8.5.4AC-3音頻編碼\h第9章H.264編解碼基礎\h9.1H.264快速入門\h9.1.1視頻壓縮編碼的基本技術\h9.1.2H.264的句法元素\h9.1.3VCL與NAL\h9.1.4檔次與級別\h9.1.5X264與JM\h9.2H.264編解碼原理與實現\h9.2.1H.264編解碼簡介\h9.2.2H.264編解碼流程\h9.2.3H.264的幀內預測編碼\h9.2.4H.264的幀間預測編碼\h9.3H.264碼流結構\h9.3.1H.264分層結構\h9.3.2H.264碼流結構\h9.3.3H.264的NALUnit\h第10章AAC編解碼基礎\h10.1AAC編碼概述\h10.2AAC音頻文件格式\h第11章H.265編解碼基礎\h11.1H.265編解碼概述\h11.2H.265碼流簡介\h11.2.1HEVCProfiles/Levels/Tier\h11.2.2HEVC的分層結構\h11.3H.265與H.264的區(qū)別與優(yōu)勢第1章編程之美與內功修為程序是有“生命”的，請用心愛護它。作為一名普通的老程序員，筆者從大二接觸C語言開始，至今已經整整20年。工作后，一直奮斗在研發(fā)第一線，這些年踩坑無數，現在通過這本書總結經驗及心得。編程是一門技術，可以通過編程謀一份工作，養(yǎng)家糊口，但同時編程更是一門很美的藝術，一旦選擇了這條路，希望讀者堅持下來，慢慢體會。經歷這么多年，頗有感慨，編了幾句簡詞，一直用來鼓勵自己，現在希望分享給讀者。天下沒有免費的午餐，希望讀者堅持努力，為心中的理想而奮斗。學習就要有耕牛的精神，不要急于求成，要埋下頭來艱苦地投入精力、持續(xù)作戰(zhàn)。1.1編程修行之路筆者是自學計算機編程的，從C語言開始學習，逐步學習了信息管理技術、數據結構、數據庫技術、Web開發(fā)技術、網絡技術、操作系統(tǒng)原理、內核編程等。上大學期間考過了計算機二級C語言、三級數據庫技術、三級信息管理技術、計算機等級考試四級，為后來編程工作打下了堅實的基礎。工作后，一直從事音視頻和流媒體開發(fā)，包括視頻播放器、視頻轉碼器、流媒體服務器、直播系統(tǒng)、視頻監(jiān)控、圖像處理等。近年來音視頻和流媒體，尤其是直播，發(fā)展得如火如荼。預計接下來的至少十年，音視頻行業(yè)會一直流行下去。音視頻作為媒體信息的載體，也會越來越普及，所以如果讀者希望投入點精力與時間學習音視頻，是一個非常好的選擇。當然，音視頻比較復雜，入門很難。雖然市面上的資料一大堆，但比較雜亂，初學者看后會更加有云里霧里的感覺。筆者借此機會，將相關知識整理成書，希望給讀者帶來一些幫助，少走彎路。學習過程是痛苦的，一學即會的知識往往不值錢。筆者20年來一如既往，持續(xù)投入，付出了艱苦的努力，現在依然堅持探索。希望讀者也能靜下心來認真學習，一遍看不懂，就看兩遍、三遍，書讀百遍其義自見。天道酬勤，只要愿意努力，堅持下來，一定會有所收獲。當然，學習是有路徑的，需要一步一步地深入，盡量少走彎路，如圖1-1所示。剛開始可以先熟悉某門編程語言，如C、C++或Java，動手實踐做幾個項目，其次需要系統(tǒng)地學習操作系統(tǒng)的API與核心編程，包括Windows和Linux，然后升華一個高度，從架構、設計模式的角度出發(fā)看待問題，最后可以學習內核編程，精通內核原理。至此，技術深度上基本過關了，然后橫向擴展，四通八達，將知識體系完備起來并靈活應用。圖1-1學習路徑隨著學習的深入，要一點一點地探索，提升內功修為，逐步達到一種境界：用程序實現功能，如探囊取物，如入無人之境。例如中國的古人飛將軍在倉促之間，一箭發(fā)出，竟能射到石棱之中，可見內功修為之深厚。這么多年編程，程序已逐步成為生活的一部分。希望讀者苦練基本功，拳不離手，曲不離口，慢慢地一定也能體會到其中的樂趣。既然選擇了編程這條路，就要持之以恒，這里筆者再分享幾句自編的簡詞，以共勉。1.2選好發(fā)展方向有兩句話讀者也許聽說過，第一句是“在我的字典中，沒有不可能”，第二句是“不想當將軍的士兵不是好士兵”。這兩句話是誰說的呢？兩百多年前的法國，一位出身殖民地的少年，在30歲那年，成為法蘭西的首席執(zhí)政官。他就是被贊譽為“愷撒和亞歷山大終于后繼有人，并且超過了他們”的拿破侖。是的，說這兩句話的人，就是大名鼎鼎的拿破侖。作為一名程序員，心中也應該有理想，發(fā)展方向大概有3種，包括項目管理、技術架構師、創(chuàng)業(yè)當老板。這幾個方向各有千秋，每個人要根據自己的興趣愛好及綜合特征來合理選擇。筆者選擇的是純技術路線，這么多年一直奮斗在研發(fā)第一線，喜歡鉆研各種技術和架構。只有純技術是不夠的，業(yè)務方向選擇的是“音視頻和流媒體”。讀者可以根據自己的實際情況選擇一個方向，然后就要持之以恒地投入?！坝兄菊吡㈤L志，無志者常立志”。有這樣一個故事，有兩個學生拜師學棋，其中一個學生每次聽課都是全神貫注的，一心一意地聽老師講解棋道，而另一個學生雖然很聰明，但上課總是心不在焉，而且他是今天想學下棋，明天又想學畫畫，不時地冒出來新的想法。有一次上課時，有一群天鵝從他們頭上飛過，那個專心的學生頭也沒抬一下，渾然不知，而心不在焉的那位學生雖然看著像是在聽課，可心里卻想著怎么去射天鵝，將來成為一名出色的弓箭手。若干年后，那位專心致志的學生成為了一名出色的棋手，而另一位卻一事無成。1.3從小白到大牛的煉鋼之路筆者有自己的微信服務群，不少學員反饋，不知道該怎么學習。經過分析匯總，筆者整理了“從小白到大牛的3年學習路徑及計劃”，主要圍繞技術方向，分3大部分，包括純技術開發(fā)、音視頻流媒體專業(yè)和項目實戰(zhàn)，下面分別展開介紹。第一，純技術開發(fā)方向，需要學習的內容包括但不限于以下幾方面。(1)C++編程知識及技巧。(2)系統(tǒng)級編程，包括Windows和Linux，必須熟練掌握系統(tǒng)API，并可靈活運用。(3)框架與工具，例如Qt和MFC，必須精通其中一種。第二，音視頻流媒體專業(yè)方向，需要學習的內容包括但不限于以下幾方面。(1)音視頻流媒體基礎理論，必須認真學會基礎理論，否則看代碼就像在看天書。(2)編解碼方向，需要精通H.264、H.265、AAC、AC-3、MP3等，包括原理和各個開源庫，如FFmpeg、libx264、libx265等。(3)流媒體直播方向，需要精通各種直播協(xié)議，如RTSP、RTMP、HLS、HTTP-FLV等，并鉆研各個開源庫，如Live555、Darwin、SRS、ZLMediaKit、crtmpserver、WebRTC等。(4)視頻監(jiān)控方向，包括原理和開源庫，如onvif+281818、EasyMonitor、iSpy、ZoneMinder等。第三，項目實戰(zhàn)方向，需要學習的內容包括但不限于以下幾方面。(1)Qt項目，至少要親手練習10個實戰(zhàn)項目，包括網絡服務器、多線程、數據庫、圖像處理、音視頻處理、多人聊天、XML和JSON處理等。(2)音視頻項目，包括編解碼、視頻監(jiān)控、直播等各個方向都需要親手練習實戰(zhàn)項目，包括視頻服務器、后臺管理系統(tǒng)、多端播放器等。第2章音視頻入門本章講解音視頻方面的基本概念，引導讀者快速建立起宏觀的知識體系，為后續(xù)章節(jié)打好基礎。在日常生活中，音視頻隨處可見，但專業(yè)詞匯很復雜，包括音頻、視頻、編解碼、封裝容器等。數字電視簡稱DTV，指的是從電視節(jié)目錄制、播出到發(fā)射、接收全部采用數字編碼與數字傳輸技術的新一代電視。短視頻泛指在各種新媒體平臺上播放的、適合在移動狀態(tài)和短時休閑狀態(tài)下觀看的、高頻推送的視頻內容，播放時長從幾秒到幾分鐘不等。2.1音視頻入門引言近年來5G技術的飛速發(fā)展同時也加速了音視頻產業(yè)的發(fā)展。音視頻是一門非常復雜的專業(yè)，令很多初學者望而生畏。多媒體是多種媒體的綜合，一般包括文本、聲音和圖像等多種媒體形式，涉及的概念比較雜亂，例如媒體、多媒體與多媒體技術等。2.1.15G+將推動音視頻行業(yè)高度融合發(fā)展5G+與AI技術結合，促進了音視頻行業(yè)的飛速發(fā)展。音視頻產業(yè)的發(fā)展一直由需求和技術創(chuàng)新雙輪驅動，并且互為因果。在AI時代，技術創(chuàng)新將不斷挖掘音視頻產業(yè)的潛力，使其有更強的信息承載能力和更具潛力的應用價值，從而不斷推進產業(yè)升級。今天，“直播+語音”場景掀起了線上互動的浪潮，而保障實時音視頻傳輸的流暢、穩(wěn)定、高清，達到完美的用戶體驗，是對實時音視頻技術的考驗。2.1.2音視頻產業(yè)將迎來新的商機在5G將會影響的領域中，音視頻產業(yè)是重要部分?！?G+音視頻產業(yè)”將會深入挖掘音視頻產業(yè)的無限潛力，加速與云計算、人工智能等領域的深度融合，不斷催生新的業(yè)態(tài)和新的商業(yè)模式。近年來，IP視頻網絡領域最重要的發(fā)展之一是高質量視頻的傳輸，無論視頻網絡中的域名數量如何，都能高達4K/60/4:4:4+HD，并且接近零延遲（低于1ms）。音視頻傳輸中的這一里程碑不僅是技術上的勝利，它還為各種應用中的用戶終端帶來顯著的好處。AVoverIP就是在標準IP媒介上發(fā)送未經壓縮的音頻與視頻信息。再復雜一點，就是把信號源進行編碼，把降低比特率的壓縮內容在IP媒介上傳輸，但總地來講，它是指在標準IP網絡上延長和切換視頻和音頻信號源。這意味著技術發(fā)展到今時今日，輸入和輸出信號已經無時、無刻、無處不在。信號源可以是“任何”和“許多”，包括桌面PC輸出、視頻攝像機、媒體播放器、衛(wèi)星／有線電視機頂盒等。1.醫(yī)療衛(wèi)生領域2019年6月，全球首例骨科手術機器人多中心5G遠程手術在北京積水潭醫(yī)院機器人遠程手術中心完成，如圖2-1所示。圖2-15G+遠程手術2019年9月，全球首個5G遠程全門診服務，在中國人民解放軍總醫(yī)院海南醫(yī)院和海南省三沙市人民醫(yī)院之間正式開通。有了5G網絡的速度，醫(yī)療專業(yè)人士也正在尋求能提供卓越圖像質量和色彩的視頻技術（帶有HDR的4K），并希望實際操作與屏幕上顯示出來的畫面盡可能同步，因此可以發(fā)現，5G時代給IP視頻網絡領域帶來了無限的機遇。2.現場表演和高等教育應用對于現場表演和高等教育應用而言，在使用視頻墻或投影的活動中，AVoverIP可以將延遲最小化，達到用戶難以察覺的程度，如圖2-2所示。它還可以確保不在現場觀看的觀眾，也會看到、聽到和感受到與現場觀眾一致的內容。3.博物館博物館對于技術應用，特別是對于視頻技術應用十分看重。因為博物館設計師的目標是設計出吸引觀眾、使觀眾有參與感并且使觀眾沉浸的新方式。對于同時涉及數十個同步源，使用4K顯示器和音頻區(qū)的博物館，設計公司通常在綜合評估后，最終會選擇基于IP的零延遲網絡進行信號管理和分發(fā)。4.公共安全越來越多的用戶終端要求高質量視頻和零延遲發(fā)布。在公共安全領域，尤其在應急管理中心和緊急行動中，更希望獲得最佳圖像質量和最快分配的應用，如圖2-3所示。圖2-25G+現場表演與高等教育應用圖2-35G+公共安全應用5.命令與控制中心無論是在工業(yè)領域還是其他更高深的領域，都要求能提供極高分辨率、低延遲的視頻，并有一定規(guī)模和性能水平的應用，而這些只能通過基于IP的系統(tǒng)提供。例如，指揮控制中心要求極高的視頻分辨率和幾乎零延遲的視頻發(fā)布，如圖2-4所示。例如，NASA最近在一個太空飛行中心安裝了這樣一個系統(tǒng)，要求在以4K視頻直播來觀察測試空間系統(tǒng)時，將視頻延遲降低到最低限度。圖2-45G+遠程控制應用6.商業(yè)管理在許多場景中，零延遲音視頻分配也具有高實用性和高感知價值。如一個國際基金會最近安裝了一個零延遲音視頻分配系統(tǒng)，用于在向跨國董事會提供視頻演示時，提高同步翻譯的同步率。對于會議室演示而言，零延遲視頻系統(tǒng)還能消除在移動鼠標時，顯示屏上的光標經常出現的延遲。2.1.3未來音視頻產業(yè)發(fā)展的新轉變隨著5G與音視頻領域的融合發(fā)展，未來音視頻產業(yè)發(fā)展將會迎來幾個新轉變：一是音視頻產業(yè)會有質的飛躍，新階段技術創(chuàng)新將扮演著更為重要的作用；二是音視頻產業(yè)會面臨全新的生態(tài)，隨著知識產權和版權保護數字技術的發(fā)展，數字音視頻會實現爆發(fā)式增長，未來會形成一個全域的音視頻服務生態(tài)，達到數萬億級的市場規(guī)模；三是音視頻產業(yè)會處于一個大的創(chuàng)新期，發(fā)展方式將由規(guī)模競爭、資本競爭轉變?yōu)橐匀瞬艦楹诵牡膭?chuàng)新能力的競爭。1.5G技術為產業(yè)賦能目前，5G時代已經開啟，5G+人工智能也給音視頻產業(yè)的發(fā)展帶來了許多新的課題。音視頻正在加快與人工智能、5G信息顯示等領域的融合，不斷催生新業(yè)態(tài)和商業(yè)模式，同時視頻技術正經歷由數字標清、高清向超高清的重點演進，帶動視頻采集、制作、傳輸、呈現等加速變革。2.超高清大屏市場大有可為超高清時代正在全面到來，相比1080P視頻，超高清視頻的碼流、分辨率、幀率、比特率、色彩飽和度都有非常大的提升，這些提升讓視頻數據量呈幾何倍數增長，而5G帶來的大帶寬、低時延及廣覆蓋，可以保證超高清視頻高質量傳輸，讓有條件的觀眾通過更大的屏幕全面拓展和提升影像的觀看感受。3.助力場景化智慧生活新一輪科技革命是人工智能、物聯(lián)網、5G和超高清顯示的高速融合創(chuàng)新，落腳點是要充分利用和挖掘音視頻產業(yè)的潛力，讓其有更強的信息承載能力和更具潛力的應用價值，從而為消費升級、行業(yè)創(chuàng)新、健康醫(yī)療、社會治理提供新場景、新動能、新要素和新工具。家庭智慧中心也會成為未來的一種發(fā)展趨勢。家庭作為人們使用時間長、頻率高的場所，在人工智能的應用上具有天然優(yōu)勢，因此也成為人工智能爭奪的入口。人工智能給老年人提供了更多的便利，現在的電視已經支持語音操控，無須遙控器操控，同時支持很多方言，老年人可以和電視很好地互動，這對于年輕人來講可能用處不大，但對老年人生活質量的改善非常大。近年來，大數據智能產業(yè)一路高歌猛進，通過科技手段智慧化服務千家萬戶，尤其是人工智能和多光復成像等技術在最近幾年發(fā)展很快，為傳統(tǒng)中醫(yī)的發(fā)展帶來了一個重要的機遇。例如，北京某高科技視覺技術公司，通過AI和醫(yī)療的結合，開發(fā)出了一個舌象終端，主要通過云端做一些分析，包括口腔舌頭的分割、病情的判斷，以此做出一個診斷報告，最終通過藥食同源方法來解決問題。2.1.4自學音視頻的困惑隨著移動網絡速度越來越快、質量越來越高，音視頻技術已經在各種應用場景下全面開花，如語音通話、視頻通話、視頻會議、遠程白板、遠程監(jiān)控等。音視頻技術的開發(fā)也越來越受到重視，但是由于音視頻開發(fā)涉及的知識面比較廣，入門門檻相對較高，讓許多初學者望而生畏。雖然網上有很多博文總結了音視頻技術的學習路線，但是相關的知識都相對獨立，有講音視頻解碼相關的，有講OpenGL相關的，也有講FFmpeg相關的，還有講RTP/RTCP、RTMP、RTSP、HLS/M3U8等流媒體通信相關的，但是對于新手來講，把所有的知識銜接并串聯(lián)起來，以便很好地理解所有的知識，卻是非常困難的。筆者在學習音視頻開發(fā)的過程中，深刻體會到了由于知識分散、過渡斷層所帶來的種種困惑和痛苦，因此希望通過自己的理解，把與音視頻開發(fā)相關的知識總結出來，并形成專業(yè)圖書，循序漸進，剖析各個環(huán)節(jié)，最終達到以下目的：對自己所學的知識做一個總結和鞏固，同時也幫助想從事音視頻開發(fā)但入門困難的讀者。2.2音視頻基礎概念日常生活中，音視頻隨處可見，但從技術角度來看，音視頻到底是什么呢？這個問題涉及幾個專業(yè)概念，包括視頻、音頻、編解碼、封裝容器、音視頻等。2.2.1視頻1.動畫書不知道讀者小時候是否玩過一種動畫小人書，連續(xù)翻動的時候，小人書的畫面就會變成一個動畫，類似現在的gif格式圖片（翻動速度一定要夠快），如圖2-5所示。本來是一本靜態(tài)的小人書，通過翻動以后，就會變成一個有趣的小動畫，如果畫面夠多，翻動速度夠快，這其實就是一個小視頻。圖2-5小人書與視頻視頻的原理正是如此，由于人類眼睛的特殊結構，在畫面快速切換時，畫面會有殘留（視覺暫留），感覺起來就是連貫的動作，所以視頻本質上就是由一系列圖片構成的。2.視頻視頻(Video)技術泛指將一系列靜態(tài)影像以電信號的方式加以捕捉、記錄、處理、存儲、傳送與重現的各種技術。當連續(xù)的圖像變化超過每秒24幀畫面以上時，根據視覺暫留原理，人眼無法辨別單幅的靜態(tài)畫面，看上去是平滑連續(xù)的視覺效果，這樣連續(xù)的畫面叫作視頻。視頻技術最早是為了電視系統(tǒng)而發(fā)展的，但現在已經發(fā)展為各種不同的格式以方便消費者將視頻記錄下來。網絡技術的發(fā)達也促使視頻的記錄片段以串流媒體的形式存在于因特網上并可被計算機接收與播放。拍攝視頻與拍攝電影屬于不同的技術，后者是利用照相術將動態(tài)的影像捕捉為一系列的靜態(tài)照片。常見的視頻格式有AVI、MOV、MP4、WMV、FLV、MKV等。3.視頻幀幀(Frame)是視頻的一個基本概念，表示一幅畫面，如上面的翻頁動畫書中的一頁就是一幀。一段視頻是由許多幀組成的。4.幀率幀率即單位時間內幀的數量，單位為f/s。如動畫書中，一秒內會翻過多張圖片，翻過的圖片越多，畫面越順滑，過渡越自然。幀率一般有以下幾個典型值。(1)29.97f/s：1秒30000/1001幀。(2)24f/s或25f/s：1秒24或25幀，一般的電視／電影幀率。(3)30f/s或60f/s：1秒30或60幀，游戲的幀率，30幀可以接受，60幀會感覺十分流暢。一般來講，85f/s以上人眼基本無法察覺出來畫面過渡了，所以過高的幀率在普通視頻里沒有太大的意義。5.色彩空間這里只講常用的兩種色彩空間（也叫顏色空間、顏色模式），即RGB和YUV。RGB色彩空間應該是最常見的一種，在現在的電子設備中應用廣泛。通過R、G、B這3種基礎色，可以混合出所有的顏色。YUV色彩空間并不常見，這是一種亮度與色度分離的色彩空間。早期的電視都是黑白的，即只有亮度值Y。有了彩色電視以后，加入了U、V兩種色度，形成現在的YUV，也叫YCbCr。其中Y表示明亮度（Luminance或Luma），也就是灰度值，而U和V表示的則是色度（Chrominance或Chroma），其作用是描述影像色彩及飽和度，用于指定像素的顏色。亮度是通過RGB輸入信號來建立的，其方法是將RGB信號的特定部分疊加到一起。色度定義了顏色的兩個方面，即色調與飽和度，分別用Cr和Cb來表示。其中，Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異，而Cb反映的是RGB輸入信號藍色部分與RGB信號亮度值之間的差異。YUV的含義如下。(1)Y：亮度，即灰度值。除了表示亮度信號外，還含有較多的綠色通道量。(2)U：藍色通道與亮度的差值。(3)V：紅色通道與亮度的差值。Y、U、V這3個分量的效果差值，如圖2-6所示。圖2-6Y、U、V分量圖6.YUV的優(yōu)勢人眼對亮度敏感，但對色度不敏感，因此減少部分UV的數據量，人眼卻無法感知出來，這樣可以通過壓縮UV的分辨率，在不影響觀感的前提下，減小視頻的大小。彩圖YUV主要用于優(yōu)化彩色視頻信號的傳輸，使其向后兼容老式黑白電視。與RGB視頻信號傳輸相比，它最大的優(yōu)點在于只需占用極少的頻寬（RGB要求3個獨立的視頻信號同時傳輸）。采用YUV色彩空間的重要性是它的亮度信號Y和色度信號U、V是分離的。如果只有Y信號分量而沒有U、V分量，則表示的圖像就是黑白灰度圖像。彩色電視采用YUV色彩空間正是為了用亮度信號Y解決彩色電視機與黑白電視機的兼容問題，使黑白電視機也能接收彩色電視信號。7.RGB和YUV的換算未量化的Y、U、V取值一般是(0，255)，量化就是通過線性變換讓Y、U、V處于一定的范圍內，例如讓Y(0，255)變到量化后的Y′(16，235)，那么對應的變換公式是Y′=Y×[(235-16)/255]+16。YUV和RGB之間的轉換有以下公式。1)未量化的小數形式轉換公式或寫為2)未量化的整數形式轉換公式3)量化后的轉換公式其中，R′、G′、B′指帶有Gamma矯正后的R、G、B。2.2.2音頻1.基本知識音頻數據的承載方式最常用的是脈沖編碼調制，即PCM。在自然界中，聲音是連續(xù)不斷的，是一種模擬信號，怎樣才能把聲音保存到計算機中呢？目前最常用的辦法是把聲音進行數字化處理，即轉換為數字信號，然后存儲到磁盤。聲音是一種波，有振幅和頻率，所以要保存聲音，就要保存聲音在各個時間點上的振幅，但數字信號并不能連續(xù)保存所有時間點的振幅，事實上，并不需要保存連續(xù)的信號也可以還原出人耳可接受的聲音。根據奈奎斯特采樣定理，為了不失真地恢復模擬信號，采樣頻率應該不小于模擬信號頻譜中最高頻率的2倍。根據以上分析，PCM的采集分為以下步驟：模擬信號→采樣→量化→編碼→數字信號音頻是一個專業(yè)術語，人類能夠聽到的所有聲音都稱為音頻，它可能包括噪聲。聲音被錄制下來以后，無論是說話聲、歌聲、樂器聲都可以通過數字音樂軟件處理。例如，把它制作成CD，這時候所有的聲音沒有改變，因為CD本來就是音頻文件的一種類型。2.采樣率和采樣位數采樣率，即采樣的頻率。上面提到，采樣率要大于原聲波最高頻率的2倍，人耳能聽到的最高頻率約為20kHz，所以為了滿足人耳的聽覺要求，采樣率至少應為40kHz，通常為44.1kHz，更高的頻率通常為48kHz。注意：人耳聽覺頻率范圍為[20Hz，20kHz]。采樣位數涉及上面提到的振幅量化。波形振幅在模擬信號上是連續(xù)的樣本值，而在信號中，數字信號一般是不連續(xù)的，所以模擬信號量化以后，只能取一個近似的整數值。為了記錄這些振幅值，采樣器會使用一個固定的位數，通常是8位、16位或32位，如表2-1所示。注意：位數越多，記錄的值越準確，還原度越高，但是占用的硬盤空間越大。表2-1音頻采樣位數3.音頻編碼由于數字信號是由0和1組成的，因此，需要將幅度值轉換為一系列0和1進行存儲，也就是編碼，最后得到的數據就是數字信號，即一連串0和1組成的數據。音頻編碼是指要在計算機內播放或者處理音頻文件，也就是要對聲音文件進行數、模轉換，這個過程同樣由采樣和量化構成，人耳所能聽到的聲音，最低的頻率是20Hz，而最高頻率為20kHz。20kHz以上的聲音人耳是聽不到的，因此音頻文件格式的最大帶寬是20kHz，所以采樣速率需要介于40Hz～50kHz，而且對每個樣本需要更多的量化位數。音頻數字化的標準是每個樣本16位-96dB的信噪比，采用線性脈沖編碼調制(PCM)，每個量化步長都具有相等的長度。在音頻文件的制作中，采用的正是這個標準。音頻的數字化編碼過程如圖2-7所示。4.聲道數聲道數是指所支持的能發(fā)不同聲音的音響的個數，常見的聲道數如下。(1)單聲道：1個聲道。(2)雙聲道：兩個聲道。圖2-7音頻的數字化編碼過程(3)立體聲道：默認為兩個聲道。(4)立體聲道（4聲道）：4個聲道。5.碼率碼率指一個數據流中每秒能通過的信息量，單位為b/s，可以用以下公式計算：6.音頻格式常見的音頻格式有CD、WAVE、MP3、MIDI、AAC、WMA、AC-3等。2.2.3音視頻編碼這里的編碼和上面音頻中所提到的“數字化編碼”不是同一個概念，是特指壓縮編碼。在計算機的世界中，一切數據都是由0和1組成的，音頻和視頻數據也不例外。由于音視頻的數據量龐大，如果按照裸流數據存儲，將需要耗費非常大的存儲空間，也不利于傳送，而在音視頻數據中，其實包含了大量0和1的重復數據，因此可以通過一定的算法來壓縮這些0和1的數據。特別是在視頻中，由于畫面是逐漸過渡的，因此在整個視頻中，包含了大量畫面／像素的重復，這正好提供了非常大的壓縮空間。因此，編碼可以大大減小音視頻數據的大小，讓音視頻更容易存儲和傳送。那么，未經編碼的原始音視頻，數據量到底有多大呢？以一個分辨率為1920×1080像素且?guī)蕿?0f/s的視頻為例，共有1920×1080=2073600像素，每像素是24b（假設采取RGB24），也就是每幅圖片為2073600×24b=49766400b。8b（位）=1B（字節(jié)），所以，49766400b=6220800B≈6.22MB。這是一幅1920×1080圖片的原始大小(6.22MB)，再乘以幀率30，也就是說，每秒視頻的大小是186.6MB，每分鐘大約是11GB，一部90分鐘的電影，約為990GB。1.視頻編碼視頻編碼的格式有很多，例如H.26x系列和MPEG系列的編碼，這些編碼格式都是為了適應時代的發(fā)展而出現的。H.26x(1/2/3/4/5)系列由國際電信聯(lián)盟(InternationalTelecommunicationUnion，ITU)主導。MPEG(1/2/3/4)系列由運動圖像專家組(MotionPictureExpertsGroup，MPEG)主導。當然，他們也有聯(lián)合制定的編碼標準，也就是現在主流的編碼格式H.264，還有下一代更先進的壓縮編碼標準H.265。視頻編碼知識比較專業(yè)，限于篇幅，這里簡單介紹一下。所謂視頻編碼方式就是對數字視頻進行壓縮或者解壓縮（視頻解碼）。通常這種壓縮屬于有損數據壓縮。也可以通過特定的壓縮技術，將某個視頻格式轉換成另一種視頻格式。常見的編碼方式如下。1)H.26x系列由ITU主導，包括H.261、H.262、H.263、H.264、H.265。(1)H.261：主要在老的視頻會議和視頻電話產品中使用。(2)H.262：在技術內容上和ISO/IEC的MPEG-2視頻標準(ISO/IEC13818-2)一致。(3)H.263：主要在視頻會議、視頻電話和網絡視頻中使用。(4)H.264：H.264/MPEG-4第十部分，或稱高級視頻編碼(AdvancedVideoCoding，AVC)，是一種視頻壓縮標準，也是一種被廣泛使用的高精度視頻的錄制、壓縮和發(fā)布格式。(5)H.265：高效率視頻編碼(HighEfficiencyVideoCoding，HEVC)是一種視頻壓縮標準，是H.264/MPEG-4AVC的繼任者。HEVC被認為不僅提升了圖像質量，同時也能達到H.264/MPEG-4AVC兩倍壓縮率（等同于同樣畫面質量下比特率減少了50%），可支持4K分辨率甚至超高畫質電視，最高分辨率可達8192×4320（8K分辨率），這是目前發(fā)展的趨勢。2)MPEG系列由ISO下屬的MPEG開發(fā)，主要包括以下幾種。(1)MPEG-1第二部分：主要使用在VCD上，有些在線視頻也使用這種格式。該編解碼器的質量大致上和原有的VHS錄像帶相當。(2)MPEG-2第二部分：等同于H.262，使用在DVD、SVCD和大多數數字視頻廣播系統(tǒng)和有線分布系統(tǒng)(CableDistributionSystems)中。(3)MPEG-4第二部分：可以使用在網絡傳輸、廣播和媒體存儲上。比起MPEG-2和第一版的H.263，它的壓縮性能有所提高。(4)MPEG-4第十部分：技術上和ITU的H.264是相同的標準，有時候也被叫作AVC。這兩個編碼組織合作，誕生了H.264/MPEG-4AVC標準。ITU-T將這個標準命名為H.264，而ISO/IEC稱它為MPEG-4AVC。3)其他系列其他系列包括AMV、AVS、Bink、CineForm、Cinepak、Dirac、DV、RealVideo、RTVideo、SheerVideo、Smacker、SorensonVideo、VC-1、VP3、VP6、VP7、VP8、VP9、WMV等。2.音頻編碼原始的PCM音頻數據包含非常大的數據量，因此需要對其進行壓縮編碼。和視頻編碼一樣，音頻也有很多的編碼格式，如WAV、MP3、WMA、APE、FLAC等，音樂發(fā)燒友應該對這些格式非常熟悉，特別是后兩種無損壓縮格式。這里以AAC格式為例，直觀地了解音頻壓縮格式。AAC是新一代的音頻有損壓縮技術，是一種高壓縮比的音頻壓縮算法。在MP4視頻中的音頻數據，大多數時候采用的是AAC壓縮格式。AAC格式主要分為兩種：音頻數據交換格式(AudioDataInterchangeFormat，ADIF)和音頻數據傳輸流(AudioDataTransportStream，ADTS)。1)ADIFADIF的特征是可以確定地找到這個音頻數據的開始，不需在音頻數據流中間開始解碼，即它的解碼必須在明確定義的開始處進行。ADIF常用在磁盤文件中，只有一個統(tǒng)一的頭(Head)，所以必須得到所有的數據后才能解碼。2)ADTSADTS的特征是它是一個有同步字的比特流，解碼可以在這個流中的任何位置開始。它的特征類似于MP3數據流格式。ADTS可以在任意幀解碼，它的每一幀都有頭信息。這兩種格式的header格式也是不同的，目前一般編碼所采用的是ADTS格式的音頻流。ADIF數據格式為header|raw_data。ADTS的一幀數據格式如圖2-8所示（中間部分為幀格式，左右省略號為前后數據幀）。圖2-8ADTS的一幀數據格式3.硬解碼和軟解碼在一些播放器中會看到有硬解碼和軟解碼兩種播放形式供選擇，但是大多數時候并不能感覺出它們的區(qū)別，對于普通用戶來講，只要能播放就行了。它們的內部究竟有什么區(qū)別呢？在手機或者PC上，都會有CPU、GPU或者解碼器等硬件。通常，計算是在CPU上進行的，而GPU主要負責畫面的顯示（是一種硬件加速）。軟解碼是指利用CPU的計算能力來解碼，通常如果CPU的能力不是很強，解碼速度則會比較慢，也可能出現發(fā)熱現象，但是，由于使用統(tǒng)一的算法，兼容性會很好。硬解碼指的是利用專門的解碼芯片來加速解碼，通常硬解碼的解碼速度會快很多，但是由于硬解碼由各個廠家實現，質量參差不齊，非常容易出現兼容性問題。2.2.4音視頻容器細心的讀者可能已經發(fā)現，前面介紹的各種音視頻的編碼格式，沒有一種是平時使用到的視頻格式，例如MP4、RMVB、AVI、MKV、MOV等。這些常見的視頻格式，其實是包裹了音視頻編碼數據的容器，用來把特定編碼標準編碼的視頻流和音頻流混在一起，成為一個文件。例如，MP4支持H.264、H.265等視頻編碼和AAC、MP3等音頻編碼。MP4是目前最流行的視頻格式，在移動端，一般將視頻封裝為MP4格式。2.3多媒體基礎概念多媒體是多種媒體的綜合，一般包括文本、聲音和圖像等多種媒體形式。多媒體涉及的概念比較雜亂，例如媒體、多媒體與多媒體技術等。2.3.1媒體媒體(Media)是指信息的載體，其本質是信息傳播的技術和手段。ITU把媒體分為五大類。(1)感覺媒體：是指直接作用于人的感覺器官，從而為人的感知系統(tǒng)所接受的信息形態(tài)或媒體形式。感覺媒體主要有文字、聲音、圖形、圖像、動畫、視頻等形態(tài)。(2)表示媒體：是指感覺媒體在電子設備、計算機、網絡等系統(tǒng)內部的存在形式，即編碼形態(tài)的媒體。例如，計算機系統(tǒng)中的ASCII碼、國家標準漢字字符集的區(qū)位碼、字符的點陣碼等，還有音頻、圖像與視頻編碼。(3)表現媒體：是指將編碼形式的媒體顯示成感覺媒體的設備或技術。表現媒體包括顯示器、投影儀、打印機、繪圖儀、有源或無源音箱等。(4)存儲媒體：是指用于存放表示媒體（編碼形態(tài)的媒體）的設備或技術，如內存、寄存器、磁盤、磁帶、光盤、優(yōu)盤等。(5)傳輸媒體：是指用于傳送表示媒體的設備或技術，如雙絞線、電纜、光纖等，甚至包括用于直接傳播聲音的空氣、傳播無線電信號的電磁波。2.3.2多媒體多媒體(MultiMedia)是指能夠同時處理兩種以上感覺媒體的計算機系統(tǒng)，其目標是為用戶提供更豐富的應用體驗。與多媒體相關的概念非常多，而且比較雜亂，例如高清、標清、1080P、720P、M3U8、TS、H.264、MP3、MPEG-4等，如圖2-9所示。圖2-9雜亂的多媒體概念視頻分辨率有標清、高清、超清等。標清：480P以下（480電視線逐行掃描），如VCD機、老式DVD機、國內數字電視。高清：720P或1080I（720電視線逐行掃描，1080電視線隔行掃描），各國規(guī)定不一致，我國規(guī)定720P為高清。超清：1080P（1080電視線逐行掃描），關于超清的標準，國際上公認的有兩條：視頻垂直分辨率超過720P或1080P；視頻寬高比為16:9。常見的視頻編碼有H.264、H.265、VP8、VP9等。常見的音頻編碼有AAC、MP3、AC-3等。視頻封裝格式有TS、M3U8、FLV、MP4、AVI等。2.3.3多媒體技術多媒體技術是指通過計算機對文字、數據、圖形、圖像、動畫、聲音等多種媒體信息進行綜合處理和管理，使用戶可以通過多種感官與計算機進行實時信息交互的技術，又稱為計算機多媒體技術。真正的多媒體技術所涉及的對象是計算機技術的產物，而其他的單純事物，如電影、電視、音響等，均不屬于多媒體技術的范疇。多媒體技術中的媒體主要是指前者，就是利用計算機把文字、圖形、影像、動畫、聲音及視頻等媒體信息數位化，并將其整合在一定的交互式界面上，使計算機具有交互展示不同媒體形態(tài)的能力。它極大地改變了人們獲取信息的傳統(tǒng)方法，符合人們在信息時代的閱讀方式。多媒體技術有以下幾個特征：第一是媒體類型或媒體技術的多樣性，一個可以被稱為多媒體的應用系統(tǒng)，必須至少集成了兩種不同類型的媒體及其相關技術。第二是媒體內容的同步性(Synchronization)，在多媒體應用系統(tǒng)中，多種媒體是融合在一起的，它們是以一種協(xié)同的方式工作的。第三是交互性(Interactive)，與交互性密切相關的另外兩個概念是人機交互(Human-ComputerInteraction，HCI)和人機界面(Human-ComputerInterface，HCI)。2.3.4多媒體的應用領域多媒體應用主要包括以下幾大領域。(1)大眾傳媒：傳播速度快、覆蓋范圍廣、影響效果大的媒體，主要包括報紙、廣播、電視、電影、互聯(lián)網等。(2)消費電子領域：是指用于個人和家庭并與廣播、電視有關的各類音頻和視頻產品。(3)現代教育技術領域：是指建立在信息與網絡技術基礎之上的教育教學手段所構成的系統(tǒng)。(4)多媒體通信領域：是指用數字信號作為載體來傳輸消息，或用數字信號對載波進行數字調制后再傳輸的通信方式。(5)Web應用：是指基于瀏覽器／服務器模型的應用系統(tǒng)，在客戶端表現為瀏覽器頁面，是一種以HTTP協(xié)議為核心的網絡應用。(6)物聯(lián)網領域：是通過各種信息傳感設備及系統(tǒng)，如傳感器網絡、射頻識別(RadioFrequencyIdentification，RFID)、紅外感應器、條碼與二維碼、全球定位系統(tǒng)、激光掃描器等和其他基于物物通信模式的短距離無線傳感網絡，按約定的協(xié)議，把物體接入互聯(lián)網所形成的一個巨大的智能網絡。(7)游戲領域：是指各種游戲規(guī)則與聲音、圖像、視頻相結合的軟件產品。2.4數字電視基礎概念數字電視是一種新鮮事物。其實，“數字電視”的含義并不是指一般人家中的電視機，而是指電視信號的處理、傳輸、發(fā)射和接收過程中使用數字信號的電視系統(tǒng)或電視設備。其具體傳輸過程是：由電視臺送出的圖像及聲音信號，經數字壓縮和數字調制后，形成數字電視信號，經過衛(wèi)星、地面無線廣播或有線電纜等方式傳送，由數字電視設備接收后，通過數字解調和數字音視頻解碼處理還原出原來的圖像及伴音。因為全過程均采用數字技術處理，所以信號損失小，接收效果好。2.4.1數字電視簡介數字電視(DigitalTelevision，DTV)，是從電視節(jié)目錄制、播出到發(fā)射、接收全部采用數字編碼與數字傳輸技術的新一代電視。從節(jié)目采集、節(jié)目制作、節(jié)目傳輸一直到用戶端都以數字方式處理信號，即從演播室到發(fā)射、傳輸、接收的全部環(huán)節(jié)都使用數字信號，或者通過0、1數字串所構成的數字序列進行傳播。它具有許多優(yōu)點，如可實現雙向交互業(yè)務、抗干擾能力強、頻率資源利用率高等，可提供優(yōu)質的電視圖像和更多的視頻服務，例如交互電視、遠程教育、會議電視、電視商務、影視點播等。數字電視是繼黑白模擬電視、彩色模擬電視之后的第三代電視類型，是相對模擬電視而言的概念。和模擬電視相比，數字電視畫質更高，功能更強，音效更佳，內容也更豐富，通常還具備交互性和通信功能。電視數字化是電視發(fā)展史上又一次重大的技術革命。數字電視不但是一個由標準、設備和節(jié)目源生產等多個部分相互支持和匹配的技術系統(tǒng)，而且將對相關行業(yè)產生影響并促進其發(fā)展。采用數字技術不僅使各種電視設備獲得比原有模擬式設備更高的技術性能，而且還具有模擬技術所不能實現的新功能，使電視技術進入嶄新時代。2.4.2數字電視的發(fā)展歷程數字技術是近20年來發(fā)展最快的技術之一?？傮w來看，數字技術在電視上的應用及發(fā)展總體分為3個主要階段。第一階段：20世紀80年代之前，當時以研究開發(fā)單獨的局部設備為主，投入使用的設備主要有數字時基校正器(DTBC)、數字幀同步機(DFS)、數字特技機(DVE)等。第二階段：20世紀80年代到90年代，這一階段的特點是成功開發(fā)了數字整機電視設備，如數字錄像機、數字信號處理攝像機等。第三階段：20世紀90年代以后，在這一階段，數字電視技術已開始從單個設備向整個系統(tǒng)發(fā)展，一些研究機構提出了全數字化的數字電視廣播標準，如歐洲的數字視頻廣播格式、美國的ATSC格式等，而且數字電視技術與高清晰度電視技術結合在一起，一些發(fā)達國家已經開始進行數字電視或數字高清晰度電視系統(tǒng)的試播。2.4.3數字電視的基本原理在傳統(tǒng)的模擬電視中，模擬電視信號通過調制在無線電射頻載波上發(fā)送出去。廣播信道可以是地面廣播、有線電視網或衛(wèi)星廣播。數字電視則是將電視信號進行數字化采樣，其信號的數據率是很高的，演播室質量的數字化電視信號的數據率為200Mb/s。要在原模擬電視頻道帶寬內傳輸如此高速率的數字信號是不可能的，因此，必須發(fā)展數據壓縮技術。實現數據壓縮技術的方法有兩種：一是在信源編碼過程中進行壓縮，利用人類聽覺與視覺效應去除信號中的多余成分，在不影響收聽與收看效果的前提下盡量壓縮數據率；二是改進信道編碼，發(fā)展新的數字調制技術，提高單位頻寬數據傳送速率。在信源編碼方面，IEEE的MPEG專家組已發(fā)展制定了ISO/IEC11172MPEG-1和ISO/IEC13818MPEG-2兩項國際標準。MPEG-1的輸入視頻格式為CIF352×288，主要用于CD-ROM、VCD或T1(E1)線路傳輸，碼率為固定的1.5Mb/s；MPEG-2供數字電視使用，它支持標準分辨率的16:9寬屏及高清晰度電視等多種格式，其碼率可變，為3～40Mb/s。信源編碼是把節(jié)目源的模擬信號變?yōu)閿底中盘枺俳涍^MPEG-2壓縮編碼，形成數字信號源，并根據多個節(jié)目傳輸的要求，編為復用碼流。MPEG-2是未來的廣播電視數字壓縮的國際標準。采用不同的層和級組合即可滿足從家庭質量到廣播級質量及將要播出的高清晰度電視質量不同的要求，其應用面很廣。從進入家庭的DVD到衛(wèi)星電視、廣播電視微波傳輸都采用了這一標準。數字電視的傳輸途徑可分為3種：數字衛(wèi)星電視、數字有線電視和數字地面開路電視。這3種數字電視的信源編碼方式相同，都是MPEG-2的復用數據包，但由于它們的傳輸途徑不同，它們的信道編碼也采用了不同的調制方式。例如，在歐洲DVB數字電視系統(tǒng)中，數字衛(wèi)星電視系統(tǒng)(DVB-S)采用正交相移鍵控(OPSK)調制；數字有線電視系統(tǒng)(DVB-C)采用正交振幅調制(QAM)；數字地面開路電視系統(tǒng)(DVB-T)采用更為復雜的編碼正交頻分復用調制(COFDM)。2.4.4數字電視的分類數字電視可以按以下幾種方式分類。(1)按信號傳輸方式可以分為地面無線傳輸地面數字電視、衛(wèi)星傳輸衛(wèi)星數字電視、有線傳輸有線數字電視三類。(2)按產品類型可以分為數字電視顯示器、數字電視機頂盒、一體化數字電視接收機。(3)按清晰度可以分為低清晰度數字電視(LowDefinitionTelevision，LDTV)，其圖像水平清晰度大于250線；標準清晰度數字電視(StandardDefinitionTelevision，SDTV)，其圖像水平清晰度大于500線；高清晰度數字電視(HighDefinitionTelevision，HDTV)，其圖像水平清晰度大于800線。VCD的圖像格式屬于低清晰度數字電視水平，DVD的圖像格式屬于標準清晰度數字電視水平。(4)按顯示屏幕幅型可以分為4:3幅型比和16:9幅型比兩種類型。(5)按掃描線數顯示格式可以分為HDTV（掃描線數大于800線）和SDTV（掃描線數為500～800線）等。2.4.5數字電視的優(yōu)點數字電視技術與原有的模擬電視技術相比，有以下優(yōu)點。(1)信號雜波比和連續(xù)處理的次數無關。電視信號經過數字化后用若干位二進制的兩個電平來表示，因而在連續(xù)處理過程中或在傳輸過程中引入雜波后，其雜波幅度只要不超過某一額定電平，通過數字信號再生，都可能把它清除掉，即使某個雜波電平超過額定值，造成誤碼，也可以利用糾錯編解碼技術把它們糾正過來，所以在數字信號的傳輸過程中，不會降低信雜比，而模擬信號在處理和傳輸中，每次都可能引入新的雜波，為了保證最終輸出有足夠的信雜比，就必須對各種處理設備提出較高信雜比的要求。模擬信號要求S/N＞40dB，而數字信號只要求S/N＞20dB。模擬信號在傳輸過程中噪聲逐步積累，而數字信號在傳輸過程中，基本上不會產生新的噪聲，即信雜比基本不變。(2)可避免系統(tǒng)非線性失真的影響，而在模擬系統(tǒng)中，非線性失真會造成圖像的明顯損傷。(3)數字設備輸出信號穩(wěn)定可靠。因數字信號只有0和1兩個電平，1電平的幅度大小只要滿足處理電路中可能識別出是1電平即可，大一點、小一點無關緊要。(4)易于實現信號的存儲，而且存儲時間與信號的特性無關。近年來，大規(guī)模集成電路半導體存儲器的發(fā)展，可以存儲多幀的電視信號，從而完成用模擬技術不可能達到的處理功能。例如，幀存儲器可用實現幀同步和制式轉換等處理，獲得各種新的電視圖像特技效果。(5)由于采用數字技術，與計算機配合可以實現設備的自動控制和調整。(6)數字技術可實現時分多路，充分利用信道容量，利用數字電視信號中行、場消隱時間，可實現文字多工廣播Teletext。(7)壓縮后的數字電視信號經數字調制后，可進行開路廣播，在設計的服務區(qū)內（地面廣播），觀眾將以極大的概率實現“無差錯接收”（發(fā)0收0，發(fā)1收1），收看到的電視圖像及聲音質量非常接近演播室質量。(8)可以合理利用各種類型的頻譜資源。以地面廣播而言，數字電視可以啟用模擬電視禁用頻道(TabooChannel)，而且在今后能夠采用單頻率網絡(SingleFrequencyNetwork)技術，例如1套電視節(jié)目僅占用同1個數字電視頻道而覆蓋全國。此外，現有的6MHz模擬電視頻道，可用于傳輸1套數字高清晰度電視節(jié)目或者4～6套質量較高的數字常規(guī)電視節(jié)目，或者16～24套與家用VHS錄像機質量相當的數字電視節(jié)目。(9)在同步轉移模式(STM)的通信網絡中，可實現多種業(yè)務的動態(tài)組合(DynamicCombination)。例如，在數字高清晰度電視節(jié)目中，經常會出現圖像細節(jié)較少的時刻。這時由于壓縮后的圖像數據量較少，便可插入其他業(yè)務，如電視節(jié)目指南、傳真、電子游戲軟件等，而不必插入大量沒有意義的“填充比特”。(10)很容易實現加密／解密和加擾／解擾技術，便于專業(yè)應用，包括軍用及廣播應用特別是開展各類收費業(yè)務。(11)具有可擴展性、可分級性和互操作性，便于在各類通信信道特別是異步轉移模式(ATM)的網絡中傳輸，也便于與計算機網絡聯(lián)通。可以與計算機“融合”而構成一類多媒體計算機系統(tǒng)，成為未來“國家信息基礎設施”的重要組成部分。2.4.6數字電視的相關技術數字電視涉及的技術非常多，而且比較復雜，主要包括以下幾方面。1.數字電視廣播流程及實現手段數字電視廣播流程及實現手段主要包括制作與編輯、信號處理、廣播與傳輸、接收與顯示幾個過程。目前用于數字節(jié)目制作的手段主要有數字攝像機和數字照相機、計算機、數字編輯機、數字字幕機；用于數字信號處理的手段有數字信號處理(DSP)技術、壓縮、解壓、縮放等技術；用于傳輸的手段有地面廣播傳輸、有線電視傳輸、衛(wèi)星廣播(DSS)及寬帶綜合業(yè)務網(ISDN)、DVD等；用于接收顯示的手段有陰極射線管顯示器(CRT)、液晶顯示器、等離子體顯示器、投影顯示（包括前投、背投）等。視頻編碼技術的主要功能是完成圖像的壓縮，使數字電視的信號傳輸量由995Mb/s減少為20～30Mb/s。視頻編碼計算時主要有以下客觀依據：第一是圖像時間的相關性，即視頻信號由連續(xù)圖像組成，相鄰圖像有很多相關性，找出這些相關性就可減少信息量。第二是圖像空間的相關性，例如圖像中有一大塊單一顏色，那么不必把所有像素存儲。人眼的視覺特性，即人眼對原始圖像各處失真敏感度不同，對不敏感且無關緊要的信息給予較大的失真處理，即使這些信息全部丟失了，人眼也可能覺察不到；相反，對人眼比較敏感的信息，則盡可能減少其失真。第三是事件間的統(tǒng)計特性，即事件發(fā)生的概率越小，則其熵值越大，表示信息量越大，需分配較長的碼字；反之，發(fā)生的概率越大，則其熵值越小，只需分配較短的碼字。與視頻編解碼相同，音頻編解碼主要功能是完成聲音信息的壓縮。聲音信號數字化后，信息量比模擬傳輸狀態(tài)大得多，因而數字電視的聲音不能像模擬電視的聲音那樣直接傳輸，而是要多一道壓縮編碼工序。音頻信號的壓縮編碼主要利用了人耳的聽覺特性。第一是聽覺的掩蔽效應。在人的聽覺上，一個聲音的存在掩蔽了另一個聲音的存在，掩蔽效應是一個較為復雜的心理和生理現象，包括人耳的頻域掩蔽效應和時域掩蔽效應。第二是人耳對聲音的方向特性。對于2kHz以上的高頻聲音信號，人耳很難判斷其方向性，因而立體聲廣播的高頻部分不必重復存儲。國際上對數字圖像編碼曾制定了3種標準：主要用于電視會議的H.261，主要用于靜止圖像的JPMG標準，以及用于連續(xù)圖像的MPEG標準。在HDTV視頻壓縮編解碼標準方面，美國、歐洲、日本沒有分歧，都采用了MPEG-2標準。MPEG壓縮后的信息可以供計算機處理，也可以在現有和將來的電視廣播頻道中進行分配。在音頻編碼方面，歐洲、日本采用了MPEG-2標準；美國采納了杜比公司(Dolby)的AC-3方案，MPEG-2為備用方案。對于我國來講，信源編解碼標準也會與美國、歐洲、日本一樣采用MPEG-2標準。2.數字電視的復用系統(tǒng)數字電視的復用系統(tǒng)是HDTV的關鍵部分之一，從發(fā)送端信息的流向來看，它將視頻、音頻、輔助數據等編碼器送來的數據比特流，經處理復合成單路串行的比特流，送給信道編碼及調制。接收端與此過程正好相反。模擬電視系統(tǒng)不存在復用器。在數字電視中，復用器把音頻、視頻、輔助數據的碼流通過一個打包器打包（這是通俗的說法，其實是數據分組），然后復合成單路。目前網絡通信的數據都是按一定格式打包傳輸的。HDTV數據的打包使其具備了可擴展性、分級性、交互性的基礎。付費電視是現在和將來電視發(fā)展的一個方向。復用器可對打包的節(jié)目信息進行加擾，使其隨機化，接收機具有密鑰才能解擾。在HDTV復用傳輸標準方面，美國、歐洲、日本也沒有分歧，都采用了MPEG-2標準。美國已有了MPEG-2解復用的專用芯片。我國也會采用MPEG-2作為復用傳輸的標準。HDTV數據包長度是188字節(jié)，正好是ATM信元的整數倍。今后以光纖為傳輸介質，以ATM為信息傳輸模式的寬帶綜合業(yè)務數字網極有可能成為未來“信息高速公路”的主體設施，可用4個ATM信元完整地傳送一個HDTV傳送包。3.數字電視的信道編解碼及調制解調數字電視的信道編解碼及調制解調通過糾錯編碼、網格編碼、均衡等技術提高信號的抗干擾能力，通過調制把傳輸信號放在載波或脈沖串上，為發(fā)射做好準備。目前所講的各國數字電視的制式，標準不能統(tǒng)一，主要是指各國在該方面的不同，具體包括糾錯、均衡等技術的不同，帶寬的不同，尤其是調制方式的不同。數字傳輸的常用調制方式：第一是正交振幅調制(QAM)，調制效率高，要求傳送途徑的信噪比高，適合有線電視電纜傳輸。第二是四相移相鍵控(QPSK)調制，調制效率高，要求傳送途徑的信噪比低，適合衛(wèi)星廣播。第三是殘留邊帶(VSB)調制，抗多徑傳播效應好（消除重影效果好），適合地面廣播。第四是編碼正交頻分復用調制(COFDM)，抗多徑傳播效應和同頻干擾好，適合地面廣播和同頻網廣播。美國地面電視廣播迄今仍占其電視業(yè)務的一半以上，因此，美國在發(fā)展高清晰度電視時首先考慮的是如何通過地面廣播網進行傳播，并提出了以數字高清晰度電視為基礎的標準ATSC。美國HDTV地面廣播頻道的帶寬為6MHz，調制采用8VSB。美國的衛(wèi)星廣播電視采用QPSK調制，電纜電視采用QAM或VSB調制。從1995年起，歐洲陸續(xù)發(fā)布了數字地面開路電視系統(tǒng)(DVB-T)、數字衛(wèi)星電視系統(tǒng)(DVB-S)、數字有線電視系統(tǒng)(DVB-C)的標準。歐洲數字電視首先考慮的是衛(wèi)星信道，采用QPSK調制。歐洲地面廣播數字電視采用COFDM調制、8MB帶寬。歐洲電纜數字電視采用QAM調制。日本數字電視首先考慮的是衛(wèi)星信道，采用QPSK調制，并在1999年發(fā)布了數字電視的標準。2.5短視頻基礎概念隨著網紅經濟的出現，短視頻行業(yè)飛速發(fā)展。各大視頻公司或優(yōu)秀團隊為了搶占市場，都投入了很多資源。短視頻帶貨也是一個非常熱門的應用。2.5.1短視頻的簡介短視頻泛指在各種新媒體平臺上播放的、適合在移動狀態(tài)和短時休閑狀態(tài)下觀看的、高頻推送的視頻內容，播放時長只有幾秒到幾分鐘不等。短視頻的內容融合了技能分享、幽默搞怪、時尚潮流、社會熱點、街頭采訪、公益教育、廣告創(chuàng)意、商業(yè)定制等主題。由于內容較短，可以單獨成片，也可以成為系列欄目。短視頻即短片視頻，是一種互聯(lián)網內容傳播方式，一般是在互聯(lián)網新媒體上傳播的時長在5min以內的視頻；隨著移動終端的普及和網絡的提速，短平快的大流量傳播內容逐漸獲得各大平臺、用戶和資本的青睞。隨著網紅經濟的出現，視頻行業(yè)逐漸崛起一批優(yōu)質UGC內容制作者，微博、秒拍、快手、今日頭條等紛紛入局短視頻行業(yè)，募集一批優(yōu)秀的內容制作團隊入駐。近幾年，短視頻行業(yè)競爭進入白熱化階段，內容制作者也偏向PGC化專業(yè)運作。短視頻沒有精確的定義，各大視頻公司都可以給出自己的定義。近幾年，各大視頻平臺都在搶跑布局，爭取成為短視頻行業(yè)的領軍者。究竟有多短才能算短視頻？是橫屏還是豎屏？例如某視頻公司為短視頻拋出一個定義：“57s，豎屏”，但這只是一個具體的應用，不是短視頻行業(yè)的工業(yè)標準。A公司說57s豎屏，B公司說要短到15s，C公司堅持10s最合適，而D公司則說5min！一千個人眼中有一千個“哈姆雷特”，2020年已經過去，這場定義之戰(zhàn)還沒有停止，但這些并不重要，短視頻就是短視頻，沒有必要給出具體的定義，如圖2-10所示。圖2-10短視頻到底是什么2.5.2短視頻的特點不同于微電影和直播，短視頻制作并沒有像微電影一樣具有特定的表達形式和團隊配置要求，具有生產流程簡單、制作門檻低、參與性強等特點，又比直播更具有傳播價值，超短的制作周期和趣味化的內容對短視頻制作團隊的文案及策劃功底有著一定的挑戰(zhàn)。優(yōu)秀的短視頻制作團隊通常依托于成熟運營的自媒體或IP，除了高頻穩(wěn)定的內容輸出外，也有強大的用戶渠道。短視頻的出現豐富了新媒體原生廣告的形式。下面詳細分析一下短視頻的幾大特點。1.時間短，內容豐富有趣短視頻指常在各種新媒體平臺上播放、適合在移動狀態(tài)和休閑狀態(tài)下觀看的視頻內容，視頻時長一般在5s～5min。相對于文字和圖片來講，視頻能夠帶給用戶更好的視覺體驗，在表達時也更加生動形象，能夠將創(chuàng)作者希望傳達的信息更真實、更生動地傳達給受眾。因為時間有限，短視頻展示出來的內容往往都是精華，符合用戶碎片化的觀看習慣，降低人們參與的時間成本。短視頻有個核心理念，即時間短，視頻時長能控制在10s，就不要11s，如果內容不精湛，不在視頻的前3s抓住用戶，后面就更難抓住。2.制作過程簡單在短視頻誕生之前，視頻制作的經典案例就是制作電視劇。在常規(guī)認知中，制作視頻是需要專業(yè)團隊才能做到的事情，門檻極高，但是隨著短視頻的興起，個人可以通過手機自行拍攝，通過簡單的處理就可以上傳至網絡，收獲流量，吸引用戶。于是創(chuàng)作者大量增加，短視頻之所以能逐步發(fā)展起來，離不開千千萬萬的個人創(chuàng)作者。當人人都能參與制作的時候，大眾積極性就能調動起來，整個行業(yè)發(fā)展也更迅速。3.互動性與草根性在各大短視頻應用中，用戶一般可以對視頻進行點贊、評論，甚至還可以給視頻發(fā)布者私信，視頻發(fā)布者也可以對評論進行回復。這樣就增強了視頻發(fā)布者和用戶之間的互動，一定程度上也增加了社交黏合性。短視頻的興起，讓一部分“草根”短視頻創(chuàng)作者火了起來。和傳統(tǒng)媒介相比，短視頻的門檻稍微低了一些，短視頻的創(chuàng)作者可根據市場的走向和最近火爆的元素來創(chuàng)作作品，這類作品受到眾多網友的喜愛，一批“草根”明星應運而生。4.搞笑娛樂性與創(chuàng)意性強當前一些節(jié)目團隊的制作內容大多偏向創(chuàng)意類輕喜劇，該類視頻短劇以搞笑創(chuàng)意為主，迅速在網上斬獲了大批用戶。這些帶有娛樂性、輕松幽默的短視頻很大程度上緩解了人們來自于現實中的壓力，在業(yè)余休息時間打開看一看，能給枯燥的生活帶來一絲絲樂趣，甚至能讓用戶有“上癮”的感覺，不看就會感覺缺少些什么。在任何時候，有創(chuàng)意的內容總會讓人眼前一亮，對于短視頻來講更是如此?，F在的短視頻創(chuàng)作百花齊放，吸引著人們去觀看，如果想在其中脫穎而出，就需要大量的想法和創(chuàng)意。短視頻常常運用充滿個性和創(chuàng)意的剪輯手法，或制作精美震撼，或運用比較動感的轉場和節(jié)奏，或加入解說、評論等，讓人看完一遍還覺得不過癮，想再看一遍。5.傳播性強與方便營銷由于短視頻的制作門檻低，發(fā)布渠道多樣，可以直接在平臺上分享自己制作的視頻，以及觀看、評論、點贊他人的視頻，容易促成裂變式傳播和在熟人間傳播。豐富的傳播渠道和方式能夠使短視頻傳播的力度更大、范圍更廣、交互性更強。在快節(jié)奏的生活方式下，大多數人在獲取日常信息時習慣追求“短、平、快”的消費方式。短視頻傳播的信息觀點鮮明、內容集中、言簡意賅，容易被用戶理解與接受，一個短短的視頻，播放量會比長篇視頻播放量高得多。與其他營銷方式相比，短視頻營銷可以準確地找到目標用戶，更加精準。因為不同身份、年齡的人看的視頻類型不同，可以根據想吸引的用戶去精準垂直制作視頻，更方便賣出貨品。例如，目前多數短視頻運營平臺植入廣告，用戶在看短視頻的時候經常會刷到廣告，短視頻中或者直播中還會插入購物鏈接，就很方便用戶在觀看視頻的同時購買自己所需要的商品，也達到更好的營銷效果。2.5.3短視頻帶貨做短視頻最關心的問題之一就是到底什么樣的內容能帶貨？是不是只有好物短視頻平臺才可以帶貨？答案是否定的，好物短視頻平臺確實是最方便的，因為用戶群體是非常精準的，但短視頻帶貨是把雙刃劍，做短視頻的第一件大事就是能把內容傳播出去。如果播放量只有200，即使內容特別好也沒有用。其次是人設信任度，一旦人設信任度崩塌，就更難把商品賣出去了。短視頻帶貨需要綜合考慮用戶變現、精準引流、開通初創(chuàng)帶貨等，如圖2-11所示。圖2-11短視頻帶貨短視頻吸引注意力需要從標題、封面、內容等幾方面入手。1.標題標題必須吸引人，在前3s就把用戶的眼球吸引住。標題不僅是為了吸引注意力，最重要的是怎樣獲取精準用戶，平臺會根據標題決定是否推薦。標題的作用就是讓精準受眾一看就知道要表達的主題是什么，更利于精準引流。標題的類型有很多種，但必須簡潔明了，可以加入懸念、反問、疑問式等。寫標題沒有固定的模式，也沒有固定的模板，也可以隨著自己的角度去寫，有時候就靠感覺。不同的人寫標題的模式及手法也不同，因人而異，當然效果也不同。2.封面選擇最精彩的畫面作為封面，吸引用戶觀看。之后也可統(tǒng)一封面，這樣會讓賬號權重更高，垂直度較精準，這樣也能迅速獲取“精準粉”。3.音樂優(yōu)先用熱門音樂，根據實際情況具體選擇。4.內容視頻內容不能單薄，應富有創(chuàng)意性，可選擇搞笑內容，畫面應感人，但視頻一定要短而精。第3章音視頻開發(fā)常用工具工欲善其事，必先利其器。音視頻知識比較復雜，掌握幾款常用的音視頻工具，對于初學者非常有幫助，可以做到事半功倍。VLC是一款功能很強大的開源播放器，支持多種常見音視頻格式，支持多種流媒體傳輸協(xié)議，也可當作本地流媒體服務器使用。MediaInfo用來分析視頻和音頻文件的編碼和內容信息。ElecardStreamAnalyzer是一款簡單小巧的碼流分析工具，通過該軟件，用戶可以快速地分析視頻序列碼流。FFmpeg是一個跨平臺的音視頻處理庫，是一套可以用來記錄、轉換數字音視頻，并能將其轉化為流的開源計算機程序。3.1VLC播放器簡介VLC是一款功能很強大的開源播放器，VLC的全名為VideoLanClient，是一個開源的、跨平臺的視頻播放器。VLC支持多種常見音視頻格式，支持多種流媒體傳輸協(xié)議，也可當作本地流媒體服務器使用。官網下載網址為/。3.1.1VLC播放器VLC多媒體播放器是VideoLAN計劃的多媒體播放器。它支持眾多音頻與視頻解碼器及文件格式，并支持DVD影音光盤、VCD影音光盤及各類流式協(xié)議。它也能作為unicast或multicast的流式服務器在IPv4或IPv6的高速網絡連接下使用。它融合了FFmpeg的解碼器與libdvdcss程序庫，使其有播放多媒體文件及加密DVD影碟的功能。作為音視頻的初學者，很有必要熟練掌握VLC這個工具。3.1.2VLC的功能列表VLC是一款自由、開源的跨平臺多媒體播放器及框架，可播放大多數多媒體文件、DVD、CD、VCD及各類流媒體協(xié)議文件。VLC支持大量的音視頻傳輸、封裝和編碼格式，下面列出簡要的功能列表。(1)操作系統(tǒng)包括Windows、WindowsCE、Linux、MacOSX、BEOS、BSD等。(2)訪問形式包括文件、DVD/VCD/CD、HTTP、FTP、TCP、UDP、HLS、RTSP等。(3)編碼格式包括MPEG、DIVX、WMV、MOV、3GP、FLV、H.264、FLAC等。(4)視頻字幕包括DVD、DVB、Text、Vobsub等。(5)視頻輸出包括DirectX、X11、XVideo、SDL、FrameBuffer、ASCII等。(6)控制界面包括WxWidgets、QT、Web、Telnet、Commandline等。(7)瀏覽器插件包括ActiveX、Mozilla等。3.1.3VLC播放網絡串流VLC播放一個視頻大致分為4個步驟：第一步，access，即從不同的源獲取流；第二步，demux，即把通常合在一起的音頻和視頻分離（有的視頻也包含字幕）；第三步，decode，即解碼，包括音頻和視頻的解碼；第四步，output，即輸出，也分為音頻和視頻的輸出（aout和vout）。使用VLC可以很方便地打開網絡串流。首先單擊主菜單的“媒體”，選擇“打開網絡串流”，如圖3-1所示，然后在彈出的對話框界面中輸入網絡URL，如圖3-2所示，單擊“播放”按鈕，即可看到播放的網絡流效果，如圖3-3所示。測試地址為CCTV-1高清頻道/hls/cctv1hd.m3u8。圖3-1VLC打開網絡串流圖3-2VLC輸入網絡串流地址圖3-3VLC播放CCTV-1高清頻道3.1.4VLC作為流媒體服務器VLC的功能很強大，它不僅是一個視頻播放器，也可作為小型的視頻服務器，一邊播放一邊轉碼，把視頻流發(fā)送到網絡上。VLC作為視頻服務器的具體步驟如下。(1)單擊主菜單“媒體”中的“流”選項。(2)在彈出的對話框中單擊“添加”按鈕，選擇一個本地視頻文件，如圖3-4所示。圖3-4VLC流媒體服務器之打開本地文件(3)單擊頁面下方的“串流”下拉