視頻修復(fù)技術(shù)研究_圖文

1、第43卷第12A期 2016年12月計(jì)算機(jī)科學(xué)Computer Science視頻修復(fù)技術(shù)研究唐淮燦沈長(zhǎng)達(dá)吳少華(廈門(mén)市美亞柏科信息股份有限公司 廈門(mén)361008摘要隨著智能手機(jī)和監(jiān)控安防設(shè)備的普及,視頻隨手拍和監(jiān)控視頻攝像頭已經(jīng)布滿(mǎn)了生活中的各個(gè)角落。如 手機(jī)、行車(chē)記錄儀、安防攝像頭、執(zhí)法記錄儀等設(shè)備每天都大批量地制作出視頻數(shù)據(jù)。這些視頻數(shù)據(jù)可能記錄著重 要的信息,視頻取證已經(jīng)成為取證系統(tǒng)中非常重要的一環(huán)。遺憾的是這些寶貴的視頻數(shù)據(jù)有時(shí)會(huì)遭遇各種意外,有. 的是設(shè)備故障導(dǎo)致視頻錄制中斷,錄制出來(lái)的視頻無(wú)法播放,有的則是被人為刪除,雖然有數(shù)據(jù)恢復(fù)軟件可以恢復(fù) 視頻數(shù)據(jù),但是由于某些視頻封裝格式

2、對(duì)文件的完整性要求較高,恢復(fù)出來(lái)的數(shù)據(jù)有時(shí)并不是完整的數(shù)據(jù),其中有 一小部分?jǐn)?shù)據(jù)可能已經(jīng)被覆蓋,這會(huì)導(dǎo)致視頻損壞無(wú)法播放,但是沒(méi)有被覆蓋的數(shù)據(jù)可能就有關(guān)鍵信息,這時(shí)需要 有一項(xiàng)技術(shù)可以對(duì)這些不完整的視頻進(jìn)行修復(fù),使得視頻可以重新播放。關(guān)鍵詞視頻修復(fù),視頻損壞,視頻取證中圖法分類(lèi)號(hào)TP309文獻(xiàn)標(biāo)識(shí)碼AResearch on Repair Technology of VideoTANG H uaican SHEN Chang-da WU Shao-hua(Xiamen Meiya Pieo Information Co.,Ltd,Xiamen 361008,ChinaAbstract With

3、the popularity of Smartphone and Surveillance camera.It is easy to make a video.The equipment likes Smart_phone,Tachograph,Surveillance camera,Site enforcement Recorder,etc.make a large number of videos every day.This videos may take some important message.Video evidence has been a very important pa

4、rt of evidence system.It is pity that these valuable video data are easily destroyed,such as equipment failure and malicious delete file.Although there have recovery software can help US find lost files.But some video format is highly sensitive with the integrity of file.The files that were recovere

5、d by software may lost some parts or may be covered by other files. These files cant be opened by the player.In order tO solve these problems,we need a technology that can repair the videos that have been damaged.Keywords Video repair,Video damage,Video evidence1引言視頻修復(fù)技術(shù)即基于視音頻文件封裝格式和 編碼格式進(jìn)行修復(fù)的技術(shù)。視頻損

6、壞通常是由 于封裝格式被破壞,導(dǎo)致播放器無(wú)法解析該視 頻。修復(fù)視音頻需要在可以組織制作特定封裝 格式的視音頻文件的前提下,基于特征碼和特定 的視音頻編碼格式對(duì)視音頻幀進(jìn)行搜索提取。目前 主流的視頻封裝格式和編碼格式多達(dá)十幾種。本文 將最為常見(jiàn)的幾種封裝格式MP4,MOV,3GP,AVI 的視頻修復(fù)作為切入點(diǎn),對(duì)這幾種視頻封裝格式進(jìn) 行介紹,并分析視頻損壞的原因,進(jìn)而探究視頻修復(fù) 的原理及實(shí)現(xiàn)方案。 2常見(jiàn)視頻封裝格式和編碼格式常見(jiàn)的視頻封裝格式有MP4,MOV,3GP, AVI,RMVB,MKV,M4V等,常見(jiàn)的視頻編碼格式 有H263,H264,H265,MP4V等,常見(jiàn)音頻編碼格 式有MP

7、3,AAC,PCM,AMR等。視頻封裝格式和 編碼格式的關(guān)系就如水杯和水的關(guān)系,水杯是封裝 容器如封裝格式,水是材料如編碼格式。一個(gè)視頻 如果不經(jīng)過(guò)壓縮,那么其大小將非常大,不利于進(jìn)行 網(wǎng)絡(luò)傳輸,或者廣播電視傳輸,還會(huì)極大地占用存儲(chǔ) 空間,視音頻編碼格式就是一種將視音頻進(jìn)行有損 壓縮的技術(shù),可以在保證畫(huà)質(zhì)最優(yōu)化的情況下實(shí)現(xiàn) 最大的壓縮比。幾種常見(jiàn)的封裝格式如下:唐淮jllll(1990-,男,本科,主要研究方向?yàn)橐曇纛l修復(fù)和數(shù)據(jù)恢復(fù),E-mail:tanghc;沈長(zhǎng)達(dá)(1989-,男,本科,主要研究方向?yàn)?文件系統(tǒng)解析及數(shù)據(jù)恢復(fù),E-mail:shencd;吳少華(1985一,男,本科,主要研

8、究方向?yàn)橛?jì)算機(jī)取證,E-mail:wush。 205(1MP4全稱(chēng)MPEG-4Part 14,是一種常見(jiàn)的 多媒體容器格式,現(xiàn)在大部分安卓智能手機(jī)的手機(jī) 錄像都以MP4作為視頻封裝格式。MP4是在 “ISO/IEC 1449614”標(biāo)準(zhǔn)文件中定義的,屬于 MPEG-4的一部分。(23GP是由3GPP定義的一種視頻流媒體容 器格式,是MPEG4Part 14格式的一種簡(jiǎn)化版本, 3GP使移動(dòng)電話(huà)和手機(jī)可以在有限的存儲(chǔ)空間上傳 輸、收發(fā)音視頻數(shù)據(jù)、運(yùn)行音視頻應(yīng)用、播放音視頻 文件。(3MOV是蘋(píng)果公司開(kāi)發(fā)的一種音視頻文件 封裝格式,即QuickTime封裝格式。1998年2月11 H,國(guó)際標(biāo)準(zhǔn)組織

9、ISO認(rèn)可QuickTime文件格式作 為MPEG-4標(biāo)準(zhǔn)的基礎(chǔ)。QT可儲(chǔ)存的內(nèi)容相當(dāng)豐 富,除了視頻、音頻以外還支持圖片、文字等。(4AVI英文全稱(chēng)Audio Video Interleaved,即 音視頻交錯(cuò)格式,是微軟公司于1992年11月推出 的。AVl只允許一個(gè)視頻軌道和一個(gè)音頻軌道,而 且沒(méi)有流媒體功能,無(wú)法進(jìn)行在線播放。不過(guò)現(xiàn)在 的非標(biāo)準(zhǔn)插件可以加入最多兩個(gè)音頻軌道,還可以 添加文字。雖然AVI格式已經(jīng)比較老,而且功能單 一,但是現(xiàn)在很多執(zhí)法記錄儀、行車(chē)記錄儀都是使用 AVI作為媒體封裝格式以存儲(chǔ)視頻文件,所以AVI 也是視頻修復(fù)重點(diǎn)研究對(duì)象。3視頻文件損壞的原因播放器在播放一個(gè)

10、視頻文件時(shí)需要獲取視頻的 編碼信息,如寬高、編碼格式、視音頻時(shí)長(zhǎng)、幀率、 pts、碼率、dts等信息。在視頻文件中會(huì)記載這些信 息,如果記載這些信息的數(shù)據(jù)區(qū)域被破壞,播放器就 無(wú)法正確解析視頻文件,進(jìn)而無(wú)法選擇合適的解碼 策略來(lái)對(duì)視音頻進(jìn)行解碼播放,這就是視頻損壞的 原因。對(duì)于一些監(jiān)控視頻,即使任意破壞或者截取 視頻的一段數(shù)據(jù),該視頻仍然可以正常播放。這是 因?yàn)檫@些監(jiān)控設(shè)備使用特定的流來(lái)存放視音頻數(shù) 據(jù),如H264數(shù)據(jù)流、MPEG2一TS流等。這些數(shù)據(jù)流 的每個(gè)關(guān)鍵幀都會(huì)有解碼的必需信息,所以即使被 破壞了,還是可以正常播放,這些視頻流就無(wú)需修 復(fù)。MP4封裝格式由一個(gè)個(gè)的box組成,外層的

11、box可以再包含子box。MP4最外層基本都會(huì)有3個(gè)box:ftyp,mdat,moov。視音頻的解碼信息就存 在于moov里。有些視頻文件將nIOOv存放在視頻 頭部,而有些視頻文件將moov寫(xiě)在視頻尾部。當(dāng) 206 moov被破壞時(shí),MP4視頻文件則無(wú)法播放。moov 中還記錄了視音頻幀在本視頻文件中的偏移地址, 如果moov在視頻頭部,刪除視音頻數(shù)據(jù)中的某段 數(shù)據(jù),則會(huì)導(dǎo)致后續(xù)的視音頻幀偏移地址全部錯(cuò)誤, 造成視頻前面可以正常播放,播放一段時(shí)間后無(wú)法 播放的情況;如果moov在視頻尾部,刪除視頻數(shù)據(jù) 中的某段數(shù)據(jù),則會(huì)導(dǎo)致后續(xù)的視音頻幀偏移地址 全部錯(cuò)誤,而且連moov的偏移地址都會(huì)出現(xiàn)

12、錯(cuò)誤, 播放器無(wú)法找到moov,這會(huì)導(dǎo)致整個(gè)視頻都無(wú)法播 放。AVI視頻文件由3大塊組成:信息塊、數(shù)據(jù)塊和 索引塊,這3個(gè)塊在視頻文件中依次排列,信息塊在 文件頭,接下來(lái)是數(shù)據(jù)塊,索引塊在文件尾部。信息 塊記錄了編碼信息,如視頻寬高、視音頻編碼格式、 視音頻時(shí)長(zhǎng)等;數(shù)據(jù)塊是具體的視音頻幀數(shù)據(jù),占 整個(gè)文件的大部分存儲(chǔ)空間;索引塊記錄了視音頻 幀在本文件中的偏移地址,是否是關(guān)鍵幀等信息。 如果信息塊遭到破壞,那么AVI視頻就無(wú)法播放 了,但是由于AVI還可以封裝一些流格式的視頻, 因此一些AVI即使被破壞了信息塊,視頻還是能夠 播放。如果是索引塊被破壞,由于索引塊在視頻尾 部,被破壞并不會(huì)影響前

13、面的視頻數(shù)據(jù),視頻還可以 正常播放,但是索引塊記錄了視音頻偏移地址和是 否是關(guān)鍵幀的信息,索引塊被破壞后視頻雖然可以 播放,但可能會(huì)導(dǎo)致無(wú)法拖動(dòng)進(jìn)度條,或者因?yàn)殛P(guān)鍵 幀標(biāo)記丟失,導(dǎo)致出現(xiàn)拖動(dòng)進(jìn)度條卡頓的情況。4視頻修復(fù)原理探究視頻損壞的原因后,可以知道視頻損壞是 由于丟失了重要的解碼信息。丟失解碼信息的場(chǎng)景 有:(1視頻錄制過(guò)程中被外力突然中斷,來(lái)不急寫(xiě) 入視頻解碼信息,如突然斷電、無(wú)人機(jī)墜毀等。 (2硬盤(pán)被格式化或者視頻被刪除,使用數(shù)據(jù)恢 復(fù)軟件進(jìn)行恢復(fù),但是沒(méi)有完整恢復(fù),只恢復(fù)出部分 數(shù)據(jù),且恢復(fù)出的數(shù)據(jù)不包含解碼信息,導(dǎo)致無(wú)法播 放。(3電腦中病毒,導(dǎo)致視頻文件被破壞。以上的3種場(chǎng)景下,

14、解碼信息都是無(wú)法找回的。 這就需要有一個(gè)參照視頻可以提供最基礎(chǔ)的解碼信 息,如視頻的寬高、編碼格式。而其它解碼信息如視 頻時(shí)長(zhǎng)、視音頻幀偏移地址則需要根據(jù)損壞視頻計(jì) 算得出。參照視頻必須是同一設(shè)備型號(hào)錄制出來(lái)的 可播放的視頻。對(duì)于硬盤(pán)被格式化或者視頻被刪除的情況,通常文件在磁盤(pán)上的存放是不連續(xù)的,而是 由文件系統(tǒng)進(jìn)行管理,這就導(dǎo)致數(shù)據(jù)恢復(fù)、軟件恢復(fù) 出來(lái)的視頻文件有可能存在碎片,使得視音頻幀的 偏移地址出現(xiàn)變化,所以視頻修復(fù)應(yīng)該是去搜索損 壞視頻的視音頻幀,然后將搜索到的視音頻幀根據(jù) 參照視頻的一些必需信息,重新計(jì)算視音頻時(shí)長(zhǎng)、視 音頻幀數(shù)、視音頻偏移地址等信息,從而組成一個(gè)新 的視頻文件。通

15、過(guò)以上的分析,可以得出視頻修復(fù) 的大致步驟:(1解析參照視頻,獲取視頻寬高、編碼格式、視 音頻幀頭部等信息。(2根據(jù)從參照視頻獲取的視音頻頭部信息進(jìn) 行幀搜索,得到損壞視頻中的視音頻幀。(3處理搜索到的視音頻幀,計(jì)算總幀數(shù)、pts、 dts、幀大小、幀偏移地址、關(guān)鍵幀標(biāo)志等信息。(4根據(jù)以上步驟得到的數(shù)據(jù)封裝出新的視頻 文件,完成修復(fù)。5MP4封裝格式視頻文件修復(fù)MP4,3GP,MOV,M4V封裝格式均符合ISO/ IEC 1449612標(biāo)準(zhǔn),針對(duì)這幾個(gè)封裝格式的視頻修 復(fù)可以做統(tǒng)一處理,本文中簡(jiǎn)稱(chēng)為MP4修復(fù)。 (1解析參照視頻MP4最外層是由3個(gè)box組成:typ,mdat和 moov,視

16、頻修復(fù)的第一步需要解析參照視頻,即解 析這3個(gè)box的內(nèi)容。ftyp用于描述該MP4的版 本和兼容的格式,可以直接復(fù)制到待修復(fù)文件;mdat box里面記錄的是視音頻數(shù)據(jù),在解析參照視頻這 一步先跳過(guò);moov由多個(gè)子box組成,如stsz box 描述了每個(gè)sample的大小,stsc box描述了sample 和chunk的映射關(guān)系,stss box記錄了關(guān)鍵幀列表。 MP4的解碼信息都存在于moov box,需要將moov 里面的內(nèi)容全部解析并存放起來(lái),后續(xù)步驟則根據(jù) moov的內(nèi)容進(jìn)行相應(yīng)的處理。(2搜索視音頻幀由于MP4可以封裝多種視音頻編碼,因此在搜 索視音頻幀時(shí)需要對(duì)其進(jìn)行區(qū)分。

17、需要掌握對(duì)應(yīng)的 視音頻編碼的相關(guān)知識(shí),熟悉視音頻碼流結(jié)構(gòu),根據(jù) 碼流結(jié)構(gòu)特征來(lái)搜索視音頻幀。視頻數(shù)據(jù)以幀的形 式進(jìn)行編碼,幀種類(lèi)有3種,分別是I幀、P幀和B 幀,I幀即參考幀,由全幀圖像壓縮得來(lái);P幀是前向 預(yù)測(cè)編碼幀,它的解碼需要參考I幀;B幀即雙向預(yù) 測(cè)內(nèi)插編碼幀,B幀以前面的I幀和B幀為參考幀, 并且以后面的P幀為參考幀。(3計(jì)算更新moov boxmoov box里面有多個(gè)子box用以記錄視音頻 幀的相關(guān)信息,如幀在本文件的偏移地址、幀的總幀 數(shù)、是否是隨機(jī)參考幀、幀的duration等信息。搜索 到視頻幀后需要對(duì)相應(yīng)的box進(jìn)行更新,這一步的 策略是復(fù)制參照視頻的moov,然后對(duì)需要

18、更新的 box進(jìn)行更新,如stss box(隨機(jī)參考幀列表需要根 據(jù)搜索到的視音頻幀的實(shí)際情況進(jìn)行更新。steo box(chunk偏移列表需要根據(jù)新文件視音頻幀在 文件中的偏移地址進(jìn)行設(shè)定。stsz box(sample大 小需要根據(jù)搜到的視音頻幀的大小進(jìn)行設(shè)定。還 需更新stts box(time to sample幀duration映射表 等box。(4生成新的視頻文件有了以上步驟的準(zhǔn)備就可以開(kāi)始寫(xiě)入的新的視 頻文件,寫(xiě)入一般步驟是先寫(xiě)入ftyp box,然后寫(xiě)入 mdat box,最后寫(xiě)入moov box。寫(xiě)入完畢后使用播 放器播放新生成的文件查看修復(fù)效果。6AVI封裝格式視頻修復(fù)AV

19、I封裝格式的修復(fù)流程和MP4一樣,都是先 解析參照視頻,然后搜索視音頻幀,更新相關(guān)視音頻 解碼信息后即可生成修復(fù)后的視頻文件。(1解析參照視頻AVI也是由一個(gè)個(gè)的box組成,最外層的是 RIFF box。AVI視頻頭部的信息塊記錄了解碼信 息,如avih box記錄了視頻間隔時(shí)間、最大數(shù)據(jù)率、 總幀數(shù)、視頻寬高等信息。strh box則記錄了流類(lèi) 型,其中“auds”代表音頻流,“vids”代表視頻流, “txts”代表文字流,strh box還記錄流的開(kāi)始時(shí)間和 長(zhǎng)度等信息。數(shù)據(jù)塊由movi box構(gòu)成,里面記錄的 是一幀幀交錯(cuò)的視音頻數(shù)據(jù)。索引塊用于記錄視音 頻幀在文件中的偏移地址、幀的大

20、小、是否為關(guān)鍵幀 等信息。(2搜索視音頻幀AVI封裝格式的一個(gè)特征是使用四字符碼,即 每一幀視音頻幀均由四字符碼作為開(kāi)頭。由于這個(gè) 特性AVI修復(fù)可以忽略視音頻編碼格式,因此只需 要根據(jù)四字符特征碼進(jìn)行視音頻幀搜索即可。以下 是AVI四字符特征碼的含義:1xxdc壓縮視頻幀2xxdb非壓縮視頻幀3xxwb壓縮音頻幀其中,XX代表的是流的編號(hào),例如視頻流的編 號(hào)是00,那么四字符碼就是00dc,音頻流編號(hào)是01, 207.那么四字符碼即為01wb。所以在搜索AVI封裝格 式的視音頻幀時(shí)需要先獲得視音頻流的編碼,獲得 編碼后就可以得到四字符碼從而進(jìn)行視音頻幀的搜 索。以上四字符碼均為標(biāo)準(zhǔn)ASCII

21、編碼。(3計(jì)算更新索引塊找到視音頻幀后需要重新計(jì)算索引塊,索引塊 的主要內(nèi)容有視音頻幀的偏移地址、幀大小、是否是 關(guān)鍵幀等信息。偏移地址和幀大小均可以在搜索視 音頻幀時(shí)進(jìn)行計(jì)算。關(guān)鍵幀則需要根據(jù)具體的編碼 格式來(lái)進(jìn)行判別。(4生成新的視頻文件封裝AVI格式的步驟一般是先寫(xiě)入信息塊,再 寫(xiě)入數(shù)據(jù)塊,然后寫(xiě)入索引塊,制作完成后使用播放 器播放該視音頻以查看修復(fù)效果。7修復(fù)效果與存在的問(wèn)題從實(shí)驗(yàn)數(shù)據(jù)看只要能提供有效的參照視頻, MP4視頻畫(huà)面修復(fù)率就可達(dá)90%以上,但修復(fù)出的 畫(huà)面中仍偶爾會(huì)有一些視頻碎片,這是由于MP4封 裝格式的幀沒(méi)有特征碼,幀搜索數(shù)量達(dá)到一定量級(jí) 時(shí)會(huì)搜索出一些垃圾數(shù)據(jù)從而導(dǎo)致畫(huà)面出現(xiàn)破損。 通過(guò)優(yōu)化幀搜索算法,提高幀搜索正確率可以減少 畫(huà)面破損。對(duì)于AVI視頻修復(fù),提供正確的參照視 頻可以讓修復(fù)率達(dá)95%以上,而且畫(huà)面極少出現(xiàn)破 損的情況。AVI封裝格式的每個(gè)視音頻幀前都有四 字符碼作為標(biāo)識(shí),幀搜索正確率