數(shù)字電視音視頻同步的實現(xiàn)

1、這個是因為圖像和聲音處理的差異決定的。對于圖像，由于要做隔行轉(zhuǎn)逐行的處理，所以處理芯片會把幾個幀的畫面放在內(nèi)存中，處理完了再播放出來，所以一般來說，你實際看到的畫面比實時的要晚幾幀（一般是4幀左右），時間差不多是16.67x4= 66多毫秒。當(dāng)然，如果芯片有其他畫質(zhì)處理的功能（比如60赫茲轉(zhuǎn)120赫茲），會花掉更多時間。而聲音的通道就簡單多了，基本上是實時的?，F(xiàn)在很多好的電視（我是指北美市場）都有聲音畫面同步功能，讓聲音也存在內(nèi)存中，過一段時間之后再播放出去。不過LZ說的這個問題，估計是模擬轉(zhuǎn)數(shù)字信號的時候出問題了，可能跟電視沒關(guān)系，純粹是信號流的問題。沒錯因為數(shù)字電視信號中大部分頻道都是音視

2、頻是分開傳輸?shù)模谛盘柌涣嫉那闆r下可能會造成音畫不同步，這時可以報修；還有就是上星的節(jié)目中一般是兩個節(jié)目的音頻共用一個信道傳輸，落地以后再分別拆分編碼傳輸，偶爾也會有這種情況發(fā)生，但這點有線臺是沒辦法解決的（節(jié)目提供商的問題）關(guān)鍵詞：音畫不同步 MPEG-2 PCR DTS PTS 編碼器 解碼器 隨著我國數(shù)字電視的迅猛發(fā)展，以及城市廣電網(wǎng)絡(luò)數(shù)字化改造的推進，越來越多的人們開始采用機頂盒來收看數(shù)字電視節(jié)目。但在通過機頂盒收看電視節(jié)目的過程中，觀眾有時會發(fā)現(xiàn)一些音畫不同步的現(xiàn)象。這也引起了我們的注意。 現(xiàn)象及測試貴陽市在2007年底基本完成了廣電網(wǎng)絡(luò)數(shù)字化改造，貴州電視臺的節(jié)目也都進入了數(shù)字網(wǎng)絡(luò)

3、傳輸。在進入數(shù)字網(wǎng)以后，我們發(fā)現(xiàn)，我臺的幾套節(jié)目在有些地區(qū)出現(xiàn)了音畫不同步的現(xiàn)象，特別是衛(wèi)視頻道和百姓頻道在播報新聞時尤其明顯。為了弄清楚問題出現(xiàn)在哪里，我們決定，在我臺節(jié)目的整個傳輸路徑，作一個唇音同步測試。用來做測試的設(shè)備是泰克公司的WFM7120，在做音/視頻延時測量時，還需要通過TG700 DVG7產(chǎn)生一串短促的彩條視頻信號，在這組視頻信號中嵌入音頻序列，其間隔為5s，將這樣的信號送入被測系統(tǒng)，最后將信號送到WFM7120里以測量音、視頻之間的定時差。 播控中心內(nèi)部測試 如圖1所示，為了測量在電視臺系統(tǒng)內(nèi)部是否存在音/視頻時延差，我們利用檢修時間將TG700產(chǎn)生的測試信號錄入播出硬盤，

4、通過硬盤播放，以及將測試信號分別輸入到延時器和幀同步模塊后，在一個頻道上播出，然后我們在傳送部將信號傳到網(wǎng)絡(luò)公司的編碼器之前，對這三路信號進行測量。測量結(jié)果顯示，這三路信號的音/視頻時延差均不超過12ms，即不夠一場，表明信號在播控中心不存在音畫不同步問題。 不同機頂盒的測試 第二個測量點，我們選擇了網(wǎng)絡(luò)公司的前端機房。如圖2所示，在這里，我們選取了現(xiàn)在國內(nèi)使用的主要幾個品牌的機頂盒做測試，將TG700的測試信號，通過原來我們在用的編碼器編碼后，插入我們現(xiàn)在在播的頻道，然后在前端機房用機頂盒把電視信號解調(diào)出來。解出來的音/視頻信號，再通過一臺松下公司的D950錄像機，把模擬的信號進行A/D和加

5、嵌處理后，送到WFM7120進行測量。測量結(jié)果顯示，這幾種機頂盒的音/視頻時延差表現(xiàn)不一，有的超前了150ms，有的滯后了300ms。這表明不同的機頂盒，對同樣的數(shù)字電視信號進行解調(diào)、解碼后保持音/視頻信號之間的同步關(guān)系有不同的能力。 不同編碼器的測試 如圖3所示，我們?nèi)匀挥肨G700信號發(fā)生器，對不同編碼器進行測試，擦啟用編碼器、調(diào)制器和機頂盒構(gòu)建了一個模擬的播出/收看環(huán)境。在這里，我們采用了不同品牌的幾種編碼器，對TG700的測試信號進行編碼后，經(jīng)過相同的調(diào)制器調(diào)制，再用同一個機頂盒把信號解出來，同樣經(jīng)過D950處理后送到WFM7120測量。最后測量的結(jié)果是，它們的音/視頻時延差有的是30

6、ms，有的則達到了300ms，表明了不同的編碼器，對機頂盒最終收看信號的音/視頻同步有較大影響。 原因分析MPEG-2系統(tǒng)的定時原理 目前，在我國的數(shù)字電視傳輸系統(tǒng)中， MPEG-2標(biāo)準(zhǔn)作為重要的音視頻壓縮標(biāo)準(zhǔn)，在對信號源端的節(jié)目信號壓縮、編碼、復(fù)用，以及接收端對信號的解復(fù)用和解碼部分，得到了廣泛的應(yīng)用。而我們正在使用的數(shù)字傳輸系統(tǒng)，正是基于MPEG-2標(biāo)準(zhǔn)的系統(tǒng)。下面我們來看看MPEG-2的系統(tǒng)結(jié)構(gòu)，如圖4中所示。 由圖4中可看出，音視頻信號在經(jīng)過壓縮編碼器去掉冗余信息后，形成基本碼流。這個基本碼流并不能被直接存儲或傳送，還必須送入特定的打包器，把基本碼流按一定的格式分成段落，并加入特定的標(biāo)

7、識字符，形成所謂的打包基本碼流(PES)。PES包是長度不固定的音、視頻數(shù)據(jù)包，再把音視頻PES包，以及輔助數(shù)據(jù)送入傳輸子系統(tǒng)，分割成一個又一個長度固定為188b的小數(shù)據(jù)包，并通過時分多工復(fù)用形成單一的TS流，該TS流經(jīng)過信道傳輸后到達接收端。 眾所周知，同步是實現(xiàn)電視正確顯示的必要條件。對數(shù)字電視來說，由于在壓縮編碼過程中，利用緩存器對信號存儲，復(fù)用器中信號的時間軸是變動的，加上數(shù)據(jù)冗余量大小的不同，壓縮比也不同，因此時間軸變動很大，尤其是在幀組層處理中，B幀和P幀的順序也發(fā)生了變化。所有這些，使得數(shù)字電視信號的同步，完全失去了原來序列的概念。實現(xiàn)同步的有效辦法，就是在信號碼流中，每經(jīng)過一個

8、規(guī)定的間隔加入一個時間標(biāo)簽。有了這個標(biāo)簽，就可以在接收端在顯示之前的解碼過程中，根據(jù)這個時間標(biāo)簽進行重新排序，重建在壓縮編碼之前圖像的順序，以及聲音和圖像之間的時間關(guān)系，從而實現(xiàn)圖像同步及聲音與圖像同步。 由圖4還可看出，MPEG-2編碼器中有單一的共同系統(tǒng)時鐘STC (27MHz)，此時鐘用來產(chǎn)生指示音頻/視頻正確解碼和顯示時序的時間標(biāo)簽，同時，可用來指示在抽樣瞬間系統(tǒng)時鐘時間的瞬時值。該時鐘由輸入視頻的行同步鎖相，當(dāng)輸入是SDI信號時，由其時鐘經(jīng)10分頻產(chǎn)生編碼器的系統(tǒng)時鐘。正是編碼器中共同系統(tǒng)時鐘的出現(xiàn)，以及解碼器中時鐘的重新生成和時間標(biāo)簽的正確使用，才為解碼器中操作的正確同步提供了基準(zhǔn)

9、。為實現(xiàn)編解碼器的時鐘同步，在編碼器中對STC系統(tǒng)時鐘進行計數(shù)，每隔一定的傳輸時間，在經(jīng)過選擇的TS包的適應(yīng)頭中，傳輸該計數(shù)器的抽樣值給接收機，作為解碼器的節(jié)目時鐘參考信號，既PCR。PCR有效位為42b，其中高33b為PCR_Base，是以27MHz時鐘，經(jīng)300分頻后的時鐘為單位的計數(shù)值，低9b為PCR_Extension，是以27MHz時鐘為單位的計數(shù)值。除PCR外，解碼時間標(biāo)簽DTS和顯示時間標(biāo)簽PTS，也非常重要。它們與PCR_Base相似，也是以編碼器27MHz的系統(tǒng)時鐘，經(jīng)300分頻后為單位的計數(shù)值來創(chuàng)建的。其中，DTS用于指示解碼器何時對接收的圖像、音頻幀進行解碼，PTS用于通

10、知何時顯示已解碼的圖像幀。 在使用雙向編碼時，對某一圖像的解碼，必須在其顯示之前的一段時間內(nèi)進行，這樣它才能作為解碼B幀圖像的源數(shù)據(jù)。例如，圖像的顯示順序是IBBP，但圖像的傳輸順序則是IPBB。MPEG參考模型認(rèn)為解碼是瞬間發(fā)生的，即解碼、顯示同時進行。對于音頻幀和圖像B幀來說，解碼時間和顯示時間是一致的，PTS與DTS相同，因此只要傳輸PTS。對于視頻I幀和P幀來說，由于存在幀重新排序，解碼時間和顯示時間不一樣，此時必須同時傳送PTS與DTS。當(dāng)解碼器接收到IPBB圖像序列時，它必須在解碼第一個B幀圖像之前，對I幀和P幀圖像解碼。解碼器每次只能解碼一幀圖像，因此先對I幀圖像解碼并將其存儲起

11、來，待P幀圖像被解碼時，就輸出顯示已解碼的I幀圖像，隨后才解碼顯示B幀圖像。表1、2、3、4所示，是編碼器輸入、輸出的圖像順序、各幀的PTS、DTS值，以及解碼器對各幀圖像的解碼和顯示順序。 表1中，13幀圖像構(gòu)成一個圖像組，第1幀I幀采用幀內(nèi)編碼，第2、3B幀是由第1、4幀通過雙向預(yù)測得到，第4幀P幀是由第1幀通過前向預(yù)測而得。編碼器在編完第1幀后，先緩存第2、3幀圖像，對第4幀圖像進行編碼，然后再對第2、3幀圖像進行編碼，依次類推，最后得到的編碼輸出順序如表2所示。 由表3和表4可看出，當(dāng)解碼器接收到某個含有一個I幀圖像的存取單元時，在其文件數(shù)據(jù)包中應(yīng)含有DTS與PTS，這兩個標(biāo)簽的值之間

12、的時間間隔為一個圖像周期。在I幀圖像之后是P幀，其文件數(shù)據(jù)包中也應(yīng)有一個DTS和一個PTS，這兩個標(biāo)簽的值之間的時間間隔是三個圖像周期。然后是兩個B幀，其文件數(shù)據(jù)包中只含有PTS。也就是說，I幀圖像在解碼后要延時一幀后才播放顯示，在顯示I幀時對第4幀P幀進行解碼，但不播放顯示，先緩存起來，當(dāng)1I幀播放顯示完后，立即解碼顯示2B幀，然后是3B幀，過后才顯示緩存的4P幀，同時對7P幀進行解碼并緩存，依次類推?？梢姡獯a顯示的圖像順序，與表1的圖像輸入順序是一致的。 解碼器(機頂盒)的定時原理 PTS和DTS只是一個33b的數(shù)值，如果沒有PCR所代表的時間軸做參考，這個數(shù)值是沒有意義的。為了保持正確

13、解碼，必須使編碼器和解碼器(機頂盒)的系統(tǒng)時鐘保持鎖定，即它們的頻率保持一致，以及它們各自的計數(shù)器的初始值一致。 解碼器(機頂盒)中有一個頻率為27MHz左右的壓控振蕩器(VCO)，輸出信號作為系統(tǒng)時鐘送入計數(shù)器中產(chǎn)生當(dāng)前的STC樣值，它與PCR一樣也是42b的一個數(shù)值。其中，高33b是以27MHz經(jīng)過300粉頻后的時鐘為單位的計數(shù)值，低9b是以27MHz時鐘為單位的計數(shù)值。當(dāng)一個新節(jié)目到達解碼器(機頂盒)時，解碼器(機頂盒)從碼流中獲得PCR值，用其PCR_Extention值與當(dāng)前STC的低9b位作比較，得到誤差信號，再通過鎖相環(huán)電路去調(diào)整壓控振蕩器，使解碼器(機頂盒)的系統(tǒng)時鐘頻率，與編

14、碼器的系統(tǒng)時鐘頻率保持一致。從碼流中依次獲得各幀的PTS與DTS值，將其和當(dāng)前STC值的高33b位作比較。如果DTS值大于STC值，則對碼流進行緩存，同時監(jiān)測STC值的變化，當(dāng)STC值增大到與DTS值相等時，對該幀碼流進行解碼，當(dāng)STC值與PTS值相等時，播放該幀。如果由于傳輸網(wǎng)絡(luò)的緩沖延時抖動，當(dāng)碼流到達解碼器(機頂盒)時，其PTS值已經(jīng)小于STC值，則解碼器(機頂盒)跳過這一幀，丟棄該幀數(shù)據(jù)。由于PTS和DTS是根據(jù)PCR值產(chǎn)生的，因此必須將獲得的第一個PCR值，作為初始值去置位解碼器(機頂盒)的STC計數(shù)器，使它們的值一樣，否則，將導(dǎo)致時基不同，從而解碼出錯。音頻與視頻的處理相似，只是不

15、存在時序重排的問題。圖5所示是解碼器(機頂盒)PCR工作原理圖。 音畫不同步產(chǎn)生原因 在實際應(yīng)用中，有些編碼器由于輸入視頻信號的時基不穩(wěn)，導(dǎo)致其輸出時鐘發(fā)生抖動，幀同步的間隔不是40ms。這些編碼器，在根據(jù)PCR和緩沖延時設(shè)定初始的DTS值后，每幀的DTS值，由上一個DTS加上一個固定值得到(該值可由如下計算而得：27MHz經(jīng)300分頻后為90kHz，PAL制電視每秒為25幀，由此，該值是90000/25=3600)，并根據(jù)幀類型和GOP類型計算出PTS值。但這段時間PCR值并不是增加3600，導(dǎo)致DTS和PTS相對PCR變大或變小。有些解碼器(機頂盒)沒有采用壓控震蕩器，其系統(tǒng)時鐘為固定的27MHz，只是用接收到的PCR值，初始化本地系統(tǒng)時鐘計數(shù)器的值。編碼器和解碼器(機頂盒)之間不能保持嚴(yán)格的鎖定，這樣就可能導(dǎo)致解碼器(機頂盒)丟幀。而有的解碼器(機頂盒)在發(fā)生丟幀的情況后就不再嚴(yán)格按DTS和PTS解碼顯示，而是根據(jù)緩沖區(qū)的情況來解碼，由于視音頻編碼的延時不一樣，就可能導(dǎo)致音畫不同步。 此外，在從編碼器到解碼器(機頂盒)的傳輸過程中，由于存在著復(fù)用器、調(diào)制器等變延時緩存的環(huán)節(jié)，可能導(dǎo)致PCR包的