數(shù)字電視系統(tǒng)中的時(shí)間恢復(fù)和音視頻同步

1、數(shù)字電視系統(tǒng)中的 王 娟 , , (摘 。 討論 MPEG-2傳輸碼流中的時(shí)間信息在, 詳細(xì)介紹兩種 MPEG -2系統(tǒng)時(shí)序時(shí)鐘的恢復(fù)方法 鎖相環(huán)同步和異步置數(shù) 法 , 給出處理音視頻同步的實(shí)際方法 , 采用跳幀或者重復(fù)幀的糾正措施 。 其算法及幾個(gè)主要電路設(shè)計(jì)適 用于各種 MPEG-2解碼器 。關(guān)鍵詞 :時(shí)鐘恢復(fù) ; 音視頻同步 ;MPEG-2標(biāo)準(zhǔn) ;PCR ; PTS ; DTS 中圖分類號(hào) :TN941. 3 文獻(xiàn)標(biāo)識(shí)碼 :A 文章編號(hào) :1007-7022(2004 11-0017-03Clock R ecovery and Audio/Video Synchronization in

2、 Digital TV System W ANGJuan , X U Y uan 2xin , LI U Wen 2hua , W ANG K uang(Zhejiang University , Zhejiang Hangzhou 310027, China Abstract :Synchronization of audio/video is one of the difficulties in digital T V system real 2time decoding. The tim 2ing in formation in MPEG-2transport stream and it

3、s function on synchronizing the audio and video is pointed out in this paper. T w o methods to recover the system time clock are discussed in detail :a synchronization scheme by P LL and a sim ple non 2P LL digital scheme. Using the repeat frame and skip frame manner to make it resynchronized when l

4、osing synchronization with audio and video in decoding process. The alg orithm and several circuit designs here are proper for all kinds of MPEG-2decoders.K ey w ords :Clock Recovery ; Audio/Video Synchronization ; MPEG-2Standard ; PCR ; PTS ; DTS1 引言MPEG-2是適用于廣播的運(yùn)動(dòng)圖像及相應(yīng)語音的編碼標(biāo)準(zhǔn) , 是下一代高清晰度數(shù)字電視系統(tǒng)的核心 部

5、分 。 一個(gè)符合 MPEG -2標(biāo)準(zhǔn)的系統(tǒng)碼流可能是傳 送流 (TS , T ransport Stream 或 節(jié) 目 流 (PS , Program Stream , 兩者都是包括了視頻 、 音頻及其他一些基本流 (ES ,E lementary Stream 的復(fù)用流 , 并被打成包用于傳 送 。 高清晰度電視信源解碼器的輸入為符合 MPEG -2系統(tǒng)層標(biāo)準(zhǔn)的傳送流 。 傳送流是由一個(gè)或多個(gè)節(jié)目組成的碼流 , 各個(gè)節(jié)目可以有不同的時(shí)間基準(zhǔn) 。用于 視音頻同步以及系統(tǒng)時(shí)鐘恢復(fù)的時(shí)間標(biāo)簽分別在 ES , 打包分組流 (PES ,Packetised E lementary stream 和

6、TS 這 3個(gè)層次中 。 在 ES 層 , 與同步有關(guān)的主要是 VBV 2De 2lay , 用以防止解碼器的緩沖器出現(xiàn)上溢或者下溢 ; 在 PES 層 , 主 要 是 在 PES 頭 信 息 里 出 現(xiàn) 的 顯 示 時(shí) 間 標(biāo) 簽 (PTS , Presentation T ime Stam p 和 解 碼 時(shí) 間 標(biāo)作者簡介 :王 娟 (19802 , 女 , 碩士研究生 , 研究方向?yàn)閿?shù)字電視傳輸 ; 徐元欣 (19742 , 男 , 博士 , 研究方向?yàn)閿?shù)字通信系統(tǒng) 、 數(shù)字 H DT V 、 芯片設(shè)計(jì) 。71中國有線電視 2004(11 CHI NA C ABLE TE LE VIS

7、I ON 技術(shù)交流簽 (DTS ,Decoding T ime Stam p ; 在 TS 層中 ,TS 頭信息包 含了節(jié)目時(shí)鐘參考 (PCR , Program Clock Reference , 用 于恢復(fù)出與編碼端一致的系統(tǒng)時(shí)序時(shí)鐘 (ST C ,System T ime Clock 。 其時(shí)鐘系統(tǒng)見圖 1 。圖 1 MPEG-2圖 2 典型的 P LL 系統(tǒng)時(shí)鐘恢復(fù)電路在 MPEG -2的共同系統(tǒng)時(shí)鐘 , 在抽樣瞬間系統(tǒng)時(shí)鐘時(shí)間的瞬時(shí)值 。 正是編碼器中共同系統(tǒng)時(shí)鐘的 出現(xiàn) , 以及解碼器中時(shí)鐘的重新生成和時(shí)間標(biāo)簽的正確使用 , 才為解碼器中操作的正確同步提供了基準(zhǔn) 。MPEG-2規(guī)定

8、的系統(tǒng)時(shí)鐘頻率為 27MH z , 傳輸流中的 PCR ,PTS/DTS 等均為對(duì)該共同系統(tǒng)時(shí)鐘的采樣值 。 解碼端捕獲 PCR , 恢復(fù)出本地的 ST C , 作為音視頻同步控制的基準(zhǔn) , 并依據(jù) PTS (DTS 時(shí)間標(biāo)簽來安排解碼和顯示時(shí)間表 , 使音視頻分別同步于 ST C , 以實(shí)現(xiàn)音視頻之間的同步 。標(biāo)準(zhǔn)規(guī)定在原始音頻和視頻流中 ,PTS 的間隔不能超過 0. 7s , 而出現(xiàn)在 TS 包頭的 PCR間隔不能超過 0. 1s 。2 本地時(shí)鐘恢復(fù)在解碼器中 ,ST C 的恢復(fù)是同步的關(guān)鍵 。如果解碼器中的時(shí)鐘頻率和編碼器的時(shí)鐘頻率嚴(yán)格匹配 , 那么視頻和音頻的解碼和顯示將自動(dòng)和編碼器

9、保持相同的速率 。 但在實(shí)際中 , 解碼器均有自主的系統(tǒng)時(shí)間頻率 , 并不和編碼器的系統(tǒng)時(shí)間匹配 , 因而需要利用接收到的 PCR 值來使解碼器服從于編碼器 。2. 1 鎖相環(huán)同步使解碼器的時(shí)鐘服從于接收的數(shù)據(jù)流的典型方法是鎖相環(huán) (P LL , 如圖 2所示 。PCR 是 42bits 的計(jì)數(shù)值 , 其編碼分為兩部分 :33bits 的 PCR -Base 是以系統(tǒng)時(shí)鐘頻率的 1/300為單位 的計(jì)數(shù)值 ;9bits 的 PCR -Ext 則是以系統(tǒng)時(shí)鐘頻率為 單位 。 PCR 的具體編碼方式如下 (編碼在 PCR (i 中的 數(shù)值代表了 t (i ,i 指包含 PCR -Base 字段的最

10、后一位的字節(jié) :PCR -Base (i =系統(tǒng)時(shí)鐘頻率 ×t (i DI V 300%233PCR -Ext (i =系統(tǒng)時(shí)鐘頻率 ×t (i %300PCR (i =PCR - Base (i ×300+PCR-Ext (i PCR 到達(dá)解碼器 時(shí) , ,ST C 被設(shè)置成編 。 通常第一個(gè)從解 被直接裝入到 ST C P LL 閉環(huán)操作 。每當(dāng)一個(gè)新節(jié)目的 PCR 到達(dá)解碼器時(shí) , 此值被認(rèn)為是鎖相環(huán)的參考頻率 , 用來與 ST C 的當(dāng)前值比較 ,產(chǎn)生的差值 e 經(jīng)過脈寬調(diào)制后被輸入低通濾波器并經(jīng)放大 , 輸出控制信號(hào) f , 用來控制振蕩器 (VC O

11、的瞬時(shí)頻率 ,VC O 輸出的頻率是在 27MH z 左右振蕩的信號(hào) ,作為解碼器的系統(tǒng)時(shí)鐘 。 27MH z 時(shí)鐘經(jīng)過波形整理后輸入到計(jì)數(shù)器中 , 產(chǎn)生當(dāng)前的 ST C 值 , 其 33bits 的 90kH z 部分用于和 PTS/DTS 比較 , 產(chǎn)生解碼和顯示的 同步信號(hào) 。 2. 2 異步置數(shù)方式 標(biāo)準(zhǔn)規(guī)定系統(tǒng)時(shí)鐘頻率以 H z 為單位需要滿足以 下條件 :27000000-540 系統(tǒng)時(shí)鐘頻率 27000000+540系統(tǒng)時(shí)鐘頻率的時(shí)間變化率 75×10-3H z/s 如果采用自由晶體振蕩的 27MH z 解碼系統(tǒng)主時(shí) 鐘 , 則解碼端與編碼端系統(tǒng)時(shí)序時(shí)鐘的頻率存在一定

12、差異 , 沒有 P LL 電路控制 , 解碼器緩沖區(qū)將累積偏差 , 發(fā)生上溢或者下溢 ; 音視頻播放時(shí)間也會(huì)發(fā)生偏差 , 最 后形成誤差累積 。采用如圖 3所示的電路 , 可以直接 恢復(fù)系統(tǒng)時(shí)序時(shí)鐘 。 圖 3 異步系統(tǒng)時(shí)序時(shí)鐘直接恢復(fù)電路81 圖中 27MH z 的系統(tǒng)時(shí)鐘是獨(dú)立的 , 每次從碼流中 收到的節(jié)目時(shí)鐘基準(zhǔn)直接對(duì)系統(tǒng)時(shí)序時(shí)鐘計(jì)數(shù)器賦 值 , 從而對(duì)系統(tǒng)時(shí)序時(shí)鐘值的偏差進(jìn)行矯正 。接收到 的節(jié)目時(shí)鐘基準(zhǔn)值經(jīng)過適當(dāng)?shù)呐袆e和濾波 , 可以去除 節(jié)目時(shí)鐘基準(zhǔn)誤碼 , 減少傳輸網(wǎng)絡(luò)引起的節(jié)目時(shí)鐘基 準(zhǔn)抖動(dòng)和偏差 。PCR 的最大間隔是 0. 1s , 符合標(biāo)準(zhǔn)的編碼端和解 碼端 的 系 統(tǒng)

13、 時(shí) 序 時(shí) 鐘 頻 率 最 大 偏 差 為 :540×2/27000000=40×10-6, 每次收到的 PCR 與本地系統(tǒng)時(shí) 序時(shí)鐘值的最大偏差是 0. 1s ×40×10-6=4s , 于 PCR 2Base =0, PCR 2Ext =4s ×27000108, 大抖動(dòng)偏差 , 如圖 4圖 4 異步置數(shù)法恢復(fù)系統(tǒng)時(shí)序偏差對(duì)于采樣率為 44. 1kH z 的音頻來說 , 一個(gè)樣本的時(shí)間間隔約為 22. 7s , 而 60H z 的視頻幀間隔為 16. 7ms 。 采用異步置數(shù)法恢復(fù)的本地系統(tǒng)時(shí)序時(shí)鐘最大偏差為 4s , 可以認(rèn)為是比較準(zhǔn)確

14、的 。 3 音視頻同步在系統(tǒng)時(shí)鐘正確恢復(fù)以后 , 通過正確的 DTS 和 PTS 操作 , 就可以實(shí)現(xiàn)視頻和音頻的同步 ,DTS/PTS 就是系統(tǒng)時(shí)鐘頻率的 1/300編成的 33bits 碼值 。 基本思 想是確保視頻和音頻顯示單元 PU 在編碼器所約束的 正確時(shí)間點(diǎn)上播放 。 下面分別討論視頻的同步和音頻 的同步 。 3. 1 視頻同步當(dāng)解碼器檢測(cè)到視頻 PES 包頭部 (PES Header 到 達(dá)解碼器時(shí) , 系統(tǒng)從頭部數(shù)據(jù)段中抽取 DTS 和 PTS 并 保存到一張列表中 。 解碼時(shí) , 每解到一幀圖像 , 則可以 從列表中讀出相應(yīng)的 DTS/PTS 值并與 ST C 值比較 , 當(dāng)

15、 二者相等時(shí) , 當(dāng)前圖像開始解碼 /顯示 。在 MPEG-2中并非每一個(gè) PES 包或 Picture 均有PTS 和 DTS , 一般間隔為 0. 7s 。對(duì)于沒有 PTS 的 Pic 2ture 要進(jìn)行插值 , 可以在前一 Picture 的 PTS 基礎(chǔ)上加 一增量 (對(duì) DTS 一樣 , 即 PTS n =PTS n -1+PTS , 其中 , n表示當(dāng)前的 Picture 數(shù) , 對(duì)于在 PES 包中僅有 PTS 的情 況 , 我們則認(rèn)為 DTS 等于 PTS 。對(duì)圖像來說 , 其顯示單元為不可分割的視頻幀 , 當(dāng) 不同步時(shí) , (PTS -C , 此時(shí)解碼稍快 , , 視頻解碼暫

16、停 , 等到 ST C 與 ; (2 ST C -PTS 0. 5幀間隔時(shí) , 系統(tǒng)解碼過慢 , 應(yīng)根據(jù)該幀的結(jié)構(gòu)做出相應(yīng)的同步調(diào)整 :若該幀為 B 幀 , 則系統(tǒng)丟掉當(dāng)前幀 , 解碼下一幀 , 同時(shí)顯示前一幀 ; 若該幀為 I 、 P 幀 , 則凍結(jié)前一幀圖像并停止解碼 , 等待 下一 I 幀或者 Video Sequence 的到來 。 3. 2 音頻同步音頻同步和視頻同步類似 , 但音頻處理要有更多的 考慮。 簡單的重復(fù)顯示幀或者跳幀的方法 , 音頻的 “ 幀” 不能太長 , 否則會(huì)產(chǎn)生噪音或跳音 , 引起聽覺的不自然。 音頻輸出沒有類似視頻幀間隔的限制 , 一個(gè)音頻樣本的 時(shí)間間隔比較短。 PT S 的最大間隔是 0. 7s , 當(dāng) PC M 或 系統(tǒng)時(shí)鐘有 40×10-6的偏差時(shí) , 每次引起的偏差最多有 0. 7×40×10-6×44. 1×103=1. 2348個(gè)樣點(diǎn) , 可以考慮每 次跳一個(gè)樣點(diǎn)或者重復(fù)一個(gè)樣點(diǎn)的方法。 4 結(jié)束語針對(duì) TS 碼流 , 本文分析了 MPEG -2各層中的時(shí)間信息 , 詳細(xì)討論了 MPEG-2 解碼系統(tǒng)的系統(tǒng)時(shí)序時(shí) 鐘的恢復(fù)以及音視頻的同步實(shí)現(xiàn) 。實(shí)驗(yàn)表明 , 系統(tǒng)能 及時(shí)正確地恢復(fù)本地時(shí)鐘 , 音視頻解碼與顯示同步正 確