2023年SVAC視音頻可信編解碼技術(shù)與應(yīng)用研究報(bào)告

版權(quán)聲明本報(bào)告版權(quán)屬于中國(guó)信息通信研究院，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀點(diǎn)的，應(yīng)將追究其相關(guān)法律責(zé)任。公共安全視頻監(jiān)控?cái)?shù)字視音頻編解碼(SVAC)技術(shù)作為創(chuàng)新的 2 3 4 5 5 7（三）可伸縮編解碼功能（SVC） 20 21 23 24 24 29 40 42 44 45 47 48 48 6 7 8 9 21 22 23 4 281一、SVAC編解碼技術(shù)的發(fā)展提供有力的技術(shù)支撐，公共安全視頻監(jiān)控?cái)?shù)字視音頻編解碼(SVAC)（一）適應(yīng)技術(shù)重心轉(zhuǎn)移，安全與數(shù)智融合應(yīng)用逐趨視音頻壓縮編解碼的基本原理是利用視音頻數(shù)據(jù)中存在的時(shí)間2（二）筑牢編解碼技術(shù)基礎(chǔ)，視頻應(yīng)用體系實(shí)現(xiàn)技術(shù)創(chuàng)新1.國(guó)際參與度待提升2.長(zhǎng)期發(fā)展保障缺失3果，逐步為視頻智能物聯(lián)技術(shù)、應(yīng)用和產(chǎn)業(yè)（三）開拓國(guó)內(nèi)編解碼技術(shù)，標(biāo)準(zhǔn)規(guī)范逐步建立完善慮安全防護(hù)應(yīng)用中的特定需求，形成特有的編解碼標(biāo)準(zhǔn)。國(guó)家標(biāo)準(zhǔn)4GB35114-2017《公共安全視頻聯(lián)網(wǎng)系統(tǒng)信息安全技2GB37300-2018《公共安全重點(diǎn)區(qū)域視頻圖像信息采345GB35114-2017《公共安全視頻聯(lián)網(wǎng)系統(tǒng)信息安全技2GB37300-2018《公共安全重點(diǎn)區(qū)域視頻圖像信息采34567GA1089-2013《電力設(shè)施治安風(fēng)險(xiǎn)等級(jí)和安全防范89GA/T1354-2018《安防視頻監(jiān)控車載數(shù)字錄像設(shè)備技（四）獲得主流廠商產(chǎn)品支持，產(chǎn)業(yè)生態(tài)已初步形成5（一）SVAC標(biāo)準(zhǔn)技術(shù)框架601非IDR圖像的編碼片tile_data_rbsp()2IDR圖像的編碼片tile_da3非IDR圖像的SVC增強(qiáng)層編碼片tile_data_rbsp()4IDR圖像的SVC增強(qiáng)層編碼片tile_data_rbsp()5監(jiān)控?cái)U(kuò)展數(shù)據(jù)單元surveillance_extension_rbsp()6補(bǔ)充增強(qiáng)信息sei_rbsp()7序列參數(shù)集seq_parameter_set_rbsp()8圖像參數(shù)集9安全參數(shù)集sec_parameter_set_rbsp()本標(biāo)準(zhǔn)第6章使用SVC增強(qiáng)層圖像參數(shù)集pic_paramNal_unit_type為NALHeader的一部分（4bit），用于定義/標(biāo)識(shí)RB視音頻流封裝網(wǎng)絡(luò)協(xié)議網(wǎng)絡(luò)抽象單元（視音頻流封裝網(wǎng)絡(luò)協(xié)議（SVAC編解碼標(biāo)準(zhǔn)定義）協(xié)議割為編碼單元及編碼單元進(jìn)一步劃分的方式，規(guī)定了編碼比特流中NAL單元的類型以及其中各語(yǔ)法元素的語(yǔ)法格式與語(yǔ)義，闡述了編信息的語(yǔ)法格式。71.視頻編碼流程及運(yùn)動(dòng)補(bǔ)償、變換/反變換、量化/反量化、熵編碼、濾波補(bǔ)償工具等2.編碼單元（CTU）劃分結(jié)構(gòu)8323232323.編碼片（Tile）93573574.幀內(nèi)預(yù)測(cè)4468Plan：25.幀間預(yù)測(cè)6.變換編碼上述量化過(guò)程主要目是在不降低重建后的視頻質(zhì)量前提下盡可7.熵編碼8.環(huán)路濾波波后的解碼圖像作為參考幀。環(huán)路濾波首先是加入去塊效應(yīng)濾波器（三）可伸縮編解碼功能（SVC）SVAC標(biāo)準(zhǔn)支持空域可伸縮編碼（SSVC）與時(shí)域可伸縮編碼2）視頻內(nèi)容分級(jí)存儲(chǔ)：重要視頻數(shù)據(jù)采用存儲(chǔ)基本層+增強(qiáng)寬低時(shí)可以根據(jù)網(wǎng)絡(luò)情況丟棄增強(qiáng)層數(shù)據(jù)或者只傳輸基顏色通道由淺到深的色彩級(jí)數(shù)/動(dòng)態(tài)范圍可從8bit的256級(jí)提高到精度碼流來(lái)進(jìn)行視頻編碼壓縮，可以在同等碼流下獲得比更多的顏色意味著視頻畫面能在色彩的漸進(jìn)變化和呈現(xiàn)方器流程圖分別見(jiàn)圖8和圖9。編碼器輸入音頻信號(hào)采樣頻率分為號(hào)在編碼之前的預(yù)處理中進(jìn)行重采樣，轉(zhuǎn)換為內(nèi)部采樣頻率Fs。同 解復(fù)用后處理高頻參數(shù)重建高頻信號(hào)模式輸出信號(hào)輸入碼流重建低頻信號(hào)低頻參數(shù)高頻解碼（BWE）ACELP和TAC雙核解碼 解復(fù)用后處理高頻參數(shù)重建高頻信號(hào)模式輸出信號(hào)輸入碼流重建低頻信號(hào)低頻參數(shù)高頻解碼（BWE）ACELP和TAC雙核解碼復(fù)用特征壓縮復(fù)用特征壓縮（矢量量化）VAD特征提取倒譜計(jì)算去直流偏置噪聲消除倒譜計(jì)算去直流偏置噪聲消除波形預(yù)處理去信道干擾圖片，可根據(jù)需要使用標(biāo)準(zhǔn)中未定義的擴(kuò)展信息ID，基于擴(kuò)展信息SVAC數(shù)據(jù)可信安全技術(shù)原理旨在保證數(shù)據(jù)安全與可信性。（一）優(yōu)化的視頻編碼工具，提升編碼效率和響應(yīng)性能（二）強(qiáng)化的數(shù)據(jù)安全保護(hù)能力，保障數(shù)據(jù)真實(shí)完整和流程安全2.安全參數(shù)集，實(shí)現(xiàn)按需視頻保護(hù)3.多算法支持，具備靈活性與可擴(kuò)展性4.信源級(jí)安全保護(hù)，保障數(shù)據(jù)全生命周期安全（三）強(qiáng)大的數(shù)智融合能力，支持復(fù)雜場(chǎng)景靈活擴(kuò)展適于打造多維感知融合的智能攝像機(jī)和端邊云協(xié)同的視頻大數(shù)據(jù)系全現(xiàn)視頻數(shù)據(jù)全生命周期的安全防護(hù)：在視頻編碼的安全參數(shù)集中定義加密及認(rèn)證信息，自攝像機(jī)1.視音頻與時(shí)空信息融合呈現(xiàn)，支撐精準(zhǔn)快速?zèng)Q策放過(guò)程中解算出時(shí)空信息，并在GIS地圖等畫面上呈現(xiàn)視頻采集位2.人工智能協(xié)同計(jì)算，提升效率和資源占用4.跨網(wǎng)、跨域復(fù)雜系統(tǒng)架構(gòu)下，實(shí)現(xiàn)融合數(shù)據(jù)應(yīng)用（一）智慧交通1.交通狀態(tài)可視化監(jiān)測(cè)2.重點(diǎn)車輛管控3.道路信息脫敏發(fā)布1.保障視頻系統(tǒng)和數(shù)據(jù)安全2.各類技術(shù)手段的融合應(yīng)用重大活動(dòng)安保面臨場(chǎng)館設(shè)施和周報(bào)交通等各類復(fù)雜環(huán)境的對(duì)大3.視頻與物聯(lián)網(wǎng)的環(huán)境管控融合應(yīng)用4.目標(biāo)跟蹤與傳感器數(shù)據(jù)關(guān)聯(lián)5.數(shù)據(jù)隱私保護(hù)1.空氣質(zhì)量監(jiān)測(cè)2.噪音水平監(jiān)測(cè)3.溫濕度監(jiān)測(cè)4.環(huán)境事件預(yù)警1.智慧停車管理2.城市設(shè)施運(yùn)維3.違章占用道路和公共設(shè)施4.垃圾智能管理5.智慧環(huán)衛(wèi)管理1.安全保衛(wèi)2.設(shè)備監(jiān)控和維護(hù)和維護(hù)至關(guān)重要。通過(guò)SVAC智能攝像機(jī)3.安全巡檢和巡邏4.安全監(jiān)測(cè)5.環(huán)境監(jiān)測(cè)和保護(hù)助于及時(shí)發(fā)現(xiàn)并解決能源行業(yè)及其次生的環(huán)境污染和其他潛在的環(huán)6.能源效率管理7.實(shí)時(shí)數(shù)據(jù)分析和決策支持動(dòng)，更可提升業(yè)務(wù)應(yīng)用能力。例如，在金融機(jī)構(gòu)數(shù)據(jù)中心引入符合“捆綁”校驗(yàn)審計(jì)，以防止信息被屏蔽或篡改。1.自然災(zāi)害響應(yīng)2.突發(fā)事件管理3.火災(zāi)和救援4.污染事件應(yīng)對(duì)5.公共衛(wèi)生緊急響應(yīng)6.人員定位與安全保障1.環(huán)境監(jiān)測(cè)和預(yù)警通過(guò)視頻和物聯(lián)網(wǎng)傳感器對(duì)環(huán)境和有害氣體進(jìn)行監(jiān)測(cè)和預(yù)警是2.化工設(shè)施/設(shè)備運(yùn)行狀態(tài)監(jiān)測(cè)進(jìn)行實(shí)時(shí)監(jiān)測(cè)監(jiān)控和智能分析，可以對(duì)這些設(shè)施/設(shè)備及管道等的運(yùn)3.安全保衛(wèi)4.安全巡檢和巡邏1.實(shí)時(shí)監(jiān)控與安全管理2.安全巡檢和巡邏建筑設(shè)備管理3.施工進(jìn)度監(jiān)控4.安全巡檢和巡邏材料管理與追蹤5.工地環(huán)境監(jiān)測(cè)與管理6.工人定位與安全管理五、SVAC編解碼技術(shù)發(fā)展展望與建議（一）SVAC技術(shù)演進(jìn)方向在新一代技術(shù)浪潮中，眾多廠商和用戶將進(jìn)一步挖掘和發(fā)揮1.視頻和智聯(lián)數(shù)據(jù)安全（1）新技術(shù)拓展（4）降低計(jì)算延遲2.人工智能和物聯(lián)融合（2）統(tǒng)一擴(kuò)展信息定義3.編解碼算法能力提升（1）提升視頻壓縮效率（2）滿足各類產(chǎn)品需求（3）適應(yīng)復(fù)雜場(chǎng)景處理增強(qiáng)魯棒性等方面的性能。編解碼算法應(yīng)提升感興趣區(qū)域增強(qiáng)編碼1.城市治理應(yīng)用文教衛(wèi)、社區(qū)園區(qū)等政府客戶。根據(jù)賽迪顧問(wèn)統(tǒng)計(jì)，2022年中國(guó)治2.企業(yè)服務(wù)應(yīng)用企為代表的各類企業(yè)都在探索通過(guò)生產(chǎn)經(jīng)營(yíng)相關(guān)的信息化軟硬件設(shè)等解決方案。根據(jù)賽迪顧問(wèn)統(tǒng)計(jì)2022年中國(guó)智慧出行市場(chǎng)規(guī)模為3.居民生活應(yīng)用1.強(qiáng)化標(biāo)準(zhǔn)合作與推廣安防行業(yè)組織合作，促進(jìn)標(biāo)準(zhǔn)的普及和應(yīng)用，認(rèn)同標(biāo)準(zhǔn)價(jià)值。推動(dòng)2.推動(dòng)技術(shù)優(yōu)化與創(chuàng)新3.推進(jìn)產(chǎn)業(yè)滲透與融合形成良性互動(dòng)，推進(jìn)SVAC編解碼技術(shù)在國(guó)內(nèi)及國(guó)際上成為技4.促進(jìn)生態(tài)應(yīng)用與推廣5