GBT 40768-2021 視頻流與時空信息融合編碼規(guī)范

視頻流與時空信息融合編碼規(guī)范2021-10-11發(fā)布2021-10-11實施I前言 2術語和定義 3基本規(guī)定 13.1時間系統(tǒng) 3.2空間基準 4融合編碼 24.1融合編碼內(nèi)容 24.2融合編碼要求 34.3融合編碼方式 34.4融合編碼成果 3附錄A(資料性附錄)融合編碼外部映射文件樣例 附錄B(資料性附錄)視頻流與時空信息融合編碼樣例 5附錄C(資料性附錄)視頻流與時空信息封裝融合編碼樣例 參考文獻 8Ⅲ本標準按照GB/T1.1—2009給出的規(guī)則起草。請注意本文件的某些內(nèi)容可涉及專利。本文件的發(fā)布機構不承擔識別這些專利的責任。本標準由中華人民共和國自然資源部提出。本標準由全國地理信息標準化技術委員會(SAC/TC230)歸口。本標準起草單位：中測新圖(北京)遙感技術有限責任公司、浙江中測新圖地理信息技術有限公司、中測新圖(北京)低空數(shù)碼測繪技術有限公司、自然資源部測繪標準化研究所、南京師范大學、杭州?？低晹?shù)字技術股份有限公司。視頻在軍事偵查、公共場所監(jiān)視、交通違章監(jiān)控等方面的應用相對成熟，但受空間定位、時間同步、遠程傳輸?shù)燃夹g的限制，視頻數(shù)據(jù)多用于目標的動態(tài)監(jiān)視，無法實現(xiàn)基于視頻數(shù)據(jù)的目標空間定位與量測。隨著導航定位、智能識別以及高速通信技術的發(fā)展，視頻數(shù)據(jù)獲取的時效性、準確性都得到了空前發(fā)展，人們逐漸由基于視頻圖像的偵查、監(jiān)視應用，向基于視頻的空間量測方向發(fā)展。將空間信息與視頻數(shù)據(jù)通過時間關聯(lián)對應，實現(xiàn)視頻空間量測的方法較為普遍，但存在視頻與時空信息編碼內(nèi)容不確1視頻流與時空信息融合編碼規(guī)范1范圍本標準規(guī)定了視頻流與時空信息融合編碼的數(shù)據(jù)內(nèi)容、融合編碼要求、融合編碼方式以及融合編碼產(chǎn)品分級。本標準適用于機載、地面移動與靜止狀態(tài)下獲取的視頻流與時空信息融合編碼。2術語和定義下列術語和定義適用于本文件。視頻流videostream由時間序列的靜態(tài)圖像形成的連續(xù)數(shù)據(jù)流。視頻時空信息spatiotemporalinformationofvideo視頻幀獲取時刻的時間、位置、姿態(tài)信息和傳感器參數(shù)。時間戳timestamp量測和記錄某一對象狀態(tài)時的時間值。[GB/T27918—2011,定義4.53]融合編碼fusionencoding輸入的圖像樣本流與時空信息合并成一個數(shù)據(jù)實體，并產(chǎn)生壓縮位流的過程。從未受保護的幀構造為受保護的幀。注1:本文件特指將已經(jīng)編碼后的視頻流與時空信息按照一定的格式要求形成一個文件的過程。注2:改寫ISO/IEC/IEEE8802-11:2018,定義3.1.68。3基本規(guī)定3.1時間系統(tǒng)在機載、地面移動狀態(tài)下獲取的視頻流宜選擇協(xié)調(diào)世界時(CoordinatedUniversalTime,UTC)時間系統(tǒng)；在地面靜止狀態(tài)下獲取的視頻流可選擇協(xié)調(diào)世界時，亦可選擇北京時間。3.2空間基準空間基準包括坐標系統(tǒng)、高程基準和姿態(tài)信息，并應符合下列要求：a)坐標系統(tǒng)宜采用2000國家大地坐標系；b)高程基準宜采用1985國家高程基準。24融合編碼4.1融合編碼內(nèi)容融合編碼內(nèi)容應包括視頻流和時空信息，其中視頻流是由時間序列的靜態(tài)圖像組成，時空信息包括基本要素信息和變化信息，具體構成如下：a)基本要素信息：包含時間系統(tǒng)、空間基準、視頻傳感器參數(shù)等內(nèi)容，可根據(jù)應用需求選擇基本要素信息種類，具體見表1;表1基本要素表序號基本要素說明1時間系統(tǒng)CHAR型，用于描述采用的時間系統(tǒng)，樣例如協(xié)調(diào)世界時，表示為UTC2空間基準CHAR型，用于描述采用的空間基準，樣例如2000國家大地坐標系，1985國家高程基準，表示為CGCS2000,HVD19853INT型，圖像寬度，單位像素，樣例如1920像素，表示為19204INT型，圖像高度，單位像素，樣例如1080像素，表示為10805DOUBLE型，水平方向單個像素的物理尺寸，單位微米，樣例如2.59μm,表示為2.596DOUBLE型，垂直方向單個像素的物理尺寸，單位微米，樣例如2.59μm,表示為2.597CXDOUBLE型，像主點X坐標，單位毫米，樣例如0.0523mm,表示為0.05238DOUBLE型，像主點Y坐標，單位毫米，樣例如一0.00518mm,表示為一0.005189DOUBLE型，水平方向焦距，單位毫米，樣例如34.8248mm,表示為34.8248DOUBLE型，垂直方向焦距，單位毫米，樣例如34.8248mm,表示為34.8248畸變參數(shù)DOUBLE型，用于表示視頻傳感器徑向畸變、切向畸變、水平和垂直平移畸變、水平和垂直其他預留信息，用于添加其他基本要素表2變化信息表序號變化信息說明1幀號INT型，該幀數(shù)據(jù)所處視頻的幀序：幀號大小從1至視頻的最后一幀，該項為可選項2日期CHAR型，表示視頻起始拍攝日期，表達方式為YYYYMMDD,樣例如2019年7月24日，表示為201907243時間CHAR型，表示視頻幀獲取時刻的時間，表達方式為hhmmsssss,樣例如5點15分24.556秒，表示為0515245564緯度DOUBLE型，表達方式為dd.ddddd,單位度(前導位數(shù)不足則補0),樣例如39.98214°,表示為39.982145經(jīng)度DOUBLE型，表達方式為ddd.ddddd,單位度(前導位數(shù)不足則補0),樣例如116.32541°,表示為116.325413序號變化信息說明6高度DOUBLE型，海拔高度，單位米，樣例如430.5m,表示為430.57橫滾角FLOAT型，單位度，樣例如一1.2°,表示為一1.28俯仰角FLOAT型，單位度，樣例如一5.3°,表示為一5.39旋偏角FLOAT型，單位度，樣例如一179.7°,表示為一179.74.2融合編碼要求視頻流與時空信息融合編碼應符合下列要求：a)在融合編碼過程中視頻流關鍵幀與空間信息應保持同步；b)在保持原有編碼標準(如MPEG-4、H.264、H.265等)或封裝格式(如AVI、MP4等)基礎上開展融合編碼；c)應最大限度地保持時空信息原始觀測精度；d)每一幀圖像或一定間隔圖像都應融合編碼時空信息；e)視頻流中應融合編碼一個基本要素信息和一系列變化信息。4.3融合編碼方式視頻流與時空信息的融合編碼宜采用下列方式：a)松耦合融合編碼：視頻流與時空信息分別存儲，通過時間戳建立視頻流與時空信息的外部映射關系，實現(xiàn)視頻流數(shù)據(jù)逐幀或分段時空信息映射的融合編碼方式，成果樣例參見附錄A。b)緊耦合融合編碼：緊耦合融合編碼方式有下列兩種：1)參照視頻編碼標準(如MPEG-4、H.264、H.265等)進行，在編碼過程中將獲取的時空信息實時寫入視頻流，形成帶有時空信息的視頻流碼流。成果樣例參見附錄B。2)參照視頻封裝格式(如AVI、MP4等)進行，在封裝過程中將獲取的時空信息實時寫入視頻流，形成帶有時空信息的視頻流文件。成果樣例參見附錄C。4.4融合編碼成果4.4.1融合編碼成果包含基本要素和融合了時空信息的視頻流兩類信息。4.4.2按選用的融合編碼方式，以及視頻流中融合編碼的定位定姿數(shù)據(jù)精度，將視頻流時空信息融合編碼成果分為一級、二級以及通用型三個等級，見表3。表3融合編碼成果分級表級別融合編碼方式描述一級緊耦合融合編碼視頻流融合有高精度的空間位置、姿態(tài)信息和畸變差參數(shù)，空間信息的定位精二級緊耦合融合編碼視頻流融合有較高精度的空間位置、姿態(tài)信息和畸變差參數(shù)，空間信息的定位精度優(yōu)于10m通用型松耦合融合編碼緊耦合融合編碼視頻流融合有較低精度的空間位置、姿態(tài)信息，空間信息的定位精度低于10m4(資料性附錄)融合編碼外部映射文件樣例據(jù)逐幀或分段時空信息映射的融合編碼方式。A.2外部映射文件主要包括基本要素信息和變化信息，用于描述視頻幀所對應的時空信息。格式描述第一行：基本要素信息第二行：基本要素信息ID,之間采用逗號隔開第三行：基本要素信息具體數(shù)值第五行：變化信息名稱第六行：變化信息具體數(shù)值A.3外部映射文件具體樣例如下：a)基本要素信息：1,2,3,4,5,6,7,8,9,10,11,12,13,14,15UTC,CGCS2000HVD1985,1920,1080,2.59,2.59,0.0523,-0.00518,34.8248,34.8248,1,20190724,051524556,116.32541,39.98214,43.5,-1.2,-5.3,-179.72,20190724,051524556,116.32541,39.98214,43.5,-1.0,-6.0,-179.9·5(資料性附錄)視頻流與時空信息融合編碼樣例B.1常用的視頻編碼標準主要包括MPEG-4、H.264、H.265、AVS等。以H.264編碼標準為例進行說明。H.264的功能分為兩層：視頻編碼層(VCL,VideoAbstractionLayer),H.264碼流結構示意圖見圖B.1。CodingLayer)和網(wǎng)絡提取層(NAL,NetworkSlartSlartcodeNal[JnitRTPPacketNALUIeaderNALI=主體SliceHeader*1SliceDada圖B.1H.264碼流結構示意圖B.2網(wǎng)絡提取層單元又包括多種類型，類型標簽存儲在網(wǎng)絡提取層單元頭文件中，用于識別網(wǎng)絡提取層單元不同類型，網(wǎng)絡提取層單元類型描述見表B.1。表B.1網(wǎng)絡提取層單元類型描述網(wǎng)絡提取層類型標簽網(wǎng)絡提取層類型C0未使用1不分區(qū)，非首幀關鍵幀圖像的片22334片分區(qū)C45首幀關鍵幀圖像中的片補充增強信息單元(SEI)57序列參數(shù)集08圖像參數(shù)集19分界符61……注：6*,網(wǎng)絡提取層類型ID為6,表示網(wǎng)絡提取層類型為補充增強信息單元(Supplemenmation,SEI),H.26x中SEI結構允許用戶添加自定義信息。6結構中只寫入視頻幀對應的時空信息。a)第一個SEI結構信息樣例如下：1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.5934.8248,1034.8248,11—4.60584e-006,121.000548e-007,136.151le-010,141.50119e-005,b)其余SEI結構寫入時空信息：20190724,051524556,116.32541,39.98214,43.5,-1.2,-5.3,-179.7;20190724,051524558,116.32541,39.98214,43.5,-1.0,-6.0,179.9;………………7(資料性附錄)視頻流與時空信息封裝融合編碼樣例C.1常見的視頻封裝格式有AVI、MP4、MKV、ASF、RMVB等，以AVI視頻封裝格式為例。C.2AVI數(shù)據(jù)格式包括三部分，信息塊、數(shù)據(jù)塊和索引塊。C.3AVI文件采用RIFF(ResourceInterchangeFileFormat,資源互換文件格式),RIFF塊包含一系列子塊，其中常用的子塊ID為“LIST”。AVI三個子塊的表述如下：a)信息塊：ID為“hdrl”的“LIST”塊，主要用來定義AVI文件的格式信息；b)數(shù)據(jù)塊：ID為“movi”的“LIST”塊，主要用于存儲音視頻流數(shù)據(jù)；c)索引塊：ID為“idxl”的子塊，主要用于定義“LIST_movi”塊的索引數(shù)據(jù)，是可選塊。C.4在LIST_hdrl信息塊中擴展LIST_strl子塊，其中strh結構主要用于描述時空數(shù)據(jù)流屬性信息，用于表示與視頻流的對應關系，其結構定義見圖C.1?！猻irh—strf—strf基本要素信息1.1STmryi數(shù)據(jù)塊擴展信息及定義一00st時窄數(shù)據(jù)流idxl索引塊圖C.1AVI視頻融合編碼文件格式示意圖C.5LIST_strl子塊下的結構包含基本要素信息，示例如下：1UTC,2CGCS2000HVD1985,31920,41080,52.59,62.59,70.0523,8—0.00518,934.8248,C.6在LIST_movi數(shù)據(jù)塊中擴展時空數(shù)據(jù)，融合編碼時空數(shù)據(jù)樣例為：201907