視頻目標(biāo)物標(biāo)注技術(shù)

視頻目標(biāo)物標(biāo)注技術(shù)1范圍本標(biāo)準(zhǔn)規(guī)定了法庭科學(xué)視頻目標(biāo)物標(biāo)注的技術(shù)規(guī)范。本標(biāo)準(zhǔn)適用于公安機(jī)關(guān)視頻偵查技術(shù)活動，暨視頻物證檢驗(yàn)分析中的目標(biāo)標(biāo)注規(guī)范。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GA/T1018-2013視頻中物品圖像檢驗(yàn)技術(shù)規(guī)范GA/T1020-2013視頻中事件過程檢驗(yàn)技術(shù)規(guī)范3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1目標(biāo)object視頻圖像中的要標(biāo)注的客體。注：包括但不限于視頻中的人、車、物、光影變化等視頻場景中物體。3.2圖像坐標(biāo)系imagecoordinateunit為定位視頻圖像中的像素點(diǎn)和區(qū)域而定義的二維坐標(biāo)系。注：視頻圖像左上角為零點(diǎn)（0,0），橫軸（X軸）長度為圖像寬度，縱軸（y軸）長度為圖像高度。3.3圖像點(diǎn)坐標(biāo)Pixelcoordinate圖像像素點(diǎn)在圖像坐標(biāo)系下的坐標(biāo)。注：按（y，x）數(shù)據(jù)對形式記錄，其中y表示縱軸的坐標(biāo)，x表示橫軸的坐標(biāo)。3.4場景scene由具有穩(wěn)定性的客觀物理環(huán)境（如建筑物，道路，樹木，家具等物體）和隨時間演變的動態(tài)目標(biāo)（如人、車、事件、物等）組成。3.5視頻場景videoscene由視頻圖像拍攝時畫面中一定時間內(nèi)具有穩(wěn)定性的客觀物理環(huán)境（如建筑物，道路，樹木，家具等物體）和隨時間演變的動態(tài)目標(biāo)（如人、車、物、事件等）組成。視頻場景圖videoscenefigure在含有視頻圖像畫面截圖中人為標(biāo)注了必要客觀物理環(huán)境的示意圖。3.7常規(guī)特征commonproperty對視頻中的客體進(jìn)行標(biāo)注而需要的輔助標(biāo)注圖元或?qū)傩?。注：包含但不限于點(diǎn)、線、矩形、多邊形、區(qū)域、掩膜、方向矢量、顏色、亮度、紋理、以及文字描述信息等。3.8背景圖像backgroundimage在對圖像進(jìn)行標(biāo)注時，為有效標(biāo)注相關(guān)信息，選擇的比待標(biāo)注圖像大的圖像，疊放在待標(biāo)注圖下，以便標(biāo)注相關(guān)信息。4標(biāo)注對象視頻場景圖、人、車、物、事件、其他畫面變化（黑屏、畫面損壞、光線變化等、人群及目標(biāo)間的關(guān)系。5視頻場景圖標(biāo)注從視頻畫面中截取一幀，并將該幀圖像粘貼在比視頻幀尺寸長寬各大400像素的白色背景畫布上（且視頻畫面左上角與畫布左上角對齊），在其上以示意繪圖方式客觀反映與案事件相關(guān)的視頻攝像機(jī)所拍攝畫面的現(xiàn)場位置（如果在視頻畫面中可見），校準(zhǔn)后的北京時間，主要出入口位置及方向，主要道路及方向，方向指示標(biāo)記，相關(guān)點(diǎn)間的距離，視頻畫面分辨率，圖例，繪圖單位，繪圖日期，繪圖人。6常規(guī)標(biāo)注6.1位置及方向的標(biāo)注位置及方向的標(biāo)注包括：a） 點(diǎn)用彩色圓形標(biāo)注，記錄點(diǎn)位置為（y，x），并標(biāo)記點(diǎn)位名稱；b） 圖像內(nèi)方向的精確標(biāo)注采用兩點(diǎn)法標(biāo)注方向，（y0,x0,y1,x1）；c） 物理空間方向的模糊標(biāo)注采用向東、向西、向南、向北、向東南、向東北、向西南、向西北等8種方向標(biāo)注；d） 有進(jìn)入、走出等2個行進(jìn)方向標(biāo)注；e） 矩形的標(biāo)注采用彩色矩形標(biāo)示，并記錄矩形位置（y_topeft,x_topleft,height,width），并

標(biāo)記位置名稱，當(dāng)標(biāo)注人、車時，前景人體、車體面積應(yīng)超過矩形總面積的60%；f） 多邊形的標(biāo)注采用彩色多邊形線框標(biāo)示，應(yīng)記錄多邊形各個定點(diǎn)的位S（y0,x0,y1,x1,...,yn,xn），并標(biāo)記多邊形名稱；g） 掩膜采用8位圖像，像素值0標(biāo)示背景，255標(biāo)示前景目標(biāo)，其他值用戶可自定義其含義，當(dāng)標(biāo)注人、車時，前景人體、車體面積應(yīng)超過總面積的80%。屬性的標(biāo)注包括：a） 顏色名范圍包括白、灰、黑、紅、綠、藍(lán)、黃、粉、紫、棕、花色和其他顏色，顏色的標(biāo)注采用顏色名+顏色值（色塊）的標(biāo)注方式；b） 亮度描述名包括深色、淺色、花色、不確定，亮度的標(biāo)注采用亮度描述名+圖像塊標(biāo)注的方式；c） 紋理的標(biāo)注采用描述名+圖像塊標(biāo)注的方式；d） 描述性特征標(biāo)注采用書面文字描述場景、動作、對象關(guān)系、目標(biāo)、圖像塊。6.3標(biāo)注用字體標(biāo)注用字體用宋體、仿宋，楷體等。7目標(biāo)基本信息標(biāo)注目標(biāo)基本信息標(biāo)注包括：a） 開始時間（北京時間、畫面時間），時長；b） 名稱為案件+探頭+時間+種類（人車物）+編號；c） 標(biāo)注人、標(biāo)注日期、修改日志；d） 嫌疑狀態(tài)（疑似、確認(rèn)嫌疑、排除嫌疑、需關(guān)注）。8人的標(biāo)注8.1人體簡要標(biāo)注人體簡要標(biāo)注包括：a） 年齡（青年、中年、少兒、老年）；b） 性別（男、女、未知）；c） 行進(jìn)方向；d） 體態(tài)特征（較瘦、偏瘦、中等、偏胖、較胖）；e） 行為［通過、停留（時間）、徘徊］;f） 其他描述信息。8.2人體部位和結(jié)構(gòu)標(biāo)注人體部位和結(jié)構(gòu)標(biāo)注包括：a） 人體部位和結(jié)構(gòu)的標(biāo)注主要關(guān)注人體軀干和四肢的非服飾性特征，尤其是個性化的局部特征，如前胸、后背、腰腹等部位的特性化特征；b） 人體結(jié)構(gòu)標(biāo)注包含全身、頭部（臉部、頭發(fā)、后腦）、上半身（前胸、后背、腹部、腰部）、下半身、腳部等部位的標(biāo)注，不同部位又可細(xì)分為左側(cè)，右側(cè)兩部分；c） 主要標(biāo)注方式采用部位名稱；d） 輔助標(biāo)注方式采用矩形框輔助標(biāo)注方式。8.3人體行為特征標(biāo)注人體行為特征標(biāo)注包括：a）通過畫面方向參照畫面坐標(biāo)進(jìn)行標(biāo)注，方式為［進(jìn)入點(diǎn)尸，進(jìn)入點(diǎn)乂，出點(diǎn)y，出點(diǎn)x］；軌跡特征采用視頻中目標(biāo)的位置變化；b）動作特征包括站立、走動、跑動、接打電話、徘徊、停留（時間長短）;c） 生理特征包括殘疾、跛腳、駝背、內(nèi)八字、外八字;d） 攜帶物描述包括背包、手提袋、拉桿箱。8.4頭部特征標(biāo)注頭部特征標(biāo)注包括：a） 頭發(fā)包括短發(fā)、光頭、長發(fā)；b） 頭發(fā)細(xì)節(jié)包括側(cè)分（左側(cè)多，右側(cè)多），中分，板寸、背頭、卷發(fā)；c） 發(fā)色包括黑色、花白、染色（棕色、黃色等）；d） 色彩標(biāo)注（顏色值+代表塊）包括（深淺）白、灰、黑、紅、綠、藍(lán)、黃、粉、紫、棕（褐色）、其他、花（色塊）。8.5頭部服飾頭部服飾包括：a） 帽子有無（未標(biāo)注）；b） 帽子顏色采用通用顏色標(biāo)記法；c） 帽子款式包括棒球帽、圓邊帽、戰(zhàn)斗帽、套頭帽、頭盔（全盔）頭盔（半盔）、頭套、頭巾、連帽衫帽子；d） 裝飾包括眼鏡、頭飾、口罩、圍巾。8.6上衣上衣包括：a） 狀態(tài)包括有、無（未標(biāo)注）；b） 衣領(lǐng)包括有、無；c） 上衣款式包括西裝、夾克、毛衣、普通外套、大衣、襯衣、背心、T恤、制服、迷彩、連衣裙、連帽衫、無特征（未標(biāo)注）等；d） 上衣袖子包括長袖、短袖；e） 上衣尺寸包括較短、中等、較長、未標(biāo)注。8.7手和手臂手和手臂包括：裝飾包括手表、護(hù)腕。8.8下半身衣著下半身衣著包括：a） 長短包括長褲、短褲、半長褲子、短裙、長裙；b） 樣式包括牛仔褲、迷彩褲、普通（無需標(biāo)注或未標(biāo)注）。8.9鞋鞋包括：a） 狀態(tài)包括有、無（未標(biāo)注）；b） 款式包括運(yùn)動鞋、拖鞋、涼鞋、皮鞋；c） 鞋面顏色參考通用顏色標(biāo)注；d） 鞋底顏色包括黑、白、灰（無標(biāo)注）；e） 鞋子個性化特征描述。8.10交通方式和工具交通方式和工具包括步行、自行車、摩托車、三輪車、農(nóng)用車、電動車、手推車等。8.11攜帶物攜帶物包括：a） 首先描述有、無攜帶物；b） 種類包括箱（拉桿箱）、手提袋（塑料袋）、單肩挎包、雙肩背包、瓶（飲料瓶）;c） 攜帶狀態(tài)包括提、抱、挎、背、拉、抬（多人）、推、騎、乘。8.12動態(tài)信息動態(tài)信息包括：a） 目標(biāo)掩膜標(biāo)注時背景面積不應(yīng)該超過總面積的40%；b） 形成軌跡時，允許多對一聯(lián)系。8.13其他特征其他特征包括耳機(jī)、瘢痕等。9車的標(biāo)注9.1車的簡要標(biāo)注車的簡要標(biāo)注包括：a） 車輛類型包括轎車（出租車）、越野車、卡車、廂式貨車；b） 車身顏色參考基本顏色標(biāo)注（有多個色彩時，可選三個主要色彩，并描述上下，或左右、前后分布如上黑下白等）；箱體包括兩廂車、三廂車、其他；c） 車型包括大型、中型、小型；行為包括通過、停留（時長）、上人（人數(shù)）、下人、裝貨、卸貨；其他描述信息。9.2司乘人員標(biāo)注司乘人員標(biāo)注包括：a） 司機(jī)性別、上衣服飾特征、上衣顏色、其他描述特征；b） 副駕駛乘員性別、上衣特征、上衣顏色、其他描述特征；c） 后排乘員人數(shù)（無、有、人數(shù)）。9.3車的前部特征標(biāo)注車的前部特征標(biāo)注包括：a） 車牌號、狀態(tài)（有、無、遮擋、未標(biāo)注）；b） 車標(biāo)、狀態(tài)（有、無、遮擋、未標(biāo)注）；c） 引擎蓋；車燈形狀、個數(shù)、狀態(tài)。9.4前擋風(fēng)玻璃特征標(biāo)注前擋風(fēng)玻璃特征標(biāo)注包括：a） 前玻璃內(nèi)物品包括香水瓶、靠墊、紙巾盒等裝飾特征；b） 后視鏡掛件；車輛前擋風(fēng)玻璃標(biāo)簽（年審、年檢、保險、綠色環(huán)保標(biāo)志等）位置（右上、右下、左上，左下）、數(shù)量、形狀、顏色、分布（水平、豎直、倒L、混合粘貼）;c） 左右遮陽板狀態(tài)（全放下、全收起、右放下/左收起、左放下/右收起）。9.5后擋風(fēng)玻璃特征標(biāo)注后擋風(fēng)玻璃特征標(biāo)注包括：a） 后玻璃上粘貼物（有、無）、粘貼物位置（左中右、上中下）、粘貼物大?。ù笾行』蛘疾Ａ娣e的比例）、粘貼物類型（圖片、電話、文字包括動靜態(tài)）、粘貼物描述；b） 后玻璃內(nèi)擺放物品（有、無）、擺放物品描述。9.6車身外部特征標(biāo)注車身外部特征標(biāo)注包括：a） 車身有無噴涂字樣；b） 非原配車輛輪轂特征或同一車輛使用不同輪轂特征；c） 車輛行李架、腳踏板、天窗、備胎、天線、排氣管、貼紙圖形、車頂燈箱、前后保險杠等車輛外裝修裝飾特征；d） 高位剎車燈（有、無）；車身圖案（有、無）；e） 圖案位置（前部、中部、后部）；外部天線個數(shù)（無、1、3、4個及以上）；f） 外部天線位置（車頭、車中部、車尾部；左中右）。9.7車輛個體特征標(biāo)注車輛個體特征標(biāo)注包括：a） 車輛損壞、變形特征；b） 車輛改裝、非原配配件修理特征。10物品的標(biāo)注物品的標(biāo)注包括：a） 物體個數(shù)為大于1的整數(shù)；b） 物體位置和尺寸采用在場景中的坐標(biāo)標(biāo)注標(biāo)示；c） 物體類別包括人、車、動物、光線變化、人群、人騎車、其他；d） 物體顏色；e） 物體詳細(xì)描述。11人群的標(biāo)注人群的標(biāo)注包括：a） 人數(shù)為大于1的整數(shù)；b） 人群行為包括通過、聚集、分散、駐留、徘徊、其他；c） 人群的詳細(xì)描述應(yīng)用書面文字描述人群的具體特征。12關(guān)系的標(biāo)注關(guān)系的標(biāo)注包括：a） 人與人同一關(guān)系參考GA/T1018-2013中結(jié)論表述部分的三類5種關(guān)系進(jìn)行標(biāo)注；b） 人與人伴隨關(guān)系包括同行、分開、聚集、交談、尾隨等；c） 人與物的關(guān)系（當(dāng)物體為人的攜帶物和伴隨物時，參考攜帶物的標(biāo)注項(xiàng)，當(dāng)人與物非伴隨關(guān)系時，分為作用關(guān)系和產(chǎn)銷關(guān)系兩類）包括人與物的作用關(guān)系（損壞、停靠、進(jìn)入、走出、移動等）、人與物的產(chǎn)銷關(guān)系（遺留、帶走）、人與車的關(guān)系（乘坐、下車、駕駛、靠近、進(jìn)入、離開、碰撞）、車與車的關(guān)系（尾隨、碰撞、超越、接近）、物與物的時間空間關(guān)系。13事件的標(biāo)注參考GA/T1020-2013第5、6章。14標(biāo)注過程14.1背景圖像要求背景圖像要求包括：a） 背景圖寬度=視頻圖像寬度+200像素；b） 背景圖高度=視頻圖像高度+200像素；c） 背景圖底色單一，不允許在一個背景圖中出現(xiàn)多個背景色，推薦采用白色（255,255,255）或黑色（0,0,0），或其他自定義純色；d） 視頻截圖左上角與背景圖左上角對齊。14.2標(biāo)題及位置標(biāo)題及位置包括：a） 當(dāng)脫離標(biāo)注軟件系統(tǒng)環(huán)境，以獨(dú)立圖片方式展示時標(biāo)題位置為畫面下方居中位置；b） 標(biāo)題名稱采用案件名稱+攝像頭位置和名稱+目標(biāo)起始的北京時間+目標(biāo)類型+目標(biāo)序號；c） 對于需要制作多張目標(biāo)圖，應(yīng)在標(biāo)題后標(biāo)明圖序；d） 在標(biāo)注軟件系統(tǒng)環(huán)境中，標(biāo)題位置為畫面下方居中位置；e） 標(biāo)題名稱采用案件名稱+攝像頭位置和名稱+目標(biāo)起始的北京時間+目標(biāo)類型+目標(biāo)序號；f） 對于需要制作多張目標(biāo)圖，應(yīng)在標(biāo)題后標(biāo)明圖序。14.3標(biāo)注內(nèi)容的數(shù)據(jù)結(jié)構(gòu)標(biāo)注內(nèi)容的數(shù)據(jù)結(jié)構(gòu)包括：a） 標(biāo)注內(nèi)容結(jié)構(gòu)按如下方式和次序存儲標(biāo)注內(nèi)容：標(biāo)題，編號，標(biāo)注人/日，種類，關(guān)鍵詞（關(guān)聯(lián)目標(biāo)），代表圖，多個代表色彩（紋理可用圖像塊），重點(diǎn)特征，摘要及目標(biāo)簡述，詳細(xì)標(biāo)注內(nèi)容，修改日志；b） 目標(biāo)特征和屬性：按照種類、種類特征、個體特征的次序進(jìn)行標(biāo)注和記錄；c） 部位的標(biāo)定用語：按前后、左右、上下排列次序；d） 標(biāo)注內(nèi)容的排列次序：先整體，從上到下；e） 修改日志：記錄對標(biāo)注內(nèi)容的不同時間段、批次的修改編輯記錄，狀態(tài)變更情況等信息。15目標(biāo)標(biāo)注形式15.1圖像視頻形式圖像視頻形式包括：a） 根據(jù)目標(biāo)的運(yùn)動情況和需標(biāo)注內(nèi)容的細(xì)膩程度，可采用單幀、多幀圖像、視頻片段等方式進(jìn)行目標(biāo)的標(biāo)注；b） 可加入適當(dāng)?shù)膱D元標(biāo)注，但不得覆蓋目標(biāo)或干擾對目標(biāo)的識別和判斷；c） 當(dāng)一幀圖像可以表現(xiàn)目標(biāo)所需標(biāo)注信息時，需選取目標(biāo)較大、姿態(tài)較好、目標(biāo)信息完整、且質(zhì)量相對較好的幀進(jìn)行標(biāo)注；d） 當(dāng)需要多幀圖像來表達(dá)目標(biāo)所需標(biāo)注信息時，需在目標(biāo)出現(xiàn)的時間段中選取多幀圖像進(jìn)行標(biāo)注，并對序列圖像按時間順序進(jìn)行編號；e） 推薦序列圖像幀數(shù)為5幀。5張以上靜態(tài)圖，加目標(biāo)完整出現(xiàn)的視頻片段。（停留時可注明停留多長時間）；f） 當(dāng)需要用視頻片段來表達(dá)目標(biāo)所需標(biāo)注信息時，需在目標(biāo)出現(xiàn)的時間段中選取一段或多段視頻進(jìn)行標(biāo)注，并對視頻序列按時間順序進(jìn)行編號；g） 一般情況下，凡是涉及目標(biāo)動態(tài)特征的，推薦以序列圖像方式進(jìn)行標(biāo)注。15.2同一畫面中多個目標(biāo)的標(biāo)注同一畫面中多個目標(biāo)的標(biāo)注包括：a） 一幀有多個目標(biāo)時可單獨(dú)標(biāo)注，但說明關(guān)系；b） 整體標(biāo)注時需要說明每個嫌疑目標(biāo)的情況；c） 攜帶物和目標(biāo)一起標(biāo)注；騎乘的自行車、三輪車等無牌照的助力車與目標(biāo)一起標(biāo)注；d） 騎、乘、駕駛、伴隨的機(jī)動車需要單獨(dú)標(biāo)注，并注明關(guān)系。16存儲格式16.1標(biāo)注圖及標(biāo)注信息標(biāo)注圖及標(biāo)注信息