T-UWA 022.1-2023 信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng) 第1部分：通.用技術(shù)要求

ICS：35.240CCS：L81Informationtechnology-WearablemotioncapturesysteminvirtPart1:GeneraltechnicalrequiremenIT/UWA022.1-2023 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)框架 25功能要求 45.1位姿計(jì)算模塊 45.2位姿數(shù)據(jù)模塊 45.3反饋模塊 46性能要求 46.1位姿計(jì)算模塊 46.2位姿數(shù)據(jù)模塊 56.3反饋模塊 5T/UWA022.1-2023本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草本文件是T/UWA022-2023《信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)》的第1部分。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。本文件由世界超高清視頻產(chǎn)業(yè)聯(lián)盟提出并歸口。本文件起草單位：北京理工大學(xué)、廈門大學(xué)、信通院（江西）科技創(chuàng)新研究院有限公司、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、上海市多媒體行業(yè)協(xié)會(huì)、上海青瞳視覺(jué)科技有限公司、凌云光技術(shù)股份有限公司、深圳市瑞立視多媒體科技有限公司、北京元客視界科技有限公司、北京元客方舟科技有限公司、合肥工業(yè)大學(xué)、北京圣威特科技有限公司、歌爾股份有限公司、深圳市奧拓電子股份有限公司、北京市博匯科技股份有限公司、數(shù)字電視國(guó)家工程研究中心、廣東博華超高清創(chuàng)新中心有限公司、北京虛擬動(dòng)點(diǎn)科技有限公司、深圳市洲明科技股份有限公司、咪咕文化科技有限公司、山東浪潮超高清智能科技有限公司、利亞德光電股份有限公司、青島海爾多媒體有限公司、深圳市酷開(kāi)網(wǎng)絡(luò)科技股份有限公司、海信視像科技股份有限公司、海信電子信息集團(tuán)、暨南大學(xué)、中央廣播電視總臺(tái)、工業(yè)和信息化部電子第五研究所、四川新視創(chuàng)偉超高清科技有限公司。本文件主要起草人：宋維濤、郭詩(shī)輝、胡開(kāi)拓、李婧欣、耿一丹、端木海嬰、張海威、熊偉、張夢(mèng)妮、許秋子、杜華、蔣再毅、王魯寧、李琳、楊濤、遲小羽、王勇、王榮芳、殷惠清、陳智敏、崔超、譚勝淋、郭佩佩、王敏、劉莉、王宗華、曾有蘭、劉衛(wèi)東、王玉乾、畢蕾、高博宇、范曉軒、張黎敏、鄒雙澤。T/UWA022.1-2023T/UWA022擬由五個(gè)部分構(gòu)成?！?部分：通用技術(shù)要求。目的在于描述面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)通用的功能要求和性能要求?！?部分：光學(xué)動(dòng)作捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)。目的在于規(guī)定光學(xué)動(dòng)作捕捉系統(tǒng)的外部軟件接口。——第3部分：慣性動(dòng)作捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)。目的在于規(guī)定慣性動(dòng)作捕捉系統(tǒng)的外部軟件接口?！?部分：數(shù)據(jù)手套軟件接口標(biāo)準(zhǔn)。目的在于規(guī)定數(shù)據(jù)手套的外部軟件接口?！?部分：臉部捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)。目的在于規(guī)定臉部捕捉系統(tǒng)的外部軟件接口。1T/UWA022.1-2023信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)第1部分：通用技術(shù)要求本文件規(guī)定了面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)通用的功能要求和性能要求。本文件適用于面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)的設(shè)計(jì)、研發(fā)和測(cè)試，其應(yīng)用場(chǎng)景包括但不限于影視、游戲等領(lǐng)域。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T38247-2019《信息技術(shù)增強(qiáng)現(xiàn)實(shí)術(shù)語(yǔ)》GB/T38258-2019《信息技術(shù)虛擬現(xiàn)實(shí)應(yīng)用軟件基本要求和測(cè)試方法》T/UWA022.3-2023《信息技術(shù)面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)第3部分：慣性動(dòng)作捕捉系統(tǒng)軟件接口標(biāo)準(zhǔn)》3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)以及定義適用于本文件。3.1虛擬現(xiàn)實(shí)virtualreality采用以計(jì)算機(jī)為核心的現(xiàn)代高科技手段生成的逼真的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)、味覺(jué)等多感官一體化的數(shù)字化人工環(huán)境，用戶借助一些輸入、輸出設(shè)備，采用自然的方式與虛擬世界的對(duì)象進(jìn)行交互，相互影響，從而產(chǎn)生親臨真實(shí)環(huán)境的感覺(jué)和體驗(yàn)?！緛?lái)源：GB/T38247-2019，2.1】3.2可穿戴式設(shè)備wearabledevice用戶可以直接穿在身上或是整合到用戶的衣服或配件上的便攜式設(shè)備。3.3動(dòng)作捕捉motioncapture測(cè)量、跟蹤、記錄人或者其他運(yùn)動(dòng)物體在三維空間中的運(yùn)動(dòng)軌跡的技術(shù)。3.4面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)wearablemotioncapturesysteminvirtualreality通過(guò)讓用戶穿戴便攜式設(shè)備以滿足虛擬現(xiàn)實(shí)應(yīng)用中動(dòng)作捕捉需求的系統(tǒng)（區(qū)別于使用結(jié)構(gòu)光、攝像機(jī)等無(wú)需接觸人體的動(dòng)作捕捉系統(tǒng)）。3.52T/UWA022.1-2023人體骨骼系統(tǒng)humanskeleton人體位姿描述的基礎(chǔ)，定義了人體可活動(dòng)關(guān)節(jié)的數(shù)量和它們之間的運(yùn)動(dòng)傳遞關(guān)系。3.6人體位姿humanpose通過(guò)人體骨骼系統(tǒng)描述的人體運(yùn)動(dòng)關(guān)節(jié)的位置和朝向。3.7手部位姿handpose人體手部各個(gè)關(guān)節(jié)的位置和朝向。3.8臉部位姿facepose人體臉部的位置、朝向和表情。3.9大范圍光學(xué)動(dòng)作捕捉wide-areaopticalmotioncapture工作范圍可達(dá)到百平米以上，使用光學(xué)傳感器得到人體位姿的動(dòng)作捕捉技術(shù)。3.10慣性動(dòng)作捕捉inertialmotioncapture使用慣性傳感器得到人體位姿的動(dòng)作捕捉技術(shù)。3.11臉部捕捉facecapture獲取用戶臉部位置、朝向和表情的動(dòng)作捕捉技術(shù)。3.12數(shù)據(jù)手套dataglove獲取用戶手部各個(gè)關(guān)節(jié)的位置和朝向的設(shè)備。4面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)框架面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)通過(guò)輸入設(shè)備采集原始數(shù)據(jù)，通過(guò)位姿計(jì)算后，向應(yīng)用輸出格式化的人體位姿數(shù)據(jù)，應(yīng)用得到人體位姿數(shù)據(jù)后進(jìn)行業(yè)務(wù)邏輯處理并向輸出設(shè)備輸出控制信號(hào)，從而給用戶展示可視化的人體位姿結(jié)果。面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)為應(yīng)用提供人體位姿、手部位姿、臉部位姿和反饋相關(guān)的管理接口，如圖1所示。圖中連線表示模塊之間互相操作的接口，帶有箭頭的連線既表示模塊之間互相操作的接口，又通過(guò)箭頭方向表示信息流的傳輸方向。本文件只規(guī)定面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)的通用規(guī)范。面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)包括位姿計(jì)算模塊、位姿數(shù)據(jù)模塊和反饋模塊：3T/UWA022.1-2023a)位姿計(jì)算模塊通過(guò)輸入設(shè)備獲得采集到的原始數(shù)據(jù)，根據(jù)數(shù)據(jù)類型分別使用光學(xué)位姿計(jì)算、慣性位姿計(jì)算、手部位姿計(jì)算、臉部位姿計(jì)算等子模塊進(jìn)行數(shù)據(jù)處理，獲得人體位姿、手部位姿和臉部位姿，其計(jì)算結(jié)果將發(fā)送給位姿數(shù)據(jù)模塊進(jìn)行后續(xù)處理；b)位姿數(shù)據(jù)模塊將位姿計(jì)算模塊得到的計(jì)算結(jié)果轉(zhuǎn)換成應(yīng)用可識(shí)別的格式化位姿數(shù)據(jù)。該模塊向應(yīng)用提供人體位姿、手部位姿和臉部位姿三種位姿數(shù)據(jù)接口；c)反饋模塊負(fù)責(zé)將應(yīng)用提供的反饋信息轉(zhuǎn)化為輸出設(shè)備可處理的信息，以便最后向用戶輸出面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)的處理結(jié)果。虛擬現(xiàn)實(shí)穿戴式動(dòng)作捕捉系統(tǒng)慣性位姿計(jì)算人體位姿手部位姿臉部位姿位姿計(jì)算模塊6手部位姿計(jì)算 輸入設(shè)備光學(xué)動(dòng)捕 慣性動(dòng)捕 1數(shù)據(jù)手套 臉部捕捉 輸出設(shè)備反饋模塊 位姿數(shù)據(jù)模塊光學(xué)位姿計(jì)算臉部位姿計(jì)算虛擬現(xiàn)實(shí)穿戴式動(dòng)作捕捉系統(tǒng)慣性位姿計(jì)算人體位姿手部位姿臉部位姿位姿計(jì)算模塊6手部位姿計(jì)算 輸入設(shè)備光學(xué)動(dòng)捕 慣性動(dòng)捕 1數(shù)據(jù)手套 臉部捕捉 輸出設(shè)備反饋模塊 位姿數(shù)據(jù)模塊光學(xué)位姿計(jì)算臉部位姿計(jì)算圖1面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)框架1——用戶使用輸入設(shè)備，用戶的位姿信息通過(guò)該接口被輸入設(shè)備采集；2——輸入設(shè)備和光學(xué)位姿計(jì)算模塊間的軟件接口，輸入設(shè)備通過(guò)該接口向位姿計(jì)算模塊輸出光學(xué)設(shè)備數(shù)據(jù)流；3——輸入設(shè)備和慣性位姿計(jì)算模塊間的軟件接口，輸入設(shè)備通過(guò)該接口向位姿計(jì)算模塊輸出慣性設(shè)備數(shù)據(jù)流，該接口需要滿足T/UWA022.3-2023的要求；4——輸入設(shè)備和手部位姿計(jì)算模塊間的軟件接口，輸入設(shè)備通過(guò)該接口向位姿計(jì)算模塊輸出數(shù)據(jù)手套數(shù)據(jù)流；5——輸入設(shè)備和臉部位姿計(jì)算模塊間的軟件接口，輸入設(shè)備通過(guò)該接口向位姿計(jì)算模塊輸出臉部捕捉設(shè)備數(shù)據(jù)流；6——光學(xué)位姿計(jì)算模塊和人體位姿模塊間的軟件接口，光學(xué)位姿計(jì)算模塊通過(guò)該接口向人體位姿模塊輸出人體位姿計(jì)算結(jié)果；7——慣性位姿計(jì)算模塊和人體位姿模塊間的軟件接口，慣性位姿計(jì)算模塊通過(guò)該接口向人體位姿模塊輸出人體位姿計(jì)算結(jié)果，該接口需要滿足T/UWA022.3-2023的要求；8——手部位姿計(jì)算模塊和人體位姿模塊間的軟件接口，手部位姿計(jì)算模塊通過(guò)該接口向人體位姿模塊輸出手部位姿計(jì)算結(jié)果；9——臉部位姿計(jì)算模塊和人體位姿模塊間的軟件接口，臉部位姿計(jì)算模塊通過(guò)該接口向人體位姿模塊輸出臉部位姿計(jì)算結(jié)果；10——人體位姿模塊和應(yīng)用模塊間的軟件接口，人體位姿模塊通過(guò)該接口向應(yīng)用輸出格式化的人體位姿數(shù)據(jù)；4T/UWA022.1-202311——手部位姿模塊和應(yīng)用模塊間的軟件接口，手部位姿模塊通過(guò)該接口向應(yīng)用輸出格式化的手部位姿數(shù)據(jù)；12——臉部位姿模塊和應(yīng)用模塊間的軟件接口，臉部位姿模塊通過(guò)該接口向應(yīng)用輸出格式化的臉部位姿數(shù)據(jù)；13——應(yīng)用模塊和反饋模塊間的軟件接口，應(yīng)用通過(guò)該接口向反饋模塊提供應(yīng)用相關(guān)的反饋信息；14——反饋模塊和輸出設(shè)備間的軟件接口，反饋模塊通過(guò)該接口向輸出設(shè)備輸出硬件設(shè)備可處理的反饋信息；15——用戶使用輸出設(shè)備，輸出設(shè)備通過(guò)該接口向用戶輸出面向虛擬現(xiàn)實(shí)應(yīng)用的人體動(dòng)作捕捉系統(tǒng)的最終反饋。5功能要求5.1位姿計(jì)算模塊位姿計(jì)算模塊應(yīng)具有功能如下功能a)接收來(lái)自動(dòng)捕設(shè)備的原始數(shù)據(jù)；b)原始數(shù)據(jù)記錄包括數(shù)據(jù)捕捉的時(shí)間戳；c)原始數(shù)據(jù)保存至本地儲(chǔ)存介質(zhì)；d)處理來(lái)自動(dòng)捕設(shè)備的原始數(shù)據(jù)，將位姿作為計(jì)算結(jié)果輸出給位姿數(shù)據(jù)模塊。示例：慣性動(dòng)捕設(shè)備通過(guò)無(wú)線網(wǎng)絡(luò)將原始慣性傳感器數(shù)據(jù)發(fā)送給慣性位姿計(jì)算模塊，該模塊計(jì)算結(jié)束后，將人體活動(dòng)關(guān)節(jié)的位置和朝向作為人體位姿發(fā)送給位姿數(shù)據(jù)模塊進(jìn)行后續(xù)處理。5.2位姿數(shù)據(jù)模塊位姿數(shù)據(jù)模塊應(yīng)提供相應(yīng)（包括動(dòng)作、手部、臉部）關(guān)鍵點(diǎn)的相對(duì)三維空間點(diǎn)坐標(biāo)，并提供格式要示例：全身動(dòng)捕設(shè)備關(guān)鍵點(diǎn)包括四肢關(guān)節(jié)點(diǎn)；手部動(dòng)捕設(shè)備關(guān)鍵點(diǎn)包括手指關(guān)節(jié)點(diǎn)；臉部動(dòng)捕設(shè)備關(guān)鍵點(diǎn)包括臉部表情控制關(guān)鍵點(diǎn)；或者按照根據(jù)應(yīng)用場(chǎng)景的特定需要給出的相應(yīng)關(guān)鍵點(diǎn)。三維空間點(diǎn)坐標(biāo)包括給定笛卡爾坐標(biāo)系條件下X、Y、Z坐標(biāo)。5.3反饋模塊反饋模塊功能如下：a)在需要反饋結(jié)果的應(yīng)用中，應(yīng)以視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)或其他反饋方法中的至少一種將當(dāng)前位姿狀態(tài)通知用戶；b)應(yīng)能夠接收應(yīng)用提出的反饋請(qǐng)求，通知用戶的位姿在應(yīng)用中的響應(yīng)結(jié)果。示例：用戶做出某個(gè)姿勢(shì)后，將用戶當(dāng)前姿態(tài)通過(guò)圖像顯示的方式，以人體骨骼位姿的形式顯示在屏幕上。6性能要求6.1位姿計(jì)算模塊位姿計(jì)算模塊性能如下：a)位姿信號(hào)采樣率應(yīng)不低于20Hz；b)位姿時(shí)間戳的精度應(yīng)不低于30ms；c)針對(duì)單幀位姿，從位姿輸入的結(jié)束時(shí)刻到位姿計(jì)算模塊完成計(jì)算步驟，所持續(xù)的時(shí)間。動(dòng)作捕捉系統(tǒng)的響應(yīng)時(shí)間應(yīng)不高于1000ms；d)針對(duì)單幀位姿，輸出的位姿與真實(shí)位姿的單方向角度自由度平均誤差不超過(guò)10°;e)針對(duì)單幀位姿，輸出的位姿與真實(shí)位姿平均誤差不超過(guò)3%。5T/UWA022.1-2023示例：手部動(dòng)作捕捉數(shù)據(jù)誤差不能超過(guò)手部最大尺寸的3%；臉部動(dòng)作捕捉誤差不能超過(guò)臉部最大尺寸的3%；全身動(dòng)作數(shù)據(jù)誤差不能超過(guò)身體最大尺寸的3%。6.