GYT 411-2024-數(shù)字虛擬人技術(shù)要求

GYTechnicalrequirementsfordi國家廣播電視總局發(fā)布I 1 1 1 1 2 2 2 3 3 3 3 4 4 4 5 5 6 6 7 7 7 7 8 8 8 8 9 本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定本文件由全國廣播電影電視標(biāo)準(zhǔn)化技術(shù)委員會（SAC/TC2請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。陳智、郟濤、孫琳、陳磊、劉晶、李洋、李晶晶、徐超、羅志文、艾斌、韓慶秋、1數(shù)字虛擬人技術(shù)要求本文件適用于廣播電視和網(wǎng)絡(luò)視聽行業(yè)數(shù)字虛擬人的系統(tǒng)建設(shè)、創(chuàng)作數(shù)字虛擬人應(yīng)用主體digitalhumanoperati4縮略語AI人工智能（ArtificialIntelligence）APaaS應(yīng)用平臺即服務(wù)（ApplicationPlatfoAPP應(yīng)用軟件（Applicationsoftware）ASR自動語音識別技術(shù)（AutomaticSpeDurIAN基于告知時長信息注意力網(wǎng)絡(luò)的多模態(tài)語音合成模型（DurationInNetworkForMultimodalSynthesis）FPS每秒幀數(shù)（FramesPerSecoH5超文本標(biāo)記語言5（HyperTextMaHiFi-GAN基于對抗學(xué)習(xí)網(wǎng)絡(luò)的高效高保真語音合成模型（GenerativeAdversarialNetworksforEfficientandHighFidelitySpeec2HTTPS超文本傳輸安全協(xié)議（HypertextTransferJSONJS對象簡譜（JavaScriptObjecPC個人計(jì)算機(jī)（PersonalComputSSML語音合成標(biāo)記語言（SpeechSynthesisMarkupLaUE虛幻引擎（UnrealEngiVAE變分自編碼器模型（Variat5.1數(shù)字虛擬人分類及應(yīng)用場景數(shù)字虛擬人按照人物形象分類，分為2D數(shù)字虛擬人和3D數(shù)字?jǐn)?shù)字虛擬人按照驅(qū)動模式分類，分為算法驅(qū)5.2數(shù)字虛擬人總體技術(shù)架構(gòu)數(shù)字虛擬人形象包括2D真人、2D卡通、3D寫實(shí)、3D卡通和建數(shù)字虛擬人真人驅(qū)動包含身體動作捕捉、表情捕捉和3a)符合場景的任務(wù)設(shè)定，在人物形象、表情、服飾等方面得體a)支持真人形象復(fù)刻，形象逼真自然，語音b)支持通過照片、視頻等方式生成形象，保證面部五官、b)支持對形象的美型、加工和風(fēng)格化等。4a)模型網(wǎng)格線應(yīng)均勻、平滑，不應(yīng)出現(xiàn)d)骨骼系統(tǒng)設(shè)計(jì)應(yīng)符合生物生理及運(yùn)動結(jié)構(gòu)，實(shí)現(xiàn)自然、真a)應(yīng)支持多種驅(qū)動方式，包括文本驅(qū)動、語音驅(qū)動、視頻5b)至少支持中文普通話的語音輸入；a)支持端到端語音合成模型，支持HiFi-GAN、VAE、Diffusion（擴(kuò)散模型）、Gc)實(shí)現(xiàn)字詞級別的音量、時長的細(xì)粒度控制，實(shí)現(xiàn)音量d)實(shí)現(xiàn)多情感高表現(xiàn)力的可控語音合成效果，根據(jù)文本內(nèi)容自動切換合成不同e)支持文本語音合成、真人語音錄制、真人語音f)支持針對應(yīng)用場景（包括播報(bào)、解說、詩歌、閱讀、客服等生成多種語音合b)支持圖像增強(qiáng)技術(shù)，改善視頻質(zhì)量和用戶體驗(yàn)；6音長、音量、重音等符合自然語言發(fā)音規(guī)律；語音語調(diào)舒適；常見多音字發(fā)音b)口型、唇形自然，與發(fā)音同步，符合發(fā)音的規(guī)律，具備飽滿度和表現(xiàn)力。用戶交互；支持通過對話樹等方式，完成不f)支持回答用戶提出的問題，包括基于檢索的問答系統(tǒng)和基于生成b)支持將運(yùn)動數(shù)據(jù)應(yīng)用于虛擬人物角色的動7c)攝像機(jī)數(shù)量和布局應(yīng)根據(jù)運(yùn)動物體的特點(diǎn)和運(yùn)動需求進(jìn)行合理設(shè)置，確保覆蓋面積和視角的a)支持使用慣性傳感器進(jìn)行運(yùn)動捕捉，傳感器數(shù)量和布局根據(jù)捕捉物體的特點(diǎn)和運(yùn)動需求進(jìn)行合理設(shè)置，通常包括加速度計(jì)、陀螺儀、磁力計(jì)等多種b)支持在攝像機(jī)采集畫面上添加標(biāo)記點(diǎn)，標(biāo)記點(diǎn)數(shù)量和布局根據(jù)運(yùn)動物體的特點(diǎn)和運(yùn)動需求進(jìn)d)支持將面部表情模型映射到虛擬人物的面部模型上，實(shí)現(xiàn)虛擬人物面部e)支持根據(jù)實(shí)際應(yīng)用需求對面部表情的映射效果進(jìn)行校準(zhǔn)和調(diào)整，使虛擬人物的面部表情更加a)能夠兼容捕捉數(shù)據(jù)文件的格式，以便進(jìn)行數(shù)據(jù)解析d)支持對動作控制器的參數(shù)進(jìn)行調(diào)整，以便實(shí)現(xiàn)各種不9平臺能力要求9.1平臺基本要求8b)支持創(chuàng)作不同類型的數(shù)字虛擬人；j)真人驅(qū)動型平臺技術(shù)支持真人驅(qū)動9.2平臺部署要求a)應(yīng)支持公有云部署、私有云部署或本地化9.3平臺服務(wù)要求a)應(yīng)支持?jǐn)?shù)字虛擬人形象實(shí)時生成和動態(tài)配置，支持實(shí)時視頻推流服務(wù)，支持云渲b)應(yīng)支持可視化的數(shù)字虛擬人配置，包括形e)應(yīng)支持?jǐn)?shù)字虛擬人形象、音色、服飾、姿h)應(yīng)支持視頻制作進(jìn)度、數(shù)字虛擬人資源的查數(shù)字虛擬人應(yīng)用主體對其所處理的數(shù)據(jù)及算