基于AI的虛擬主播設計 課件 第7章

基于AI的虛擬主播設計第7章多模態(tài)融合虛擬主播新聞播報制作多模態(tài)融合及實現(xiàn)軟件目錄/說課流程TeachingProcess一二多模態(tài)融合及實現(xiàn)軟件一虛擬主播的多模態(tài)融合主要任務以視頻剪輯的方式將3D真人模型口型動畫與真人新聞播報音頻進行多模態(tài)融合，實現(xiàn)虛擬主播新聞播報。0102033D真人模型通過單張或多張圖片訓練構建3D面部模型口型動畫生成通過口型模型訓練系統(tǒng)，根據(jù)真人語音生成口型數(shù)據(jù)，將3D真人模型結合口型數(shù)據(jù)，實現(xiàn)3D真人模型的口型動畫生成真人語音輸出通過真人語音模型的訓練，進行TTS語音合成，實現(xiàn)新聞文本的真人語音輸出虛擬主播的實現(xiàn)流程已經(jīng)實現(xiàn)3D真人模型構建，TTS語音合成技術下的真人語音輸出，基于真人語音輸入的口型數(shù)據(jù)生成，實現(xiàn)多模態(tài)后期融合方式中的異步訓練結果輸出。在本章中，將完成后期融合的最后一步，對生成的多模態(tài)訓練結果進行融合操作。流程多模態(tài)融合軟件介紹軟件介紹AdobePremiere，簡稱Pr，是由Adobe公司開發(fā)的一款視頻剪輯軟件。AdobePremiere提供一系列完整的視頻后期制作流程，滿足用戶對高質量作品創(chuàng)作的需求。AdobePremiere以適合新手學習、高效、精確制作等優(yōu)勢，為視頻編輯愛好者與專業(yè)人士提供了創(chuàng)作自由，提升用戶創(chuàng)作力。AdobePremiere多模態(tài)融合軟件介紹軟件介紹EDIUS作為專業(yè)的非線性視頻編輯軟件，可快速高效地進行廣播級高質量圖文字幕的配置，為廣告和后期制作環(huán)境而設計。EDIUS以工作效率高，輸出質量好，速度快等優(yōu)勢，常用于新聞、紀錄片、專題片等的剪輯制作。EDIUS虛擬主播新聞播報制作二“AdobePremierePro2020”的安裝文件，進行雙擊打開或者單擊右鍵“以管理員身份運行”。安裝文件進入PremierePro2020安裝界面（圖7-4）。中文版的操作界面比較方便初學者使用，因此選擇選擇語言為“簡體中文”。語言選擇安裝位置可根據(jù)用戶需求，單擊后方文件夾圖標進行位置選擇（圖7-5），列表框中有“默認位置”和“更改位置”兩個選擇。更改位置安裝界面（圖7-6），可看到安裝路徑已更改為“D:\Pr2020”，單擊“繼續(xù)”按鈕，進行AbodePremierePro2020的安裝。開始安裝PR的安裝PR的安裝步驟1步驟2步驟4步驟3工程管理對項目的規(guī)格進行管理素材編輯對素材進行修改，編輯等操作素材導入將需要用到的視頻文字等素材導入到軟件中去成品導出在視頻導出界面（圖7-22）進行導出設置，視頻格式選擇H.264，設置完成后，單擊“導出”按鈕，完成視頻導出。PR的使用020103選擇菜單欄，進行項目創(chuàng)建。進入新建項目界面新建項目新建項目命名為“AIReport”，位置可以選擇默認位置，也可以根據(jù)需要選中其他存儲位置項目命名這里選擇“D:\premierework”單擊“確定”按鈕，完成項目創(chuàng)建。完成項目工程管理020103進入創(chuàng)建的項目工作界面，界面包含模板選擇、導入視頻展示、聲音及視頻畫面時間軸等，現(xiàn)在沒有導入視頻，界面展示不明顯。進行導入視頻操作，選擇“文件”|“導入”（Ctrl+L），進入文件選擇界面，選擇要導入的視頻，單擊“打開”，進行視頻導入將視頻保存的文件夾打開，選擇需要導入的視頻，將其從文件夾中拖動至Pr界面，此方法也可實現(xiàn)視頻導入操作。素材導入020103雙擊視頻，可在預覽框中對導入視頻進行預覽。單擊播放或拖動下面的進度條進行視頻預覽。將視頻拖動到界面右下方的編輯軌道中，對視頻進行編輯操作。在編輯軌道中，上方軌道為視頻畫面軌道，下方為音頻軌道。編輯軌道側面工具欄第一個圖標為選擇工具（快捷鍵V），選擇工具可在視頻初始端以及末尾端對視頻進行剪裁，可根據(jù)需要進行視頻的修剪。素材編輯04剃刀工具可對視頻畫面以及聲音進行片段剪輯操作。選擇剃刀工具后，在編輯軌道的時間線上單擊需要斷開的位置，就可以對視頻部分片段進行編輯操作。020103剪輯完成的視頻可進行渲染導出，菜單欄“文件”|“導出”|“媒體”（Ctrl+M），進入視頻導出界面。在視頻導出界面（圖7-22）進行導出設置，視頻格式選擇H.264，進行視頻命名，“導出視頻”與“導出音頻”一般全部選擇，如果僅導出視頻畫面或音頻，單獨勾選相應選擇框即可。可根據(jù)需要對音頻格式、比特率等進行設置。設置完成后，單擊“導出”按鈕，完成視頻導出。成品導出PR實現(xiàn)虛擬主播新聞播報123錄制口型動畫首先對3D真人模型的口型動畫進行錄制，也可以選擇使用Maya渲染后輸出動畫視頻真人口型動畫融合使用TTS技術通過新聞播報文本輸出的真人語音通過錄制的方式，實現(xiàn)與3D真人模型口型動畫的融合使用PR進行剪輯通過AdobePremierePro2020對錄制視頻進行剪輯，實現(xiàn)多模態(tài)融合技術下的虛擬主播新聞播報

場景加入為Maya中的3D人物模型加入藍色新聞場景，進行3D真人模型口型動畫的錄制。

屏幕錄制錄制軟件可以選擇電腦自帶的錄屏軟件，這里錄制使用的是Bandicam班迪錄屏軟件。動畫錄制

錄制真人語音的新聞播報錄制真人語音輸出的新聞播報，新聞播報的語音輸出為口型數(shù)據(jù)，因此與3D真人模型口型動畫一致。錄制語音

視頻剪輯將錄制的3D真人口型動畫視頻以及真人語音播報視頻導入Pr中進行視頻剪輯。保留3D真人口型動畫視頻的視頻畫面以及真人語音播報的音頻，進行視頻剪輯。

視頻導出在視頻播放時，音頻與人物口型一致，視頻剪輯完成。