基于三維視頻的民族特色舞蹈動作捕捉系統(tǒng)

1、 /8 /8 /8中國非物質(zhì)文化遺產(chǎn)的三維數(shù)據(jù)庫-基于三維視頻的民族特色舞蹈動作捕捉系統(tǒng)信息工程學院傅思遙簡介：通過三維視頻采集系統(tǒng)，力求為民族傳統(tǒng)藝術文化產(chǎn)業(yè)提供一個無邊際的服務空間和資源共享網(wǎng)絡。在數(shù)據(jù)庫可以采集到中國非物質(zhì)文化遺產(chǎn)名錄中所記載的傳統(tǒng)藝術肢體動作甚至瀕臨滅絕的各類動作技法，還有其他傳統(tǒng)、現(xiàn)代的帶有民族特色的體育競技、打斗動作、舞蹈藝術等各類動作數(shù)據(jù)，在相關動漫影視、電子游戲、數(shù)字出版、教育培訓、非物質(zhì)文化遺產(chǎn)保護等領域均能發(fā)揮重要作用。最大限度的降低三維動畫的技術壁壘和制作成本。引言所謂“非物質(zhì)文化遺產(chǎn)三維數(shù)據(jù)庫”，是指采用數(shù)字采集、數(shù)字存儲、數(shù)字處理、數(shù)字展示、數(shù)字傳播等

2、數(shù)字化技術，將文化遺產(chǎn)轉(zhuǎn)換、再現(xiàn)、復原成可共享、可再生的數(shù)字形態(tài)，并以新的視角加以解讀、保存和傳播。在此方面相關研究早已成型。案例一，中國古建筑的三維復原因為古建筑文化遺產(chǎn)不可再生，而修繕保護方法是多樣的，選擇最佳的古建筑修繕保護方案顯得尤為重要。古建筑修繕保護動畫片是對修繕保護歷史文化遺產(chǎn)建筑有極大的促進作用。數(shù)虎圖像在古跡復原文物復原方面，是采用非接觸測量技術、三維成像技術，經(jīng)過實地攝影、數(shù)據(jù)采集、三維動畫合成，虛擬文物建筑影像的三維模型，利用3D虛擬現(xiàn)實技術將修繕保護工程方案制作成一套全面、具體、準確、生動的修繕過程互動演示片，對歷史文化古建筑的保護、更新、延續(xù)具有重要的現(xiàn)實意義。數(shù)虎圖

3、像的虛擬現(xiàn)實技術結合網(wǎng)絡技術，可以將文物的展示、保護提高到一個嶄新的階段，可以推動文博行業(yè)更快地進入信息時代，實現(xiàn)文物展示和保護的現(xiàn)代化。重要性：1，文物保護：因為古文物不可再生，進行仿真可以更好的保存。2，傳承文明：數(shù)虎圖像對古建筑工藝和古制作流程可以進行完美的可視化數(shù)字呈現(xiàn)，讓這些即將消失的技藝得以傳承。3，教育意義：對古遺址進行虛擬的仿真復原，讓后代可以更好的認識古代的文明對后輩進行愛國主義教育和歷史文明展示。4，推廣宣傳：對古建筑、古遺址進行模擬仿真，可以提取更多的歷史文化價值，是古城和古景區(qū)宣傳推廣的絕好材料。本工程試圖從科學的角度定義和解決目前國內(nèi)極具爭議的跨學科敏感話題。例如“何

4、謂文化遺產(chǎn)數(shù)字化”、“數(shù)字藝術”、“數(shù)字化的局限性”等。介紹了數(shù)字復原、數(shù)字勘探、數(shù)字考古、虛擬音樂、虛擬劇場、數(shù)字藝術、交互式藝術等新領域，加深科研人員對目前互聯(lián)網(wǎng)上大量涌現(xiàn)的數(shù)字博物館和虛擬遺產(chǎn)展示背景的了解。如當今各種數(shù)字化方法和熱點技術，包括三維/斷層數(shù)字掃描、多波段/光譜數(shù)字攝影、三維數(shù)字重建、數(shù)字動畫、虛擬現(xiàn)實、多媒體數(shù)據(jù)庫、數(shù)字內(nèi)容檢索、數(shù)字版權、數(shù)字出版、數(shù)字內(nèi)容管理與發(fā)布等，并在國內(nèi)首次提出了一套完整的文化遺產(chǎn)數(shù)字化技術解決方案。即：基于三維視頻的民族特色舞蹈動作捕捉系統(tǒng)。目的：實現(xiàn)基于民族的民間藝術舞蹈影像、三維視頻動畫數(shù)據(jù)庫這一非物質(zhì)文化遺產(chǎn)保護領域的重要創(chuàng)新，擬圍繞國家

5、首批非物質(zhì)文化遺產(chǎn)名錄，依托民族大學信息工程學院的三維視頻信息處理實驗室的動作捕捉，三維掃描等技術，對中國的民族民間舞蹈、戲曲等非物質(zhì)文化遺產(chǎn)進行采集工作，并按照類、項、套等完成非物質(zhì)文化遺產(chǎn)的單體動作的采集。特色：通過計算機，輔導舞蹈家進行舞蹈訓練和創(chuàng)作，舞蹈室已經(jīng)經(jīng)過提煉、組織和藝術加工的人體動作來表達人們思想感情的，其基本要素是動作姿態(tài)，節(jié)奏和表情。但人體動作是在一種復雜的三維立體空間運動，難以用象樂譜那樣簡單，直觀，明白易懂的舞譜來表達，因此舞蹈一直被認為是一種只可意會不可言傳的藝術，計算機輔助的舞蹈技術是指將舞蹈動作通過三維視覺傳感器和動作行為傳感器捕捉、并抽象成為一種模式信息，經(jīng)過

6、分析和處理，研究。最終創(chuàng)作出可供指導和輔助訓練的模擬舞蹈動作的適當舞譜形式。具體技術如在舞蹈家身體運動關節(jié)上安置適當?shù)臏y角傳感器以及在周圍布置若干臺視覺傳感器，可將人體舞蹈動作的模式信息經(jīng)過模數(shù)轉(zhuǎn)換實時輸入計算機。并通過軟件在屏幕上顯示出舞姿動作變化情形。供舞蹈家邊審看邊修改舞姿。并可將舞蹈動作信息記錄、存儲。以便對舞蹈家的技術技巧和經(jīng)驗體會進行科學的分析研究，總結經(jīng)驗和規(guī)律。評定藝術水平。并用以指導訓練和提高創(chuàng)作藝術效果，更重要的是保存某些獨具特色的民族舞蹈文化的精華，用以文化傳承。國內(nèi)外研究現(xiàn)狀：舞蹈影像的林林總總從歐美40年代發(fā)展以來，跟隨著錄像藝術的腳步，實驗電影運動家的作品、后現(xiàn)代編

7、舞家的趣味和實踐以及多媒體高科技技術的發(fā)展，從一開始就不是什么紀錄性的藝術行為，而是完全創(chuàng)造和互動的雙向?qū)υ挕Ｃ绹哪箍皩帩h、比爾訂瓊斯，英國DV8身體劇場、喬納森貝勞斯（原為英國皇家的舞者,加拿大人類腳步啦啦啦、法國的安德林普雷約卡伊、作為電影人的魯?shù)婪蚺找?、德國編舞家皮娜鮑希、Sasha.waltz、瑞典的馬茨?？?、比利時的羅剎舞團等等，都曾是，仍是當今較為活躍的舞蹈錄影編舞家和觀念的先導。舞蹈教育軟件舞蹈教育軟件與舞蹈游戲、舞蹈動畫同時并存的還有舞蹈軟件的開發(fā)和利用。在動畫技術、三維制作軟件的大量出現(xiàn)，舞蹈軟件的更新也是日新月異，其中以位于加拿大的“信條互動公司”開發(fā)出的軟件最為矚

8、目，出現(xiàn)了“舞蹈形式”、“生命模式”教案和制作軟件，“動作采集”的硬件系統(tǒng)等等。人們對于舞蹈本體創(chuàng)作的認識也有了更為全面和便捷的方式。特別是在舞蹈教案上，從早期的使用電腦自動和人工操作結合的機械化設備，來提高和訓練舞者的身體以及舞蹈技術技巧，包括對軟度、開度以及力量，同時包括對于旋轉(zhuǎn)、跳躍等相應訓練機械。一直到今天“舞蹈形式”舞蹈軟件的出現(xiàn)，使舞者在身體訓練之外，去認識舞蹈的方面，更為全面和立體?！拔璧感问健钡能浖鋵嵤悄撤N三維、可操控的舞蹈動作分析教案軟件，其中又包括了像“芭蕾動作”“現(xiàn)代舞動作”等等的舞蹈軟件類別?！鞍爬賱幼鳌避浖ㄟ^三維人物采集、集中了俄羅斯芭蕾學校、英國芭蕾學校、意大利

9、芭蕾學校的芭蕾動作語匯、提供了不同的動作風格、以及最基本的芭蕾技術，甚至包括了芭蕾的經(jīng)典劇目，如在MIDI音樂伴奏下的睡美人、吉賽爾、天鵝湖等等。舞蹈學生、舞蹈教師和任何學習者都可以通過軟件，運用軟件中的鏡頭推拉、旋轉(zhuǎn)、平移、俯仰，可以深入的認識動作、學習舞蹈，并且進行動作分解重放，不同舞蹈風格的比較?！艾F(xiàn)代舞動作”舞蹈軟件更是集中了當代的，新型的現(xiàn)代舞技巧動作風格。在互動的動作學習同時，還提供了舞蹈歷史學習、可抒寫的舞蹈心得和舞蹈評論，以及簡單的舞蹈編排的軟件功能。相關的舞蹈軟件不僅僅適用于舞蹈動作學習和編排當中，更是深入到了舞蹈解剖學的教案當中，使用三維軟件觀察人體結構、關節(jié)、神經(jīng)、肌肉、

10、以及在舞蹈運動當中身體結構和器官的形態(tài)。相關的舞蹈軟件不僅僅適用于舞蹈動作學習和編排當中，更是深入到了舞蹈解剖學的教案當中，使用三維軟件觀察人體結構、關節(jié)、神經(jīng)、肌肉、以及在舞蹈運動當中身體結構和器官的形態(tài)。相關的舞蹈教育軟件不僅僅適用于舞蹈動作學習和編排，更是深入到了舞蹈解剖學的教案，使用三維軟件觀察人體結構、關節(jié)、神經(jīng)、肌肉、以及在舞蹈運動當中身體結構和器官的形態(tài)，一切都通過鼠標的控制，逐層的分析和觀察，每一部分都有詳實的注解。學生們可以直觀形象的了解身體，來鞏固對于舞蹈解剖學與區(qū)別知識的認識和記憶，相對與原來的模型教案，三維動畫的平臺和互動的操作界面是一個巨大的飛躍，不僅對于舞蹈解剖學，

11、對于舞蹈醫(yī)療同樣是最為形象的教案方式。其中比較有名的三維軟件“麥克明3D解剖”，“互動實用解剖”可以使用3D的分層/旋轉(zhuǎn)控制，文字和真人視頻的注釋，從骨骼、肌肉、神經(jīng)，任意逐層添加、剝離，互動、全面的學習解剖學。舞蹈教育軟件的另外一個代表作品，是利用MacromediaflashMX軟件制作的交互式的教案光盤。BEDFORD互動研究公司是這方面的業(yè)內(nèi)先驅(qū)之一，已經(jīng)致力于數(shù)字化舞蹈教育15年之久。像杰奎琳史密斯奧塔德教授和BEDFORD互動研究公司研制的瑪莎格萊姆技術CD-ROM教案和獨舞動機編舞訓練CD-ROM，都是使用了MacromediaflashMX制作技術，利用Macromediafl

12、ash播放器，通過各種角度的觀察來學習舞蹈。和“舞蹈形式”不同，CD-ROM里的內(nèi)容不是三維人物的操作，而是真人演示，播放器里呈現(xiàn)交互式的界面，比如“獨舞編舞訓練”軟件當中，界面里呈現(xiàn)影像控制（快慢速度，節(jié)奏控制，模式控制（觀賞和教案，每個訓練附有講解，空間時間的變化，更有拉班舞譜的圖解。學習者通過不斷點擊，運用多種功能的控制鍵，了解編舞的技法。按照杰奎琳教授的話，舞者用鼠標在學習和跳舞。舞蹈創(chuàng)作軟件“生命模式”則是更為復雜的舞蹈人物制作、動作排列組合、舞蹈自由編排的制作軟件。相對在“動作采集”系統(tǒng)下的軟件操作，“動作采集”是通過傳感技術，在舞者身上的關節(jié)點上，粘貼具有彈性的傳感器，在采集攝影

13、棚中，通過多臺攝像機的全息攝影，把采集到的人體動作傳輸?shù)诫娔X中，然后通過多種三維軟件和“生命模式”軟件進行創(chuàng)作。在“生命模式”軟件中，有著視頻非線編輯的相似界面，編輯者可把動作采集的素材放在時間線上，自由拖拽，復制粘貼動作，甚至可以重新組合不同的身體部位，編舞家就可以通過查看動作素材，嘗試出舞蹈作品無數(shù)的可能性，并且通過內(nèi)置的鏡頭語言設置場景。三維藝術家和實驗舞蹈藝術家，更可以在動作采集素材的基礎上，創(chuàng)作出許多以人體動作為主體的異類形象。加州大學歐文學院的舞蹈教授麗莎瑪麗納格爾是在生命模式”實踐和理論中的重要人物，其中一個工程就是她運用“動作采集”系統(tǒng)和“生命模式”對于社區(qū)內(nèi)的普通人進行了日常

14、動作的采集和重新編排。最后的成品為一個虛擬的城市，虛擬的舞者和市民在游走生活，影像從紐約的高樓上投射到地面，行人們俯視者自己的影像，熟悉而又陌生，一個一個城市中的城市，一個從動作采集而來的令人反思的自己。 /8 /8“生命模式”對于重新認識動作，去認識和把玩身體語言、身體結構都有著重要的意義，相同的舞蹈動作可以以完全不同的生命形態(tài)出現(xiàn)，完全不同的編排規(guī)律出現(xiàn)，我們在更大的程度上要去超越自己的想象，賦予這種想象以獨特的舞蹈生命形態(tài)。國內(nèi)尚未開展任何關于此方面的研究。潛在應用：1，虛擬教案虛擬教案就是利用虛擬技術模擬難以講解的教案場景，并使之可視化和可參與性，讓學員在可視化和參與性下能更好的學習到

15、相關技能。數(shù)虎圖像的虛擬現(xiàn)實技術可以使枯燥表格、數(shù)字和程序，手術，安裝流程等變得生動而有趣，另一方面，虛擬實驗能將若干知識點串聯(lián)起來，起到匯總和系統(tǒng)化的作用。提供教案質(zhì)量，降低教案成本。而這一點對于非傳統(tǒng)的藝術類文化的授課和知識傳承是非常重要的。優(yōu)點如下：1、教案內(nèi)容視覺化2、學習中的交互性好3、沉浸感真實感強采集場景以及技術手段如下圖所示關鍵技術：光學運動捕捉光學式運動捕捉通過對目標上特定光點的監(jiān)視和跟蹤來完成運動捕捉的任務。目前常見的光學式運動捕捉大多基于計算機視覺原理。從理論上說，對于空間中的一個點，只要它能同時為兩部相機所見，則根據(jù)同一時刻兩部相機所拍攝的圖像和相機參數(shù)，可以確定這一時

16、刻該點在空間中的位置。當相機以足夠高的速率連續(xù)拍攝時，從圖像序列中就可以得到該點的運動軌跡。MotionAnalysis公司是該領域的佼佼者。典型的光學式運動捕捉系統(tǒng)通常使用68個相機環(huán)繞表演場地排列，這些相機的視野重疊區(qū)域就是表演者的動作范圍。為了便于處理，通常要求表演者穿上單色的服裝，在身體的關鍵部位，如關節(jié)、髖部、肘、腕等位置貼上一些特制的標志或發(fā)光點，稱為Marker，視覺系統(tǒng)將識別和處理這些標志，如圖4所示。系統(tǒng)定標后，相機連續(xù)拍攝表演者的動作，并將圖像序列保存下來，然后再進行分析和處理，識別其中的標志點，并計算其在每一瞬間的空間位置，進而得到其運動軌跡。為了得到準確的運動軌跡，相機

17、應有較高的拍攝速率，一般要達到每秒60幀以上。如果在表演者的臉部表情關鍵點貼上Marker,貝V可以實現(xiàn)表情捕捉，如圖5所示。目前大部分表情捕捉都采用光學式。有些光學運動捕捉系統(tǒng)不依靠Marker作為識別標志，例如根據(jù)目標的側(cè)影來提取其運動信息，或者利用有網(wǎng)格的背景簡化處理過程等。目前研究人員正在研究不依靠Marker，而應用圖像識別、分析技術，由視覺系統(tǒng)直接識別表演者身體關鍵部位并測量其運動軌跡的技術，估計將很快投入實用。光學式運動捕捉的優(yōu)點是表演者活動范圍大，無電纜、機械裝置的限制，表演者可以自由地表演，使用很方便。其采樣速率較高，可以滿足多數(shù)高速運動測量的需要。Marker的價格便宜，便

18、于擴充。這種方法的缺點是系統(tǒng)價格昂貴，雖然它可以捕捉實時運動，但后處理包括Marker的識別、跟蹤、空間坐標的計算）的工作量較大，對于表演場地的光照、反射情況有一定的要求，裝置定標也較為煩瑣。特別是當運動復雜時，不同部位的Marker有可能發(fā)生混淆、遮擋，產(chǎn)生錯誤結果，這時需要人工干預后處理過程?？偨Y：舞蹈新媒體技術的出現(xiàn)，改變著人們對于舞蹈的感知，改變著創(chuàng)作舞蹈的方式。影像化的舞蹈傳播，數(shù)字化的舞蹈教育，擴充了舞蹈教育的受眾，擴充了大眾接觸和深入了解舞蹈的途徑。舞蹈借助數(shù)字化技術，凸顯出舞蹈藝術本身的游戲性，感應技術的出現(xiàn)，舞蹈游戲從簡單機械操作轉(zhuǎn)變?yōu)檎嬲纳眢w參與。多種虛擬技術把經(jīng)驗的，身

19、體的舞蹈藝術推向了另一個極端，舞蹈體驗的真實與虛擬，科技和人性的對話，改變?nèi)藗兊膶徝狼槿ず腕w驗方式，隨著科技的發(fā)展，這些都將逐步成為舞蹈新媒體的研究課題。該工程是在數(shù)字資源和網(wǎng)絡資源的基礎之上，同時在大量舞蹈多媒體實踐當中整理探索出來，同時也希冀能夠引發(fā)出舞蹈新媒體的學科建設，并為舞蹈新媒體學科提供一些基礎性的理論構架。附錄2：光學運動捕捉公司美國MotionAnalysis公司MAC）是全球最大的以光學動作捕捉系統(tǒng)為基礎的高性能電腦生產(chǎn)商，專業(yè)為用戶提供3D光學動作捕捉系統(tǒng)。成熟的MotionAnalysis數(shù)字影像捕捉分析系統(tǒng)已經(jīng)為全球近千用戶提供了完善的解決方案，涉及動畫制作、運動分析和

20、工業(yè)測量與控制等廣泛領域。全球80%的動畫、游戲制作工作室都選用MotionAnalysis系統(tǒng)。大量特技采用MotionAnalysis系統(tǒng)進行采集制作。美國影城-好萊塢已經(jīng)建立了一個基于MotionAnalysis系統(tǒng)并且有16鏡頭的工作室。部分影片：魔戒-王者歸來黑客帝國-重裝上陣黑客帝國-矩陣革命我，機器人最終幻想等超過150款世界上最流行的游戲是應用MotionAnalysis系統(tǒng)采集制作，用戶包括史克威爾（Square、科納M（Konami、南宮夢（Namco等著名游戲廠商。MontionAnalysis公司Eagle-4數(shù)字動作捕捉系統(tǒng)MotionAnalysis公司最近發(fā)布了最

21、新的400萬象素數(shù)字動作捕捉系統(tǒng)-Eagle-4.Eagle-4數(shù)字動作捕捉系統(tǒng)由Eagle-4數(shù)字捕捉鏡頭，EagleHub和EVaRT軟件組成，可極其精確得捕捉復雜動作。實時功能使用戶可以在同一時間觀察到目標某個細微動作。Eagle-4鏡頭可以與MotionAnalysis公司的其他鏡頭自由組合，從而優(yōu)化工作室的效能。Eagle-4數(shù)字動作捕捉鏡頭 /8 /8Eagle-4數(shù)字動作捕捉鏡頭，采用了美國Micron公司的MI-MV40傳感器，在2352X1728象素的模式下工作，頻率可以達到每秒200幀。較小分辨率的情況下，采集頻率可升至10,000幀/秒。對于需要過濾額外光線的工作環(huán)境，E

22、agle-4是一個極佳的選擇。Eagle-4數(shù)字動作捕捉鏡頭利用先進的數(shù)碼工具為當今的動作捕捉技術提供了可靠性和精確性的保障。運用數(shù)字科技，不再會有遠程信號降級，而且噪音較少，也無需重新取樣。隨著當今數(shù)據(jù)采集的增多與增大，對信號穩(wěn)定性的要求也越來約嚴格。鏡頭信號可直接通過以太網(wǎng)到達跟蹤計算機。信號處理內(nèi)置于攝像頭。這以最新型的從攝像頭到計算機的動作捕捉傳輸系統(tǒng)，意味著較少的硬件和較少的設備故障。FPGA嵌入Hawk可以通過Internet升級，甚至不用取下攝像頭。MotionAnalysis公司是第一家生產(chǎn)動作捕捉鏡頭的公司，2001年，（美國計算機協(xié)會繪圖專業(yè)組引入Eagel數(shù)字系統(tǒng)。Eagle-4數(shù)字鏡頭比標準視頻鏡頭有更大的感應區(qū)域。系統(tǒng)選用高質(zhì)量的35mm鏡頭來涵蓋較大的采集區(qū)域，以保證系統(tǒng)精確性。特性所有工作模式下，采集頻率：1-200幀/秒部分工作模式下，采集頻率最高可達10,000幀/秒便攜式鏡頭箱：可攜帶4個鏡頭嵌入式鏡頭為簡易的裝卸提供更多視覺選擇可獨立的對光圈，焦距及ringlight進行調(diào)節(jié)Availablewithvisiblered,nearred,orinfraredringlights鏡頭上有單獨的LED，顯示鏡頭狀態(tài)及編號237LED使發(fā)光更明亮、更