遠程沉浸式虛擬奧運博物館關鍵技術研究-浙江大學課件

遠程沉浸式虛擬奧運博物館

關鍵技術研究浙江大學CAD&CG國家重點實驗室南京大學多媒體技術研究所國家體育總局體育科學研究所遠程沉浸式虛擬奧運博物館

關鍵技術研究浙江大學CAD&CG國一項目背景和研究意義(1)在申奧時，提出建立“虛擬奧運博物館”的計劃[01年2月]在獲得奧運會主辦權后，把該項目列入行動計劃[01年9月]“虛擬奧運博物館”是虛擬現(xiàn)實與數(shù)字博物館技術的結合，它通過數(shù)字化和網(wǎng)絡技術，介紹奧運歷史、賽事等內(nèi)容。

圖：位于瑞士洛桑的奧林匹克博物館（外景）圖：位于瑞士洛桑的奧林匹克博物館（內(nèi)部）一項目背景和研究意義(1)在申奧時，提出建立“虛擬奧運博物一項目背景和研究意義(2)介紹奧運的歷史、發(fā)展，讓中國人更加了解奧運。充分展示中華古代體育文明，讓世界更加了解中國。為科技奧運服務，促進一系列相關技術的發(fā)展與進步。

圖：洛桑奧林匹克博物館中關于北京的介紹圖：中國古代體育項目—馬球一項目背景和研究意義(2)介紹奧運的歷史、發(fā)展，讓中國人更二相關研究工作及存在的問題(1)數(shù)字博物館利用計算機技術，對博物館中的展示對象進行數(shù)字化，可以從時間、空間上對實物展品進行延伸。借助三維、全景攝影等現(xiàn)代化手段，觀眾可從不同角度欣賞觀察展品。數(shù)字博物館還增加了觀眾的選擇性，變“給你看什么就看什么”為“我想看什么就看什么”。

數(shù)字博物館已在國內(nèi)外廣泛應用。

二相關研究工作及存在的問題(1)數(shù)字博物館利用計算機技術二相關研究工作及存在的問題(2)古代奧林匹克虛擬博物館[美國DartmouthCollege]奧運博物館DVD/VCD[洛桑]現(xiàn)有系統(tǒng)的不足：

*以二維圖片或視頻形式展示的比較多。*缺乏對運動項目的虛擬展示和仿真。*系統(tǒng)的交互性不夠。*虛擬展品的繪制質(zhì)量不高。*有些系統(tǒng)是單機運行的。圖：古代奧林匹克運動場教堂遺跡

圖：虛擬漫游系統(tǒng)

二相關研究工作及存在的問題(2)古代奧林匹克虛擬博物館

三研究內(nèi)容(1)1建模與實時繪制技術2數(shù)字博物館的交互技術3運動項目虛擬展示與虛擬人技術4面向數(shù)字博物館的數(shù)據(jù)存儲與檢索5虛擬奧運博物館原型系統(tǒng)

三研究內(nèi)容(1)1建模與實時繪制技術

1．建模與實時繪制技術

(1)幾何和圖像的多分辨率表示(2)基于圖像/視頻的建模和繪制(3)實時繪制算法研究

三研究內(nèi)容(2)1．建模與實時繪制技術三研究內(nèi)容(2)

2．數(shù)字博物館的交互技術

(1)基于虛擬化身的人-機交互(2)協(xié)同交互技術(3)遠程交互和多平臺接口

三研究內(nèi)容(3)2．數(shù)字博物館的交互技術三研究內(nèi)容(3)

3．運動項目虛擬展示與虛擬人技術

(1)虛擬人體建模及參數(shù)化技術(2)運動控制技術(3)運動庫的構建

三研究內(nèi)容(4)3．運動項目虛擬展示與虛擬人技術三研究內(nèi)容(4)

4．面向數(shù)字博物館的數(shù)據(jù)存儲與檢索

(1)有效的多媒體數(shù)據(jù)存儲結構(2)基于網(wǎng)格環(huán)境的數(shù)據(jù)存儲與管理(3)基于內(nèi)容的檢索（圖像、視頻檢索）

5．虛擬奧運博物館原型系統(tǒng)

(1)基于網(wǎng)格環(huán)境的虛擬博物館的體系結構(2)虛擬奧運場館的漫游(3)體育運動相關游戲

三研究內(nèi)容(5)4．面向數(shù)字博物館的數(shù)據(jù)存儲與檢索三研究內(nèi)容(5)四關鍵問題與技術路線(1)（1）虛擬環(huán)境的實時繪制技術（2）虛擬奧運博物館中的交互技術（3）虛擬人運動控制及運動項目的逼真展示（4）基于奧運特征的多媒體信息的高效存儲與檢索（5）虛擬奧運博物館的體系結構及原型系統(tǒng)的實現(xiàn)四關鍵問題與技術路線(1)（1）虛擬環(huán)境的實時繪制技術（1）虛擬環(huán)境的實時繪制技術

*對復雜場景使用基于圖像的繪制技術，包括全景圖和基于單張照片的漫游；*使用基于視頻的繪制技術，合成任意視點的圖象，滿足交互和個性化需求；*使用多細節(jié)層次模型和GPU的方法來加快繪制速度。（2）虛擬奧運博物館中的交互技術

*在系統(tǒng)中提供一個虛擬向導，她負責導引用戶在虛擬環(huán)境中進行瀏覽，可以與虛擬化身（代表用戶）進行交互。

*考慮到多個用戶有時需要相互對話和討論，將VRML技術與Java等其它技術結合，提高Internet環(huán)境下協(xié)同環(huán)境的交互性。

四關鍵問題與技術路線(2)（1）虛擬環(huán)境的實時繪制技術四關鍵問題與技術路線(2)（3）虛擬人運動控制及運動項目的逼真展示

*從多種數(shù)據(jù)源（三維掃描儀器、交互式造型工具、照片）建立人體模型；*基于運動捕獲數(shù)據(jù)的運動控制方法；*建立運動信息庫，并對運動項目進行模擬。（4）基于奧運特征的多媒體信息的高效存儲與檢索

*作為現(xiàn)有博物館的藏品，其描述是非常準確和充分的。因此，大部分信息檢索需求可以通過對藏品標注的信息進行全文檢索處理來服務。*根據(jù)奧運媒體內(nèi)容的特殊性，選擇一套獨特的特征集合，來完成基于內(nèi)容的信息檢索處理。四關鍵問題與技術路線(1)（3）虛擬人運動控制及運動項目的逼真展示四關鍵問題與技術路四關鍵問題與技術路線(4)（5）虛擬奧運博物館的體系結構及原型系統(tǒng)的實現(xiàn)

*綜合利用原始錄像資料、動畫、多語言解說、互動點播等多種手段，以三條線性內(nèi)容(時間線、事件和人物線、

文物和藝術品線)為觀眾進行展示。

*開發(fā)普適性的三維展廳生成工具，提供一種信息集成的手段，同時與頁面、視頻、聲音、動畫等其它媒體展現(xiàn)方式有機融合。

*利用Globus提供的網(wǎng)格支持提供自治的資源管理和任務調(diào)度機制；使用多種數(shù)據(jù)網(wǎng)格技術，開發(fā)適用于虛擬博物館數(shù)據(jù)分布存儲的數(shù)據(jù)網(wǎng)格中間件。*考慮到不同系統(tǒng)的帶寬以及登錄設備的特性（如屏幕大小，分辨率，計算速度等），需要支持特定于設備類型的遠程交互機制。

四關鍵問題與技術路線(1)四關鍵問題與技術路線(4)（5）虛擬奧運博物館的體系結構及五特色和創(chuàng)新之處（1）基于視頻的任意視點的場景漫游。系統(tǒng)允許用戶從多個視點觀看比賽場景，增加用戶對比賽的體驗。（2）運動項目的逼真展示?；谔摂M人及其運動控制技術，對多種運動項目進行交互式的虛擬展示。（3）支持多平臺的接入設備。在使用PC平臺時，為了增加虛擬奧運場景的真實感，提供基于GPU的實時陰影生成。（4）友好的用戶界面和交互性。Avatar使得界面人性化，交互更具親切感；另外，還多個用戶的支持協(xié)同交互。（5）集知識介紹、運動體驗和娛樂于一體。在介紹具體項目時，增加一些游戲特征，做到寓教于樂。五特色和創(chuàng)新之處（1）基于視頻的任意視點的場景漫游。系統(tǒng)允六年度研究計劃及預期成果(1)2006年度：（1）對本項目研究進行需求分析，總體規(guī)劃和可行性分析（2）設計虛擬奧運博物館的體系結構（3）設計有效的多媒體數(shù)據(jù)存儲結構（4）研究基于流媒體技術的多媒體數(shù)據(jù)播放（5）研究基于內(nèi)容的檢索(圖像，視頻)（6）基于網(wǎng)格的分布數(shù)據(jù)存儲管理和可視計算(7)在2006年虛擬系統(tǒng)與多媒體國際會議VSMM2006上組織一個有關數(shù)字博物館的專題討論會

六年度研究計劃及預期成果(1)2006年度：六年度研究計劃及預期成果(2)2007年度：（1） 幾何和圖像的多分辨率表示（2） 實時繪制和陰影算法研究（3） 虛擬人體建模及參數(shù)化技術（4） 運動控制，行為動畫與虛擬人群仿真（5） 體育運動相關游戲（6） 實現(xiàn)虛擬奧運博物館原型系統(tǒng)（第一版）六年度研究計劃及預期成果(2)2007年度：六年度研究計劃及預期成果(3)2008年度：（1）基于視頻的建模和繪制算法（2）虛擬化身技術的研究（3）協(xié)同交互和遠程交互技術（4）實現(xiàn)虛擬奧運博物館原型系統(tǒng)（第二版）（5）基于主動興趣管理的可擴展性技術（6）幾何數(shù)據(jù)壓縮與實時圖形傳輸六年度研究計劃及預期成果(3)2008年度：六年度研究計劃及預期成果(4)2009年度：(1)奧運場館漫游系統(tǒng)（2）分布式并行繪制算法的研究（3）體育運動庫的構建（4）虛擬奧運博物館原型系統(tǒng)的完善（5）整理資料，進行項目的總結、驗收或鑒定（6）組織一次虛擬奧運博物館的國際研討會

六年度研究計劃及預期成果(4)2009年度：六年度研究計劃及預期成果(5)預期研究成果：(1)在理論和算法方面

爭取在理論的原始創(chuàng)新方面取得重大突破，獲得多項目原創(chuàng)性研究成果，為數(shù)字博物館提供可供參考的理論、方法與技術實施方案。具體的研究成果集中表現(xiàn)為高質(zhì)量的學術論文、專著以及專利。

（2）在系統(tǒng)開發(fā)方面

建立起一個支持遠程交互的虛擬奧運博物館原型系統(tǒng)。原型系統(tǒng)的建立將為驗證本項目研究方案、方法的可行性和有效性提供實驗環(huán)境。結合2008北京奧運會，從其他渠道爭取更多的經(jīng)費，使虛擬奧運博物館向實用化方向發(fā)展。

六年度研究計劃及預期成果(5)預期研究成果：七研究基礎與工作條件1研究隊伍

總計：參加人員共20人，其中教授和博導5人，副教授4人]

主要人員：潘志庚，男，1965生，博士，浙江大學CAD&CG國家重點實驗室研究員，博導。石教英，男，1937年生，浙江大學CAD&CG國家重點實驗室教授，博導。孫守遷，男，1963年生，博士，浙江大學現(xiàn)代工業(yè)設計研究所所長，教授，博導。潘金貴，男，1952年生。南京大學多媒體計算機研究所教授，博導。金小剛，男，1968年生，博士，浙江大學CAD&CG國家重點實驗室研究員，博導。武港山，男，1966年生。博士，南京大學多媒體計算機研究所副教授。李祥臣，男，1974年生，碩士，副研究員，國家體育總局體育系統(tǒng)仿真實驗室張林，男，1955生，浙江大學體育系副教授，碩士導師。姜曉紅，女，1966年生，博士，浙江大學計算機系副教授。七研究基礎與工作條件1研究隊伍七研究基礎與工作條件2工作基礎（浙江大學）

*從1993年開始研究虛擬現(xiàn)實、分布式虛擬環(huán)境和實時圖形繪制，取得眾多研究成果，發(fā)表一批高水平的國際期刊論文，在國內(nèi)居于領先水平。

*近年來先后共承擔國家自然科學基金、國家973計劃子課題、國家863計劃等研究項目10余項目，為開展本項目的研究打下了很好的基礎。*國家體育總局備戰(zhàn)2008年奧運會重點科研攻關項目“藝術體操集體項目成套動作編排價值與創(chuàng)新的研究”中關于虛擬人的研究為本項目提供了前沿性的探索研究。*和國家體育總局體科所的研究人員合作，研究開發(fā)了多個與體育有關的產(chǎn)品原型系統(tǒng)，包括虛擬保齡球系統(tǒng)、CAVE中的虛擬乒乓球，移動平臺上的臺球游戲，大型團體操虛擬演練系統(tǒng)。七研究基礎與工作條件2工作基礎（浙江大學）七研究基礎與工作條件2工作基礎（浙江大學）*在人體動畫和虛擬人運動編輯平臺方面，也開展了一些研究工作，實現(xiàn)了多種動作生成算法，并實現(xiàn)了一個簡單的虛擬人運動編輯平臺。*浙大體育系在體育運動的虛擬展示、多媒體教學光盤的設計等方面有很好的基礎。開發(fā)了籃球、排球等多個項目的多媒體光盤，在全國發(fā)行。

*浙江大學在1999年建成國內(nèi)第一家CAVE，并自行研制了基于高性能連網(wǎng)PC的多屏幕投影虛擬環(huán)境，并實現(xiàn)了虛擬博物館原型系統(tǒng)。

七研究基礎與工作條件2工作基礎（浙江大學）七研究基礎與工作條件2工作基礎（南京大學）

*從2000年開始研究直觀方便的三維對象操縱技術以及虛擬空間漫游技術，并在此基礎上開發(fā)了虛擬展覽館軟件，該軟件為展覽館提供了平面布局、展廳布置、展品管理以及虛擬參觀和交互四大功能。

*參與“中國大學數(shù)字博物館關鍵技術研究”項目的過程中，進一步將虛擬展覽館軟件開發(fā)成有機融合圖形圖像、語音解說、網(wǎng)頁等各種媒體形式與三維展館空間等表現(xiàn)方式的集成工具

。*負責863項目“面向奧運的多語言信息服務系統(tǒng)專題中面向內(nèi)容管理的Web頁面智能處理技術子項”。*參與了2005年教育部科技基礎條件平臺項目“中國大學數(shù)字博物館共享平臺和規(guī)范標準”，提出了多個領域大學數(shù)字博物館建設的規(guī)范和標準。這對虛擬奧運博物館的關鍵技術研究和開發(fā)具有很好的借鑒作用。

七研究基礎與工作條件2工作基礎（南京大學）七研究基礎與工作條件2工作基礎（國家體育總局體育科學研究所）

*針對科技奧運專門在2001年成立“體育系統(tǒng)仿真實驗室”，該實驗室這幾年和浙江大學開展合作，從事多項與體育科學及科技奧運有關的課題

。*完成或開展的項目包括2008奧運會現(xiàn)代組織管理系統(tǒng)工程研究、藝術體操集體項目計算機編排系統(tǒng)、人體重心平衡測量分析與虛擬訓練系統(tǒng)的研制、虛擬自行車訓練系統(tǒng)、帆船帆板輔助訓練系統(tǒng)等。

七研究基礎與工作條件2工作基礎（國家體育總局體育科學研究3項目組主要成員負責或參與完成的相關項目

潘志庚:歐盟科技合作項目，“基于虛擬人物的電子學習環(huán)境”，2003-2004（中方負責人）

潘志庚:國家自然科學基金，“智能虛擬環(huán)境中用戶化身和行為真實感技術的研究”（60083009），2001-2003，負責人潘志庚:國家自然科學基金，“虛擬現(xiàn)實中動態(tài)實時連續(xù)LOD技術的研究”，1998-2000，負責人

潘志庚:國家自然科學基金，“分布式環(huán)境下限時圖形繪制技術的研究”，1995-1997，負責人

潘志庚:浙江省自然科學基金優(yōu)秀人才專項，“智能多用戶虛擬環(huán)境”，2001-2003，負責人

石教英：國家自然科學基金重點項目，“基于圖像的繪制技術”，2001-2004，負責人

石教英，國家自然科學基金重點實驗室項目，“分布式虛擬環(huán)境關鍵技術和應用研究”，1999-2001，排名第二孫守遷：虛擬人運動控制系統(tǒng)，運動編輯軟件V1.0，計算機軟件著作權，登記號：軟著登字第027384號，版權號：2004SR08983七研究基礎與工作條件3項目組主要成員負責或參與完成的相關項目潘志庚:歐盟科七研究基礎與工作條件

潘金貴：南京大學地球科學數(shù)字博物館，現(xiàn)代遠程教育網(wǎng)上公共資源建設—大學數(shù)字博物館建設工程，2001中央財政專項（負責三維博物館設計軟件）

武港山：面向內(nèi)容管理的Web頁面智能處理技術，2002年863項目：奧運多語言智能信息服務系統(tǒng)關鍵技術及示范系統(tǒng)研究(2002AA117010)的子項，負責人武港山：面向遠程教育的Web教學資源智能化檢索與挖掘技術，國家教育部現(xiàn)代遠程教育關鍵技術研究，2000年，負責人

武港山：南京大學地球科學數(shù)字博物館建設，“現(xiàn)代遠程教育工程”中央財政專項，2001年，負責項目中的信息檢索技術研究開發(fā)武港山：863重點課題“智能中文信息處理平臺”的子課題（2001AA114040），2001-2003年，子課題負責金小剛：國家自然科學基金，“卷積曲面在計算機動畫中的應用研究”（69973040），2000.01-2002.12金小剛：國家自然科學基金，“基于幾何和擬動力學約束的變形研究”（69603005），1997.01-1999.12李祥臣：藝術體操集體項目計算機編排系統(tǒng)，2003年總局攻關課題，負責人

七研究基礎與工作條件七研究基礎與工作條件潘金貴：南京大學地球科學數(shù)字博物館，七研究基礎與工作條件4項目組主要成員發(fā)表的相關研究論文

[共發(fā)表相關論著58篇，其中國際期刊論文31篇，SCI論文23篇]ZhouKun,BaoHujun,ShiJiaoying,“3Dsurfacefilteringusingsphericalharmonics”,ComputerAidedDesign,2004,36(4):363-375(國際期刊，SCI)MingminZhang,ZhigengPan,Pheng-AnnHeng,“ANearConstantFrame-RateRenderingAlgorithmBasedonVisibilityComputationandModelSimplification”，JournalofVisualizationandComputerAnimation,2003,14(2/3):1-13(國際期刊，SCI)MeiChunhui,ShiJiaoying,WuFuli,“Renderingwithsphericalradiancetransportmaps”,ComputerGraphicsForum,2004,23(3):281-290(國際期刊，SCI)XiaogangJin,Chiew-LanTai,“ConvolutionSurfacesforArcsandQuadraticCurveswithaVaryingKernel”,TheVisualComputer,2002,18(8):530-546(國際期刊，SCI)JieqingFeng,T.Nishita,XiaogangJin,QunshengPeng,“B-SplineFree-FormDeformationofPolygonalObjectasTrimmedBezierSurfaces”,TheVisualComputer,2002,18(8):493-510(國際期刊，SCI)ZhigengPan,JiaoyingShi,MingminZhang,“DistributedGraphicsSupportforVirtualEnvironments”,Computers&Graphics,1996,20(2):191-197(國際期刊，SCI)ZhigengPan,JiejieZhuetc.“InteractiveLearningofCGinNetworkedVirtualEnvironments”.Computers&Graphic,2005,29(2):273-281(國際期刊，SCI)七研究基礎與工作條件七研究基礎與工作條件4項目組主要成員發(fā)表的相關研究論文Z七研究基礎與工作條件JiZhouandJiaoyingShi,“Arobustalgorithmforfeaturepointmatching”,Computers&Graphics,2002,26(3):429-436(國際期刊，SCI)XiaogangJin,HanqiuSun,QunshengPeng,“Subdivisioninterpolatingimplicitsurfaces”Computers&Graphics,2003,27(5):665-674(國際期刊，SCI)ZhigengPan,QinggeJi,MingminZhang,YanfengLi,“Simulationonpatterndesignandlayoutforgroupcalisthenicsandeurhythmics”,Simulation&Gaming,2005(Accepted)(國際期刊，SCI)ShengyouLin,JiaoyingShi.“FastNaturalImageMattinginPerceptualColorSpace”,Computers&Graphics(已錄用)(國際期刊，SCI)ZhigengPan,WeiweiXu,JinHuang,MingminZhang,JiaoyingShi.“EasyBowling:AVirtualBowlingSystembasedonVirtualSimulation”,Computers&Graphics，2003,27(2):231-238(國際期刊，SCI)

KangkangYin,ZhigengPan,JiaoyingShi,“RobustMeshWatermarkingbasedonMultiresolutionProcessing”,Comput