虛擬文物互動展示系統(tǒng)設(shè)計與實現(xiàn)

虛擬文物互動展示系統(tǒng)設(shè)計與實現(xiàn)隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，使得博物館不斷地被重新定義。博物館是征集、收藏、研究和展示代表民族文化和社會發(fā)展程度的文物場所，并對那些具有歷史價值的受損文物進行修復(fù)，為公眾提供歷史文化知識和觀賞的社會公共機構(gòu)。博物館的傳統(tǒng)文物展示缺乏生動性、趣味性，同時受博物館空間限制，文物的具體信息不能完全展現(xiàn)，信息的傳遞是單向的，觀眾只能被動接受，容易引起觀眾的主動參與性不足。因此，研究一套功能全面、穩(wěn)定可靠的虛擬文物互動展示系統(tǒng)具有極其重要的意義。本文針對傳統(tǒng)文物展示存在的不足，提出虛擬文物互動展示系統(tǒng)建設(shè)目標，綜合體感技術(shù)、增強現(xiàn)實技術(shù)，用虛擬文物代替實體文物，調(diào)動參觀者的積極性，實現(xiàn)參觀者與虛擬文物之間產(chǎn)生更好的互動。本文首先對系統(tǒng)整體架構(gòu)進行設(shè)計，主要包括體感設(shè)備和系統(tǒng)軟件兩個部分，為系統(tǒng)需求分析提供參考依據(jù)，同時詳細研究分割深度圖像中的用戶信息和手勢識別兩項關(guān)鍵技術(shù)。然后根據(jù)虛擬文物互動展示系統(tǒng)的功能和性能需求分析，設(shè)計系統(tǒng)軟件總體結(jié)構(gòu)，通過對比分析，確定體感設(shè)備、軟件開發(fā)框架以及MySQL數(shù)據(jù)庫的選擇。其次，本文對系統(tǒng)軟件所涉及到的相關(guān)技術(shù)進行重點研究和分析。接下來根據(jù)系統(tǒng)的功能需求分析對系統(tǒng)軟件功能模塊進行詳細劃分，系統(tǒng)軟件主要包括顯示模塊、UI交互模塊、虛擬文物存儲模塊、手勢識別模塊、虛擬文物控制模塊、信息統(tǒng)計模塊以及拍照分享模塊。同時本文詳細闡述了各功能模塊的實現(xiàn)過程。最后，為驗證虛擬文物互動展示系統(tǒng)運行的穩(wěn)定性和可靠性，對本系統(tǒng)進行了測試和分析。測試結(jié)果表明，虛擬文物互動展示系統(tǒng)功能滿足需求，能夠安全可靠、高效穩(wěn)定地運行，達到了預(yù)期目標。關(guān)鍵詞：虛擬文物，互動展示，深度圖像，手勢識別第1章緒論1.1課題研究背景及意義文物是中華民族的重要象征，具有很高的藝術(shù)、精神、研究、欣賞、歷史價值［1］。出土的文物對分析一個國家當時歷史發(fā)展的程度和民族文明發(fā)展的高度具有一定的參考意義。文物一旦損壞，就永遠不能復(fù)原。沒有眾多的文物史跡，文明古國也就名存實忙，失去傳統(tǒng)的風采和內(nèi)涵⑵，因此保護文物是社會發(fā)展必然的一個選擇。文物展示的意義在于讓市民了解歷史文化、弘揚歷史文化知識、傳承歷史文物精神，展現(xiàn)文物價值，提高地方歷史文化地位。另外，文物展示可以吸引游客參觀，提升城市文化影響力、競爭力，提高城市品位，方便市民和學者學習與交流。圖1.1博物館“通柜”展示方法傳統(tǒng)文物展示長期采用“通柜”的陳列方法，把文物展示出來，如上圖1.1所示。這樣的展示方式難以全面展示出文物精美外觀，無法感受展品結(jié)構(gòu)的精妙，缺乏細節(jié)展示。又因為傳統(tǒng)文物展示空間的局限性，大部分的博物館所能展出的藏品占其總珍藏的1%左右［3］，文物展示更換頻率低。另外，在傳統(tǒng)文物展示中，用一塊牌子簡單的介紹文物所在朝代、文物的品種以及文物工藝等基本信息，不能把文物涉及到的詳細信息呈現(xiàn)出來，觀眾所了解到的文物信息是片面的、不完整的。市民在參觀博物館時難以近距離觀察文物，可以近距離觀看的只有文字、圖片介紹，因此傳統(tǒng)文物展示缺乏生動性、趣味性。由于信息的傳遞是單向的，參觀者只能被動接收，這就引起了觀眾的主動參與性不足［4］。所以傳統(tǒng)文物展示主要面臨的問題有文物細節(jié)展示不足、文物展示更換頻率低、文物信息展示不完整以及觀眾的主動參與性不足。隨著社會的進步和技術(shù)的發(fā)展，人們的生活水平再逐漸提高，因此人們有更多的時間去關(guān)注人類歷史文物和新興技術(shù)，所以虛擬文物互動展示的方式正逐漸被人們所接受。與此同時，出現(xiàn)了很多帶有VR(VirtualReality)技術(shù)、AR(AugmentedReality)技術(shù)、體感互動技術(shù)的電影、書籍和新聞等這些市場經(jīng)濟發(fā)展的產(chǎn)物，使人們對虛擬互動展示技術(shù)有了更多的了解［5］。另外，在歷史發(fā)展的進程中，很多具有研究價值的文物受到了一定的損壞，而且還需要用特定的場所去存放和保護，不適合在公共的地方去展出，因此需要使用虛擬文物對破損的實體文物進行替代，讓這些文物重新呈現(xiàn)在人們面前。在虛擬文物展示過程中，多媒體技術(shù)、虛擬現(xiàn)實技術(shù)以及體感技術(shù)的廣泛應(yīng)用，增強了文物的生動性和展覽的互動性［4］。虛擬文物與體感技術(shù)相結(jié)合的展示模式，可以調(diào)動用戶參觀的積極性，使人們對文物有更深的了解，因此擁有非常重要的意義。1.2國內(nèi)外發(fā)展現(xiàn)狀目前世界很多高校、科研機構(gòu)和科技公司都在對虛擬現(xiàn)實、增強現(xiàn)實和體感技術(shù)進行研究，在理論與應(yīng)用開展等方面都取得了很大的進展［6］。一些博物館和科技館使用最新技術(shù)去全面、生動、逼真地展示虛擬文物，打造一個全新的展覽模式［7］。下文對數(shù)字化博物館和人機交互相關(guān)技術(shù)在國內(nèi)外的發(fā)展現(xiàn)狀進行闡述。1.2.1數(shù)字化博物館的發(fā)展現(xiàn)狀數(shù)字技術(shù)較早地被美國應(yīng)用到文物展示中，并在1990年開啟了美國記憶計劃。該計劃的主要內(nèi)容是通過數(shù)字技術(shù)將國會圖書館的文獻資料轉(zhuǎn)換成電子數(shù)據(jù)，并存儲到計算機中［8］。該項目的實施對于紙質(zhì)圖書數(shù)字化就有重大意義，以及對博物館數(shù)字化轉(zhuǎn)型也啟到了深刻的影響。在上世紀90年代，歐洲一些著名的博物館將虛擬文物展示技術(shù)應(yīng)用到了文物展覽中。如法國巴黎的盧浮宮博物館、西班牙馬德里的普拉多博物館以及英國倫敦的大英博物館等［9］。特別是普拉多博物館將傳統(tǒng)文物與新興技術(shù)相融合，把文物生動形象的展示在人們面前。普拉多博物館一方面使用圖像技術(shù)和數(shù)字技術(shù)將文物的信息和展示效果通過互聯(lián)網(wǎng)的方式向世界觀眾進行全面展示。另一面普拉多博物館使用建模技術(shù)把實體文物轉(zhuǎn)換成虛擬文物，并向觀眾展示了一些文物的設(shè)計方式、內(nèi)部結(jié)構(gòu)和工藝流程，為觀眾對歐洲歷史文化的研究提供了歷史素材［10］。這樣的展示方式不僅解決了博物館空間不足和展示內(nèi)容不完整的巨大問題，而且讓參觀者詳細了解了文物的歷史，增強了展示的直觀性、趣味性以及互動性。在國內(nèi)，虛擬現(xiàn)實技術(shù)雖然比國外起步晚，但正逐漸受到越來越多的企業(yè)和科研單位的重視，并且一些非科研單位也對新技術(shù)的應(yīng)用做出了很大貢獻。1990年，我國將“虛擬現(xiàn)實技術(shù)”正式列入國家“863計劃”［11］。近年來，虛擬平臺互動展示形式已經(jīng)在我國的各個領(lǐng)域得到了廣泛的應(yīng)用，如應(yīng)用在醫(yī)學領(lǐng)域、教育領(lǐng)域、媒體領(lǐng)域以及文化領(lǐng)域等。國內(nèi)很多博物館或科技館在虛擬展示方面取得了很大的進步，比較有代表性的虛擬文物展示的博物館有故宮博物館、上海博物館、南京博物館、敦煌博物館、上?？萍拣^等［12］。這些博物館通過計算機技術(shù)將實體文物進行信息化存儲，并通過虛擬技術(shù)和3D建模技術(shù)將實體文物進行虛擬化。目前臺北故宮博物館已經(jīng)對大部分文物進行數(shù)字化存儲，其中70%的珍貴文物完成了3D建模，觀眾可以通過臺北故宮博物館的平臺，隨時隨地的對虛擬文物進行把玩和觀賞。例如，臺北故宮使用虛擬現(xiàn)實技術(shù)和3D建模技術(shù)，虛擬出橄欖核舟，通過投影技術(shù)實現(xiàn)觀眾可以從多個角度觀賞細膩逼真的虛擬橄欖核舟［13］。博物館是體現(xiàn)歷史發(fā)展歷程的殿堂，通過虛擬互動的方式把文物展現(xiàn)出來，才能夠讓觀眾更深入的了解文物和歷史。目前，國內(nèi)外雖然建立了虛擬文物展示平臺，采用投影技術(shù)將文物展示出來，但是仍然存在占用空間大、成本高等問題。在博物館虛擬化發(fā)展過程中，如何制定高效的、低成本的虛擬互動平臺是迫切需要解決的難題。1.2.2人機交互相關(guān)技術(shù)發(fā)展現(xiàn)狀人機交互是用戶與計算機之間使用某種對話語言，以一定的交互方式，實現(xiàn)用戶與計算機之間進行信息交互。人機交互［14］的發(fā)展經(jīng)歷了早期的手工作業(yè)階段、交互命令語言階段、圖形用戶界面階段、網(wǎng)絡(luò)用戶界面以及多通道、多媒體的智能人機交互階段。其中，在多通道、多媒體的智能人工交互階段，利用人的多種感覺通道和動作通道，如語音、手勢、表情等，以并行、非精確的方式與計算機進行交互，可以提高人機交互的自然性和高效性。本節(jié)將概述手勢識別、增強現(xiàn)實技術(shù)的國內(nèi)外研究現(xiàn)狀。手勢識別在國外，較早的手勢識別技術(shù)是同過外接設(shè)備來實現(xiàn)的，如圖1.2所示。該技術(shù)原理是通過外部設(shè)備來確定人體手部的具體位置以及角度信息，然后利用有線將這些信息發(fā)送到計算機端進行分析與處理，從而確定用戶手勢意思。例如，德國宇航研究中心的Fischer，采用數(shù)據(jù)手套測量人手關(guān)節(jié)的角度，利用神經(jīng)網(wǎng)絡(luò)確定人手關(guān)節(jié)與指尖位置，從而進行人手與虛擬手的空間映射［15］；美國國家航空航天局的空間中心的Farry通過測量人手運動的肌電信號，進行人手與虛擬手之間的運動映射［16］。雖然數(shù)據(jù)手套能夠得到不錯的效果，但價格昂貴而不能廣泛運用，另外這種外部設(shè)備的接入，違背了人機交互的自然性，從而沒有被大眾所認可。圖1.2外部設(shè)備數(shù)據(jù)手套最近幾年，隨著技術(shù)的進一步發(fā)展，以美國公司為代表開發(fā)的自由式無標記手勢識別設(shè)備正逐漸被人們所關(guān)注。例如，Leap公司研發(fā)的LeapMotion設(shè)備用于手勢捕捉，其原理是利用兩個高分辨率灰度攝像頭、三個紅外發(fā)射器來捕捉用戶手勢；微軟公司開發(fā)的Kinect體感設(shè)備利用深度傳感器采集用戶深度圖像信息，在使用人體分割算法對用戶骨骼點進行跟蹤，在此基礎(chǔ)上對用戶手勢進行識別。在國內(nèi)，基于視覺的手勢識別方法正逐漸被人們所關(guān)注。這種方法是通過攝像頭采集彩色圖像，然后通過計算機對彩色圖像進行分析與處理，最終達到手勢識別。例如，清華大學的任海兵、祝運新等人［17］對基于視覺手勢識別進行了研究?；谝曈X手勢識別分為五個階段：手勢圖像的采集、手勢圖像的分割、手勢跟蹤、特征提取和手勢識別。北京交通大學的周航［18］提出了一種膚色關(guān)聯(lián)的算法，對手勢識別有了一定的改進。增強現(xiàn)實增強現(xiàn)實技術(shù)，簡稱AR技術(shù)，是一種將真實世界信息和虛擬世界信息結(jié)合在一起的新技術(shù)，把原本在現(xiàn)實世界的一定時間空間范圍內(nèi)很難體驗到的實體信息，通過計算機技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實世界，從而實現(xiàn)對現(xiàn)實的增強［19］。增強現(xiàn)實最顯著的特點是虛實結(jié)合以及實時交互，這一重要特性被很好的應(yīng)用在人機交互中，讓用戶獲得現(xiàn)實擴張體驗。增強現(xiàn)實技術(shù)起源于20世紀60年代，國外一些著名的研究機構(gòu)美國麻省理工學院、日本和德國等發(fā)達國家的實驗室以及一些科技公司微軟、谷歌等都在對增強現(xiàn)實進行研究。目前，在增強現(xiàn)實領(lǐng)域有了一定應(yīng)用成果的是谷歌公司研發(fā)的谷歌眼鏡，如圖1.3所示。谷歌眼鏡［20］利用光學反射投影原理，將光投到一塊反射屏上，然后通過一塊凸透鏡折射到人體眼球，實現(xiàn)在用戶眼前出現(xiàn)一個虛擬屏幕，屏幕上可以顯示出文本信息和各種數(shù)據(jù)。谷歌眼睛可以很好的與移動電話進行結(jié)合，實現(xiàn)用戶可以通過虛擬屏幕查看信息，并可以通過語音指令，實現(xiàn)拍攝照片、發(fā)送信息等功能。增強現(xiàn)實還被應(yīng)用工業(yè)領(lǐng)域和教育領(lǐng)域。在工業(yè)領(lǐng)域，維修人員通過頭戴式顯示器，對大型器械進行維修和制造。在教育領(lǐng)域，老師可以通過手勢操作三維模型，對某一種知識進行詳細講解。圖1.3谷歌眼鏡在國內(nèi)，增強現(xiàn)實的研究與應(yīng)用起步較晚。研究機構(gòu)最初以高校為主，例如華中科技大學、國防科技大學、北京理工大學等在增強現(xiàn)實技術(shù)上取得了一定的成果。最具有代表性的是北京理工大學研發(fā)的“數(shù)字圓明園”，通過增強現(xiàn)實技術(shù)將圓明園沒有被破壞前的場景顯示出來［21。隨著增強現(xiàn)實逐漸被人們所關(guān)注，一些科技公司也開始涉及到該領(lǐng)域。例如，常州優(yōu)趣公司開發(fā)的一款手機APP產(chǎn)品“城市鏡頭”，該平臺整合了個城市旅游、娛樂等人們生活中所需的一些信息，并有精準的AR數(shù)據(jù)導(dǎo)航，為用戶提供定位和指引等功能。1.3課題研究內(nèi)容本課題來源于校企合作項目“重慶楊家坪展覽館開發(fā)項目”。本項目的建設(shè)目標是打造一個全新的會展模式，用虛擬模型替代實體文物，展示文物的全面信息，并可以通過體感設(shè)備和手機APP實現(xiàn)參觀者與虛擬模型進行互動。目前，本項目已經(jīng)進入測試階段。本課題主要完成虛擬文物互動展示系統(tǒng)的設(shè)計與開發(fā)工作。根據(jù)項目實際需求，采用模塊化的設(shè)計思想，結(jié)合體感設(shè)備、計算機網(wǎng)絡(luò)、數(shù)據(jù)庫等技術(shù)，開發(fā)一個功能完善、界面友好、模型逼真、快速互動的虛擬文物互動展示系統(tǒng)，具體工作包括以下幾個方面：對國內(nèi)外虛擬文物互動展示平臺發(fā)展現(xiàn)狀、應(yīng)用前景和相關(guān)技術(shù)進行充分調(diào)研和分析。分析虛擬文物互動展示系統(tǒng)的功能和性能需求，對系統(tǒng)整體結(jié)構(gòu)進行設(shè)計，并完成開發(fā)方案的分析與選擇。根據(jù)功能需求分析，完成對體感設(shè)備數(shù)據(jù)采集和手勢識別等關(guān)鍵技術(shù)的研究。包括對深度數(shù)據(jù)的分析、手部區(qū)域的提取、手部輪廓的描繪、手部凸包的提取以及基于重心距離和指尖曲率算法來識別用戶手勢。詳細設(shè)計并實現(xiàn)虛擬文物互動展示系統(tǒng)軟件的各個功能模塊，并設(shè)計文物操作手勢協(xié)議。軟件功能模塊包括顯示模塊、UI交互模塊、虛擬文物存儲模塊、手勢識別模塊、虛擬文物控制模塊、信息統(tǒng)計模塊以及拍照分享模塊。設(shè)計測試方案，搭建測試環(huán)境，對虛擬文物互動展示系統(tǒng)進行測試并分析測試結(jié)果。最后，完成相關(guān)文檔的撰寫和整理。1.4論文組織結(jié)構(gòu)本課題圍繞虛擬文物互動展示系統(tǒng)設(shè)計與實現(xiàn)展開論述，通過分析系統(tǒng)的功能和性能需求，確定系統(tǒng)的總體設(shè)計方案，完成系統(tǒng)軟件各個功能模塊的詳細設(shè)計與實現(xiàn)。本文總共分為6個章節(jié)，各章節(jié)具體研究內(nèi)容如下：第1章：緒論。調(diào)研本課題的研究背景和意義，分析虛擬文物互動展示平臺在國內(nèi)外的發(fā)展現(xiàn)狀，并闡述課題來源和主要研究內(nèi)容。第2章：虛擬文物互動展示系統(tǒng)總體設(shè)計。根據(jù)項目應(yīng)用場景和傳統(tǒng)文物展示存在的問題，完成虛擬文物互動展示系統(tǒng)的功能和性能需求分析，依據(jù)系統(tǒng)需求分析，設(shè)計系統(tǒng)軟件的總體結(jié)構(gòu)和數(shù)據(jù)總體流程。最后按照互動展示軟件開發(fā)的主流趨勢，完成體感設(shè)備、軟件開發(fā)框架以及數(shù)據(jù)庫的選擇。第3章：系統(tǒng)相