1006設(shè)計(jì)翻譯版面向移動(dòng)終端的大規(guī)模場(chǎng)景

DesignandImplementationofALarge-scaleRemoteRenderingSystemforMobileTerminalsAuthor:JunTutor:XiaohuiRemoterenderingformobileterminalsisatechnologyusedbydistributedcollaborativeuserstointeractwiththevirtualscene,whichdoesnotneedtorenderontheserverside,butratherreceivestheinformationofpointofviewsentbytheclientovertheinternet,determineitsvisibility,selecttheappropriatemodeldataandsenditbacktotheclientthroughthenetworkforrendering.Inthispaper,wedesignandimplementalarge-scaleremoterenderingsystemformobileterminals.Thispaperincludesthefollowingworks.First,westudyandimplementthesceneorganizationwithanout-of-coreindexedoctree,throughwhichwecangetsmallscenedatablocks.Second,basedontheblockswejustpartitioned,weimplementawaytopickvisiblesetsunderaparticularviewpoint.Finally,basedonmobileterminals,wedesignandimplementaremoterenderingsystemformobileclients,whichconnectsandtransferdatawithserverviawirelessnetwork,parsingthereceiveddatasetsandusingOpenGLEStechnologytorendermodels.：remoterendering,out-of-core,OpenGL 緒 研究背 國(guó)內(nèi)外研究現(xiàn) 基于傳輸?shù)臄?shù)據(jù)類型的分 基于繪制位置的分 研究目標(biāo)與內(nèi) 課題來(lái) 的組織結(jié) 相關(guān)技術(shù)現(xiàn) 模型組 幾何壓 Socket技 OpenGL 本章小 面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)設(shè) 系統(tǒng)功能需 設(shè)計(jì)原 系統(tǒng)總體架構(gòu)設(shè) 系統(tǒng)功能模塊詳細(xì)設(shè) 場(chǎng)景組織模塊設(shè) 可視集選取模塊設(shè) 網(wǎng)絡(luò)通信模塊設(shè) 模型繪制模塊設(shè) 用戶交互模塊設(shè) 本章小 面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)實(shí) 系統(tǒng)開(kāi)發(fā)環(huán) 場(chǎng)景組織模塊實(shí) 可視集選取模塊實(shí) 網(wǎng)絡(luò)通信模塊實(shí) 服務(wù)器端網(wǎng)絡(luò)通信模塊實(shí) 客戶端網(wǎng)絡(luò)通信模塊實(shí) 模型繪制模塊實(shí) 用戶交互模塊實(shí) 本章小 系統(tǒng)實(shí) 實(shí)驗(yàn)環(huán) 功能實(shí) 實(shí)驗(yàn)?zāi)?實(shí)驗(yàn)過(guò) 實(shí)驗(yàn)總結(jié)與分 性能實(shí) 實(shí)驗(yàn)?zāi)?實(shí)驗(yàn)過(guò) 實(shí)驗(yàn)總結(jié)與分 本章小 總結(jié)與展 工作總 工作展 致 參考文 緒、個(gè)人數(shù)字助理(PDA)、平板電腦等移動(dòng)設(shè)備逐漸普及。相PC平臺(tái)，移動(dòng)設(shè)PC平臺(tái)移植到移動(dòng)終端上，如地理信息系統(tǒng)、普適游戲等。然而由于計(jì)算機(jī)圖形技含13,000,000個(gè)面片[1]。1.1PowerPlantPC機(jī)，移動(dòng)設(shè)備自身也存在著諸多不足，這些不足主要ARM10+MHzARM7(1993年)，發(fā)展較普遍的配置為1GHz-2GHzIn處理器[2]。雖然目前移動(dòng)設(shè)備處理器已經(jīng)能夠處理一些較復(fù)雜的任務(wù)，如動(dòng)畫、和復(fù)雜的幾何應(yīng)用等，但是其與當(dāng)前PC的CPU配(2.2GHz-3.6GHz)相比還是存在很大的差圖形處理單元。GPU(GraphicProcessingUnit)CPU的一GPUGPU相GPU在短時(shí)間內(nèi)無(wú)法器。移動(dòng)設(shè)備通常采用整合式設(shè)計(jì)，即將CPU、GPU、RAM等放置在同一個(gè)上。由于面積的約束，移動(dòng)設(shè)備的容量也有限制，目前主流移動(dòng)設(shè)備的容量為512M-1G，遠(yuǎn)遠(yuǎn)低于PC。議主要包括802.11b(即Wi-Fi)、802.11a、802.11g等。無(wú)線局域網(wǎng)的傳輸速率較低，IEEE802.112Mbit/sPC相比，移動(dòng)設(shè)備在網(wǎng)絡(luò)端利用較高性能的PC進(jìn)行圖形的處理和運(yùn)算工作，減輕移動(dòng)設(shè)備的處理負(fù)擔(dān)。型，可以將繪制分類如下：傳輸圖像的繪制系統(tǒng)以圖像的格式在網(wǎng)絡(luò)上傳輸數(shù)據(jù)，在接收端對(duì)其進(jìn)行型以幀圖像的形式傳輸至客戶端，故用戶的交互空間在已定義好的路徑范圍內(nèi)被限制。比較著名的傳輸圖像的繪制系統(tǒng)有加州大學(xué)伯克利的基于網(wǎng)格的分布架i[][]SGI司提出了域網(wǎng)(viulrantok)的概念。視域網(wǎng)指通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)先進(jìn)的pnGLPI[]。傳輸幾何模型的繪制系統(tǒng)在網(wǎng)絡(luò)上傳輸?shù)氖菐缀文Ｐ蛿?shù)據(jù)，客戶端接收模Web3D技術(shù)[8]，Web3D以網(wǎng)絡(luò)瀏覽器插件的形式服務(wù)器端的VRML／X3D數(shù)據(jù)，在本地顯進(jìn)表示[11]，有利于提高實(shí)時(shí)性。通常傳輸幾何模型的繪制方法為客戶端繪制。服務(wù)器端繪制。該方法基于可視化服務(wù)器實(shí)現(xiàn)可視化和協(xié)作，使得客戶端3D模型的多級(jí)別分辨率模型，向客戶端發(fā)送殘余的誤差圖像和低本課題的目標(biāo)是，設(shè)計(jì)實(shí)現(xiàn)一個(gè)面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)。使用換成視點(diǎn)給服務(wù)器進(jìn)行后續(xù)處理。研究外存場(chǎng)景組織方法，設(shè)計(jì)基于外存索引的八叉樹(shù)構(gòu)造算法，得到八PC內(nèi)存的大型場(chǎng)景模型，不能一視在在基于移動(dòng)終端，設(shè)計(jì)實(shí)現(xiàn)一個(gè)繪制系統(tǒng)移動(dòng)客戶端，使用無(wú)線網(wǎng)絡(luò)與服務(wù)的幾何數(shù)據(jù)集進(jìn)行解析，并使用OpenGLES進(jìn)行場(chǎng)景模型繪制。第一章緒論網(wǎng)絡(luò)傳輸技術(shù)、幾何壓縮技術(shù)和OpenGLES的相關(guān)知識(shí)。第三章面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)設(shè)第四章面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)實(shí)完成系統(tǒng)的設(shè)計(jì)后，根據(jù)第三章功能需求對(duì)系統(tǒng)功能與性能進(jìn)試實(shí)驗(yàn)并給出評(píng)價(jià)。功能測(cè)試主要對(duì)系統(tǒng)能否實(shí)現(xiàn)基礎(chǔ)的繪制功能進(jìn)試，性能測(cè)試主要對(duì)于繪制的幀率設(shè)置對(duì)比實(shí)驗(yàn)進(jìn)試。相關(guān)技術(shù)景八叉樹(shù)，在移動(dòng)客戶端使用OpenGLES實(shí)現(xiàn)模型的繪制，服務(wù)器與客戶端間通過(guò)socket實(shí)現(xiàn)互聯(lián)及數(shù)據(jù)傳輸。本章對(duì)相應(yīng)的技術(shù)進(jìn)行概述。PC機(jī)的內(nèi)存，故一般采用外存模型組織。如何對(duì)復(fù)雜2.1所示為二維空間下四叉樹(shù)的建立過(guò)程。 2.1幾何壓縮[15]是Deering在1995年研究方向。幾何壓縮就是根據(jù)幾何模型的遞進(jìn)網(wǎng)格壓縮方法模式為先傳輸并顯示一個(gè)較低精度模型的粗網(wǎng)格，再邊傳輸邊顯Hoppe1996年首先提出了遞進(jìn)網(wǎng)格(ProgresiveMesh,PM的算法[18]，可以將拓?fù)渚W(wǎng)格表示為一種無(wú)損且連續(xù)的編碼方式，圖2.2為邊折疊操作圖示。2.2SocketSocket（套接字BSD套接字）是一個(gè)應(yīng)用程序接口，使用一個(gè)Internet套接字的概念，使主機(jī)之間或者計(jì)算機(jī)上的進(jìn)程之間可以互相通信[19]。Socket最初由加利福尼亞的伯克利大學(xué)開(kāi)發(fā)，最初用于Unix系統(tǒng)。由于伯克利套接字是第一個(gè)套接字，API。SocketI/O設(shè)備和驅(qū)動(dòng)上運(yùn)行。SocketTCP/IPInternet基本技術(shù)TCP/IPSocket分成三類[20]：流式套接字(SOCK_STREAM)TCP協(xié)議，提供一個(gè)面向數(shù)據(jù)報(bào)套接字(SOCK_DGRAM)UDP協(xié)議，提供一個(gè)原始套接字(SOCK_RAW)。原始套IP、ICMP協(xié)API，包括但不限于：WindowsSockets(WinsockJavaSocketsPythonSocketsPerlSockets。雖然調(diào)用bind()函數(shù)，將套接字與一個(gè)套接字地址結(jié)構(gòu)相關(guān)聯(lián)。這個(gè)套接字地址結(jié)構(gòu)一般為指定的本地IP地址和端口。調(diào)用listen()函數(shù)使綁定的套接字進(jìn)入狀態(tài)來(lái)自客戶端的連接請(qǐng)求調(diào)用accept()函數(shù)，接受一個(gè)客戶端發(fā)來(lái)的創(chuàng)建新連接的接入請(qǐng)求，創(chuàng)建一個(gè)新的與客戶端建立連接之后，可以調(diào)用send()和recv()函數(shù)，通過(guò)建立連接的套接字接close()函數(shù)關(guān)閉套接字，系統(tǒng)釋放分配給套接字的資源，如果該套接字連接使用的是TCP連接，連接將會(huì)被中斷。 socket()函數(shù)，創(chuàng)建一個(gè)新的確定類型的套接字接字，則它會(huì)試圖獲得一個(gè)新的TCP連接。close()函數(shù)關(guān)閉套接字。服務(wù)器和客戶端close()函數(shù)，連接都會(huì)被關(guān)閉。OpenGLOpenGLES(OpenGLforEmbeddedSystems)是OpenGL圖形API的子集，針對(duì)、OpenGLESOpenGL裁剪而來(lái)，相比于OpenGL，去除了很多不是必須的特性，比如四邊形(GL_QUADS)和多邊形(GL_POLYGONS)(glBegin)(glEnd)操作等[21]。到目前為止，OpenGLES主要可以分為兩個(gè)主要版本，OpenGLES1.xOpenGL定渲染管線，可以由硬件GPU支持或軟件模擬實(shí)現(xiàn)，渲染能力有限，在純軟件模擬情況下性能也較弱；OpenGLES2.0OpenGL2.0規(guī)范定義的，采用的是可編程渲染管線，渲染能力大大提高。OpenGLES2.0GPU硬件支持，目ES1.0標(biāo)準(zhǔn)在移動(dòng)終端進(jìn)行繪制。OpenGLES繪制物體的過(guò)程是采用渲染管線實(shí)現(xiàn)的。GPUGPU的帶寬，提高渲染深度測(cè)試：深度測(cè)試主要是將片元的深度值與幀緩沖區(qū)中的對(duì)應(yīng)位置片元幀緩沖：OpenGLES在繪制物體時(shí)，先是將物體在幀緩沖區(qū)中繪制，再將繪制顏色緩沖每個(gè)面片的顏色值，通常用RGBA（紅、綠、藍(lán)、）四個(gè)值表示，顏色緩沖區(qū)的值就是顯示到屏幕上的值；深度緩沖用來(lái)每個(gè)片元的深度值，若啟用本章主要介紹了本文所需要實(shí)現(xiàn)的面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)在設(shè)SoktOpnGLS技術(shù)做了詳細(xì)的介紹。面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)設(shè)本章主要是兩章的基礎(chǔ)上，首先分析了面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系隨著計(jì)算機(jī)技術(shù)的日漸發(fā)展，智能、平板電腦登移動(dòng)設(shè)備漸漸普及。相較于解決方案，即將三維數(shù)據(jù)到服務(wù)器端，并在服務(wù)器端利用較高性能的PC進(jìn)行圖形服務(wù)器端場(chǎng)景模型文件，使用外存索引八叉樹(shù)算法，得到八叉樹(shù)劃分之后PC服務(wù)器端和移動(dòng)移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)的總體架構(gòu)如圖3.1所示。3.1預(yù)處理階段完成后，服務(wù)器端開(kāi)啟socket網(wǎng)絡(luò)功能，并請(qǐng)求socket與服務(wù)器端相連，獲取初始的視點(diǎn)；此時(shí)服務(wù)器端根據(jù)收到這些數(shù)據(jù)后，對(duì)其中的幾何信息進(jìn)行解析，并使用OpenGLES進(jìn)行繪制。的視點(diǎn)信息，同樣使用socket將新的視點(diǎn)信息傳輸給服務(wù)器端并等待；服務(wù)器接收到新模型數(shù)據(jù)，并使用OpenGLES繪制。為該模塊的算法。場(chǎng)景數(shù)據(jù)，由于其往往不能調(diào)入內(nèi)存進(jìn)行處理，并且在繪制中，若將文件的數(shù)據(jù)部分，以單精度浮點(diǎn)數(shù)類型依次頂點(diǎn)坐標(biāo)值；以字符型（即單前面說(shuō)到，在大規(guī)模場(chǎng)景繪制系統(tǒng)中，對(duì)于大規(guī)模場(chǎng)景進(jìn)行分塊處理，并根據(jù)一致。表3.1為視點(diǎn)信息數(shù)據(jù)結(jié)構(gòu)的定義。3.1出于系統(tǒng)對(duì)于發(fā)送和接收數(shù)據(jù)正確性要求較高的考慮，其網(wǎng)絡(luò)通信模塊采用TCP3.2123103.2Android系統(tǒng)中，用戶的交互操作主要是觸控操作，如單點(diǎn)拖拽、多點(diǎn)觸控等。下走等。通過(guò)上述表述，可以對(duì)用戶交互操作與漫游動(dòng)作做如表3.3對(duì)應(yīng)：3.3面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)實(shí)功能模塊詳細(xì)設(shè)計(jì)，本章將對(duì)各個(gè)模塊的實(shí)現(xiàn)、模塊中算法的流程進(jìn)行闡述。最低版本為2.2。本系統(tǒng)服務(wù)器端的開(kāi)發(fā)環(huán)境為L(zhǎng)inux系統(tǒng)下的GCCc++語(yǔ)言進(jìn)行編寫；客戶端的開(kāi)發(fā)環(huán)境為Eclipse集成編譯器，使用Java語(yǔ)言進(jìn)行安卓程序的編寫。首先，由于場(chǎng)景模型數(shù)據(jù)文件的容量可能大于PC的內(nèi)存容量，故不能讀入加入該葉節(jié)點(diǎn)中。由于三角形可能多個(gè)葉節(jié)點(diǎn)，為了不引起數(shù)據(jù)丟失，在每個(gè)與該需要再次檢查其是否超過(guò)閾值h。4.1圖4.2為該算法的流程圖。下面對(duì)該算法的流程做一個(gè)闡述。4.2值改為1；否則，丟棄該塊，不進(jìn)行傳輸。返回一個(gè)用于傳送數(shù)據(jù)的socket。到此，服務(wù)器與客戶端的連接便建立了起來(lái)。intread_int(intfd)doubleread_double(intfd)voidwrite_int(intfd,intdata)voidwrite_float(intfd,floatdata)voidwrite_double(intfd,doubledata)voidwrite_buffer(intfd,char*buffer,int其中，fd為創(chuàng)建socket連接時(shí)所返回的socket描述符。read_int()，read_float()和能類似，都是對(duì)于send()函數(shù)進(jìn)行封裝，保證將完整的數(shù)據(jù)發(fā)送出去。的getInputStream()和getOutputStream()方法獲取其輸入流和輸出流。由于本系統(tǒng)兩個(gè)平臺(tái)，PC和移動(dòng)終端，而且需要實(shí)現(xiàn)兩個(gè)平臺(tái)之間的網(wǎng)絡(luò)通intbytesToInt(byte[]b)REQ_NODE請(qǐng)求，即請(qǐng)求服務(wù)器傳送可視節(jié)點(diǎn)數(shù)據(jù)，并接收和保存響應(yīng)用戶交互操作，在探測(cè)到有用戶交互操作時(shí)，根據(jù)操作的不同，改變視點(diǎn)S_CM_E4.3OctreeNodegetOctreeNode()方法，該方法的功能內(nèi)容提取出來(lái)，新一個(gè)OctreeNode對(duì)象，并將這些內(nèi)容存放進(jìn)去，并返回這個(gè)對(duì)象的。便于更好地管理和操作。Camera類中的成員變量為定義好的視點(diǎn)信息，主要的成員函voidrecvCamera(InputStreamin)voidsetCamera(GL10gl)voidgetLeft(floatdy)voidgetRight(floatdy)voidgetUp(floatdz)其中，sendCamera()函數(shù)和recvCamera()函數(shù)為對(duì)整體視點(diǎn)和接收的一個(gè)錯(cuò)誤。setCamera()函數(shù)中調(diào)OpenGLESgluLookAt()函數(shù)，通過(guò)該函數(shù)改方法。獲取用戶的操作后，根據(jù)操作的不同，調(diào)用Camera類中的getLeft()，getRight()，getUp()，getDown()，getBackward()方法，對(duì)視點(diǎn)進(jìn)行操作，并setCamera()方法改前兩個(gè)章節(jié)分別介紹了面向移動(dòng)終端的大規(guī)模場(chǎng)景繪制系統(tǒng)的詳細(xì)設(shè)計(jì)及核操作系統(tǒng)：UbuntuCPU：In(R)Corie3470內(nèi)存：4G操作系統(tǒng)：AndroidCPUExynos5410OpenGLES版本：OpenGLES 無(wú)線網(wǎng)樹(shù)葉節(jié)點(diǎn)的頂點(diǎn)數(shù)為3000，得到的節(jié)點(diǎn)文件大小為130KB左右。服務(wù)器端開(kāi)啟socket進(jìn)行，同時(shí)在保證無(wú)線網(wǎng)絡(luò)連接的情況下，開(kāi)啟移動(dòng)5.15.1 52所示為頂點(diǎn)閾值分別為、、、5000時(shí)，客戶端在交互5.2地繪制時(shí)間）較長(zhǎng)，在500ms至4s之間。1000ms以上，在交互時(shí)表現(xiàn)為總體刷新率較低；在頂點(diǎn)閾總結(jié)與面向移動(dòng)終端的繪制是應(yīng)用于分布式協(xié)同用戶對(duì)于虛擬場(chǎng)景信息進(jìn)行交互的首先，研究外存場(chǎng)景組織方法，對(duì)于遠(yuǎn)大于PC內(nèi)存容量場(chǎng)景數(shù)據(jù)，采用基于外存索引的八叉樹(shù)構(gòu)造算法，對(duì)于大規(guī)模場(chǎng)景進(jìn)行劃分。對(duì)于數(shù)據(jù)量遠(yuǎn)大于一般PC內(nèi)存的服務(wù)器端載入PowerPlant模型，開(kāi)啟客戶端進(jìn)行連接和繪制，測(cè)試系統(tǒng)是否正常實(shí)現(xiàn)致感謝答辯組的各位老師，老師、郝愛(ài)民老師、老師、老師，在感謝學(xué)長(zhǎng)、學(xué)長(zhǎng)、胡山峰學(xué)長(zhǎng)，在我系統(tǒng)設(shè)計(jì)、實(shí)現(xiàn)以及實(shí)驗(yàn)的最后我要感謝我的，在我畢設(shè)過(guò)程中，用實(shí)際行動(dòng)督促我，在我失落的信心面對(duì)人生中的和。參考[1]DAliaga,etal1MMR:Aninteractivemassivemodelrenderingsystemusinggeometricandimage-basedacceleration[C]11999ACMSymponInteractive3DGraphics,LosAngeles,CA,1999.[2].面向移動(dòng)設(shè)備的圖形繪制技術(shù)研究 [3].無(wú)線局域網(wǎng)(WLAN)標(biāo)準(zhǔn)與實(shí)現(xiàn).計(jì)算機(jī)與數(shù)字工程 [4]全，黨崗.基于幾何模型的自適應(yīng)實(shí)時(shí)繪制技術(shù)綜述[J].計(jì)算機(jī)研究與發(fā)展，2005,42:277-281.DIVA．．2004-ShuShi,MahsaKamali.AHigh-QualityLow-DelayRemoteRenderingSystemfor3D[D].UniversityofIllinoisatUrbana-Champaign,USA,2010.SiliconGraphicsInc．,OpenGLVizserver3.1． Web3D /,2005-JavierLluch,RafaelGait′an.InteractiveThree-DimensionalRenderingonMobileComputerDevices[D].Polytechn