虛擬農(nóng)業(yè)技術(shù)現(xiàn)狀研究分析 計算機專業(yè)

目錄TOC\o"1-4"\h\u摘要 1文獻綜述 1.1國內(nèi)研究現(xiàn)狀 1.1.1虛擬農(nóng)業(yè)技術(shù)的國內(nèi)研究概況 1.1.2虛擬植物的國內(nèi)研究現(xiàn)狀 1.2國外研究現(xiàn)狀 1.2.1虛擬農(nóng)業(yè)技術(shù)的國外研究概況 1.2.2虛擬植物的國外研究概況 1.3研究目的與意義 2技術(shù)路線與關(guān)鍵技術(shù) 2.1技術(shù)路線 2.1關(guān)鍵技術(shù)方法 2.1.1小麥植株點云數(shù)據(jù)預(yù)處理 2.1.2虛擬場景的可視化處理 3面向沉浸感的小麥三維形態(tài)可視化系統(tǒng)設(shè)計 3.1系統(tǒng)設(shè)計原則 3.2系統(tǒng)結(jié)構(gòu)設(shè)計 3.2.1小麥植株生育期的點云重構(gòu) 小麥植株苗期的點云重構(gòu) 小麥植株冬前分蘗期的點云重構(gòu) 小麥植株越冬期的點云重構(gòu) 小麥植株返青拔節(jié)期點云重構(gòu) 3.2.2小麥生長場景三維點云模型重構(gòu) 地面三維激光掃描點云數(shù)據(jù) 生長場景的模型重構(gòu)方法 構(gòu)建模型 3.2.3基于HTC·vive設(shè)備的沉浸與人機交互處理 沉浸式環(huán)境下的處理 交互設(shè)計的實現(xiàn) 小麥生長場景的漫游 VR場景渲染技術(shù) 3.3系統(tǒng)功能設(shè)計 4面向沉浸感的小麥三維形態(tài)可視化系統(tǒng)開發(fā)與實現(xiàn) 4.1系統(tǒng)開發(fā)環(huán)境與工具 4.2系統(tǒng)實現(xiàn)及效果 4.2.1場景實現(xiàn) 4.2.2交互模塊的實現(xiàn) 4.2.3系統(tǒng)測試與優(yōu)化 5總結(jié)與展望 5.1總結(jié) 5.2展望 參考文獻 摘要當(dāng)前，針對VR技術(shù)和農(nóng)業(yè)信息化的研究有以下三種熱門話題：小麥可視化三維形狀重構(gòu)、人機交互以及沉浸式虛擬場景構(gòu)建。VR頭顯能呈現(xiàn)出極高的圖像質(zhì)量、場景逼真性和身體感知的交互作用，這些都是沉浸感的構(gòu)成要素。當(dāng)前，以往的虛擬現(xiàn)實技術(shù)營造的沉浸感效果不佳，設(shè)備無法帶來真實感，模型重構(gòu)技術(shù)還需優(yōu)化，三維可視化技術(shù)還有很大提升空間。以規(guī)則和圖像為基礎(chǔ)的操作有很高的技術(shù)要求，模型達不到逼真效果，無法適應(yīng)渲染大場景和高精度表現(xiàn)圖的需要。為了解決上述問題，利用三維點云數(shù)據(jù)重構(gòu)不同品種、不同栽培措施的小麥植株及其生長場景模型，有助于對三維形態(tài)可視化的渲染效果進行優(yōu)化。以模型重構(gòu)、虛擬場景構(gòu)建、沉浸式交互設(shè)計為基礎(chǔ)，本文通過研究分析，構(gòu)建了虛擬現(xiàn)實系統(tǒng)的仿真模擬平臺。綜上所述，本文的主要的研究內(nèi)容如下：（1）構(gòu)建小麥植株的點云重構(gòu)。針對獲取小麥苗期點云數(shù)據(jù)存在大量噪音；小麥分蘗期點云數(shù)據(jù)中包含大量的冗余數(shù)據(jù)；小麥拔節(jié)期數(shù)據(jù)存在一些離群點云數(shù)據(jù)和點云數(shù)據(jù)的不均勻表面將影響后續(xù)模型重構(gòu)優(yōu)化結(jié)果。通過使用點云數(shù)據(jù)去噪、精簡、平滑數(shù)據(jù)表面等重建方法，以實現(xiàn)較高質(zhì)量的重建，獲得更真實的可視化效果。（2）設(shè)計生長期場景的點云重構(gòu)。由于掃描獲得的小麥生長場景是大面積、高密度的點云數(shù)據(jù)，針對數(shù)據(jù)量非常龐大，數(shù)據(jù)存在偏差，同時沒有經(jīng)過點云注冊處理，這會對后期幾何造型的處理產(chǎn)生不利影響。因此需要減少點云數(shù)據(jù)的誤差拼接，選擇合適的點云數(shù)據(jù)質(zhì)量建模。實現(xiàn)了從數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)建模以及后期渲染輸出全過程，最后以河南省長葛縣農(nóng)技推廣區(qū)域站為例，構(gòu)建了小麥生長場景的三維模型。（3）基于HTC·vive設(shè)備的沉浸式虛擬場景。本文從小麥生長場景沉浸體驗方式、小麥植株的展示手段、沉浸感式體驗等方面,因為設(shè)備類型的不同和體驗方式各有差異，虛擬現(xiàn)實漫游將HTCVR設(shè)備與unity開發(fā)結(jié)合使用，虛擬現(xiàn)實攝像機通過STEAMSDK開發(fā)。結(jié)合最新的自然人機交互技術(shù)，利用HTC·vive頭盔和手柄，驅(qū)動虛擬漫游動作，完成交互功能。建設(shè)虛擬場景能使系統(tǒng)虛擬現(xiàn)實內(nèi)容提供更逼真的沉浸式體驗，它是一種有效提升的途徑。（4）設(shè)計實現(xiàn)基于Unity3D的小麥三維形態(tài)可視化系統(tǒng)。通過在Unity3D系統(tǒng)中對HTC·vive方法的調(diào)用，利用Unity3D引擎對實現(xiàn)UI場景加載、VR渲染技術(shù)的優(yōu)化，通過小麥生長模型與物聯(lián)網(wǎng)數(shù)據(jù)融合，實現(xiàn)了栽培知識的觸發(fā)交互功能和場景的動態(tài)加載。關(guān)鍵詞：小麥植株；點云數(shù)據(jù)；三維重構(gòu)；沉浸式虛擬場景；可視化系統(tǒng)；1文獻綜述國內(nèi)研究現(xiàn)狀1.1.1虛擬農(nóng)業(yè)技術(shù)的國內(nèi)研究概況虛擬農(nóng)業(yè)源于虛擬現(xiàn)實。為順應(yīng)農(nóng)業(yè)現(xiàn)代化的發(fā)展要求，必須大力研發(fā)虛擬農(nóng)業(yè)技術(shù)，這對計算機技術(shù)而言，是一次技術(shù)上的轉(zhuǎn)型和革新。以計算機輔助技術(shù)為基礎(chǔ)，通過運用現(xiàn)代農(nóng)業(yè)科學(xué)和信息技術(shù)，從新的角度研究農(nóng)業(yè)技術(shù)，這是虛擬化技術(shù)的關(guān)鍵所在。農(nóng)業(yè)和VR技術(shù)發(fā)展迅猛，因此，對于農(nóng)業(yè)信息現(xiàn)代化而言，虛擬農(nóng)業(yè)技術(shù)日益顯現(xiàn)出其重要性，當(dāng)然，這對農(nóng)業(yè)資源管理水平和農(nóng)業(yè)生產(chǎn)力水平會有巨大的提升作用。農(nóng)業(yè)在我國占有十分重要的地位，因此，研發(fā)虛擬農(nóng)業(yè)技術(shù)就顯得很有意義。通過對虛擬農(nóng)業(yè)技術(shù)的創(chuàng)新，會有助于我國的農(nóng)業(yè)生產(chǎn)、新產(chǎn)品開發(fā)、病蟲害研究和農(nóng)業(yè)科研教學(xué)的快速發(fā)展。虛擬農(nóng)業(yè)技術(shù)的應(yīng)用包括虛擬實驗，虛擬育種，虛擬溫室，虛擬農(nóng)場，虛擬立體農(nóng)業(yè)，虛擬教學(xué)和農(nóng)業(yè)科技推廣等[2]。虛擬農(nóng)場是基于計算機技術(shù)，設(shè)計逼真的農(nóng)作物生長空間。用計算機設(shè)計出植物生長的三維模型，在實現(xiàn)作物的性狀的清晰描繪的同時，豐富種植方式的多樣性。在我國，香港中文大學(xué)開發(fā)的一款帶有教育意義的游戲，取名為“農(nóng)場狂想曲”，這是以動機理論和任務(wù)驅(qū)動經(jīng)驗為基礎(chǔ)的研究策略，提高農(nóng)民對于植物育種和農(nóng)場管理的知識水平。當(dāng)前在國內(nèi)，胡林等人深入研究了虛擬農(nóng)業(yè)教育仿真平臺，開發(fā)了虛擬農(nóng)業(yè)教育模擬軟件，將農(nóng)業(yè)知識模型和知識庫作為軟件設(shè)計的內(nèi)容之一，通過三維可視化技術(shù)以建設(shè)農(nóng)業(yè)虛擬環(huán)境]。此外，張杜鵑、楊安祺等人通過運用無線網(wǎng)絡(luò)技術(shù)和虛擬現(xiàn)實技術(shù)，以期達到提升農(nóng)業(yè)生產(chǎn)效率的研究，是一次很有意義的嘗試，并對發(fā)達國家的現(xiàn)代農(nóng)業(yè)溫室氣體技術(shù)指標(biāo)進行了深入探討。近年來，許多研究者發(fā)起了一項針對特定作物品種的虛擬可視化技術(shù)的研究[6]。在基于虛擬作物研究的作物生產(chǎn)系統(tǒng)中，虛擬作物主要利用高效的數(shù)據(jù)采集系統(tǒng)來監(jiān)測農(nóng)業(yè)環(huán)境因子變化量化作用規(guī)律的生長發(fā)育、作物形態(tài)環(huán)境問題及相應(yīng)的作物[7]。虛擬作物理想的作物模型系統(tǒng)，對探索作物，優(yōu)化生長控制措施，建設(shè)園林設(shè)計和植物形態(tài)及虛擬實驗教學(xué)非常有價值。使用虛擬作物生長技術(shù)，虛擬實驗在虛擬環(huán)境下農(nóng)場系統(tǒng)中，可以替代現(xiàn)實工作中困難的部分或耗時嚴(yán)重的且費力、昂貴的測試。創(chuàng)建的虛擬農(nóng)場可在教學(xué)、科學(xué)教育和農(nóng)業(yè)科技領(lǐng)域進行廣泛應(yīng)用，通過將虛擬農(nóng)場與一些先進的軟件系統(tǒng)進行結(jié)合，可以讓學(xué)生或農(nóng)民通過計算機來進行作物的種植，管理虛擬農(nóng)場。因此，虛擬農(nóng)業(yè)技術(shù)是一種非常高效的技術(shù)，具有良好的推廣前景[8]。1.1.2虛擬植物的國內(nèi)研究現(xiàn)狀植物在自然界中，以多種方式，種類繁多，是自然景觀的重要組成部分。自20世紀(jì)60年代開始，人們開始研究使用計算機來模擬植物的動態(tài)生長過程。由于技術(shù)限制，研發(fā)部門開發(fā)的模型主要偏向于植物功能的模擬[9]。近幾十年來，隨著科學(xué)技術(shù)的飛速發(fā)展和計算機處理能力的大幅提高，植物形態(tài)的計算機模擬也進入了一個新的時代，虛擬植物的概念也隨之出現(xiàn)。虛擬植物涉及計算機圖形學(xué)、植物學(xué)、地理學(xué)、農(nóng)業(yè)、虛擬現(xiàn)實、遙感、土壤科學(xué)等多個領(lǐng)域，是一門集多領(lǐng)域研究成果于一體的新興交叉學(xué)科[10]。這類研究利用計算機圖形學(xué)對植物生長進行建模，模擬植物的動態(tài)生長過程，并通過虛擬現(xiàn)實（VirtualＲeality）以多維度的方式顯示植物的生長發(fā)育的形態(tài)過程。它在農(nóng)業(yè)、林業(yè)、娛樂、科研、教育等領(lǐng)域具有高效、廣泛的應(yīng)用價值[11]。虛擬植物建模方法按建模的方法和目的不同可將虛擬植物模型分為三類：第一類是基于模型的植物三維重建。它是以植物形態(tài)變化、作物生長提取規(guī)律、作物形態(tài)變化過程建模、模擬動態(tài)模型為基礎(chǔ)的重建方法為主要特征的器官。這種模式類型可以模擬，真實自然生長的植物從生理和生態(tài)上，對于一些具有特殊性的植物，可運用技術(shù)，將主要器官的植物轉(zhuǎn)換成模型參數(shù)[12]。具體來說，三維重建模型技術(shù)包含兩種主要技術(shù)：L-系統(tǒng)及參考軸技術(shù)。第一類是基于模型的植物三維重建。為對我國農(nóng)作物進行模擬研究，國內(nèi)學(xué)者也運用L-系統(tǒng)這一技術(shù)，目前，從研究進展上來說，小麥、玉米、大豆和棉花等領(lǐng)域發(fā)展較快。三維建模技術(shù)是個比較棘手的問題，主要是因為以下兩點：植物根系形態(tài)結(jié)構(gòu)復(fù)雜及生長過程不可見，因此，運用L-系統(tǒng)技術(shù)對農(nóng)作物復(fù)雜根系的生長過程形態(tài)結(jié)構(gòu)及其空間分布進行了模擬[14]。第二類是基于圖像的三維重建。提取場景三維深度信息的方法和從多張圖片中計算對象的方法，獲取三維深度信息，用一個強烈的現(xiàn)實物體或場景重建三維模型。基于三維圖像重建技術(shù)的計算機輔助設(shè)計（CAD）和計算機圖形學(xué)是一個非常重要的研究領(lǐng)域[15]。重建是根據(jù)拍攝到的場景或物體的二維圖像，并通過計算機匹配自動計算，計算出二維物體或場景的幾何信息和深度信息，從而構(gòu)建三維模型[16]。李云峰等（2005）通過運用圖像分割和三維重建技術(shù)，提取了植物葉片圖像的輪廓，并進行了三角定位，以植物真實圖像為重建基礎(chǔ)，實現(xiàn)具有極高仿真度的植物模型，但存在三維空間缺乏立體感等不足。胡少軍等（2007）以植物真實圖像為基礎(chǔ)，通過運用小麥葉片邊緣檢測法，重建三維模型，同時還重建了葉片卷曲形狀的模型，此種方法可形成一種逼真的小麥葉片卷曲扭曲的模擬效果。第三類是基于點云數(shù)據(jù)的植物三維重建。通過對感測裝置和掃描裝置的運用，在進行農(nóng)業(yè)生產(chǎn)生活時，充分運用激光掃描儀和三維數(shù)字化儀的優(yōu)勢。能從多個角度及不同時間段，掌握植物的根的位置信息，具體而言，有以下四大優(yōu)勢：植物冠層的三維位置信息的提取，植物生長的三維信息的全程追蹤，點云數(shù)據(jù)的獲取，植物器官參數(shù)的有效及時獲取。目前具有代表性的是谷曉英等提出了基于激光掃描點云數(shù)據(jù)的表面重建，文章中討論了激光掃描儀獲得的點云數(shù)據(jù)的特征，并且基于點云數(shù)據(jù)提出了一種快速表面重建方法[20]?；贐樣條曲線和曲面插值理論，結(jié)合自由曲線和曲面重建方法，將曲面稱為梯形曲面。這種表面重建方法充分利用了激光掃描系統(tǒng)點云數(shù)據(jù)的特點。實驗結(jié)果驗證了該方法的有效可行[21]。郭浩等（2011）通過對體著色三維重建法的運用，針對三維點云預(yù)處理、消除點云噪聲、孔洞修復(fù)幾個方面，實現(xiàn)了更具精細度的三維體重建模型，并在表面重建后重建三維點云。運用可視化模擬技術(shù)完成了表面模型的重建。孫智慧等（2012）利用獲取的點云數(shù)據(jù)，對植物葉片進行了重建，主要有以下三個步驟：第一步，將3D掃描儀獲得的植物葉片點云數(shù)據(jù)的噪聲點進行消除，并對數(shù)據(jù)進行了精簡預(yù)處理，第二步，針對葉片表面的漏洞問題，通過運用Delaunay三角測量方法來解決，第三步，完善表面網(wǎng)格細節(jié)，使植物葉片的三維模型更具有精細度。王勇健等（2014）通過對3D掃描儀完成對葉片點云數(shù)據(jù)的提取，完成點云簡化、注冊和去噪三個環(huán)節(jié)后，實現(xiàn)了葉片點云數(shù)據(jù)模型的精細化，通過利用點云數(shù)據(jù)，實現(xiàn)了葉片網(wǎng)格生成和渲染效果的細化處理。最終實現(xiàn)了植物葉片重構(gòu)模型的精確化。相較而言，在針對空間規(guī)律的研究領(lǐng)域，虛擬植物模式比原有模式的優(yōu)點更多。在這之前，針對實驗測量和模擬植物冠層空間的光分布的問題，一直難度較大。而虛擬植物模型是以計算機為基礎(chǔ)進行三維模型的重構(gòu)，可以通過運用計算機圖形模擬技術(shù)，表現(xiàn)植物冠層中光分布情況等，可以準(zhǔn)確地計算出一個葉片獲取的值[25]。而視覺上的感官體驗，使我們能夠?qū)r(nóng)田、森林等生態(tài)系統(tǒng)的研究更加清晰直接，這是原有模式無法實現(xiàn)的。國外研究現(xiàn)狀1.2.1虛擬農(nóng)業(yè)技術(shù)的國外研究概況當(dāng)前，農(nóng)業(yè)技術(shù)發(fā)展十分迅速，因此必須不斷進行創(chuàng)新才能順應(yīng)時代需求。傳統(tǒng)的栽培方式已經(jīng)漸漸被其他農(nóng)業(yè)技術(shù)所替代。因此，虛擬現(xiàn)實技術(shù)提供的沉浸感與真實感的體驗具有明顯優(yōu)勢。通過對這種技術(shù)的運用，可在模擬真實場景中，建立立體模型和具有高度真實的環(huán)境等，基于計算機的數(shù)據(jù)分析，制定出最佳方案。從而使農(nóng)業(yè)生產(chǎn)擺脫受環(huán)境氣候等外界因素的干擾。上述優(yōu)勢是當(dāng)前在農(nóng)業(yè)領(lǐng)域里，虛擬現(xiàn)實技術(shù)如此熱門的重要原因。目前國外研究現(xiàn)狀中，法國和中國兩國的科學(xué)家共同研發(fā)了GreenLab模型，通過建立植物結(jié)構(gòu)功能反饋機制，來實現(xiàn)植物生長周期的模擬。ThwaitesT等學(xué)者通過構(gòu)建系統(tǒng)的體驗式虛擬農(nóng)場，為使用者提供改變虛擬農(nóng)業(yè)環(huán)境和栽培措施等服務(wù)，使用者可以對虛擬作物的生長情況有清晰的掌握，以及對產(chǎn)量和品質(zhì)變化的及時關(guān)注，以期研發(fā)出更多樣的新技術(shù)和新品種。通過建立虛擬草地模型，對生物量轉(zhuǎn)移情形進行模擬，為放牧密度和牧草產(chǎn)量提供最佳解決方案。在此領(lǐng)域，德國科學(xué)家研發(fā)的Astragon軟件，構(gòu)建了農(nóng)場運營模擬系統(tǒng)“模擬農(nóng)場”，在此場景中，用戶能夠?qū)円箿夭?、氣候變化已?jīng)作物收獲都能夠有清晰的掌握。針對虛擬仿真的研究，我國進行了大量的探索。ChangZhuang等人通過對虛擬現(xiàn)實技術(shù)的運用，針對災(zāi)害模擬仿真度不夠和模擬訓(xùn)練不及時的問題，研發(fā)了虛擬消防模擬系統(tǒng)軟件，提供了一種災(zāi)害模擬和消防決策評價的方法[30]。1.2.2虛擬植物的國外研究概況通過對虛擬現(xiàn)實技術(shù)的運用，構(gòu)建了植物生長發(fā)育的三維空間模型。虛擬植物具有很高的仿真度，實現(xiàn)了對現(xiàn)實植物的性狀的高度還原。通過對虛擬植物技術(shù)的運用,基于計算機的分析手段，在很短時間內(nèi)就能對作物的從發(fā)芽到果實生長的生長全程進行模擬，只需花費很少的時間就能完成對作物的觀察和分析。國外研究在基于模型的植物三維重建方面，Prusinkiewicz等人通過將L-系統(tǒng)進行計算機圖形學(xué)理論的運用，通過不斷優(yōu)化DOL系統(tǒng)，形成了能隨機構(gòu)造拓?fù)浣Y(jié)構(gòu)的隨機L-系統(tǒng)、可調(diào)控參數(shù)完成植物靈活三維建模的參數(shù)L-系統(tǒng)以及具備模擬植物相關(guān)性的上下文相關(guān)L-系統(tǒng)[31];此外，由于構(gòu)建植物持續(xù)生長模型的難度較大，針對此情況，隨后又提出了開放L-系統(tǒng)的概念，此系統(tǒng)可對具有植物生長環(huán)境信息交互作用進行模擬。Honda等學(xué)者開創(chuàng)性的建立了Honda模型，第一次完成了對樹結(jié)構(gòu)模擬的重構(gòu)。Fournier等學(xué)者對L-系統(tǒng)的不足之處進行了優(yōu)化，對參數(shù)系統(tǒng)進行了精簡，對小麥生長周期的三維模型進行重構(gòu)，使傳統(tǒng)的參數(shù)獲取過程變得更簡單?；趫D像的三維重建方面，目前具有代表性的是Quan等學(xué)者（2006）以計算機視覺原理為重建基礎(chǔ)，制定了以圖像為核心的植物幾何建模方案。通過使用多角度拍攝形成的圖像，再利用多個圖像，對植物表面點的三維信息進行提取和還原，重建葉片和枝干的三維模型。但是這種方法需有以下兩點作為前提：第一，較強的計算能力，第二，高精度的拍攝設(shè)備。Mundermann等學(xué)者（2003）利用拍攝的單幅葉片圖像，對葉片輪廓特征信息進行收集，基于對葉片骨架的計算，通過完成旋轉(zhuǎn)，變換等環(huán)節(jié)，實現(xiàn)重建植物葉片的三維模型。Frasson等（2010）學(xué)者基于對葉片玉米冠層標(biāo)記的特征點的提取，通過對攝像機的運用，采集和處理圖像信息，并收集定位和標(biāo)記特征點信息，特征點信息進行匹配計算，獲取多幅圖像的三維坐標(biāo)，進而實現(xiàn)對玉米葉片和冠層的三維重構(gòu)。基于點云數(shù)據(jù)的植物三維重建。點云重建以精確重現(xiàn)被測物模型的性狀特征等為重建目標(biāo)。Livny等人基于被測物的點云框架下，提供采用最佳方案，完成了植物的三維重構(gòu)，此種重建方式的優(yōu)點是：既無須分割點云數(shù)據(jù)，又能完成對重疊的樹點云的高度還原重建，在樹點云模型重建領(lǐng)域，此種重建方法比較常見。為解決數(shù)量比較大的點云重建問題，Tamal等人通過對八叉樹方法的運用，對云點密集的數(shù)據(jù)進行精準(zhǔn)高速的處理；Galvez和Andres則是通過重建B樣條曲面，通過運用粒子群優(yōu)化（PSO）法進行計算分析，將噪聲數(shù)據(jù)曲面化，此重建方式以表面參數(shù)的擬合和計算為基礎(chǔ)，其優(yōu)點是具有高精度的重建效果；Yoshihara等人學(xué)者在散亂點云的框架下，對拓?fù)浔砻孢M行自動隨機構(gòu)建；Lu-Xingchang等提出了另一個基于激光掃描的3D模型重建。3D激光掃描可以快速、大規(guī)模地收集點云的空間位置，得到目標(biāo)表面的3D坐標(biāo)。三維激光掃描提供了一種新的技術(shù)方法?？焖賱?chuàng)建目標(biāo)的3D圖像模型。在圖形圖像和計算機視覺領(lǐng)域，獲取目標(biāo)的三維模型是一個具有挑戰(zhàn)性的問題，已成為一個重要的研究課題。本文提出了對空間目標(biāo)物體進行激光掃描的方法。建模時，在獲得深度數(shù)據(jù)后，通過分割圖像獲取圖像，并對圖像進行注冊，以檢測兩個視角之間的關(guān)系。最后對網(wǎng)格進行三角化網(wǎng)格分析，得到目標(biāo)物體的表面三維模型[41]?；诨谀Ｐ偷闹参锶S重建，用形式語言對植物的生長過程進行描述，該方法簡單易懂，表達形式多樣，定義簡單，有結(jié)構(gòu)化的高度，易于實現(xiàn)。它是分形自然景觀模擬的理論基礎(chǔ)，但僅限于模擬不適合實際植物生長過程的視覺真實植物圖形，以及生態(tài)模式的構(gòu)建。以圖像為基礎(chǔ)的建模方法有諸多優(yōu)點：如操作簡便、高速、精準(zhǔn)、還原度高、非接觸等等，其主要通過運用計算機圖形學(xué)和雙目立體視覺技術(shù)對三維特征點進行提取，以實現(xiàn)作物三維模型的高精度重建。但此種建模方法也有很多不足之處，比如在提取作物特征點時，與作物生長模型參數(shù)難以融合，導(dǎo)致和作物的生長模型的融合難度較大，從而很難進行作物的生長周期的模型重建。而植物三維重建則不同，它是以點云數(shù)據(jù)為基礎(chǔ)的，通過提取真實的三維數(shù)據(jù)來對三維坐標(biāo)點進行定位，正因為如此，能構(gòu)建出具有高度還原的曲面三維模型，其細節(jié)處理效果非常良好，其優(yōu)點是模型豐富，文件輸出格式多樣，并提供了定標(biāo)和操作簡單，通用性強的圖像處理系統(tǒng)[43]。研究目的與意義對于虛擬植物研究領(lǐng)域，虛擬小麥的研究是其中的一部分,針對小麥的內(nèi)在生理特征和外在表現(xiàn)，分別建立兩種三維模型：即生理生態(tài)模型和可視化模型，這是虛擬小麥的研究目標(biāo)。當(dāng)前，世界上的很多專家對小麥生理生態(tài)模型有很深入的研究,其小麥生理生態(tài)模型的構(gòu)建很完善。但由于小麥形態(tài)結(jié)構(gòu)比較特殊，因此，比較少有人運用計算機圖形學(xué)來建立虛擬小麥的可視化模型。但是小麥作為一種重要的農(nóng)作物，且形態(tài)發(fā)生依然有跡可循,如葉片和分蘗具有很強的規(guī)律性,所以當(dāng)前的虛擬小麥研究，小麥生長可視化模型的構(gòu)建已經(jīng)是很重要的領(lǐng)域。本文以農(nóng)作物冬小麥為例，使用戶認(rèn)識到不同品種、不同栽培方式下的小麥單株生長形態(tài)以及相對應(yīng)的栽培信息知識的表達，并與VR頭盔設(shè)備相結(jié)合可以讓體驗者感受到虛擬世界中真實體驗以及高度仿真的虛擬場景，在虛擬的環(huán)境中享受沉浸式的交互體驗。2技術(shù)路線與關(guān)鍵技術(shù)2.1技術(shù)路線本文中的建模方法是以過程為基礎(chǔ)的，利用手持式三維掃描儀對小麥植株的點云數(shù)據(jù)進行提取，通過對點云的三維信息的運用，進行小麥植株模型的重建。為使虛擬視覺呈現(xiàn)效果更為逼真，本人通過利用Unity3D開發(fā)平臺的虛擬場景實體建模，以使得利用Unity3D生成的虛擬場景在外界實際數(shù)據(jù)驅(qū)動下，仍能以符合現(xiàn)實世界客觀規(guī)律和主觀要求的形式加以展現(xiàn)。借助物聯(lián)網(wǎng)技術(shù)進行數(shù)據(jù)采集，利用prefab實現(xiàn)高效信息輸入，利用xml格式進行數(shù)據(jù)存儲，最后利用HTC·vive虛擬現(xiàn)實頭盔的手柄交互時作為觸發(fā)展現(xiàn)。所以，小麥植株可視化模型重建以及達到沉浸式交互式體驗和高仿真的虛擬視覺呈現(xiàn)效果，這是本文的研究重點。其技術(shù)路線如下圖所示：圖2-1技術(shù)路線圖2.1關(guān)鍵技術(shù)方法2.1.1小麥植株點云數(shù)據(jù)預(yù)處理三維點云數(shù)據(jù)的精簡通過手持式三維掃描儀所捕獲和采樣小麥植株不同時期、不同栽培方式的點云數(shù)據(jù)，對于采集到的原始數(shù)據(jù)不能直接用于重建和雜亂多余數(shù)據(jù)過多的問題，如果直接對原點云數(shù)據(jù)進行三角測量，整個過程將耗費大量時間和計算機資源，大大降低三維重建的效率。有必要確保前提仍然接近物理模型的前提下，并盡可能加快點云數(shù)據(jù)簡化處理和優(yōu)化速度的提升[44]。消除三維點云數(shù)據(jù)中的噪聲通過對點云數(shù)據(jù)進行簡化后，發(fā)現(xiàn)還是存在細節(jié)處理不到位和點云噪聲兩大問題，針對此情況，需要精細處理三維點云數(shù)據(jù)中的噪聲，以對離群點噪聲進行消除，建立高精度的三維模型。三維點云數(shù)據(jù)重建材料貼圖的選擇起著至關(guān)重要的作用。其主要功能是完成模型的基本裝飾工作。在經(jīng)過上述技術(shù)方法處理后的點云數(shù)據(jù)得到較為真實的小麥植株點云模型，大部分材質(zhì)的應(yīng)用都需要使用位圖紋理來實現(xiàn)，材質(zhì)通過位圖紋理可以使對象的數(shù)量進行更豐富的編輯。尤其是小麥葉片紋理，為了使小麥葉片更真實、自然地顯現(xiàn)出來，可以通過高清攝像設(shè)備獲得小麥植株和小麥近距離的大量真實紋理圖像，以達到在復(fù)雜的色彩環(huán)境中對小麥植株枝葉輪廓形狀、表面紋理、色彩等信息進行提取。點云封裝后，模型可以生成三角網(wǎng)格數(shù)據(jù)。為了保證三角網(wǎng)格的平滑處理，應(yīng)先刪除非流型的三角網(wǎng)格。需要完成的建模應(yīng)該與3dmax軟件結(jié)合使用，進行三維重建并提高渲染效果，使得三維模型重建出小麥植株更為直觀、精確。2.1.2虛擬場景的可視化處理（1）凝視點技術(shù)。Unity+HTC·vive虛擬現(xiàn)實通過與場景交互輸入，確定手的位置和方向，以實現(xiàn)在虛擬現(xiàn)實場景中，能將玩家的雙手位置、手柄方向、手心朝向體現(xiàn)出來；二是提供了凝視點（注視點）技術(shù)，利用眼動追蹤，提高了用戶交互的趣味性。本文所做的實驗中交互方面主要運用VRSamples中攝像機投射的凝視點判定攝像機距離及投射物表面來顯示合適的比例以及正確的朝向，還運用了通過凝視環(huán)填充進行確認(rèn)選擇的交互方式。通過替換場景中默認(rèn)的相機，更改輸入EventSystem對象的模塊，添加OVRInspector/Resources/Prefabs/GazePointerRing預(yù)置體到場景中來指示當(dāng)前凝視的位置，并設(shè)置Canvas的屬性。凝視效果如圖2-2所示。圖2-2凝視效果運行顯示（2）實時三維圖形生成技術(shù)。當(dāng)前在我國，三維圖形生成技術(shù)的研發(fā)已經(jīng)頗有成效，此技術(shù)的核心就是圖形生成的實時性。因此，圖形的刷新率必須要保證不低于15幀/秒，最好是高于30幀/秒，才能實現(xiàn)實時生成。如今，此技術(shù)的研究方向是保證圖形的質(zhì)量和復(fù)雜度的同時，不斷提高刷新頻率。通過對Unity3D引擎圖形編輯器的運用，提升小麥生長場景建模效果。通過對自然場景進行建模，編輯器能生產(chǎn)出更高精度的場景模型效果。以自然場景為基礎(chǔ)，加入定義的模型和交互，將天氣效果，小麥麥田與其他地形進行統(tǒng)一編輯，能建設(shè)出沉浸感良好的虛擬現(xiàn)實項目。本文在進行研究時，主要以HTC·vive的漫游為研究基礎(chǔ)，以達成相應(yīng)小麥單株的交互和小麥栽培知識的動態(tài)加載。將需檢測部位的觸發(fā)器和碰撞器進行設(shè)定，這樣呈現(xiàn)出來的視覺效果具有更高的仿真度。3面向沉浸感的小麥三維形態(tài)可視化系統(tǒng)設(shè)計3.1系統(tǒng)設(shè)計原則基于小麥栽培知識本體，構(gòu)建小麥不同品種，不同生育期的三維點云模型，設(shè)計虛擬時空環(huán)境下小麥種植關(guān)鍵生育期的漫游場景，基于物聯(lián)網(wǎng)氣象數(shù)據(jù)與生產(chǎn)場景映射，進行小麥生過程的交互，使栽培知識融于交互過程，系統(tǒng)有效整合小麥植株的點云數(shù)據(jù)模型和所涉及的栽培信息，運用三維動畫設(shè)計和沉浸式虛擬頭盔的結(jié)合，較強的真實感、沉浸感繪制技術(shù)進行互動仿真表達，對于小麥不同品種、不同栽培方式下長勢情況的表達提供了新方式。實時性針對虛擬現(xiàn)實系統(tǒng)而言,盡管三維圖形生成和立體圖形生成技術(shù)已達到很高的技術(shù)水平。但一直是但對于計算機圖形學(xué)來說，復(fù)雜場景的實時顯示技術(shù)一直是其研究的主要方向。實時顯示的全過程分為四個階段：第一，建立工作三維場景，第二，導(dǎo)入與定位靜態(tài)模型，第三，描述運動物體的運動屬性，第四，實時生成及顯示動態(tài)環(huán)境。在實時顯示小麥單株模型和小麥生長場景模型之前，靜態(tài)建模已經(jīng)完成,因此，在實時顯示過程中需要對該三維對象進行高度的還原。實時渲染建立完成的三維模型的規(guī)則對象。主要內(nèi)容是在三維場景中交互變化此規(guī)則對象,幾何變換內(nèi)容有三種：對象的平移、旋轉(zhuǎn)、比例縮放。結(jié)構(gòu)穩(wěn)定性穩(wěn)定性，體系結(jié)構(gòu)是系統(tǒng)設(shè)計的第一要素。本文設(shè)計的可視化系統(tǒng)，穩(wěn)定性主要指的是渲染后的結(jié)果是否可以在多個不同配置PC機上完美運行。對于任何三維應(yīng)用來說，追求場景是一個現(xiàn)實的目標(biāo)，無窮無盡，其結(jié)果是使我們的場景越來越復(fù)雜，建模的精細化程度越來越高，這必然會給計算機硬件負(fù)載帶來超載，使它們無法實現(xiàn)實時渲染的幀速率。因此，優(yōu)化渲染是必不可少的工作。在進行渲染優(yōu)化之前，需要對應(yīng)用程序性能評估系統(tǒng)進行識別，以降低對流程的影響。（3）交互的合理性為將實現(xiàn)與虛擬環(huán)境進行良好交互，這需要更具有可行性且科學(xué)的交互方法作為基礎(chǔ)。所述手柄裝置使用與所述按鈕類似的功能，所述每個按鈕包括避免的多個功能。設(shè)計的互動手勢合理、平易近人，避免手勢不符合生理結(jié)構(gòu)。3.2系統(tǒng)結(jié)構(gòu)設(shè)計本文研究的是面向小麥可視化的沉浸式虛擬場景，本系統(tǒng)主要包括三個方面進行設(shè)置。小麥單株不同生育時期的點云數(shù)據(jù)重構(gòu)；小麥生長場景的點云重構(gòu)；基于HTC·vive設(shè)備的沉浸與人機交互處理。本章就針對以上三個方面詳細闡述。3.2.1小麥植株生育期的點云重構(gòu)為了將小麥栽培技術(shù)和知識形象直觀的表達，通過知識可視化虛擬映射，利用三維引擎unity3D實現(xiàn)對小麥栽培知識的各個生長周期苗期、冬前分蘗期、越冬期、返青拔節(jié)期、拔節(jié)抽穗期、開花成熟期、成熟期一系列形態(tài)和生理變化的搭建點云模型的掃描與重建。本文實驗研究對象選取不同品種、不同栽培措施的小麥植株進行采樣。N0N15N22豫麥49豫麥49豫麥49矮抗58矮抗58矮抗58表3-1選取的小麥對象名稱以及不同施氮量按照實驗流程圖3-2-1所示，采用具體的點云處理辦法對單株小麥的三維點云模型進行整體的實驗設(shè)計和實現(xiàn)。圖3-2-1點云數(shù)據(jù)處理流程圖小麥植株苗期的點云重構(gòu)全田50%籽粒第一片真葉露出胚芽鞘，出苗時，會有2-3厘米的真葉露出地面。關(guān)于出苗期的界定：田間有超過一半的麥苗達到上述標(biāo)準(zhǔn)。此時的小麥植株葉片較細軟，在通過手持式三維掃描儀在獲取點云數(shù)據(jù)的過程中，不可避免的會產(chǎn)生如較大偏差的測量結(jié)果，或較大噪聲點和部分葉片掃描不準(zhǔn)確、葉片缺失等情況。上述這些情況，主要是由于儀器精度不高、被測物體表面質(zhì)量較差及外部環(huán)境不佳等因素造成的，本文在考慮點云噪聲點空間分布的基礎(chǔ)上，提出了點云噪聲點的去噪方法。根據(jù)點云中噪聲點的空間分布，按照狀態(tài)不同，噪聲點又可分為以下兩種：第一種是離散點，顧名思義，就是一些離點云主體較遠的散點。這些離群點有一個共同的特征：具有高頻率，此特征會影響到后期的模型優(yōu)化與渲染輸出，為避免出現(xiàn)上述情況，應(yīng)首先消除離群點的噪聲。第二種是混合點，是指與有效點云體混合的高頻率點云。通過儀器得到小麥點云模型初始狀況，如下圖3-2-2所示。圖3-2-2獲取點云信息時的噪音點因此，本文對這兩種類型的噪聲去除點云采用了不同的方法。第一步是刪除具有較大比例的離散點。對于肉眼能識別的一些異常點和散點，可以直接用手選擇和刪除。對于難以區(qū)分和手動選擇不便的點，可以通過GeomagicStudio軟件去除了隔離點和體外降噪等功能。為使噪音得到完美消除，可運用點云來提前觀察減噪效果，以更好的對細節(jié)進行平滑處理，此外，還可以采取通過模型軟件過濾后自動計算偏差的方式。然后將其他跟正確點云融合的混雜點進行消除，以文獻作為前提，基于雙邊濾波和三邊濾波，通過對法矢修正的運用消除小尺度的噪點，從而深度數(shù)據(jù)轉(zhuǎn)換為灰度圖像，進行二次雙邊濾波，再轉(zhuǎn)換為深度數(shù)據(jù)，去除噪聲的同時很好的保留了邊緣數(shù)據(jù)的完整性。通過對上述方法的運用，可以自動地將噪聲點過濾掉。具體情形如下所示。圖3-2-3點云去噪效果前后對比根據(jù)以上的方法對小麥植株進行處理。通過VXelements軟件同步形成三維點云，轉(zhuǎn)換成面，對環(huán)境噪音進行消除，同時優(yōu)化點云坐標(biāo)。GeomagicStudio作為一款逆向工程軟件，能夠以點云數(shù)據(jù)為基礎(chǔ)，高速完成三維模型的重構(gòu)。重建三維模型所需的物體包含以下三種：提取點數(shù)據(jù)、合成多邊形及處理表面數(shù)據(jù)。并且全過程都是自動化的，減噪后的點云含有很多冗余數(shù)據(jù)，可以通過統(tǒng)一采樣將數(shù)據(jù)進行簡化，這樣既可以減少點云的數(shù)據(jù)量又可以提高數(shù)據(jù)分析與建模速度，但在采樣時最好要勾選保持邊界以免采樣過程中點云表面特征丟失，從而影響建模精度。最后通過點云數(shù)據(jù)封裝來創(chuàng)建多邊形網(wǎng)格，在模型管理器里創(chuàng)建一個新對象。小麥植株冬前分蘗期的點云重構(gòu)小麥從出苗到拔節(jié)這中間的一段時間被稱為冬前分蘗期，這一時期小麥主莖從長出第一片葉到第7-8片葉，該階段是根、葉、分蘗等成長的關(guān)鍵期，這一時期，小麥的根系會高速生，同時還是生殖器官發(fā)育的關(guān)鍵期。并且在這一時期，會生長出全部的近根葉，有四分之三的總?cè)~片數(shù)在這一時期長出。隨著小麥的生長，不斷有新葉子從根部生長發(fā)育，一是新葉子細小對掃描數(shù)據(jù)來說很困難；二是葉子不斷增多，相互疊加交錯，掃描數(shù)據(jù)有阻礙，多組點云數(shù)據(jù)重合在一起，對后期的制作模型造成影響。針對上述提出的問題，本文作者從兩個方面對該階段的小麥植株進行解決。一方面，從硬件上對新長出葉片的狀態(tài)掃描，為確保數(shù)據(jù)質(zhì)量的良好,在每個實驗開始前或?qū)嶒瀸ο蟀l(fā)生溫度變化、發(fā)現(xiàn)表面質(zhì)量不佳時都要進行校準(zhǔn)。掃描儀必須指向圓圈所示的校準(zhǔn)板中心的位置，并應(yīng)將紅線對準(zhǔn)到綠色矩形內(nèi)，即掃描儀的高度和方向。對于軟件的配置情況要根據(jù)待掃描表面的類型傳感器的配置快門時間。關(guān)于軟件的配置根據(jù)待掃描表面的類型配置傳感器快門時間。本實驗對象是小麥植株，由于植物的葉片比較細長，彎曲度比較大，經(jīng)實驗證明，配置數(shù)據(jù)在0.6S到0.75S最合適小麥葉片掃描。如下圖3-2-4展示設(shè)備校準(zhǔn)方式。圖3-2-4設(shè)備校準(zhǔn)對分蘗期的小麥植株進行三維點云數(shù)據(jù)掃描時通過對對象采取添加粉末一種顯像劑，它是一種快速滲透、快速顯像。實驗先將小麥植株葉子表面擦洗干凈，將顯像劑充分搖勻后，對被檢物體保持距離150mm-300mm處均勻噴涂。滲透5-15分鐘，即可開始掃描；噴涂顯象劑后的小麥植株如下圖3-2-5所示。圖3-2-5噴涂顯象劑后的小麥植株另外從點云處理上，三維掃描得到的點云密度很大，有大量的冗余信息。如果直接對原點云數(shù)據(jù)進行三角測量，整個過程將耗費大量時間和計算機資源，大大降低三維重建的效率。有必要確保前提仍然接近物理模型的前提下，并盡可能加快點云數(shù)據(jù)簡化處理和優(yōu)化速度的提升[50]。通過構(gòu)造曲面片命令進行曲面片的構(gòu)造，曲面片計數(shù)選擇自動估計，構(gòu)造完成后，可以通過位置編輯功能和減緩曲面處理不合理的貼片，通過執(zhí)行構(gòu)造柵格命令對曲面片修改參數(shù)，獲得更小的曲面片，最后通過擬合曲面功能自動擬合成一個連續(xù)的Nurbs曲面。下圖3-2-6展示曲面階段處理參數(shù)。經(jīng)過這兩步驟的操作，實驗證明，掃描結(jié)果比未采取措施狀態(tài)下的結(jié)果效果有明顯的提高。圖3-2-6曲線工具對話框采用三維激光掃描儀能夠提取的原始點云數(shù)目為172138。然后通過設(shè)置閾值threshold，簡化采集的小麥植株點云。為對計算效率與精簡閾值的關(guān)系進行分析，使點云模型的精簡閾值更具有規(guī)律。通過不斷調(diào)整閾值threshold，將數(shù)值從10提高到80，在這個過程中，模型中點云數(shù)目會逐漸下降，但沒有改變點云模型的形狀特征，在點云密集和稀疏的地方，保留的點數(shù)目多少是相對應(yīng)的。通過對閾值進行調(diào)整以簡化原始點云，如下圖所示，是精簡后的點云數(shù)目、精簡率和消耗時間的具體情況。表3-2小麥植株點云精簡消耗時間對比從表3-2中可以看出，隨著閾值的增加，還原后的點云數(shù)量越來越少，閾值從10增加到80，剩余點云數(shù)目從52698下降至7098，點云數(shù)量減少86.53%，相對應(yīng)的，也減少了耗時。處理時間分別為1669ms和1092ms。閾值分別為10和80，減少的時間僅為34.57%。通過上述處理可以得到精簡后的點云模型，如下圖3-2-7所示精簡點云前后對比。點云數(shù)據(jù)精簡前 b.點云數(shù)據(jù)精簡后圖3-2-7精簡前后的點云數(shù)據(jù)局部放大效果小麥植株越冬期的點云重構(gòu)冬麥區(qū)冬前日平均氣溫連續(xù)3天降至0℃，麥苗基本停止生長，到次年春季平均氣溫會超過攝氏度三度，麥苗開始繼續(xù)生長。而麥苗無法生長的這一段時間就是常說的越冬期。由于小麥越冬期葉片偏軟，葉片與葉片疊合匍匐地面較多，都會對后期的處理造成困難。對掃描出的模型是那些模型上的沒有明確貼圖目標(biāo)的面，也就是“閑置”面對貼圖會造成錯誤。再者，重建算法的復(fù)雜度或重建精度與小麥植株表面存在正相關(guān)關(guān)系，都可能導(dǎo)致重建點云不完整，顯示點云數(shù)據(jù)在錯開葉片表面有缺失現(xiàn)象，必須在進一步處理之前對其進行修復(fù)，以避免生成和后期再偵察的視覺精度低。加載錯誤的曲面模型，導(dǎo)致有關(guān)配置參數(shù)的信息不正確[52]。針對以上三個問題，分別使用UnwarpUVW修改器編輯，空洞的修補以及點云的曲面重構(gòu)。對這些小麥植株模型的葉片處理，只要這些面選擇被放置在UVW修飾符編輯坐標(biāo)窗口中的紋理空白區(qū)域中，當(dāng)將紋理坐標(biāo)分配給模型的這些“空閑”面時，可以將其指定為面部坐標(biāo)類型，并且在縮放后分配它們以映射空白區(qū)域不會影響最終結(jié)果。這樣在UVW修改器的編輯坐標(biāo)窗口里只能看到一個完整的線框，只需調(diào)整一個面的坐標(biāo)線框即可影響到整個ID面的編輯。下圖3-2-8是處理完并烘焙輸出后的效果圖。圖3-2-8烘焙輸出后的效果圖點云封裝后，模型可以生成三角網(wǎng)格數(shù)據(jù)。為了保證三角形的平滑處理，應(yīng)先刪除非流型的三角網(wǎng)格。由于經(jīng)過點云封裝后產(chǎn)生在模型上有一些三角網(wǎng)格的漏洞，且受不完全遮擋因素和小麥植株目標(biāo)表面反射的影響較大，在掃描時存在殘缺較多的現(xiàn)象。為了提高建模精度，必須對這些孔或間隙進行填補和修復(fù)，修復(fù)內(nèi)部孔洞通常有兩種方式：即內(nèi)部孔填充和搭橋填充方式。通常來說，可通過運用內(nèi)部孔填充對小型孔洞進行修復(fù)，孔洞較大時可以先利用搭橋方式進行分割成若干小孔在按內(nèi)部孔填充，對于缺口邊界不封閉的按照邊界孔的方式進行填充，無論進行哪種孔洞填充都有點、線、面3種效果應(yīng)用，填充時要根據(jù)缺失和孔洞實際情況靈活選擇。對一些復(fù)雜的孔洞進行填充時也許存在一些三角面扭曲或相交的現(xiàn)象，那么，需要對噪聲點進行消除，然后再修復(fù)孔洞，一直要到符合實際情況為止。但在孔洞填充完成之后，也許還會出現(xiàn)多邊形投影較明顯及粗糙區(qū)域等情況，這些區(qū)域會影響模型的精度，需要對松弛多邊形網(wǎng)格砂紙進行消除，對多邊形區(qū)域的細節(jié)進行光滑處理。然后，逐漸對多邊形三角形網(wǎng)格函數(shù)數(shù)目進行消減，降低其內(nèi)存占用率，從而達到提高建模速度和對象模型顯示質(zhì)量的目標(biāo)。下圖是處理前后的點云模型對比。圖3-2-9模型采集后出現(xiàn)的空洞圖3-2-10GeomagicStudio軟件中進行操作處理后的效果小麥植株返青拔節(jié)期點云重構(gòu)小麥返青拔節(jié)期主要指到了次春天，氣候變暖，小麥又繼續(xù)生長，在這一時期，有一半的植株新長出的葉片（多為冬春交接葉）會有一到二厘米的葉鞘伸出，且大田顏色會發(fā)生轉(zhuǎn)變，即從暗綠變向青綠色變化，我省2月下旬。以對象采集小麥品種為矮抗58，施氮量N15為例，返青拔節(jié)期小麥植株新舊葉片交錯重接，并有較多明顯特征時，對1次掃描不能滿足要求，需要多次掃描進行拼接。后期制作出現(xiàn)渲染明顯遲鈍嚴(yán)重影響了操作。針對上述問題，處理的方法為：當(dāng)掃描物體的表面較大或無明顯特征時，可通過運用掃描表面及標(biāo)志點拼接來解決此問題，(1)掃描表面:兩次掃描，獲得每次掃描小麥單株在采樣器中正常擺放和側(cè)放的擺放角度，刪除植株點云主體之外的噪聲點和標(biāo)記植株特征位置的的輔助標(biāo)志點。需消除物體表面之外的全部輔助定位標(biāo)點，來應(yīng)對零件與標(biāo)志點的相對位置出現(xiàn)的變動情況。(2)掃描表面標(biāo)志點拼接:選擇目標(biāo)最佳擬合中對最少匹配點的添加，設(shè)置4個點云特征，同時進行兩次掃描，并完成對齊，接受，合并，保存文件等步驟。通過將2個文件進行掃描、合并后，使掃描數(shù)據(jù)更為精準(zhǔn)。下圖3-2-11所示小麥單株進行合并的工作。圖3-2-11所示小麥單株進行合并的工作3.2.2小麥生長場景三維點云模型重構(gòu)地面三維激光掃描點云數(shù)據(jù)在具體的工程項目中，測量工作是一個非常重要的組成部分。隨著計量工作的不斷發(fā)展，應(yīng)用相關(guān)科學(xué)技術(shù)具有重要的現(xiàn)實意義。在繪制地形圖時，所要測量的地方并不都是平坦的，有些地方很難測量，如小麥整塊田地、重疊屋頂和樹木剖面。對于這些困難區(qū)域，以前的技術(shù)通常無法完成測量工作，因此使用更先進的技術(shù)三維激光掃描技術(shù)，可以很好地和快速地完成工作。三維激光掃描技術(shù)目前在我國工程測量工作中得到了廣泛的應(yīng)用，也被稱為實時復(fù)制技術(shù)。這是計量領(lǐng)域的另一項技術(shù)創(chuàng)新。在具體的工程測量中，不需要與具體的測量對象接觸，通過對三維點云數(shù)據(jù)的運用可精準(zhǔn)測量地形圖。完成對密集的散亂點云數(shù)據(jù)的提取之后，借助Geomagic軟件完成點云擬合。再將保存的點云數(shù)據(jù)導(dǎo)入到3DMax軟件中，可實現(xiàn)點云數(shù)據(jù)建模。該點云數(shù)據(jù)無須多次導(dǎo)入，只需一次即可，保存時，選擇max格式，再將建模任務(wù)進行分配。由于場景點云有海量數(shù)據(jù)需要處理，且場景模型不規(guī)則，距離固定掃描點的模型有遠有近。實際的建模過程是多任務(wù)分工，以完成最后的總結(jié)，而筆者在建模場景中分別對建筑中的模型進行處理，可對此時點云數(shù)據(jù)量進行優(yōu)化處理，此辦法的好處是，防止受到多點云的干擾，由于其針對性很強，對建模效率有極大的提升。并且，以計算機圖形處理能力為基礎(chǔ)，可以在軟件級調(diào)整稀疏點云中提供詳細信息，從而使計算機獲得運行與3dsmax很好匹配的加載點云的能力[54]。本實驗小麥生長場景點云數(shù)據(jù)采集與處理的流程圖如下圖3-2-12所示。圖3-2-12點云數(shù)據(jù)采集與處理的流程圖生長場景的模型重構(gòu)方法在繪制地形圖之前，利用三維激光掃描系統(tǒng)對真實地形進行掃描。該系統(tǒng)可以在真實地形中自動找到具有鮮明特征或標(biāo)志性建筑。這些被稱為地形特征點。這些特征點和地標(biāo)將被編輯為數(shù)據(jù)，并使用數(shù)據(jù)鏈接導(dǎo)入地圖編輯軟件。除特征點外，數(shù)據(jù)還具有與特征點周圍事物的相對位置以及特殊比例。真正還原真實場景，方便后期的地形圖編輯工作。下圖3-2-13所示得到的小麥麥田及周圍目標(biāo)的點云數(shù)據(jù)。圖3-2-13場景原始數(shù)據(jù)的點云處理刪除點云噪點。由于三維激光掃描儀在運行過程中沒有全方位的掃描，因此中心站將記錄所有特征數(shù)據(jù)。利用噪聲點進行去噪算法編譯器的進一步優(yōu)化處理。對于點云數(shù)據(jù)拼接的后續(xù)處理，為了加快數(shù)據(jù)拼接的處理速度，將不需要一個與目標(biāo)點云相關(guān)聯(lián)的建筑物移除，只留下與點云相關(guān)的信息，在測量掃描數(shù)據(jù)的基礎(chǔ)上為了便于注冊和后續(xù)拼接點云數(shù)據(jù)，需要在去噪的基礎(chǔ)上進行細化。為使點云數(shù)據(jù)能夠按順序進行排列，常見的去噪方法有以下三種：即高斯濾波、中值濾波、平均濾波。其中，在處理高斯噪聲的隨機分布和隨意性時，高斯數(shù)據(jù)的表達式能最有效地過濾出高斯噪聲；中值濾波，其效果在消除波峰中最為顯著；平均濾波是隨機消除點云噪聲數(shù)據(jù)[55]。那么，該怎樣消除無序的點云數(shù)據(jù)的噪聲呢？這些數(shù)據(jù)沒有建立中點，而且拓?fù)潼c之間沒有任何關(guān)聯(lián)性，鑒于此，第一步是先要使這些點之間具有一定的關(guān)聯(lián)性，比如生成三角形網(wǎng)格或配置成曲線。從而進一步去噪[56]。去噪后如圖3-2-14所示。圖3-2-14點云去噪后的整個場景模型點云的數(shù)據(jù)拼接。點云數(shù)據(jù)拼接的本質(zhì)是一種解算過程，主要是將多個坐標(biāo)系中的三維空間數(shù)據(jù)轉(zhuǎn)換到一個坐標(biāo)系中來。點云配準(zhǔn)方法有目標(biāo)縫合、縫合坐標(biāo)兩種方式。理想狀態(tài)縫合精度可達0.1毫米。由于坐標(biāo)拼接需要手動選擇特征點，人為因素會間接導(dǎo)致誤差增加，從而導(dǎo)致數(shù)據(jù)超出極限。一般來說，兩組點云數(shù)據(jù)它們是拼接重疊的部分，要保證總面積中有20%-30%為重疊區(qū)域，且不能對重疊區(qū)域形成太大控制，對處理速度影響應(yīng)保證不大也不小，因為太大會使操作復(fù)雜化，太小則會影響縫合精度。構(gòu)建模型以點云數(shù)據(jù)為模型基礎(chǔ)，即以點云為源模型來確定大小和位置，從而完成模型的構(gòu)建，模型構(gòu)建地位外在形狀和云點大小相同。相較于3dsmax軟件建模的早期階段，通過在軟件中運用點云數(shù)據(jù)可以使準(zhǔn)備工作和后期的維比較工作簡單化，并且點云還有一個很大的好處，就是在建模過程中減少大量時間和精力的耗費。（1）本文主要研究對象是小麥單株植株。想要達到更逼真的場景效果。首先需要對整個麥田進行重構(gòu)，由于掃描儀器的位置，決定了麥田場景模型的點云有密集有稀疏的情況，并且植株狀態(tài)較一致。故選取掃描儀固定地點0.5M范圍內(nèi)的一個區(qū)域?qū)π←溔褐曜鲋貥?gòu)。下圖展示小麥麥田框選合適范圍對其進行重構(gòu)。圖3-2-15選中小區(qū)域麥田進行重構(gòu)由于目標(biāo)點云比較密集，且位于地面，分布范圍較廣，建立點云數(shù)據(jù)封裝，并利用格柵軟件、簡化多邊形等填充修補模型的毛孔，將受損部分縮小為一個逼真的三維模型。下圖3-2-16展示小區(qū)域麥田的輪廓特征，并進行優(yōu)化。圖3-2-16展示小區(qū)域麥田的輪廓特征（2）通過觀察場景中的具體某處建筑可知，房屋、樹木、農(nóng)用工具、道路、標(biāo)牌等是選區(qū)模型的主要構(gòu)成部分，因此，在建模過程中，可以點云的外在形狀為基礎(chǔ)，再進行拉伸、擠出、優(yōu)化、附加等命令，以及移動、旋轉(zhuǎn)、縮放、對象捕捉等實現(xiàn)對房屋的建模。如下圖3-2-17所示選中初始點云數(shù)據(jù)中的房屋以及農(nóng)田澆灌機。圖3-2-17所示選中初始點云數(shù)據(jù)中的房屋以及農(nóng)田澆灌機此外，由于建模場景面積很大，要將全部模型進行整合對計算機的數(shù)據(jù)處理能力是個巨大的挑戰(zhàn)，一般來說，模型所占多邊形數(shù)目越多，模型所占內(nèi)存就越大，因此，在制作模型過程中既要保證模型外觀不變形，有要最大程度的減少面數(shù)的使用。3.2.3基于HTC·vive設(shè)備的沉浸與人機交互處理本章結(jié)合上一節(jié)結(jié)論得到的小麥植株模型以及小麥生長場景模型，利用HTC·vive虛擬頭盔以及Unity3D等軟硬件設(shè)備，營造了具有沉浸式體驗的虛擬現(xiàn)實場景，完全實現(xiàn)了沉浸式交互系統(tǒng)的構(gòu)建。并且，本文基于交互系統(tǒng)平臺，進行了小麥生長場景的加載和對小麥單株模型的觀察兩個交互場景的構(gòu)建，使得在進行虛擬實現(xiàn)時，能給使用者提供一種沉浸式的交互體驗。沉浸式環(huán)境下的處理通常來說，沉浸感即為空間臨場感，從廣義上來說，媒體內(nèi)容給使用者帶來嫉妒逼真的感受時，使用者就有一種置身于此環(huán)境中的獨特感受”。針對如何提升沉浸感的問題，學(xué)者有著不相同的意見。假如將現(xiàn)實世界的沉浸度設(shè)定為100%，而如果HTC·VIVE頭盔能實現(xiàn)其一半的沉浸度，其余需要依靠內(nèi)容來填充。沉浸感的提升有以下兩種方法：第一，建設(shè)更為逼真的VR環(huán)境模型；第二，使VR環(huán)境中的物體具有一致性。這里以本文所研究內(nèi)容和實現(xiàn)的系統(tǒng)為例，對沉浸感給出結(jié)論。需要豐富的環(huán)境模型，主要包括：多通道信息感知。不同的感官聯(lián)系緊密；信息的感知完整性；高環(huán)境意識和事件。高仿真度的環(huán)境模型或情節(jié)對使用者有巨大的吸引力，代表將自己作為使用者，集中注意力投入到模擬環(huán)境中。下圖3-2-18展示本文實驗對環(huán)境因素添加晴天的天氣狀況；圖3-2-19展示雪天的天氣狀況。通過環(huán)境改變來影響用戶的沉浸感效果。圖3-2-18展示晴天的天氣狀況圖3-2-19展示雪天的天氣狀況另一個因素是達到事物的一致性。所謂的一致性在本文作者實現(xiàn)的系統(tǒng)所指的是：虛擬世界中的視覺線索是統(tǒng)一的；游戲世界事物的行為前后會保持一致，虛擬世界的行為不能違背現(xiàn)實世界的基本常識；事物必須得到完整的呈現(xiàn)，在虛擬世界中，空間線索要保持連貫性。虛擬環(huán)境要與事物有聯(lián)動性，指的是用戶能夠正常地操作機器等等。交互設(shè)計的實現(xiàn)在現(xiàn)實世界中，手是我們與其產(chǎn)生互動的主要工具，同樣的，在虛擬世界中，手依然是主要的互動工具。從最簡單的手勢交互，例如英梅吉和HoloLens幾個固定手勢，在VR世界中，通過捕捉使用者的手指關(guān)節(jié)運動數(shù)據(jù)來模擬全手的LeapMotion、uSens，本文系統(tǒng)用到手持HTC·VIVE手柄在虛擬空間中交互和觸摸。構(gòu)成虛擬現(xiàn)實中的主要是由兩方面完成，一方面是沉浸感，讓用戶有沉浸感。沉浸式虛擬交互是一個非常重要的因素，一個好的沉浸式體驗使用戶感到沉浸；另一個是互動式的，虛擬交互是場景，通過用戶的參與對其狀態(tài)進行適當(dāng)?shù)母淖儭１敬窝芯康慕K極目的是設(shè)計出一種交互平臺，通過將良好沉浸感和交互作用進行融合，以實現(xiàn)具有高度仿真的虛擬場景。要實現(xiàn)上述目標(biāo)，要進行如下幾個步驟：使用戶的活動空間進一步擴大利用是Unity3D搭建了一個地形，對HTC·vive手柄參數(shù)調(diào)大、調(diào)扁該圓柱體范圍，為其添加BoxCollider，使其覆蓋整個地形，即可實現(xiàn)設(shè)置為瞬移區(qū)域擴大用戶的活動區(qū)域。（2）提升虛擬場景的仿真度本文所提到的系統(tǒng)中，通過對HTC·vive設(shè)備的運用，將高仿真度的交互環(huán)境提供給使用者，通過使用手持式掃描儀獲取小麥植株的點云模型和地面激光掃描儀獲得的生長場景的模型，充分考慮Unity3D的特征，以此作為模型設(shè)置以及尺寸和粒子系統(tǒng)的使用的基礎(chǔ)，從而使虛擬場景更加具有仿真度。（3）保證交互的合理性一個科學(xué)高效的交互方法是實現(xiàn)與虛擬環(huán)境的良好交互的前提。所述手柄裝置使用與所述按鈕類似的功能，所述每個按鈕包括避免的多個功能。設(shè)計的互動手勢合理、平易近人，避免手勢不符合生理結(jié)構(gòu)。根據(jù)以上三個方面，結(jié)合交互性設(shè)計，本文作者完成了可視化系統(tǒng)中交互部分。在場景交互設(shè)置的系統(tǒng)結(jié)構(gòu)設(shè)計如圖3-2-20所示。主要解決通過手柄對場景和小麥單株模型對象的控制和漫游，以及栽培知識和物聯(lián)網(wǎng)氣象數(shù)據(jù)的信息觸發(fā)。圖3-2-20場景交互設(shè)計的框架圖為使抓握手勢更為自然，需要通過對HTCVive手柄控制器兩端的抓握鍵的使用（Grip）來完成物體的抓取和松開等操作。給物體設(shè)置為自然重力的物理屬性，滿足現(xiàn)實狀態(tài)的物體落體運動。通過執(zhí)行VRTK_InteractableObject程序,將操控模型設(shè)置為可被抓取物體（IsGrab）。當(dāng)物體被雙手同時抓取時，為使抓取更精準(zhǔn)，應(yīng)不能改變物體與手柄的相對位置，在按Grip鍵時，通過手柄觸碰物體的時間先后來確認(rèn)主手柄與子手柄。使用者可通過水平移動雙手，再旋轉(zhuǎn)手腕的方式來實現(xiàn)小麥單株模型的相關(guān)操作。針對手柄與物體的交互，設(shè)計出繞固定點旋轉(zhuǎn)的操作方法，要實現(xiàn)這種操作，要同時使用兩個手柄。當(dāng)使用者通過手柄抓取到物體時，手柄的輪廓會出現(xiàn)半透明狀態(tài)。上述操作是以VRTKSDK為基礎(chǔ)實現(xiàn)的。手柄與物體交互的示意圖如圖3-2-21所示，圖3-2-21手柄與物體交互示意圖小麥生長場景的漫游VR漫游系統(tǒng)是一個虛擬環(huán)境，主要是通過在固定范圍中給使用者提供用戶視覺和聽覺的雙重感官體驗，在使用VR漫游系統(tǒng)時，使用者可通過對VR設(shè)備的使用，自由隨意的游覽虛擬場景，并觀察虛擬場景中全部事物。本小節(jié)針對虛擬頭盔的頭部跟蹤原理和手柄交互實現(xiàn)進行敘述。使用陀螺儀、重力傳感器等幫助定位傳感器觀察使用者頭部的運動圖像并作出相應(yīng)反應(yīng)，以產(chǎn)生近似真實的視覺反饋[57]。虛擬現(xiàn)實類跟蹤可使用跟蹤紅外攝像機標(biāo)定的方法，并在空間坐標(biāo)系中，通過獲取頭部安裝顯示器x,y,z軸上的pitch,yaw和roll的數(shù)據(jù)，實時輸入空間數(shù)據(jù)傳輸?shù)絇C跟蹤端進行CPU-GPU處理，計算運行向前或向后相鄰兩個數(shù)據(jù)，將實時信息性反饋到本系統(tǒng)虛擬場景中。提供兩個Prafab為Unity3D開發(fā)人員，分別是第一人和第三人控制控制器Prafab。虛擬現(xiàn)實相機與系統(tǒng)默認(rèn)的相機的區(qū)別主要在于虛擬現(xiàn)實相機不僅需要空間操作的位置，還需與紅外位置跟蹤設(shè)備進行連接，運用跟蹤器與頭戴式顯示器之間的空間距離變化以及與顯示數(shù)據(jù)轉(zhuǎn)換器相對應(yīng)的空間。虛擬現(xiàn)實場景主要會受漫游攝像機的移動、關(guān)聯(lián)跟蹤器、變換和陰影等因素。下圖3-2-22展示VR場景漫游下手柄的控制。圖3-2-22VR場景漫游下手柄的控制VR管理者類不僅是單例模式，也是VR硬件的接口，負(fù)責(zé)管理HTC·vive的實時操作。它將提供給Unity的SteamSDK，包括HTC·vive中用于配置相機特性的幫助方法。fig類在其內(nèi)部的初始實例中是其內(nèi)部靜態(tài)類成員的其余部分。VR裝配類主要是對立體渲染和頭部跟蹤進行控制，能夠?qū)⑺谢緟?shù)進行初始化，VR裝配類主要有以下幾個部件：2個Unity相機；左眼瞄點、中間眼睛瞄點、右眼瞄點；空間物體跟蹤取代了Unity場景中常規(guī)的攝像機。如下圖3-2-22所示導(dǎo)入SteamVR文件里的預(yù)制體模型[CameraRig]到場景中。圖3-2-23VR預(yù)制體模型導(dǎo)入VR跟蹤器類主要負(fù)責(zé)實現(xiàn)隨HMD頭部的跟蹤，VR管理者類負(fù)責(zé)將跟蹤狀態(tài)進行啟動，以獲取HMD的位置的實時狀態(tài)。VR顯示類，主要負(fù)責(zé)渲染狀態(tài)、內(nèi)容和視錐體等信息的更新，VR管理者類負(fù)責(zé)將顯示狀態(tài)進行啟動，對渲染值進行設(shè)定和更新數(shù)據(jù)。如下圖3-2-24所示給[CameraRig]模型添加VRTK_BasicTeleport腳本。用來制作手柄漫游行走功能。圖3-2-24手柄漫游行走功能預(yù)設(shè)在HTC的VRTK插件里交互最常見的就是依靠手柄發(fā)出一條射線然后和界面進行交互。左臂右臂分別通過不同的腳本控制。首先記錄手臂的位置，初始的坐標(biāo)，記錄為repos。通過VRTK_DeviceFinder獲取手柄的位置，記錄坐標(biāo)。在update函數(shù)中，執(zhí)行過程中不斷監(jiān)聽記錄手柄的位置變換，分別計算x軸y軸z軸的位移量偏差，定義新的三維數(shù)組，將位移量偏差與手臂的初始位置疊加，使手臂根據(jù)手柄位置進行實時運動[59]。與場景交互漫游需要給控制器添加兩個腳本：VRTK_UIPointer腳本用來跟UI進行交互，VRTK_SimplePointer腳本是用來發(fā)射線的腳本，默認(rèn)的交互方式都是按住手柄的方向鍵，然后在點擊扳機鍵進行交互。例如某個按鈕點擊后會觸發(fā)某一事件，觸發(fā)方式和非VR狀態(tài)一樣只是操作方式換成了手柄，當(dāng)射線指到按鈕上并且按下手柄的方向鍵按鈕會變成紅色，然后點擊手柄的扳機鍵就會觸發(fā)事件了。如下圖所示。圖3-2-25不同手柄的控制射線VR場景渲染技術(shù)場景渲染階段針對需要佩戴虛擬頭盔達到沉浸感效果，渲染的顯示窗口要區(qū)別于傳統(tǒng)渲染方式。另外渲染的優(yōu)化幀頻和在不同配置機器上完美運行是影響系統(tǒng)設(shè)計穩(wěn)定性和可擴展性原則，造成用戶操作體驗差。（1）由于以上3D成像原理需要渲染兩張不同角度方位的圖像，這在渲染流程上也增加了一些處理環(huán)節(jié)。如下圖3-2-26所示.在渲染流程圖中，與傳統(tǒng)渲染流程有差異的主要是在“剪裁投影”環(huán)節(jié)，由于傳統(tǒng)渲染流程中屏幕只有一個，或者說顯示窗口只有一個，所以只需要確定一個視口，但是VR頭盔中需要顯示兩張不同角度的圖，那么在VR渲染流程中就需要兩個攝像機和兩個視口。也就是同一個三維世界中的場景，要在兩個平面上以稍有差別的角度進行投影，就如同兩部相機同時在兩個位置進行拍照。渲染到VR設(shè)備時，需要確定“兩個”視口，以及攝像機。在一開始的開發(fā)過程中，需要人為的設(shè)置兩個攝像機和視口，隨著開發(fā)引擎版本的更新，這個過程將不再需要開發(fā)者來考慮。但是對于設(shè)備的數(shù)據(jù)而言，針對每一個相機無論是頂點shader程序的處理、變換矩陣、3D剪裁都需要做兩次，柵格化之后的片元shader、光照霧化處理、模板處理、緩沖區(qū)處理也都是雙倍的數(shù)據(jù)量。柵格化之后兩個視口的片元將合成一張矩形的片元矩陣（混合處理之前的像素稱作片元）。圖3-2-26VR渲染流程（2）最慢的階段決定最終的渲染速度。那么，該如何評估3D應(yīng)用程序呢？第一步，分析CPU端或GPU端渲染性能指標(biāo)的影響因素，以實現(xiàn)對輸出對象進行改進。當(dāng)前，圖形加速硬件的處理水平很高，因此，在CPU端進程中，可任用一些工具來優(yōu)化CPU端的操作。把一些復(fù)雜的計算移值到GPU上，例如在本實驗的處理對象上對小麥生育期場景的模型制作用到了硬件骨骼蒙皮。在實驗計算機上當(dāng)GPU端是超荷負(fù)載,因為有過多的渲染填充和模型多邊形數(shù)量太多的影響。產(chǎn)生這種問題主要有以下兩個因素，一，ai計算太過復(fù)雜，代碼的低效運行，二，批處理渲染不到位或不合理的資源管理。下圖3-2-27所示本實驗在當(dāng)前運行系統(tǒng)時的幀頻顯示情況[60]。所以針對上述處理，對本文小麥生長場景進行處理采用靜態(tài)場景優(yōu)化和場景管理的優(yōu)化。包括合并多個小紋理為一張大紋理和利用頂點shader來統(tǒng)一不同矩陣的情況。

圖3-2-27當(dāng)前運行系統(tǒng)時的幀頻批是場景優(yōu)化指的是一次渲染調(diào)用（DP），渲染該物體的多邊形數(shù)量用批處理大小來表示。每次調(diào)用批量調(diào)用都會占用圖形卡一定的CPU內(nèi)存，一批中的多邊形數(shù)量遠遠低于所繪制的最大數(shù)量。因此，盡可能在一次批渲染中，以減少批的數(shù)量，最終減少CPU時間，優(yōu)化效率[61]。

假如有十幾種不同的作物存在于同一個場景中，盡管其紋理各有差異，但又相同的渲染狀態(tài)。具體方法是，第一步，可將其統(tǒng)一導(dǎo)入到一個大的包紋理中，第二步，將不同的UV與植被模型進行匹配，這樣一來，就可通過渲染一個調(diào)用來實行全部對象渲染，從十幾個批次到一個批次。該方法適用于精度要求不高，物體表面紋理數(shù)量不多的場景。例如，本次小麥麥田的大規(guī)模植株狀態(tài)，就可以使用該方法，渲染效果同樣達到理想狀態(tài)。如下圖所示。圖3-2-28優(yōu)化后的幀頻并且，在同一場景中，就算有一致的全部材質(zhì)對象，假如它們的矩陣狀態(tài)各有不同，也會破壞原始批次。針對此種情況，可通過對頂點shader技術(shù)的運用來解決，可以利用常量寄存器，將要乘的變換矩陣傳輸?shù)絪hader程序中，這樣一來，物體的矩陣狀態(tài)就保持了統(tǒng)一，也就無須調(diào)用多個批量進行渲染。優(yōu)化場景分割，包括場景管理、可見性剔除等。物體體積小且占據(jù)多個分布點，因此節(jié)點數(shù)目過多?？赏ㄟ^將這些小對象劃分為大節(jié)點的方法來解決這一問題?？梢娦蕴蕹羞\用遮擋約簡方法，通過對此方法提前產(chǎn)生的信息進行運用，簡化計算遮擋約簡，將遮擋約簡計算速度進行提升，對場景性能有一定的提高。根據(jù)本章小節(jié)的處理方法優(yōu)化，使用同一臺電腦，同一個位置下的CPU幀頻數(shù)為37.5，比有優(yōu)化前的幀頻數(shù)43.4有明顯的減弱，證明此方法有效。下圖3-2-29所示優(yōu)化后的幀頻。圖3-2-29優(yōu)化后的幀頻3.3系統(tǒng)功能設(shè)計圖3-3-1系統(tǒng)模塊設(shè)計框架圖根據(jù)系統(tǒng)模塊設(shè)計框架圖，確定系統(tǒng)主要功能模塊如下：沉浸交互模塊：利用HTC·vive虛擬頭戴式頭盔和Unity3D等軟硬件設(shè)備，營造一種沉浸式的虛擬環(huán)境，完成了沉浸式交互系統(tǒng)的構(gòu)建。通過此平臺，對頭戴式頭盔設(shè)備進行運用，給使用者提供沉浸式交互體驗，在設(shè)置模型大小、尺寸以及擺放位置時，要充分以Unity3D的動畫為基礎(chǔ)，以實現(xiàn)更具有仿真度的虛擬場景。為了，一個合理高效的交互方法是實現(xiàn)用戶與虛擬環(huán)境良好交互的前提。針對手柄設(shè)備的設(shè)置問題，采用一個按鈕來表示相同的功能。場景整合模塊：利用Unity3D對搜集的物聯(lián)網(wǎng)氣象數(shù)據(jù)和小麥蜘蛛的栽培信息進行融合顯示。通過異步附加式加載方式對小麥的不同生育期不同品種完成場景的加載。在交互中，使用VREyeRaycaster腳本中的Reticle的類對小麥植株觀察時，觸發(fā)信息的顯示。最后通過渲染調(diào)用DP，通過改變setRenderState的渲染狀態(tài)，設(shè)置紋理狀態(tài)、深度寫入等來降低CPU的時間，達到最優(yōu)渲染。4面向沉浸感的小麥三維形態(tài)可視化系統(tǒng)開發(fā)與實現(xiàn)4.1系統(tǒng)開發(fā)環(huán)境與工具設(shè)備參數(shù)PC機（1）處理器：英特爾Corei7-8500@3.40GHz六核內(nèi)存：16GB顯卡：NvidiaGeForceGTX1060Ti(8GB/華碩)PC機（2） 處理器: 英特爾Corei7-4710MQ2.50GHz內(nèi)存:8GB顯卡:NVIDIA?GeForce?GTX970HTC·vive虛擬頭戴式頭盔屏幕：雙AMOLED屏幕，對角直徑3.6吋分辨率：單眼分辨率為1080x1200像素（組合分辨率為2160x1200像素）刷新率：90HZ視場角：110度傳感器：SteamVR追蹤技術(shù)、G-sensor校正、gyroscope陀螺儀、proximity距離感測器表4-1系統(tǒng)開發(fā)硬件參數(shù)系統(tǒng)開發(fā)的硬件主要是PC機兩臺，用于渲染優(yōu)化的對比，找到最優(yōu)的處理方法；一臺HTC·vive虛擬頭戴式頭盔設(shè)備等，相關(guān)設(shè)備參數(shù)如表5-1所示。系統(tǒng)開發(fā)的軟件主要有建模軟件3Dmax（64位），虛擬引擎Unity3D5.5.6f(64-bit),導(dǎo)入SDK：SteamVRPlugin和ViveInputUtility，VXelements2012，GeomagicStudio2014等。4.2系統(tǒng)實現(xiàn)及效果4.2.1場景實現(xiàn)通過不斷檢測和優(yōu)化，實現(xiàn)了具有沉浸感的小麥三維形態(tài)可視化系統(tǒng)的研發(fā)。這是一個高精度且有極強沉浸感的系統(tǒng)，氣象數(shù)據(jù)與栽培知識數(shù)據(jù)真實有效，具有高仿真度的虛擬現(xiàn)實環(huán)境，有極高的畫面品質(zhì)，系統(tǒng)運行流暢且兼容性強。（1）基礎(chǔ)初始場景設(shè)計，在Unity3D中構(gòu)建UI界面，該界面包括兩部分，上邊是小麥栽培知識不用時期的略縮圖以及對應(yīng)的不同名字，底下是小麥栽培知識介紹。小麥栽培知識包括不同生育時期，不同品種，不同栽培方式和不同施氮量。信息的展示體現(xiàn)在UI界面的交互方面。設(shè)計一個好的VR用戶界面，需要滿足三大條件：1、具有一個極具沉浸感的虛擬環(huán)境。2、具有簡單邏輯結(jié)構(gòu)的層級關(guān)系。3、頁面的信息展示簡約直接?；赨nity引擎的UGUI系統(tǒng)而設(shè)計的UI界面。下圖是其UI控制的基本UML類圖具體情況圖4-2-1UI控制的基本UML類圖主界面的UI控制部分又分為幾大環(huán)節(jié)，UI控制是以不同的控制腳本編寫為基礎(chǔ)的，腳本都繼承BasePanel這一基礎(chǔ)類，在該基礎(chǔ)類中，對UIPanel的進入，暫停，返回，退出等控制方法進行了界定，并在UIManager中視階段不同分別進行調(diào)用。主要通過繼承BasePanel的各個子類，通過對控制方法進行重寫來完成所有的UI的控制。UI響應(yīng)是指對場景中的按鈕進行點擊來實現(xiàn)的交互邏輯。通過執(zhí)行有針對性的腳本，可以對小麥三維形態(tài)可視化模型中的UI交互進行處理。本系統(tǒng)的運行效果如圖4-2-2所示。圖4-2-2初始場景UI界面（2）構(gòu)建小麥三維形態(tài)可視化系統(tǒng)的場景，場景內(nèi)部包括手持式三維掃描儀得到的小麥植株點云模型；利用FAROFocus3DS350三維激光掃描儀采樣并處理了整個環(huán)境的點云模型，比如樓房，樹木，澆灌機等；最后通過Unity3D建立一個天空盒。具體的虛擬現(xiàn)實環(huán)境畫面情況如下圖，使用者可在虛擬現(xiàn)實環(huán)境中進行自由游覽來觀察小麥的生長情況。如圖4-2-3所示。圖4-2-3場景內(nèi)的顯示4.2.2交互模塊的實現(xiàn)構(gòu)建小麥不同品種、不同栽培知識下的生育期場景，由于實現(xiàn)方法相同，本文只列舉其中一個小麥品種為矮抗58，施氮量為N15的模型來展示知識場景的實現(xiàn)過程：（1）利用凝視點（準(zhǔn)心）技術(shù)顯示當(dāng)前的小麥生育期，方便用戶快速了解當(dāng)前狀況。如下圖4-2-4所示看到麥田時上方顯示當(dāng)前小麥的生育期。圖4-2-4看麥田時上方顯示當(dāng)前小麥的生育期（2）通過對一些省市氣象局和氣象數(shù)據(jù)網(wǎng)、天氣預(yù)報網(wǎng)以及農(nóng)業(yè)物聯(lián)網(wǎng)系統(tǒng)的資料進行梳理總結(jié)，得出了本文所提到的相關(guān)數(shù)據(jù)。所以根據(jù)河南省的地理位置，以及小麥的生長發(fā)育周期，選取了從播種至今的氣象數(shù)據(jù)，包括河南省許昌市地區(qū)2018年11月份至2019年3月間的氣象數(shù)據(jù)，按照類型不同，這些數(shù)據(jù)可分為溫度、相對濕度、風(fēng)速、位置信息等四類，間隔單位是小時。數(shù)據(jù)的使用根據(jù)當(dāng)天采集的小麥植株時的氣象資料。并對采集到的數(shù)據(jù)整合預(yù)處理，形成一個數(shù)據(jù)庫文件，方便后續(xù)實驗的導(dǎo)入。下圖4-2-5展示收集整理部分有關(guān)的氣象數(shù)據(jù)。圖4-2-5整理有關(guān)部分的氣象數(shù)據(jù)在Unity中，關(guān)于提取和保存數(shù)據(jù)的問題，通?？赏ㄟ^連接數(shù)據(jù)庫來解決。這里我們使用Sqlite數(shù)據(jù)庫，Sqlite數(shù)據(jù)庫是一個輕量級、跨平臺的關(guān)系型數(shù)據(jù)庫，尤其是跨平臺更是和Unity非常的搭配，但是因為輕量化，一些小型游戲使用可以滿足需求，unity做游戲，有很多配置數(shù)據(jù)需要在本地讀取，一般的方法有：1、xml讀取存儲；2、二進制文件；3、直接將數(shù)據(jù)存到預(yù)制體上。以上三個用法，都是需要將數(shù)據(jù)源文件打包為AB包，然后讀取使用。在xml存儲讀取基礎(chǔ)上，改進方案，制作prefab存數(shù)據(jù)。數(shù)據(jù)變更進程為excel–>xml–>prefab–>ab–>游戲運行讀取使用。直接跳過xml讀取，從excel直接導(dǎo)出自動生成prefab。本文所做的實驗數(shù)據(jù)導(dǎo)入unity中的思路：讀取本地化xml文件A，實例化對象a存儲。動態(tài)生成一個prefab，上面掛一個腳本B，里面要有xml數(shù)據(jù)對象b，然后將讀取的文件數(shù)據(jù)對象a賦值給b，最后將prefab保存到本地即可得到unity讀取到物聯(lián)網(wǎng)氣象數(shù)據(jù)資料。本文實驗部分利用手柄對小麥植株進行沉浸式觀察，通過手柄觸屏?xí)r，跟隨頭盔顯示出數(shù)據(jù)庫中的物聯(lián)網(wǎng)氣象數(shù)據(jù)和有關(guān)小麥栽培知識的相關(guān)顯示。如下圖4-2-6所示沉浸環(huán)境里的手柄對小麥近距離觀察時觸發(fā)知識的顯示。圖4-2-6觸碰小麥時的觸發(fā)條件信息顯示（3）通過點擊左右手柄不同的按鍵來對小麥模型進行可操作抓取，可以實現(xiàn)與這些小麥植株的近距離互動。圖4-2-7所示沉浸環(huán)境里的手柄對小麥近距離觀察。圖4-2-8通過手柄觀察麥地的小麥（4）圖4-2-9所示該用戶正在使HTC·vive手柄互相配合完成場景漫游過程。佩戴穿戴式頭盔使用戶處于一個四維的虛擬世界之內(nèi)，用戶各種感覺器官、特別是視覺器官對虛擬世界發(fā)生適應(yīng)性正向反饋。通過和頭部的位姿傳感采集的數(shù)據(jù)配合，讓三維引擎與頭部轉(zhuǎn)動方向保持一致，通過高頻顯示對三維頭像進行實時更新，用戶頭部轉(zhuǎn)動方向與三維引擎模擬的三維畫面視覺保持相同，讓用戶覺得放佛是通過一個大窗口在觀察一個虛擬的三維世界，使得用戶體驗更好的沉浸感效果。圖4-2-9用戶使用HTC·vive設(shè)備進行漫游4.2.3系統(tǒng)測試與優(yōu)化在Unity3D中進行模型加載過程中，使得在虛擬環(huán)境中，內(nèi)存消耗模型需要加載大量渲染，為避免系統(tǒng)出現(xiàn)崩潰，就必須對模型進行優(yōu)化，以適應(yīng)虛擬小麥植株、生長階段的場景，對渲染面數(shù)進行精簡。針對場景面積很大且渲染效率很低的情況，本文通過改進場景渲染技術(shù)，從而實現(xiàn)渲染幀速率的提升。最后，通過對Mashlab的運用，使小麥植株和建筑模型面數(shù)得到精簡，針對場景中的遠距離場景模型，通過對LOD技術(shù)的運用，以面數(shù)較低的模型進行替換，從而減少渲染的工作量。通過綜合運用以上三種方法，可使Drawcall的使用效率得到提升，不斷完善系統(tǒng)，使系統(tǒng)運行更為流暢。在系統(tǒng)開始運行的一段時間內(nèi)，對FPS進行采樣分析。在本系統(tǒng)中運行的PC端環(huán)境為專業(yè)游戲主機，通過設(shè)置場景內(nèi)不同小麥植株數(shù)量的參照標(biāo)準(zhǔn)，對比分析麥田里多量小麥植株和少量小麥植株情況下的系統(tǒng)運行幀速率，分析結(jié)果如圖4-2-10所示。通過對不同數(shù)量小麥植株模型的場景幀速率進行測驗，并通過對其運行渲染結(jié)果進行對比發(fā)現(xiàn)：就算場景中存在多量小麥植株的麥田，對這種需要極高幀速率的要求，本系統(tǒng)的平均渲染速率同樣達到了標(biāo)準(zhǔn)。圖4-2-10多量小麥與少量小麥渲染幀速率對5總結(jié)與展望5.1總結(jié)在對國際國內(nèi)的農(nóng)作物三維信息獲取、小麥植株可視化和虛擬現(xiàn)實技術(shù)進行分析總結(jié)，本文