地質(zhì)調(diào)查大數(shù)據(jù)處理的技術(shù)問題與開發(fā)方法(2)

1、地質(zhì)調(diào)查大數(shù)據(jù)處理的技術(shù)問題與開發(fā)方法(2)總體上看，地質(zhì)調(diào)查大數(shù)據(jù)處理需要面向?qū)嶋H工作，提供多種計算模式的服務(wù)。（4）分析與挖掘地質(zhì)數(shù)據(jù)定量分析一直是地質(zhì)調(diào)查重要的工作內(nèi)容，但趙鵬大4認(rèn)為，目前地球科學(xué)的分析和可視化方法已經(jīng)遠(yuǎn)遠(yuǎn)落后于創(chuàng)造數(shù)據(jù)的能力。地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘技術(shù)首先要解決的問題是地質(zhì)調(diào)查工作區(qū)多來源、多模態(tài)、多時態(tài)數(shù)據(jù)的相關(guān)性和模式分析，這樣的分析可以克服個體的波動性，發(fā)現(xiàn)更多可靠的、隱藏的模式和知識。地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘的技術(shù)問題還表現(xiàn)在以下4個方面：第一，以往地質(zhì)調(diào)查數(shù)據(jù)分析的一個重要方法是采樣，當(dāng)數(shù)據(jù)體量比較大時，可以通過采樣技術(shù)把數(shù)據(jù)規(guī)模變小5.很顯然，在很多地質(zhì)

2、問題中，采樣意味著信息的丟失。如果不運用采樣技術(shù)，考慮對地質(zhì)調(diào)查大數(shù)據(jù)全集進(jìn)行分析，意味著需要分析的數(shù)據(jù)量急劇膨脹與增長，其面臨的技術(shù)問題就是體量巨大的數(shù)據(jù)如何分析。第二，以往地質(zhì)調(diào)查數(shù)據(jù)分析方法集中于線性空間中的統(tǒng)計方法，以及一些初級的非線性方法，在小樣本上運用這些方法獲取局域的地質(zhì)特征。當(dāng)在地質(zhì)調(diào)查大數(shù)據(jù)上運用這些方法時，令人不安的結(jié)果往往是方法收斂早于數(shù)據(jù)規(guī)模波動，有必要針對地質(zhì)調(diào)查大數(shù)據(jù)的一些方法進(jìn)行改造，或者提出新的方法，這是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的另一項技術(shù)問題，即深度分析。第三，集合了地質(zhì)描述、地質(zhì)數(shù)據(jù)、地質(zhì)圖表、地質(zhì)認(rèn)識的地質(zhì)調(diào)查資料價值巨大，目前，地質(zhì)調(diào)查資料處理技術(shù)主

3、要集中在前處理和檢索查詢方面，而地質(zhì)調(diào)查綜合資料的深度分析與挖掘是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的重要技術(shù)問題。第四，地質(zhì)礦產(chǎn)資源評價、地質(zhì)環(huán)境監(jiān)測預(yù)警等重要業(yè)務(wù)在不斷發(fā)展，對數(shù)據(jù)與計算技術(shù)的要求更精致、更敏捷，實現(xiàn)對這些重要業(yè)務(wù)的有效技術(shù)支撐是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的基本技術(shù)問題。地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘的另一類技術(shù)問題源于地質(zhì)調(diào)查信息化服務(wù)。網(wǎng)絡(luò)形式的公眾服務(wù)必然產(chǎn)生公眾訪問數(shù)據(jù)，這些數(shù)據(jù)以某些特定形式存儲，對這些數(shù)據(jù)的分析與挖掘有助于優(yōu)化服務(wù)系統(tǒng)配置，提高服務(wù)質(zhì)量與效率。在這方面，一些通用的分析與挖掘技術(shù)可以派得上用場，而具有地質(zhì)調(diào)查特色的分析與挖掘技術(shù)是需要重點關(guān)注的，如地質(zhì)調(diào)查空

4、間數(shù)據(jù)熱點技術(shù)、地質(zhì)圖塊的快速檢索技術(shù)、地質(zhì)圖塊與地質(zhì)資料快速匹配技術(shù)等。（5）可視分析有別于一般的數(shù)據(jù)處理工作，地質(zhì)調(diào)查工作中很大一部分地質(zhì)問題是地質(zhì)專業(yè)技術(shù)人員在空間數(shù)據(jù)或圖件基礎(chǔ)上進(jìn)行綜合分析后解決的，這種解決問題的模式為地質(zhì)調(diào)查大數(shù)據(jù)可視分析技術(shù)提供了可能。可視分析就是通過交互可視界面來進(jìn)行分析、推理和決策的過程6,本質(zhì)也是知識發(fā)現(xiàn)。可視分析與一般分析與挖掘的不同在于，其不依賴于數(shù)學(xué)模型，而是一種探索式分析，這與很多地質(zhì)問題的解決模式一致。地質(zhì)調(diào)查大數(shù)據(jù)可視分析的技術(shù)基礎(chǔ)是多年積累的地質(zhì)體建模、地質(zhì)過程建模、地質(zhì)調(diào)查數(shù)據(jù)可視化及其交互的技術(shù)，可視分析就是在這些技術(shù)的基礎(chǔ)上，克服高維性、

5、不確定性和異構(gòu)性，研究開發(fā)從復(fù)雜地質(zhì)調(diào)查數(shù)據(jù)中抽取有效特征的方法，通過探索式分析完成地質(zhì)調(diào)查大數(shù)據(jù)中知識發(fā)現(xiàn)，其基本技術(shù)流程如圖1所示。當(dāng)前的機器智能在復(fù)雜地質(zhì)數(shù)據(jù)的視覺識別和理解方面遠(yuǎn)不及人腦智能，而超過50%的智能與視覺識別有關(guān)。因此，對地質(zhì)特征模型可視化結(jié)果的修正和判斷，體現(xiàn)出人腦智能和機器智能的差異，其中蘊含的就是新知識。探索式可視分析以人腦智能向機器智能的轉(zhuǎn)換、機器智能向人腦智能的展示為主線，實現(xiàn)地質(zhì)認(rèn)識的螺旋式進(jìn)化，在這一方面，需要解決的技術(shù)難題包括：對地質(zhì)體和地質(zhì)現(xiàn)象的數(shù)據(jù)或參數(shù)的輸入常常存在謬誤和不精確，因而人腦智能轉(zhuǎn)換為機器智能是多人協(xié)同、反復(fù)修正的過程；地質(zhì)調(diào)查大數(shù)據(jù)環(huán)境下

6、，各種可視分析方法需要具備可擴充性和容納不同對象的能力，這樣才能支持多來源、多時態(tài)的地質(zhì)大數(shù)據(jù)處理。（6）隱私與安全隱私是不愿意被他人知道或他人不便知道的敏感信息7.地質(zhì)調(diào)查大數(shù)據(jù)以服務(wù)為重要目標(biāo)，因此存在服務(wù)參與人的隱私問題。安全指不受威脅，沒有危險、危害、損失8.信息安全指采取技術(shù)和管理的安全保護手段，保護軟硬件與數(shù)據(jù)不因偶然的或惡意的原因而遭到破壞、更改、顯露9.數(shù)據(jù)安全一直是地質(zhì)調(diào)查信息化工作的重要內(nèi)容。地質(zhì)調(diào)查大數(shù)據(jù)隱私與安全面臨的新情況和帶來的威脅與挑戰(zhàn)如表6所示。地質(zhì)調(diào)查大數(shù)據(jù)隱私與安全需要法律、政策、管理與技術(shù)共同維護，從技術(shù)層面，當(dāng)前主要隱私和安全保護方法包括：文件訪問控制技

7、術(shù)、基礎(chǔ)設(shè)備加密、匿名化保護技術(shù)、加密保護技術(shù)、數(shù)據(jù)失真技術(shù)、可逆置換算法等。4 科學(xué)問題地質(zhì)調(diào)查大數(shù)據(jù)的研究處于探索階段，地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)也處于起步階段，因而對地質(zhì)調(diào)查大數(shù)據(jù)研究中的科學(xué)問題準(zhǔn)確描述還十分困難，這里把科學(xué)問題討論限制在地質(zhì)大數(shù)據(jù)范疇，也就是地球信息的范疇，探索性地提出2個帶有普遍性與根本性的問題。（1）地質(zhì)大數(shù)據(jù)僅僅是地質(zhì)世界的數(shù)據(jù)映象，還是具有反映地質(zhì)世界規(guī)律能力的數(shù)據(jù)世界？地質(zhì)科學(xué)一直以來以科學(xué)實驗、知識歸納為主要研究手段，近幾十年來數(shù)值模擬也有一些發(fā)展。趙鵬大10指出，當(dāng)前已經(jīng)進(jìn)入大數(shù)據(jù)時代，大數(shù)據(jù)成為新的科學(xué)范式（數(shù)據(jù)密集型科學(xué)研究的第四范式;10），是一場

8、技術(shù)革命、顛覆性創(chuàng)新11.那么，地質(zhì)大數(shù)據(jù)的關(guān)聯(lián)關(guān)系與地質(zhì)世界的因果關(guān)系之間存在怎樣的聯(lián)系？或者表述為：地質(zhì)大數(shù)據(jù)的相關(guān)性研究與地質(zhì)科學(xué)研究功效一致，還是僅僅是地質(zhì)科學(xué)研究的補充？在簡單的、封閉的系統(tǒng)中，基于小數(shù)據(jù)的因果關(guān)系是很容易做到的，但對復(fù)雜的、開放的巨系統(tǒng)，傳統(tǒng)的因果關(guān)系是不是奏效很難說。地質(zhì)大數(shù)據(jù)進(jìn)行的關(guān)聯(lián)分析是知其然而不知其所以然;的，相關(guān)性表達(dá)2個或多個地質(zhì)變量取值之間的某種規(guī)律性，嚴(yán)格地說，統(tǒng)計相關(guān)性是無法檢驗邏輯上的因果關(guān)系的12.不過一些支持者，如 Mayer-Schnberger13在大數(shù)據(jù)時代一書中指出了大數(shù)據(jù)時代處理數(shù)據(jù)理念的三大轉(zhuǎn)變，即要全體不要抽樣，要效率不要絕對

9、精確，要相關(guān)不要因果。也就是數(shù)據(jù)-信息-知識-智慧;要讓位于數(shù)據(jù)-價值;的研究思路。當(dāng)前，面對地質(zhì)大數(shù)據(jù)，地質(zhì)科學(xué)研究人員有可能從中查找、分析或挖掘所需要的信息、知識和智慧，甚至無需直接接觸所研究的對象。（2）地質(zhì)大數(shù)據(jù)關(guān)系網(wǎng)絡(luò)的本質(zhì)特征是什么？地質(zhì)數(shù)據(jù)之間復(fù)雜的網(wǎng)絡(luò)關(guān)系是地質(zhì)大數(shù)據(jù)的存在形式，深入分析地質(zhì)大數(shù)據(jù)關(guān)系網(wǎng)絡(luò)，才能把握地質(zhì)大數(shù)據(jù)的本質(zhì)。針對大型復(fù)雜的研究區(qū)域，地層、物探、化探、影像等數(shù)據(jù)之間的關(guān)系如何定量表達(dá)，這一系列表達(dá)關(guān)系的變量中是不是存在一些整體上有規(guī)律的部分，這是地質(zhì)大數(shù)據(jù)背后的關(guān)系網(wǎng)絡(luò)研究的重要內(nèi)容。5 地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)方法地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)的開發(fā)既要繼承以

10、往地質(zhì)數(shù)據(jù)處理技術(shù)開發(fā)的一些方法與技巧，更要考慮在開發(fā)思路上的不同之處。（1）為了降低成本，提高能效，地質(zhì)調(diào)查大數(shù)據(jù)相關(guān)系統(tǒng)需要擺脫傳統(tǒng)的通用體系，趨向?qū)Ｓ没軜?gòu)技術(shù)14,適度抽象有利于整體把握地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)的一致性與協(xié)調(diào)。（2）以往地質(zhì)調(diào)查數(shù)據(jù)處理技術(shù)和系統(tǒng)更多地是面向3S技術(shù)，一些系統(tǒng)是3S技術(shù)在地質(zhì)調(diào)查工作中的應(yīng)用，對地質(zhì)調(diào)查服務(wù)與應(yīng)用環(huán)境、性能等方面缺乏深入工作。地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)只關(guān)注3S技術(shù)已經(jīng)不夠，還要關(guān)注信息科學(xué)與技術(shù)的發(fā)展，尤其是計算機科學(xué)與技術(shù)的發(fā)展。（3）重視具體應(yīng)用軟件開發(fā)、忽視軟硬件集成開發(fā)是以往地質(zhì)調(diào)查數(shù)據(jù)處理系統(tǒng)開發(fā)時的缺陷。地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)

11、開發(fā)不僅要關(guān)注軟件，還要關(guān)注系統(tǒng)，尤其是信息系統(tǒng)與物理系統(tǒng)結(jié)合、信息技術(shù)與自動化技術(shù)結(jié)合。（4）以往地質(zhì)調(diào)查數(shù)據(jù)處理系統(tǒng)開發(fā)偏重系統(tǒng)功能的實現(xiàn)，地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)只關(guān)注功能實現(xiàn)已經(jīng)不可能了，還要關(guān)注性能與復(fù)雜度，開發(fā)難度提升。（5）地質(zhì)調(diào)查大數(shù)據(jù)處理所涉及的數(shù)據(jù)與計算規(guī)模是空前的，必須有精準(zhǔn)的需求分析，以及完整、可靠的技術(shù)設(shè)計，在嚴(yán)格的技術(shù)監(jiān)督下逐步展開，否則可能造成經(jīng)費和時間的浪費。6 結(jié) 語地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)是地質(zhì)調(diào)查信息化服務(wù)的技術(shù)核心，以信息化服務(wù)產(chǎn)品體系推動資源共享是當(dāng)前的重要目標(biāo)。地質(zhì)調(diào)查大數(shù)據(jù)研究，應(yīng)從分析以往解決得不理想的地質(zhì)問題入手，充分利用新一代信息技術(shù)，更新當(dāng)前數(shù)據(jù)處理環(huán)境，在新環(huán)境下提出合理、有效的解決方案。另外，考慮在數(shù)據(jù)體量增大、類型復(fù)雜、響應(yīng)時間有要求的情況下，針對以往解決得不理想的地質(zhì)問題，著重進(jìn)行地質(zhì)數(shù)據(jù)的智能分析與深度挖掘，考慮合理、有效的解決方案。參考文獻(xiàn)1孫廣宇，王鵬，張超?；谛滦头且资Т鎯Φ拇鎯Y(jié)構(gòu)J.中國計算機學(xué)會通訊，2014,10（4）：18-25.2Scott C. Latency Numbers Every Programmer EB/