數(shù)據(jù)挖掘研究在信息化中的應(yīng)用研究

1、數(shù)據(jù)挖掘研究在信息化中的應(yīng)用研究摘要：本文系統(tǒng)論述和總結(jié)了數(shù)據(jù)挖掘和空間數(shù)據(jù)挖掘的概念、技術(shù)方法和研究現(xiàn)狀。詳細(xì)介紹了目前主流的數(shù)據(jù)挖掘廠商及解決方案文章最后簡要分析了數(shù)據(jù)挖掘技術(shù)在國土資源行業(yè)中的研究現(xiàn)狀，并對如何利用這些新技術(shù)為國土資源業(yè)務(wù)管理與決策支持提供幫助進(jìn)行了初步探討。 關(guān)鍵詞：數(shù)據(jù)挖掘 空間數(shù)據(jù)挖掘 國土資源1 數(shù)據(jù)挖掘的概念、技術(shù)方法和研究現(xiàn)狀1.1數(shù)據(jù)挖掘的概念 隨著數(shù)據(jù)倉庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多。人們迫切地感到需要新的技術(shù)和工具以便從大量數(shù)據(jù)中智能地、自動地抽取出有價(jià)值的知識或信息。數(shù)據(jù)庫知識發(fā)現(xiàn)（knowledg。discove

2、ry in databases,kdd，或者稱數(shù)據(jù)挖掘，data mining,dm）于是應(yīng)運(yùn)而生。 1989年8月在美國底特律召開的第11屆國際人工智能聯(lián)合會議的專題討論會上首次出現(xiàn)kdd這個(gè)術(shù)語。數(shù)據(jù)挖掘使數(shù)據(jù)庫技術(shù)進(jìn)入了一個(gè)更高級的階段，它不僅能對過去的數(shù)據(jù)進(jìn)行查詢和遍歷，并且能夠找出過去數(shù)據(jù)之間的潛在聯(lián)系，從而促進(jìn)信息的傳遞。數(shù)據(jù)挖掘是數(shù)據(jù)倉庫系統(tǒng)中最重要的部分。數(shù)據(jù)挖掘，就是從大型數(shù)據(jù)庫的數(shù)據(jù)中提取人們感興趣的知識。這些知識是隱含的，事先未知的有用信息，提取的知識可表示為概念（concepts)，規(guī)律（regulations)，模式（patterns）等形式。事實(shí)上，更廣泛一點(diǎn)說，數(shù)

3、據(jù)挖掘就是在一些事實(shí)或觀察數(shù)據(jù)的集合中尋找模式的決策支持過程。數(shù)據(jù)挖掘是一個(gè)多學(xué)科的交叉領(lǐng)域，它涉及到數(shù)據(jù)庫技術(shù)、人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、統(tǒng)計(jì)學(xué)、模式識別、知識庫系統(tǒng)、信息檢索、高性能計(jì)算和數(shù)據(jù)可視化等學(xué)科。1.2數(shù)據(jù)挖掘的技術(shù)和分析方法 數(shù)據(jù)挖掘的核心模塊技術(shù)歷經(jīng)了數(shù)十年的發(fā)展，主要涉及到數(shù)據(jù)庫、人工智能、決策樹、統(tǒng)計(jì)分析等多種技術(shù)，這些技術(shù)多數(shù)已被集成到大型數(shù)據(jù)倉庫和olap系統(tǒng)中。常用數(shù)據(jù)挖掘技術(shù)，見表1。 數(shù)據(jù)挖掘利用的技術(shù)越多，得出的結(jié)果精確性就越高。數(shù)據(jù)挖掘方法有多種，其中比較典型的有關(guān)聯(lián)分析、序列模式分析、分類分析、聚類分析等，具體如表2所示。1.3數(shù)據(jù)挖掘研究現(xiàn)狀 目前，

4、數(shù)據(jù)挖掘己從高速運(yùn)行的初級階段進(jìn)人了方興未艾的中級階段。初級階段已完成了理論草創(chuàng)、模型框架、學(xué)術(shù)領(lǐng)域的組織落實(shí)等工作；中級階段，在理論上完成模型補(bǔ)遺、算法優(yōu)化，理論完善，撰寫著作、教科書。 近年來，對關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)挖掘和知識發(fā)現(xiàn)研究己經(jīng)取得了不少進(jìn)展，其中代表性的工作有：用面向?qū)傩缘臍w納方法在關(guān)系數(shù)據(jù)庫中發(fā)現(xiàn)特征規(guī)則和區(qū)分規(guī)則。在事務(wù)數(shù)據(jù)庫中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則。基于距離的和基于密度的聚類分析的優(yōu)化等。為了處理數(shù)據(jù)庫中的不確定性問題，rouhg集和模糊集理論得到了廣泛的研究與應(yīng)用。另外，決策樹、神經(jīng)網(wǎng)絡(luò)、遺傳算法、可視化等方法也在機(jī)器學(xué)習(xí)與知識發(fā)現(xiàn)中得到了研究與應(yīng)用。在數(shù)據(jù)挖掘與知識發(fā)現(xiàn)領(lǐng)域，最有

5、影響的發(fā)現(xiàn)算法有imb的agrwaal的關(guān)聯(lián)算法apriori、加拿大j.han教授的概念樹提升算法、澳大利亞的教授的分類算法以4.5/c5.0、zhang等的birch聚類算法、密西根州立大學(xué)erick goomdan的遺傳算法等。在挖掘工具方面的產(chǎn)品也比較成熟。如基于規(guī)則和決策樹的工具典型產(chǎn)品有angoss software開發(fā)的knowledgeseeker。聚類，規(guī)則歸納，發(fā)現(xiàn)多種因果關(guān)系，圖形方式顯示決策樹，支持多種數(shù)據(jù)庫。在基于人工神經(jīng)網(wǎng)絡(luò)的工具典型產(chǎn)品為advaneed software application的dbprofile。windows環(huán)境，適于市場分析，自然聚類、分段

6、、統(tǒng)計(jì)模型和可視化技術(shù)。 在國內(nèi)，對數(shù)據(jù)挖掘的研究稍晚，還沒有形成整體力量，大多數(shù)相關(guān)成果停留在實(shí)驗(yàn)階段，目前尚未見商品化軟件。李德仁院士領(lǐng)導(dǎo)的課題組對發(fā)現(xiàn)狀態(tài)空間理論和云模型在mdkd中的應(yīng)用進(jìn)行了系統(tǒng)的研究；北京系統(tǒng)工程研究所對模糊方法在知識發(fā)現(xiàn)中的應(yīng)用進(jìn)行了較深人的研究；華中科技大學(xué)、復(fù)旦大學(xué)、浙江大學(xué)、中國科技大學(xué)、中科院數(shù)學(xué)研究所、吉林大學(xué)等單位開展了對關(guān)聯(lián)規(guī)則發(fā)掘算法的優(yōu)化和改造。2 空間數(shù)據(jù)挖掘的概念和研究現(xiàn)狀2.1空間數(shù)據(jù)挖掘的概念 空間數(shù)據(jù)庫（數(shù)據(jù)倉庫）中的空間數(shù)據(jù)除了其顯式信息外，還具有豐富的隱含信息，如數(shù)字高程模型(d em或tin）除了載荷高程信息外，還隱含了地質(zhì)巖性與

7、構(gòu)造方面的信息。這些隱含的信息只有通過數(shù)據(jù)挖掘才能顯示出來。空間數(shù)據(jù)挖掘（spatial data min-ing,sdm)，或稱從空間數(shù)據(jù)庫中發(fā)現(xiàn)知識（knowledge discovery from spatial databases,kdsd)，是指從空間數(shù)據(jù)庫中提取用戶感興趣的空間模式與特征、空間與非空間數(shù)據(jù)的普遍關(guān)系及其他一些隱含在數(shù)據(jù)庫中的普遍的數(shù)據(jù)特征。它可以用來理解或重組空間數(shù)據(jù)、發(fā)現(xiàn)空間和非空間數(shù)據(jù)間的關(guān)系、構(gòu)建空間知識庫、優(yōu)化查詢等。2.2空間數(shù)據(jù)挖掘的研究現(xiàn)狀 空間數(shù)據(jù)挖掘是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)研究熱點(diǎn)。早期sdm工作方式一般是靜態(tài)地對單機(jī)上一些空間數(shù)據(jù)進(jìn)行知識挖掘，花費(fèi)大

8、量的時(shí)間精力收集原始信息，挖掘速度慢，挖掘結(jié)果難于理解，知識不易更新等缺點(diǎn)。德國慕尼黑大學(xué)、加拿大simon fraser大學(xué)、芬蘭赫爾辛基大學(xué)等空間數(shù)據(jù)挖掘取得了進(jìn)展。例如，matheus(1993）提出了集數(shù)據(jù)、數(shù)據(jù)表達(dá)、數(shù)據(jù)處理三位一體的方式的空間數(shù)據(jù)挖掘的體系結(jié)構(gòu)。在這種結(jié)構(gòu)中，用戶可以控制挖掘過程的每一步。挖掘所需的空間及屬性信息存儲在一個(gè)知識庫中，通過數(shù)據(jù)庫接口進(jìn)行訪問。加拿大simon fraser大學(xué)開發(fā)了空間數(shù)據(jù)挖掘系統(tǒng)原形goeminer已邁出的軟件開發(fā)的第一步。goeminer系統(tǒng)功能模塊包括空間數(shù)據(jù)立方體構(gòu)件模塊、空間聯(lián)機(jī)分析處理（olap）模塊和空間數(shù)據(jù)挖掘模塊；挖掘

9、語言為gmql；挖掘規(guī)則有特征規(guī)則、判別規(guī)則和關(guān)聯(lián)規(guī)則。這些研究大多具有計(jì)算機(jī)科學(xué)背景，只是把空間數(shù)據(jù)挖掘作為數(shù)據(jù)挖掘的一個(gè)應(yīng)用領(lǐng)域，研究的重點(diǎn)是提高原先數(shù)據(jù)挖掘算法在空間數(shù)據(jù)庫的執(zhí)行效率。在遙感的影像識別方面，許多學(xué)者實(shí)際已經(jīng)做了大量的空間數(shù)據(jù)挖掘工作。 在國內(nèi)，李德仁院士最早開始關(guān)注空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)，提出了空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的概念，率先研究了從gis數(shù)據(jù)庫中發(fā)現(xiàn)知識，構(gòu)筑了空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的理論框架，系統(tǒng)地研究了粗糙集和云理論在空間數(shù)據(jù)挖掘中的理論和技術(shù)，提出了用于空間數(shù)據(jù)挖掘的地學(xué)粗空間理論。目前武漢大學(xué)、中國科學(xué)院與環(huán)境信息系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室、中國科學(xué)院軟件研究所等高校

10、和科研院所開展了空間數(shù)據(jù)挖掘的理論研究和應(yīng)用研究。 數(shù)據(jù)挖掘從提出到現(xiàn)在只短短20年時(shí)間，而空間數(shù)據(jù)挖掘則更年輕，但其發(fā)展十分迅速，已經(jīng)取得了十分豐富的成果?？臻g數(shù)據(jù)挖掘?qū)⒕哂袕V闊的發(fā)展前景。目前，空間數(shù)據(jù)挖掘理論和技術(shù)研究方面有待于進(jìn)一步研究和探索，如多分辨率的數(shù)據(jù)挖掘、并行數(shù)據(jù)挖掘、多媒體空間數(shù)據(jù)庫的數(shù)據(jù)挖掘、知識的可視化表達(dá)、分布式空間數(shù)據(jù)的知識發(fā)現(xiàn)、空間數(shù)據(jù)挖掘語言、新算法和高效率的空間挖掘算法、sdm與空間數(shù)據(jù)倉庫、sdm與gis、sdm與空間決策知識系統(tǒng)、sdm與專家系統(tǒng)的集成等方面。3 主流數(shù)據(jù)挖掘廠商及其解決方案 目前，主流的數(shù)據(jù)挖掘廠家有ibm、sas、spss等，他們的產(chǎn)品

11、歷史長、應(yīng)用而廣，有較大的用戶群。3.1 intelligent miner 由美國ibm公司開發(fā)的數(shù)據(jù)挖掘軟件intelligent mine：是一種分別面向數(shù)據(jù)庫和文本信息進(jìn)行數(shù)據(jù)挖掘的軟件系列，它包括intelligent miner for data和intelligent miner for text。intelligent miner for data可以挖掘包含在數(shù)據(jù)庫、數(shù)據(jù)倉庫和數(shù)據(jù)中心中的隱含信息，幫助用戶利用傳統(tǒng)數(shù)據(jù)庫或普通文件中的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘。它已經(jīng)成功應(yīng)用于市場分析、詐騙行為監(jiān)測及客戶聯(lián)系管理等；intelligent miner for text允許企業(yè)從文

12、本信息進(jìn)行數(shù)據(jù)挖掘，文本數(shù)據(jù)源可以是文本文件、web頁面、電子郵件、lotus notes數(shù)據(jù)庫等等。3.2 sas enterprise miner 這是一種在我國的企業(yè)中得到較多應(yīng)用的數(shù)據(jù)挖掘工具，比較典型的包括上海寶鋼配礦系統(tǒng)應(yīng)用和鐵路部門在春運(yùn)客運(yùn)研究中的應(yīng)用。sas enterprise miner是一種通用的數(shù)據(jù)挖掘工具，按照“抽樣探索轉(zhuǎn)換建模評估”的方法進(jìn)行數(shù)據(jù)挖掘可以與sas數(shù)據(jù)倉庫和olap集成，實(shí)現(xiàn)從提出數(shù)據(jù)、抓住數(shù)據(jù)到得到解答的“端到端”知識發(fā)現(xiàn)。3.3 spss clementine spss clementine是一個(gè)開放式數(shù)據(jù)挖掘工具，曾兩次獲得英國政府smart創(chuàng)

13、新獎，它不但支持整個(gè)數(shù)據(jù)挖掘流程，從數(shù)據(jù)獲取、轉(zhuǎn)化、建模、評估到最終部署的全部過程，還支持?jǐn)?shù)據(jù)挖掘的行業(yè)標(biāo)準(zhǔn)cristdm。clementine的可視化數(shù)據(jù)挖掘使得“思路”分析成為可能，即將集中精力在要解決的問題本身，它還提供了多種圖形化技術(shù)，有助理解數(shù)據(jù)間的關(guān)鍵性聯(lián)系，指導(dǎo)用戶以最便捷的途徑找到問題的最終解決辦法。 其它常用的數(shù)據(jù)挖掘工具還有l(wèi)evels5 quest、mineset(sgi）、partek、selearn、spss的數(shù)據(jù)挖掘軟件snob、ashraf azmy的superquery、winrosa、xmdv-tool等。4數(shù)據(jù)挖掘在國土資源信息化中的應(yīng)用初探 如何把數(shù)據(jù)倉庫

14、和數(shù)據(jù)挖掘技術(shù)應(yīng)用到北京市國土資源信息化中來，是一個(gè)很重要的研究課題。我局?jǐn)?shù)據(jù)倉庫和數(shù)據(jù)挖掘課題組經(jīng)過調(diào)研分析，認(rèn)為這二種技術(shù)應(yīng)用主要有以下形式：報(bào)表（含文字報(bào)告、圖表）、地圖、olap分析和數(shù)據(jù)挖掘與預(yù)測分析。而要把這些形式應(yīng)用到電子政務(wù)中來，許多信息化單位都提出了不同的方法，其中建立數(shù)據(jù)綜合分析與決策支持系統(tǒng)是一個(gè)常用的方法。4.1應(yīng)用形式 （1）報(bào)表 由于數(shù)據(jù)倉庫的數(shù)據(jù)來自國上資源系統(tǒng)各個(gè)已有系統(tǒng)，提供非常完整而集成的全局?jǐn)?shù)據(jù)。因而數(shù)據(jù)倉庫的一大應(yīng)用可以是替代或增強(qiáng)現(xiàn)有業(yè)務(wù)報(bào)表系統(tǒng)，為國土資源系統(tǒng)不同層次和不同部門提供服務(wù)。 國土資源數(shù)據(jù)倉庫的應(yīng)用涉及多個(gè)部門和應(yīng)用，不同部門對報(bào)表的需求

15、是多樣化的。用戶以數(shù)據(jù)倉庫作為基準(zhǔn)平臺可以采取兩種方式產(chǎn)生報(bào)表：一是由數(shù)據(jù)倉庫平臺只為各部門提供基礎(chǔ)數(shù)據(jù)，由各個(gè)部門自己開發(fā)實(shí)現(xiàn)報(bào)表系統(tǒng)；其二是提供一個(gè)報(bào)表自動創(chuàng)建工具，用戶利用該工具創(chuàng)建報(bào)表。也可以結(jié)合企業(yè)oa系統(tǒng)來實(shí)現(xiàn)數(shù)據(jù)倉庫的報(bào)表實(shí)現(xiàn)。 （2）地圖 地圖是國土資源業(yè)務(wù)管理和決策分析的最重要工具之一。利用地圖可以實(shí)現(xiàn)傳統(tǒng)報(bào)表無法實(shí)現(xiàn)的功能，展示空間數(shù)據(jù)，實(shí)現(xiàn)可視化效果。事實(shí)上，國土資源業(yè)務(wù)審批已經(jīng)和地圖緊密地聯(lián)系在一起，核心業(yè)務(wù)審批和宏觀決策都離不開地圖技術(shù)的支持，利用地圖和報(bào)表可以更好地為宏觀決策提供可視化支持。因此，根據(jù)業(yè)務(wù)需要，開發(fā)出靈活、直觀的專題地圖，為業(yè)務(wù)管理和決策支持提供可視

16、化技術(shù)支持，是一項(xiàng)必要的需求。 （3）olap分析的應(yīng)用 數(shù)據(jù)倉庫的特點(diǎn)應(yīng)用是提供olap分析。國土資源數(shù)據(jù)倉庫中數(shù)據(jù)己經(jīng)被組織成各個(gè)主題，可以針對主題以及需要決策的層面構(gòu)建數(shù)據(jù)立方體。它包括土地利用現(xiàn)狀olap、基本農(nóng)田olap、土地規(guī)劃olap、土地整理和儲備olap等多種分析。對于高級用戶來言，olap可以理解為多維、復(fù)雜報(bào)表，決策者可以通過olap隨時(shí)查找他感興趣的主題數(shù)據(jù)，得到實(shí)用的報(bào)表，而不需要每一次工作都由技術(shù)人員來完成。 （4）數(shù)據(jù)挖掘和預(yù)測 數(shù)據(jù)挖掘能夠幫助實(shí)現(xiàn)國土資源數(shù)據(jù)向國土知識轉(zhuǎn)換，同時(shí)發(fā)現(xiàn)隱含的信息。預(yù)測是在充分考慮一些重要的國土資源數(shù)據(jù)、社會經(jīng)濟(jì)與其他因素的條件下，

17、研究或利用一套系統(tǒng)的數(shù)學(xué)方法（模型）對未來國土資源的要素發(fā)展進(jìn)行預(yù)計(jì)和推測，例如農(nóng)用地（耕地）變化的預(yù)測。數(shù)據(jù)挖掘和預(yù)測都是決策支持的重要方向。4.2 國土資源綜合分析與決策支持系統(tǒng)設(shè)計(jì) 國土資源綜合分析與決策支持系統(tǒng)（以下簡稱決策系統(tǒng)）設(shè)計(jì)主要由需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)開發(fā)實(shí)現(xiàn)、系統(tǒng)集成與測試、系統(tǒng)運(yùn)行等階段組成。每一階段均有其相應(yīng)的具體工作內(nèi)容。系統(tǒng)建設(shè)的詳細(xì)流程如圖1所示。 （1）系統(tǒng)分析 系統(tǒng)的需求分析必須要考慮到管理相關(guān)部門現(xiàn)有的資源及其在本系統(tǒng)的充分應(yīng)用。在對系統(tǒng)用戶需求充分調(diào)研基礎(chǔ)上，進(jìn)行系統(tǒng)需求分析。系統(tǒng)分析包括以下幾個(gè)方面：l）用戶業(yè)務(wù)管理分析；2）用戶的功能需求；3）數(shù)據(jù)源

18、調(diào)查與分析；4）業(yè)務(wù)流程分析與建模；5）系統(tǒng)界面分析。 （2）系統(tǒng)架構(gòu)設(shè)計(jì)和網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 系統(tǒng)架構(gòu)是整個(gè)信息系統(tǒng)的骨架，決定了系統(tǒng)各個(gè)邏輯組織部分，而網(wǎng)絡(luò)結(jié)構(gòu)是其中的重要部分。系統(tǒng)架構(gòu)設(shè)計(jì)要從系統(tǒng)組織的層次、多組成部分的關(guān)系出發(fā)，設(shè)計(jì)出實(shí)用、結(jié)構(gòu)靈活、可擴(kuò)展性的系統(tǒng)架構(gòu)。 （3）功能子系統(tǒng)設(shè)計(jì) 系統(tǒng)具有功能繁多的特點(diǎn)，必須對各個(gè)具體功能進(jìn)行分析、規(guī)范、分類，建立功能子系統(tǒng)，把具體功能點(diǎn)歸人各功能子系統(tǒng)，才能方便用戶使用。 （4）數(shù)據(jù)整合與集成設(shè)計(jì) 由于國土資源數(shù)據(jù)多源性、多格式的特點(diǎn)，如何整合和集成這些數(shù)量大、形式多樣、量綱不一、兼具定量和定性特點(diǎn)的數(shù)據(jù)，是系統(tǒng)建設(shè)中的重要內(nèi)容。在確定了數(shù)據(jù)庫

19、的概念體系結(jié)構(gòu)之后，數(shù)據(jù)的整合和集成設(shè)計(jì)過程是構(gòu)建大型數(shù)據(jù)庫最困難的部分。在具體設(shè)計(jì)過程中，有較多的技術(shù)難點(diǎn)，需要解決好整合、集成的方法和技術(shù)路線問題。 （5）數(shù)據(jù)組織與管理設(shè)計(jì) 國土資源數(shù)據(jù)是內(nèi)容復(fù)雜的海量數(shù)據(jù)，建設(shè)國土資源數(shù)據(jù)倉庫是十分必要。通過本文前面所提到的建設(shè)流程、方法，利用概念設(shè)計(jì)、邏輯設(shè)計(jì)和物理設(shè)計(jì)共同完成對北京市國土資源數(shù)據(jù)倉庫的數(shù)據(jù)倉庫設(shè)計(jì)。 （6）可視化分析和表達(dá)方式設(shè)計(jì) 可視化分析和表達(dá)方式是利用最新的可視化表達(dá)技術(shù)，針對七個(gè)主題中的數(shù)據(jù)特點(diǎn)，設(shè)計(jì)可視化分析和表達(dá)方式，最終以文字、圖表、專題地圖、olap報(bào)表等多種方式展現(xiàn)給用戶，為管理決策部門提供決策輔助功能。參考文獻(xiàn)：1邸凱昌空間數(shù)據(jù)發(fā)掘與知識發(fā)現(xiàn)m武漢大學(xué)出版社，2002.12.2范明，孟小峰等譯數(shù)據(jù)挖掘m機(jī)械工業(yè)出版社，2001.3李德仁，王樹良，李德毅等論空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)的理論與方法j武漢大報(bào)信息科學(xué)版vo(l.7)2003年221一233.4李德仁，王樹良，史文中等論空間數(shù)據(jù)挖掘和知識發(fā)現(xiàn)m科學(xué)出版社，2000.5黃添強(qiáng)關(guān)于空間數(shù)據(jù)挖掘環(huán)境調(diào)控空間決策支持系統(tǒng)研究d福州大學(xué)碩士學(xué)位文，2003.6han j,kamber m.