知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘

鄭州航空工業(yè)管理學(xué)院2012-2013學(xué)年第2學(xué)期信息管理前沿講座》課程論文題目 知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘 專業(yè)信息管理與信息系統(tǒng)班級(jí)X姓名 x 學(xué)號(hào)X_ —任課教師X職稱X二O—三年六月十五日摘要信息化的推進(jìn)產(chǎn)生積累了大量的數(shù)據(jù)，建立充分利用這些數(shù)據(jù)的意識(shí)，從凌亂的數(shù)據(jù)中挖掘有用知識(shí)，知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘是一個(gè)飛速發(fā)展的領(lǐng)域，方法和技術(shù)手段日趨豐富，應(yīng)用也更加廣泛、深入?，F(xiàn)有數(shù)據(jù)庫(kù)規(guī)模和數(shù)量的發(fā)展大大超過(guò)了人類使用傳統(tǒng)工具分析的能力，這就為數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)技術(shù)創(chuàng)造了需要和機(jī)遇。本文從知識(shí)發(fā)現(xiàn)含義、過(guò)程入手，介紹了數(shù)據(jù)挖掘的技術(shù)、方法和步驟，闡述了其在各個(gè)領(lǐng)域的應(yīng)用，從而提出了其面臨的挑戰(zhàn)和發(fā)展的趨勢(shì)。關(guān)鍵詞：知識(shí)發(fā)現(xiàn)，數(shù)據(jù)挖掘，信息化，實(shí)際應(yīng)用知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘1．引言隨著計(jì)算機(jī)、Internet的普及，以及數(shù)據(jù)庫(kù)（DB）技術(shù)的迅速發(fā)展和數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）的廣泛應(yīng)用，導(dǎo)致許多領(lǐng)域積累了海量數(shù)據(jù)（如，從普通的超市業(yè)務(wù)數(shù)據(jù)、信用卡記錄數(shù)據(jù)、電話呼叫清單、政府統(tǒng)計(jì)數(shù)據(jù)到不太普通的天體圖像、分子數(shù)據(jù)庫(kù)和醫(yī)療記錄等）。現(xiàn)有的DB技術(shù)大多可高效地實(shí)現(xiàn)數(shù)據(jù)查詢、統(tǒng)計(jì)和維護(hù)等管理功能，但卻無(wú)法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)聯(lián)和規(guī)則，無(wú)法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測(cè)未來(lái)的發(fā)展趨勢(shì)。數(shù)據(jù)庫(kù)中存在著大量數(shù)據(jù)，卻缺乏從這些數(shù)據(jù)中自動(dòng)、高效地獲取知識(shí)的手段，出現(xiàn)了“數(shù)據(jù)豐富，知識(shí)貧乏”的現(xiàn)象。此外，在數(shù)據(jù)操縱方面：信息的提取及其相關(guān)處理技術(shù)卻遠(yuǎn)遠(yuǎn)落后。為此，針對(duì)龐大的數(shù)據(jù)庫(kù)及其中的海量數(shù)據(jù)信息源，僅依靠傳統(tǒng)的數(shù)據(jù)檢索機(jī)制和統(tǒng)計(jì)分析方法已遠(yuǎn)不能滿足需要。需求是發(fā)展之母，數(shù)據(jù)管理系統(tǒng)（DBMS）和人工智能中機(jī)器學(xué)習(xí)兩種技術(shù)的發(fā)展和結(jié)合，促成了在數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)這一新技術(shù)的誕生，即基于數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)（KnowledgeDiscoveryinDatabase,KDD）及其核心技術(shù)數(shù)據(jù)挖掘產(chǎn)生并迅速發(fā)展起來(lái)。它的出現(xiàn)為自動(dòng)和智能地把海量數(shù)據(jù)轉(zhuǎn)化成有用的信息和知識(shí)提供了手段。2．知識(shí)發(fā)現(xiàn)過(guò)程KDD（KnowledgeDiscoveryinDatabase）—詞是于1989年8月在美國(guó)底特律市召開(kāi)的第一屆KDD國(guó)際學(xué)術(shù)會(huì)議上正式形成的。知識(shí)發(fā)現(xiàn)（KDD）是從數(shù)據(jù)中發(fā)現(xiàn)有用知識(shí)的整個(gè)過(guò)程；數(shù)據(jù)開(kāi)采（DM）是KDD過(guò)程中的一個(gè)特定步驟，它用專門算法從數(shù)據(jù)中抽取模式（patterns）。1996年，F(xiàn)ayyad、PiatetskyShapiror和Smyth將KDD過(guò)程定義為：從數(shù)據(jù)中鑒別出有效模式的非平凡過(guò)程，該模式是新的、可能有用的和最終可理解的?？捎^化冊(cè)巒 預(yù)處理*匸預(yù)處理數(shù)據(jù)轉(zhuǎn)按后的數(shù)據(jù)有用知識(shí)冊(cè)巒 預(yù)處理*匸預(yù)處理數(shù)據(jù)轉(zhuǎn)按后的數(shù)據(jù)有用知識(shí)@1KDD過(guò)程知識(shí)發(fā)現(xiàn)的過(guò)程可粗略的理解為：數(shù)據(jù)準(zhǔn)備(Datapreparation)、數(shù)據(jù)挖掘(Datamining)以及結(jié)果的解釋評(píng)估(interpreparationandevaluation)。如，圖1.3.知識(shí)發(fā)現(xiàn)的核心一一數(shù)據(jù)挖掘所謂數(shù)據(jù)挖掘，就是從數(shù)據(jù)庫(kù)中抽取隱含的、以前未知的、具有潛在應(yīng)用價(jià)值的信息的過(guò)程。數(shù)據(jù)挖掘是KDD最核心的部分。數(shù)據(jù)挖掘與傳統(tǒng)分析工具不同的是數(shù)據(jù)挖掘使用的是基于發(fā)現(xiàn)的方法，運(yùn)用模式匹配和其它算法決定數(shù)據(jù)之間的重要聯(lián)系。數(shù)據(jù)挖掘算法的好壞將直接影響到所發(fā)現(xiàn)知識(shí)的好壞。目前大多數(shù)的研究都集中在數(shù)據(jù)挖掘算法和應(yīng)用上。需要說(shuō)明的是，有的學(xué)者認(rèn)為，數(shù)據(jù)開(kāi)采和知識(shí)發(fā)現(xiàn)含義相同，表示成KDD/DM。它是一個(gè)反復(fù)的過(guò)程，通常包含多個(gè)相互聯(lián)系的步驟：預(yù)處理、提出假設(shè)、選取算法、提取規(guī)則、評(píng)價(jià)和解釋結(jié)果、將模式構(gòu)成知識(shí)，最后是應(yīng)用。在實(shí)際，人們往往不嚴(yán)格區(qū)分?jǐn)?shù)據(jù)挖掘和數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)，把兩者混淆使用。一般在科研領(lǐng)域中稱為KDD，而在工程領(lǐng)域則稱為數(shù)據(jù)挖掘。數(shù)據(jù)挖掘步驟數(shù)據(jù)挖掘的步驟會(huì)隨不同領(lǐng)域的應(yīng)用而有所變化，每一種數(shù)據(jù)挖掘技術(shù)也會(huì)有各自的特性和使用步驟，針對(duì)不同問(wèn)題和需求所制定的數(shù)據(jù)挖掘過(guò)程也會(huì)存在差異。此外，數(shù)據(jù)的完整程度、專業(yè)人員支持的程度等都會(huì)對(duì)建立數(shù)據(jù)挖掘過(guò)程有所影響(蔡維欣，2003)。這些因素造成了數(shù)據(jù)挖掘在各不同領(lǐng)域中的運(yùn)用、規(guī)劃，以及流程的差異性，即使同一產(chǎn)業(yè)，也會(huì)因?yàn)榉治黾夹g(shù)和專業(yè)知識(shí)的涉入程度不同而不同，因此對(duì)于數(shù)據(jù)挖掘過(guò)程的系統(tǒng)化、標(biāo)準(zhǔn)化就顯得格外重要。如此一來(lái)，不僅可以較容易地跨領(lǐng)域應(yīng)用，也可以結(jié)合不同的專業(yè)知識(shí)，發(fā)揮數(shù)據(jù)挖掘的真正精神。數(shù)據(jù)挖掘完整的步驟如下：理解數(shù)據(jù)和數(shù)據(jù)的來(lái)源(understanding)。獲取相關(guān)知識(shí)與技術(shù)(acquisition)。整合與檢查數(shù)據(jù)(integrationandchecking)。去除錯(cuò)誤或不一致的數(shù)據(jù)(datacleaning)。建立模型和假設(shè)(modelandhypothesisdevelopment)。實(shí)際數(shù)據(jù)挖掘工作(datamining)。測(cè)試和驗(yàn)證挖掘結(jié)果(testingandverfication)。解釋和應(yīng)用(interpretationanduse)。由上述步驟可看出，數(shù)據(jù)挖掘牽涉了大量的準(zhǔn)備工作與規(guī)劃工作，事實(shí)上許多專家信息管理前沿講座課程論文都認(rèn)為整套數(shù)據(jù)挖掘的過(guò)程中，有80%的時(shí)間和精力是花費(fèi)在數(shù)據(jù)預(yù)處理階段，其中包括數(shù)據(jù)的凈化、數(shù)據(jù)格式轉(zhuǎn)換、變量整合，以及數(shù)據(jù)表的鏈接?？梢?jiàn)，在進(jìn)行數(shù)據(jù)挖掘技術(shù)的分析之前，還有許多準(zhǔn)備工作要完成。數(shù)據(jù)挖掘的方法和技術(shù)知識(shí)發(fā)現(xiàn)KDD(KnowledgeDiscoveryinDatabase)是從大量數(shù)據(jù)中提取出潛在的、新穎的、可信的、有效且能被人們理解的模式的高級(jí)處理過(guò)程,主要包括數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、結(jié)果的表達(dá)和解釋三個(gè)步驟。數(shù)據(jù)挖掘(DataMining)是知識(shí)發(fā)現(xiàn)的核心步驟，是知識(shí)發(fā)現(xiàn)采用的特定算法或技術(shù)。最常用的數(shù)據(jù)挖掘技術(shù)如下。人工神經(jīng)網(wǎng)絡(luò)。從結(jié)構(gòu)上模仿生物神經(jīng)網(wǎng)絡(luò)，是一種通過(guò)訓(xùn)練來(lái)學(xué)習(xí)的非線性預(yù)測(cè)模型，可以完成分類、聚類、特征挖掘等多種數(shù)據(jù)挖掘任務(wù)。決策樹(shù)。用樹(shù)型結(jié)構(gòu)來(lái)表示決策集合，這些決策集合通過(guò)對(duì)數(shù)據(jù)集的分類產(chǎn)生規(guī)則，典型的決策樹(shù)方法是分類回歸樹(shù)，主要用于分類規(guī)則的挖掘。遺傳算法?；谏镞M(jìn)化的概念設(shè)計(jì)了基因組合、交叉、變異和自然選擇等一系列的過(guò)程來(lái)達(dá)到優(yōu)化的目的，為了應(yīng)用遺傳算法，需要把數(shù)據(jù)挖掘任務(wù)表達(dá)為一種搜索問(wèn)題，從而發(fā)揮遺傳算法的優(yōu)化搜索能力。最鄰近技術(shù)。通過(guò)K個(gè)與之最鄰近的歷史記錄的組合來(lái)辨別新的記錄，主要用于聚類、偏差分析等挖掘任務(wù)。規(guī)則歸納。通過(guò)統(tǒng)計(jì)方法歸納、提取有價(jià)值的if-then規(guī)則，歸納技術(shù)在數(shù)據(jù)挖掘中被廣泛應(yīng)用，如關(guān)聯(lián)規(guī)則的挖掘。可視化技術(shù)。采用直觀的圖形方式將信息模式、數(shù)據(jù)的關(guān)聯(lián)或趨勢(shì)呈現(xiàn)給決策者，決策者可以通過(guò)可視化技術(shù)交互地分析數(shù)據(jù)關(guān)系。另外，還有粗糙集方法、演繹邏輯編程、覆蓋正例排斥反例方法、Bayesian網(wǎng)絡(luò)方法等。4．?dāng)?shù)據(jù)挖掘及知識(shí)發(fā)現(xiàn)的實(shí)際應(yīng)用4.1數(shù)據(jù)挖掘技術(shù)在互聯(lián)網(wǎng)方面的應(yīng)用Web信息中除了豐富的文本、圖形圖像、聲音等媒體信息外還包括鏈接結(jié)構(gòu)信息和使用記錄信息。挖掘Web內(nèi)容、結(jié)構(gòu)、記錄等可以快速獲得有效信息方便查詢，發(fā)現(xiàn)權(quán)威頁(yè)面優(yōu)化網(wǎng)站組織結(jié)構(gòu)錄，從而提高用戶訪問(wèn)效率，聚集同類用戶。數(shù)據(jù)挖掘技術(shù)在互聯(lián)網(wǎng)的應(yīng)用主要表現(xiàn)在以下幾方面：網(wǎng)絡(luò)檢索：采用數(shù)據(jù)挖掘信息處理技術(shù)，通過(guò)目標(biāo)樣本的特征提取、分詞處理、文本的自動(dòng)分類與聚類等方法從網(wǎng)絡(luò)信息資源中發(fā)掘用戶所需信息。網(wǎng)絡(luò)入侵監(jiān)測(cè)系統(tǒng)：應(yīng)用時(shí)間序列模式的挖掘方法通過(guò)對(duì)網(wǎng)絡(luò)傳輸數(shù)據(jù)包和系統(tǒng)日志分析來(lái)判斷是否有非授權(quán)使用計(jì)算機(jī)的個(gè)體或計(jì)算機(jī)系統(tǒng)合法用戶非法訪問(wèn)系統(tǒng)以企圖實(shí)施上述行為的個(gè)體。網(wǎng)絡(luò)教育：分析學(xué)習(xí)者特征，輔助決策；跟蹤學(xué)習(xí)者特點(diǎn)，提供個(gè)性化服務(wù)；分析需求趨勢(shì)，挖掘潛在客戶；改進(jìn)網(wǎng)站設(shè)計(jì)優(yōu)化網(wǎng)絡(luò)教育資源組織。網(wǎng)絡(luò)信息安全管理：對(duì)各類網(wǎng)絡(luò)信息安全事件信息深度關(guān)聯(lián)分析，描述網(wǎng)絡(luò)提供政策支持和安全態(tài)勢(shì)，為網(wǎng)絡(luò)安全的主動(dòng)防御能力提供技術(shù)支撐。電子商務(wù)：發(fā)現(xiàn)潛在客戶、客戶的駐留、改進(jìn)站點(diǎn)設(shè)計(jì)、聚類客戶等。通信網(wǎng)絡(luò)管理：主要應(yīng)用移動(dòng)與固定通訊設(shè)備網(wǎng)絡(luò)，通過(guò)大量的數(shù)據(jù)分析獲得有價(jià)值的信息，定位檢測(cè)網(wǎng)絡(luò)故障，預(yù)測(cè)嚴(yán)重故障等。數(shù)據(jù)挖掘技術(shù)在醫(yī)學(xué)中的應(yīng)用數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)技術(shù)可以抽取大量紛繁臨床數(shù)據(jù)中的趨勢(shì)及規(guī)律性，輔助醫(yī)務(wù)人員快速準(zhǔn)確地診斷、確定最優(yōu)的治療方案。目前，數(shù)據(jù)挖掘主要應(yīng)用在生物醫(yī)學(xué)和一般醫(yī)學(xué)領(lǐng)域。生物醫(yī)學(xué)中，DNA包含大量的遺傳信息，數(shù)據(jù)挖掘是DNA分析中強(qiáng)有力的工具，它可以在DNA序列間進(jìn)行相似搜索與比較，關(guān)聯(lián)分析識(shí)別同時(shí)出現(xiàn)的基因序列的；路徑分析發(fā)現(xiàn)不同的致病基因。一般醫(yī)學(xué)中，數(shù)據(jù)挖掘技術(shù)大大提高了醫(yī)務(wù)工作者的工作效率，且節(jié)省了大量的資金。主要應(yīng)用于對(duì)疾病的輔助診斷、相關(guān)因素分析及預(yù)測(cè)等等。另外，數(shù)據(jù)挖掘技術(shù)在醫(yī)學(xué)的其他領(lǐng)域也都有所滲透。醫(yī)院信息系統(tǒng)中，數(shù)據(jù)挖掘?yàn)獒t(yī)院科學(xué)管理、醫(yī)療保健政策的制定、衛(wèi)生資源的合理配置方面提供決策支持的信息來(lái)源。藥物開(kāi)發(fā)中，建立藥物卡法系統(tǒng)用來(lái)尋找同藥效學(xué)相關(guān)的有效化學(xué)物質(zhì)基礎(chǔ)，確定藥效基因，從而縮短新藥的研究開(kāi)發(fā)周期，降低開(kāi)發(fā)費(fèi)用。醫(yī)學(xué)圖像應(yīng)用中，利用決策樹(shù)和神經(jīng)網(wǎng)絡(luò)對(duì)圖像特征分析，找到能夠?qū)D像分類的圖像特征臨界值。數(shù)據(jù)挖掘在農(nóng)業(yè)的應(yīng)用農(nóng)業(yè)是國(guó)民經(jīng)濟(jì)的最基礎(chǔ)部門。全國(guó)土壤的數(shù)據(jù)普查、各種農(nóng)作物的苗情、土情等方面都存在著大量的數(shù)據(jù)處理。只有以大量的動(dòng)態(tài)市場(chǎng)信息了解農(nóng)作物的生產(chǎn)規(guī)劃，才能使我國(guó)農(nóng)業(yè)的發(fā)展更加健康合理。信息管理前沿講座課程論文氣象預(yù)報(bào)是農(nóng)業(yè)最重要的技術(shù)之一，它通過(guò)各種參數(shù)數(shù)據(jù)進(jìn)行處理監(jiān)測(cè)參數(shù)值是否正常，為農(nóng)業(yè)提供氣象信息服務(wù)和可靠的科學(xué)依據(jù)。在農(nóng)業(yè)市場(chǎng)信息中，數(shù)據(jù)挖掘技術(shù)以市場(chǎng)監(jiān)控信息為數(shù)據(jù)庫(kù)，以進(jìn)出口貿(mào)易倉(cāng)庫(kù)數(shù)據(jù)為數(shù)據(jù)源，從而提供可信信息。關(guān)聯(lián)分析、技術(shù)統(tǒng)計(jì)可用來(lái)預(yù)測(cè)農(nóng)產(chǎn)品的價(jià)格走勢(shì)；聚類分析可簡(jiǎn)化問(wèn)題，例如：在條件允許的情況下把水產(chǎn)與肉、蛋與油合為一類，使得數(shù)據(jù)更加簡(jiǎn)單；孤立點(diǎn)分析則可以找出罕見(jiàn)事件、災(zāi)情、金融事件及進(jìn)出口方面存在的問(wèn)題，對(duì)農(nóng)業(yè)市場(chǎng)有很強(qiáng)的指導(dǎo)性。綜上所述，作為一項(xiàng)新興的技術(shù)，雖然數(shù)據(jù)挖掘技術(shù)在我國(guó)各個(gè)領(lǐng)域的應(yīng)用還不是很成熟，但不可否認(rèn)這項(xiàng)技術(shù)有著廣泛的市場(chǎng)。尤其是工業(yè)領(lǐng)域，隨著數(shù)據(jù)挖掘技術(shù)工業(yè)化標(biāo)準(zhǔn)的建立，這項(xiàng)技術(shù)將會(huì)被廣泛應(yīng)用到工業(yè)之中提供輔助決策，為我們的日常生產(chǎn)生活貢獻(xiàn)力量。5．?dāng)?shù)據(jù)挖掘面臨的挑戰(zhàn)及發(fā)展趨勢(shì)雖然數(shù)據(jù)挖掘領(lǐng)域已取得令人矚目的進(jìn)展，但由于數(shù)據(jù)挖掘技術(shù)還很不成熟,其應(yīng)用還有很大的局限性,一些急需解決和完善的問(wèn)題也擺在了研究者的面前。復(fù)雜類型數(shù)據(jù)的挖掘。以前的數(shù)據(jù)挖掘面對(duì)的主要是以結(jié)構(gòu)化數(shù)據(jù)為主的關(guān)系數(shù)據(jù)庫(kù)、事務(wù)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)，隨著數(shù)據(jù)處理工具、先進(jìn)數(shù)據(jù)庫(kù)技術(shù)以及WWW技術(shù)的迅速發(fā)展，空間數(shù)據(jù)、多媒體數(shù)據(jù)、時(shí)間序列數(shù)據(jù)、文本數(shù)據(jù)、Web數(shù)據(jù)復(fù)雜類型的數(shù)據(jù)不斷涌現(xiàn)。證實(shí)技術(shù)的局限性。數(shù)據(jù)挖掘使用特定的分析方法或邏輯形式發(fā)現(xiàn)知識(shí)，但系統(tǒng)可能沒(méi)有能力去交互證實(shí)發(fā)現(xiàn)的知識(shí)，使得發(fā)現(xiàn)的知識(shí)沒(méi)有普遍適應(yīng)性而不能成為有用的知識(shí)。知識(shí)的維護(hù)和更新。新的數(shù)據(jù)積累可能導(dǎo)致以前發(fā)現(xiàn)的知識(shí)失效，這些知識(shí)需要?jiǎng)討B(tài)維護(hù)和及時(shí)更新，目前主要采用增量更新的方法來(lái)維護(hù)已有的知識(shí)。數(shù)據(jù)挖掘語(yǔ)言的標(biāo)準(zhǔn)化。標(biāo)準(zhǔn)的數(shù)據(jù)挖掘語(yǔ)言或其他方面的標(biāo)準(zhǔn)化工作將有助于數(shù)據(jù)挖掘系統(tǒng)的開(kāi)發(fā)，改進(jìn)多個(gè)數(shù)據(jù)挖掘系統(tǒng)和功能間的互操作，促進(jìn)數(shù)據(jù)挖掘系統(tǒng)在企業(yè)和社會(huì)中的使用。6．結(jié)束語(yǔ)隨著信息社會(huì)和知識(shí)經(jīng)濟(jì)時(shí)代的來(lái)臨，面對(duì)浩如煙海的信息資源的迅速增長(zhǎng)，人們迫切需要新的技術(shù)和工具，以便能從大量的數(shù)據(jù)中智能地、自動(dòng)地抽取有價(jià)值的知識(shí)。數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)是從數(shù)據(jù)集中識(shí)別出有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過(guò)程。經(jīng)過(guò)不斷的發(fā)展，知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘正逐步走向成熟，其應(yīng)用也已經(jīng)深入到眾多的領(lǐng)域，在各行業(yè)的應(yīng)用越來(lái)越廣泛；其方式方法的日益強(qiáng)大、完善，正向多技術(shù)綜合及集成化方向發(fā)展。并以其顯著的經(jīng)濟(jì)效益推動(dòng)著其應(yīng)用的迅速普及，同時(shí)又以強(qiáng)大的市場(chǎng)需求剌激著其理論及技術(shù)研究