數(shù)據(jù)挖掘課程論文

數(shù)據(jù)挖掘課程論文——————數(shù)據(jù)挖掘技術(shù)及其應(yīng)用的實(shí)現(xiàn)數(shù)據(jù)挖掘技術(shù)及其應(yīng)用的實(shí)現(xiàn)關(guān)鍵字：數(shù)據(jù)挖掘、知識(shí)獲取、數(shù)據(jù)庫(kù)、函數(shù)依賴、條件概率一、引言：數(shù)據(jù)是知識(shí)的源泉。但是,擁有大量的數(shù)據(jù)與擁有許多有用的知識(shí)完全是兩回事。過(guò)去幾年中,從數(shù)據(jù)庫(kù)中發(fā)現(xiàn)知識(shí)這一領(lǐng)域發(fā)展的很快。廣闊的市場(chǎng)和研究利益促使這一領(lǐng)域的飛速發(fā)展。計(jì)算機(jī)技術(shù)和數(shù)據(jù)收集技術(shù)的進(jìn)步使人們可以從更加廣泛的范圍和幾年前不可想象的速度收集和存儲(chǔ)信息。收集數(shù)據(jù)是為了得到信息,然而大量的數(shù)據(jù)本身并不意味信息。盡管現(xiàn)代的數(shù)據(jù)庫(kù)技術(shù)使我們很容易存儲(chǔ)大量的數(shù)據(jù)流,但現(xiàn)在還沒有一種成熟的技術(shù)幫助我們分析、理解并使數(shù)據(jù)以可理解的信息表示出來(lái)。在過(guò)去,我們常用的知識(shí)獲取方法是由知識(shí)工程師把專家經(jīng)驗(yàn)知識(shí)經(jīng)過(guò)分析、篩選、比較、綜合、再提取出知識(shí)和規(guī)則。然而,由于知識(shí)工程師所擁有知識(shí)的有局限性,所以對(duì)于獲得知識(shí)的可信度就應(yīng)該打個(gè)。折扣。目前,傳統(tǒng)的知識(shí)獲取技術(shù)面對(duì)巨型數(shù)據(jù)倉(cāng)庫(kù)無(wú)能為力,數(shù)據(jù)挖掘技術(shù)就應(yīng)運(yùn)而生。數(shù)據(jù)的迅速增加與數(shù)據(jù)分析方法的滯后之間的矛盾越來(lái)越突出,人們希望在對(duì)已有的大量數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行科學(xué)研究、商業(yè)決策或者企業(yè)管理,但是目前所擁有的數(shù)據(jù)分析工具很難對(duì)數(shù)據(jù)進(jìn)行深層次的處理,使得人們只能望“數(shù)”興嘆。數(shù)據(jù)挖掘正是為了解決傳統(tǒng)分析方法的不足,并針對(duì)大規(guī)模數(shù)據(jù)的分析處理而出現(xiàn)的。數(shù)據(jù)挖掘通過(guò)在大量數(shù)據(jù)的基礎(chǔ)上對(duì)各種學(xué)習(xí)算法的訓(xùn)練,得到數(shù)據(jù)對(duì)象間的關(guān)系模式,這些模式反映了數(shù)據(jù)的內(nèi)在特性,是對(duì)數(shù)據(jù)包含信息的更高層次的抽象[1]。目前,在需要處理大數(shù)據(jù)量的科研領(lǐng)域中,數(shù)據(jù)挖掘受到越來(lái)越多的關(guān)注,同時(shí),在實(shí)際問(wèn)題中,大量成功運(yùn)用數(shù)據(jù)挖掘的實(shí)例說(shuō)明了數(shù)據(jù)挖掘?qū)茖W(xué)研究具有很大的促進(jìn)作用。數(shù)據(jù)挖掘可以幫助人們對(duì)大規(guī)模數(shù)據(jù)進(jìn)行高效的分析處理,以節(jié)約時(shí)間,將更多的精力投入到更高層的研究中,從而提高科研工作的。效率。二、知識(shí)獲取與數(shù)據(jù)挖掘數(shù)據(jù)挖掘的研究領(lǐng)域涉及廣泛,主要包括數(shù)據(jù)庫(kù)系統(tǒng),基于知識(shí)的系統(tǒng),人工智能,機(jī)器學(xué)習(xí),知識(shí)獲取,統(tǒng)計(jì)學(xué),空間數(shù)據(jù)庫(kù)和數(shù)據(jù)可視化等領(lǐng)域。（1）統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)在數(shù)據(jù)樣本選擇、數(shù)據(jù)預(yù)處理及評(píng)價(jià)抽取知識(shí)的步驟中有非常重要的作用。以往許多統(tǒng)計(jì)學(xué)的工作是針對(duì)數(shù)據(jù)和假設(shè)檢驗(yàn)的模型進(jìn)行評(píng)價(jià)[2~4],很明顯也包括了評(píng)價(jià)數(shù)據(jù)挖掘的結(jié)果。在數(shù)據(jù)預(yù)處理步驟中,統(tǒng)計(jì)學(xué)提出了估計(jì)噪聲參數(shù)過(guò)程中要用的平滑處理的技術(shù),在一定程度上對(duì)補(bǔ)足丟失數(shù)據(jù)有相當(dāng)?shù)淖饔?。統(tǒng)計(jì)學(xué)對(duì)檢測(cè)數(shù)據(jù)分析、聚類和實(shí)驗(yàn)數(shù)據(jù)參數(shù)設(shè)計(jì)上也有用。但統(tǒng)計(jì)學(xué)研究的焦點(diǎn)是在于處理小規(guī)模數(shù)據(jù)樣本采集和小規(guī)模數(shù)據(jù)集處理的問(wèn)題上。統(tǒng)計(jì)學(xué)的工作大多是針對(duì)技術(shù)和模型的理論方面。于是許多工作是著眼于線性模型、遞。增的高斯噪聲模型、參數(shù)估計(jì)和嚴(yán)格分類參數(shù)模型上。只有在進(jìn)行相近模式區(qū)別時(shí)才強(qiáng)調(diào)尋優(yōu)。大多數(shù)數(shù)據(jù)庫(kù)用戶并不具備恰當(dāng)使用統(tǒng)計(jì)學(xué)知識(shí)的能力。實(shí)際上是要求有關(guān)數(shù)據(jù)庫(kù)工程師或數(shù)據(jù)庫(kù)系統(tǒng)的管理員運(yùn)用關(guān)于數(shù)據(jù)選擇的模型、相當(dāng)多的域知識(shí)和數(shù)學(xué)知識(shí)的能力,在現(xiàn)實(shí)中是不大可能的。（2）模式識(shí)別在模式識(shí)別工作中,傳統(tǒng)上是把注意力集中在符號(hào)形式化直接結(jié)合實(shí)際技術(shù)的工作過(guò)程中[5~6]。模式識(shí)別主要用于分類技術(shù)和數(shù)據(jù)的聚類技術(shù)上。模式識(shí)別中的分類和含義分析是對(duì)數(shù)據(jù)挖掘概念形成的開端。多數(shù)模式識(shí)別的算法