淺析數(shù)據(jù)統(tǒng)計(jì)中數(shù)據(jù)挖掘的方法及應(yīng)用意義

1、    淺析數(shù)據(jù)統(tǒng)計(jì)中數(shù)據(jù)挖掘的方法及應(yīng)用意義    魏世昌【摘要】數(shù)據(jù)，是21世紀(jì)的關(guān)鍵詞，隨著時(shí)間的推移，它的重要性將越來越明顯.全球知名的管理咨詢公司麥卡錫就最先標(biāo)榜“大數(shù)據(jù)時(shí)代”的到來：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素.”那么，如何在紛繁的海量的數(shù)據(jù)中挖掘出有價(jià)值的信息來滿足各行各業(yè)的需求？就需要了解數(shù)據(jù)統(tǒng)計(jì)中數(shù)據(jù)挖掘的方法以及具體意義，本文將對此做具體分析.【關(guān)鍵詞】大數(shù)據(jù)時(shí)代；數(shù)據(jù)挖掘；統(tǒng)計(jì)；方法一、數(shù)據(jù)挖掘的基本概述數(shù)據(jù)挖掘就是運(yùn)用一定的數(shù)理方法，從數(shù)據(jù)庫中挖掘有價(jià)值的知識，它是當(dāng)前人工智能和數(shù)據(jù)庫領(lǐng)域研究

2、的熱點(diǎn)問題.換言之，數(shù)據(jù)挖掘是一個(gè)動態(tài)概念，數(shù)據(jù)庫中存在海量的數(shù)據(jù)信息，這些信息往往是雜亂的，需要人們運(yùn)用一定的方法，從中挖掘出事先未知的并有潛在意義的、隱含的信息.二、數(shù)據(jù)挖掘的基本方法一般來說，數(shù)據(jù)挖掘算法可以分為兩種，一種是有監(jiān)督法，一種是無監(jiān)督算法.有監(jiān)督算法主要有邏輯回歸（logistic regression）、決策樹（decision tree）、人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ann）等，無監(jiān)督法主要包括聚類、最鄰近分析法（nearest neighbor analysis，nna）、支持向量機(jī)（support vector machine）等

3、，這些算法各有自己的側(cè)重，它們分別從各自不同的角度對數(shù)據(jù)信息進(jìn)行深入挖掘.下面將對這些方法做具體的分析.1.邏輯回歸（logistic regression），這種分析方法主要是反映數(shù)據(jù)庫中屬性值在時(shí)間上的特征，生成一個(gè)將數(shù)據(jù)項(xiàng)映射到一個(gè)實(shí)值預(yù)測變量的函數(shù)，通過分析變量或?qū)傩灾g的依賴關(guān)系，多用來分析數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預(yù)測以及數(shù)據(jù)間的關(guān)聯(lián)程度等.邏輯回歸是目前較常用的機(jī)器學(xué)習(xí)方法，主要用于測算某一事物的可能性.邏輯回歸由三個(gè)部分組成：回歸、線性回歸、logsitic方程.邏輯回歸屬線性回歸，而線性回歸又屬回歸.邏輯回歸沒有求后驗(yàn)概率，所以它不像樸素貝葉斯那樣需要滿足條件獨(dú)立假設(shè)，但

4、每個(gè)特征的貢獻(xiàn)是獨(dú)立計(jì)算的.2.決策樹（decision tree），每個(gè)決策或事件（即自然狀態(tài)）都可能會引出兩個(gè)或兩個(gè)以上的事件，又會導(dǎo)致相異的結(jié)果，若把這種決策分支用圖形表現(xiàn)出來，就很像一棵樹的枝干，故而稱這種方法為“決策樹”.一般而言，決策樹自上而下畫出，它有四個(gè)構(gòu)成要素，即方塊結(jié)點(diǎn)、方案枝、圓形結(jié)點(diǎn)、概率枝.每個(gè)結(jié)點(diǎn)一般會引出許多細(xì)支，每條細(xì)支表示一個(gè)方案，這一細(xì)支就是方案枝.每個(gè)圓形結(jié)點(diǎn)又會引出許多個(gè)細(xì)支，用來表示不同的事件，這一細(xì)支就是概率枝.在概率枝上，會標(biāo)明其出現(xiàn)概率，在概率枝的最末稍，標(biāo)明其在該自然狀態(tài)下所達(dá)到的收益值或損失值.3.人工神經(jīng)網(wǎng)絡(luò)（artificial neur

5、al network，ann），這種方法源于生物學(xué)中的神經(jīng)網(wǎng)絡(luò)原理，人工神經(jīng)網(wǎng)絡(luò)是一種運(yùn)算模型，由許多節(jié)點(diǎn)連接而成，每個(gè)節(jié)點(diǎn)都代表著某種特定的輸出函數(shù)，叫作激活函數(shù).每兩個(gè)節(jié)點(diǎn)間的連接都代表一個(gè)對于通過該連接信號的加權(quán)值，叫作為權(quán)重，通過這樣一種方式，成功模擬了人類的記憶.網(wǎng)絡(luò)的輸出取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)，而網(wǎng)絡(luò)自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達(dá).人工神經(jīng)網(wǎng)絡(luò)把對生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識與數(shù)學(xué)統(tǒng)計(jì)模型相結(jié)合，借助數(shù)學(xué)統(tǒng)計(jì)工具來實(shí)現(xiàn).通過數(shù)學(xué)統(tǒng)計(jì)學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學(xué)演算的進(jìn)

6、一步延伸.4.聚類.聚類分析也稱群分析或點(diǎn)群分析，為了讓在同一類別中的數(shù)據(jù)的關(guān)聯(lián)度最大，在相異類別中的數(shù)據(jù)的關(guān)聯(lián)度最小，從而把數(shù)據(jù)按照其關(guān)聯(lián)度和相異程度分成若干個(gè)類別.首先，應(yīng)該深入分析數(shù)據(jù)的類別，然后按照一定的指標(biāo)，用數(shù)學(xué)方法將其置于一個(gè)多維空間中，定量地定位數(shù)據(jù)間的關(guān)系，并根據(jù)其關(guān)系的親疏程度，對數(shù)據(jù)進(jìn)行聚類.系統(tǒng)聚類方法有如下步驟： 對數(shù)據(jù)進(jìn)行變換處理； 構(gòu)造n個(gè)類，每個(gè)類只包含一個(gè)樣本； 計(jì)算n個(gè)樣本兩兩間的距離； 合并距離最近的兩類為一新類； 計(jì)算新類與當(dāng)前各類的距離，若類的個(gè)數(shù)等于1，轉(zhuǎn)到，否則回； 畫聚類圖； 決定類的個(gè)數(shù)，從而得出分類結(jié)果.5.最鄰近分析法（nearest ne

7、ighbor analysis，nna），就是將區(qū)域中點(diǎn)的分布與基于相同區(qū)域中點(diǎn)的理論意義的隨機(jī)分布相比較.理論上，假定所有的點(diǎn)完全隨機(jī)分布，則其平均距離為其密度倒數(shù)值的一半.用這個(gè)結(jié)果與借助圖像觀測到的實(shí)際的點(diǎn)分布格局相比較，可以得到一個(gè)比值，這個(gè)比值通常叫作最近鄰指數(shù)（nearest neighbor index），或叫r尺度.6.支持向量機(jī)（support vector machine），這一方法建立在統(tǒng)計(jì)學(xué)習(xí)理論的vc bound理論（機(jī)器學(xué)習(xí)最重要的理論基礎(chǔ)）以及結(jié)構(gòu)風(fēng)險(xiǎn)最小原理的基礎(chǔ)上，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以期獲得最好的推廣能力.在具體的應(yīng)用

8、方面，在解決小樣本、非線性及高維模式識別中，與其他方法相比，它具有明顯的優(yōu)勢，并且它還能推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中.三、數(shù)據(jù)挖掘的應(yīng)用及意義數(shù)據(jù)挖掘是一種決策支持過程，它的應(yīng)用范圍非常廣泛，在商業(yè)、農(nóng)業(yè)、醫(yī)療業(yè)、電信、教育等領(lǐng)域中，數(shù)據(jù)挖掘都在發(fā)揮自己的價(jià)值.隨著互聯(lián)網(wǎng)時(shí)代的到來，數(shù)據(jù)以前所未有的速度在增長，有調(diào)查顯示，如今紐約時(shí)報(bào)一期所刊載的信息量，比生活在中世紀(jì)的人們一生所獲得信息量都多.既然數(shù)據(jù)這么海量，就需要使用科學(xué)的方法來挖掘數(shù)據(jù)中蘊(yùn)含的價(jià)值，而數(shù)據(jù)挖掘作為數(shù)學(xué)中的重要一環(huán)，正發(fā)揮著巨大的作用.四、結(jié)語總之，數(shù)據(jù)挖掘有著十分廣泛的外延，作為目前一個(gè)炙手可熱的研究課題，它對社會各個(gè)方面都有著十分深層次的影響.為了讓這一課題能更好地服務(wù)于社會，需要對數(shù)據(jù)挖掘的基本方法有著十分明晰的認(rèn)識，這也是本文旨在說明的問題.【參考文獻(xiàn)】1汪明.數(shù)據(jù)挖掘綜述j.河北軟件職業(yè)技術(shù)