大數(shù)據(jù)殺熟背景下的數(shù)據(jù)挖掘技術(shù)與分類算法研究18000字論文

1大數(shù)據(jù)殺熟背景下的數(shù)據(jù)挖掘技術(shù)與分類摘要目錄2自從1989年知識發(fā)現(xiàn)一次處初露頭角之后，歷經(jīng)數(shù)十年的發(fā)展，數(shù)據(jù)挖掘已經(jīng)從當(dāng)初那個(gè)只配出現(xiàn)在專題討論會上的小角色一躍變?yōu)榱巳f千專家學(xué)者在知識發(fā)現(xiàn)和數(shù)據(jù)挖掘在經(jīng)過十幾年的發(fā)展之后已經(jīng)成為了數(shù)據(jù)庫領(lǐng)域中不3一詞在這次會議上初放異彩，時(shí)間一轉(zhuǎn)來到上世紀(jì)九十年代中期，首屆這些軟件以應(yīng)用價(jià)值高、技術(shù)成熟而聞名，比如：KnowledgeStudio、IBM用很好也廣受大眾喜愛的算法具體是：C4.5算法(在ID3算法的基礎(chǔ)上進(jìn)行了改進(jìn))、K-means算法(這是一種聚類算法，其原理簡單，很容易實(shí)現(xiàn))、SVM算法(這是一種分類算法，策略由原來的向高維空間的非線性映射變換為了使用內(nèi)積核函數(shù)，有效避免了高維度空間的復(fù)雜性)、Apriori算法(這是有一種極具影響力的挖掘關(guān)聯(lián)規(guī)則的算法)、PageRank算法(用來給網(wǎng)頁排名，是Google一種十分重要的算法)、Adaboost算法、KNN算法、樸素貝葉斯算法。如下圖adaboostadaboost算法：核心思想是針對你同一個(gè)訓(xùn)練集訓(xùn)練不同的分類器，然后將分類器集合起來，構(gòu)成一個(gè)更強(qiáng)的最終分類器knn算法：理論上非常成熟的算法，也十分簡便naivebayes算法：具有很小的誤差cart算法：一種很常用的決策樹算法，又一個(gè)很重要的思想利用驗(yàn)證集C4.5算法：是一種很常見的決策樹算法，在決策樹核心算法ID3算法的基礎(chǔ)上進(jìn)行了改進(jìn)支持向量機(jī)算法：一種監(jiān)督式的算法，廣泛應(yīng)用于統(tǒng)計(jì)分類以及回歸分析中Kmeans算法：一種聚類算法，k值的確定至關(guān)重要aprion:一種很經(jīng)典的關(guān)聯(lián)規(guī)則頻繁項(xiàng)集算法pagerank算法：Google算法的核心，根據(jù)網(wǎng)站的外部鏈接和內(nèi)部鏈接的數(shù)量和質(zhì)量，衡量網(wǎng)站的價(jià)值，對網(wǎng)站排名對于進(jìn)行數(shù)據(jù)挖掘要使用的軟件的研發(fā)這一方面，主力軍還是高校，比如4經(jīng)典技術(shù)圖2數(shù)據(jù)挖掘的經(jīng)典技術(shù)從目前來看，數(shù)據(jù)挖掘未來可能的應(yīng)用領(lǐng)域主要集中在以下幾個(gè)方面：1.4.1.生物醫(yī)學(xué)和DNA領(lǐng)域的應(yīng)用生物信息以及基因信息對于人類是十分重要的，了解掌握這些信息將有助于人類利用這些信息來治愈疾病，解決一些醫(yī)學(xué)難題，給更多的人送去希望。但任何一個(gè)了解生物的人都知道，基因組合的數(shù)量是極其龐大的。就拿人類基因組來舉例，人類基因組由23對染色體組成，大約含有30億個(gè)DNA堿基對，其中的某些堿基對所含基因數(shù)量大約在20000與25000之間。這么來看，生物信息純靠人工是無法完全提取出來的，所以數(shù)據(jù)挖掘在這個(gè)領(lǐng)域就有了用武之地。但是這也涉及到了計(jì)算機(jī)專業(yè)的學(xué)生可能不是很懂生物，懂生物的學(xué)生又不太了解數(shù)據(jù)挖掘的問題，二者的交叉學(xué)科近幾年也發(fā)展很快，相信數(shù)據(jù)挖掘在這個(gè)領(lǐng)域，在不久的將來一定會大放異彩的。1.4.2.Web領(lǐng)域的應(yīng)用隨著互聯(lián)網(wǎng)的迅猛發(fā)展，各類網(wǎng)站，電子商務(wù)蓬勃興起。十幾年前無人問津的淘寶、京東，現(xiàn)在幾乎成為了人們生活的必需品，在加之近幾年拼多多的快速發(fā)展，可以說這一領(lǐng)域積攢的數(shù)據(jù)也是十分龐大的。那么利用這些數(shù)據(jù)，從中提取出有用的信息，就可以幫助顧客擁有更好的購物體驗(yàn)，免受自己不喜歡事物的打擾。從這些紛繁復(fù)雜的數(shù)據(jù)中，分析出顧客的喜好，給顧客推送他們可能喜歡的東西，既節(jié)約了顧客的時(shí)間也能給公司帶來更多的收益，可謂是一舉兩得。1.4.3.金融領(lǐng)域的應(yīng)用隨著經(jīng)濟(jì)的快速發(fā)展，人們的財(cái)富也在日益增多，于是很多人開始有了理財(cái)?shù)南敕?。已?jīng)涉及或者正打算入坑理財(cái)?shù)娜艘欢ǘ贾澜衲旯墒械男星椴皇呛芎茫腥松踔临r光了身家財(cái)產(chǎn)。在金融領(lǐng)域，投資風(fēng)險(xiǎn)極大，可能賺的盆滿缽滿，93.分類算法的研究和追捧，在分類算法中占據(jù)了一席之地，廣泛存在于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中。J.R.Quinlan于1979年提出并在之后逐漸修正完善的ID3算法[18,是決策樹算法問題[16。近幾年，在學(xué)術(shù)界出現(xiàn)了新的寵兒—一選擇性集成，這個(gè)概念是由西瓜書的作者周志華教授提出的。而且近年來出現(xiàn)了一種稱為GASEN-b的新的選ID3是決策樹算法的其中之一，利用信息增益來對樣本集中的屬性進(jìn)行劃是凌亂無比的，熵值會很大，我們?yōu)槭裁匆獦?gòu)建決策樹呢?就是為了減小數(shù)據(jù)的假定樣本集合D中某一離散屬性為a,這個(gè)屬性一共有V種取值，DY表示樣本個(gè)所構(gòu)成，這個(gè)樣本集合的個(gè)數(shù)記為IDY,則利用這一離散屬性a對整個(gè)數(shù)其中可以看成是劃分屬性所占的權(quán)重。前文中我們提到信息熵的值越3:按d(x,A[i])從小到大排序；4:計(jì)算最遠(yuǎn)樣本與x間的距離D,即max{d(x,A[jD)li=1,2.…k};6:計(jì)算A[i]與x間的距離d(x,A[i]);12:具有最大概率的類別即為樣本x的類；3.4.2.最近鄰算法的實(shí)現(xiàn)仍然利用wine數(shù)據(jù)集和sklearn模塊，得到的準(zhǔn)確率為79.63%,因?yàn)镵值對KNN算法的影響非常大，為了能得到最好的分類效果，我先對最佳的K值進(jìn)行了搜索，將結(jié)果進(jìn)行可視化之后發(fā)現(xiàn)，最佳的K值應(yīng)該是4。然后我對KNN分類器的分類效果進(jìn)行了可視化。圖13尋找最佳K值3.4.3.最近鄰算法的優(yōu)缺點(diǎn)最近鄰算法的優(yōu)點(diǎn)：簡單有效，理論成熟。算法復(fù)雜度低。方便進(jìn)行多分類任務(wù)。最近鄰算法的缺點(diǎn)：計(jì)算量的大，要計(jì)算到每個(gè)點(diǎn)之間的距離。k值的選取很關(guān)鍵，k太小容易過擬合，k太大容易欠擬合。對于離群點(diǎn)、不平衡樣本很敏感。是一種消極學(xué)習(xí)的方法。上文中我對ID3、CART、C4.5、樸素貝葉斯、最近鄰算法的思想以及基本流程進(jìn)行了論述，并且利用Python語言基于wine數(shù)據(jù)集和Balloons數(shù)據(jù)集進(jìn)行了實(shí)現(xiàn)。其中都對wine數(shù)據(jù)集進(jìn)行分類，所使用的算法不同得出的準(zhǔn)確率也有所不同。將代碼運(yùn)行三次，得到的準(zhǔn)確率情況為如下。ID3算法的準(zhǔn)確率分別為：94.44%、88.89%、92.59%;CART算法的準(zhǔn)確率分別為：87.04%、96.30%、94.44%;樸素貝葉斯算法的準(zhǔn)確率分別為：98.15%、100%、96.30%;KNN算法的準(zhǔn)確率。這幾種算法的平均準(zhǔn)確率分別為：ID3(91.97%)CART(92.59%)樸素貝葉斯(98.15%)KNN(69.75%),從對同一數(shù)據(jù)集進(jìn)行分類的結(jié)果來看，樸素貝葉斯算法的分類效果是最好的。但是我們也可看到在使用樸素貝葉斯算法的時(shí)候，對wine數(shù)據(jù)集分類出現(xiàn)了準(zhǔn)確率為100%的情況，這說明模型出現(xiàn)了過擬合的現(xiàn)象。結(jié)合這幾種算法的優(yōu)缺點(diǎn)以及實(shí)現(xiàn)原理來看，因?yàn)闃闼刎惾~斯算法是以貝葉斯定理為基準(zhǔn)的，所以對于條件獨(dú)立這一方面有很強(qiáng)的要求，但是日常生活中產(chǎn)生的數(shù)據(jù)總不太可能是如此規(guī)整的，做不到很強(qiáng)的條件獨(dú)立性，這就給使用這個(gè)算法帶來了很大的不便之處。在日常生活中為了使自己所設(shè)計(jì)的模型能夠得到別人的認(rèn)可、我們一般會要求可解釋性強(qiáng)一點(diǎn)，那么這個(gè)時(shí)候來選擇決策樹算法就在合適不過了。其中，決策樹算法中ID3算法是最基礎(chǔ)也是最原始的算法，由于這個(gè)算法本身的缺陷，研究人員開發(fā)出了新的算法，后續(xù)開發(fā)的算法不論是在準(zhǔn)確率上還是在可解釋性方面都要比ID3算法強(qiáng)一點(diǎn)，CART算法已經(jīng)不是單純的分類算法了，其也可以用于回歸，適用性更強(qiáng)，可以使用的范圍也更廣。對于KNN算法，因?yàn)槠涫且环N基于樣本實(shí)例的算法，對K值的依賴性很大，確定最佳K值會額外增加大量工作量。另外分類算法又可以分為單一的分類算法與集成學(xué)習(xí)算法，像本文中提到的這幾種算法就歸屬于單一分類算法，另外常見的單一分類算法還有支持向量機(jī)，這種算法可以有效的避免維數(shù)災(zāi)難，也較好的解決了局部極小點(diǎn)的問題。俗話說眾人拾柴火焰高，在算法這一領(lǐng)域這句諺語也很適用，很多情況下，只靠單一的分類算法是無法得到令人滿意的結(jié)果的，這時(shí)候集成學(xué)習(xí)算法就派上了大用場，常見的集成學(xué)習(xí)算法有：裝袋、boosting。4.實(shí)現(xiàn)算法相關(guān)內(nèi)容本文在實(shí)現(xiàn)ID3算法、C4.5算法、CART算法的時(shí)候，是用的數(shù)據(jù)集為wine/ml/index.php這個(gè)網(wǎng)站上下載的，這個(gè)網(wǎng)站是美國加州大學(xué)所提出的，用來存放可以用于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、數(shù)據(jù)挖掘的數(shù)據(jù)的。這個(gè)網(wǎng)站打開之后是這樣的：AhoutGitatinPoieyDansteADaStwecurelymainansedtastsasencetothernachekenmncermunyYoumyienaldatasethrough03-01-2010:Natefomdonorregarding10-16-2009:Twonewd09-14-2009:SeveraldatasetshaMAGICGammaTelescoSynchronousMachineDataWikipediaMathEssentaWikipediaMathEssentiaHunganianChickenpoxCasMyocardialnmarctioncompicatlioFeaturedDataSet:M.TuberculosilsGe然后進(jìn)入該網(wǎng)站的數(shù)據(jù)庫中，如下圖：8AnonymousMicrosoftWebDaCS/Engineerng(215)7從這個(gè)界面中我們可以看到，UCI這個(gè)網(wǎng)站上的數(shù)據(jù)集分門別類的放置，很方便我們尋找適合自己使用的數(shù)據(jù)集。由于要用于分類問題，所以我選擇了wine和Balloons這兩個(gè)數(shù)據(jù)集。4.1.1.wine數(shù)據(jù)集的介紹Wine數(shù)據(jù)集一共有14列，178行。這14列中，第1列代表的是類別，即酒屬于哪一類，剩余的13列，每列代表的都是一種屬性，這13種屬性發(fā)揮作用共同決定酒的類別。下圖貼上我利用Python語言在jupyternotebook中實(shí)現(xiàn)的對數(shù)據(jù)集的讀取截圖。從截圖中我們可以清晰地看到數(shù)據(jù)集的信息，我們還利用類別為分組對象，統(tǒng)計(jì)了一下每個(gè)類別的樣本數(shù)量，在圖17中也有顯示，從圖17中看出每類的樣本數(shù)量分別為59,71,48,看起來相差不是很大，接著我們用matplotlib利用箱圖進(jìn)行一下可視化，直觀的觀看一下差距，可以看出樣本的分布還是十分平衡的，在本文中我們只附上了其中四個(gè)屬性的箱圖結(jié)果。<class'pandas.core.framRangeIndex:178entriescategoryAlcoholAlcalinityofashMagnesiunTotalphenols1FlavanoidNonflavanoidphenols178ProanthocyaninsColorintensityHueOD280/OD315ofdilutedwines178non-nullfloProlinedtypes:float64(11),0111213141圖18wine數(shù)據(jù)集的前五行圖19箱圖結(jié)果1圖20箱圖結(jié)果2圖21箱圖結(jié)果34.1.2.Balloons數(shù)據(jù)集的介紹Balloons數(shù)據(jù)集一共有5列，16行。這5列中，第5列代表的是氣球是否是扁平的，剩余的4列，每列代表的都是一種屬性，分別為顏色，尺寸，對氣球的動(dòng)作，年齡。下圖貼上我利用Python語言在jupyternotebook中實(shí)現(xiàn)的對數(shù)據(jù)集的讀取截圖，從圖21中我們可以看出Balloons數(shù)據(jù)集的詳細(xì)信息，分類的結(jié)果為該氣球是不是為扁平狀態(tài)。同樣我們以類別為分組對象，對每類的數(shù)據(jù)量進(jìn)行了統(tǒng)計(jì)，從代碼運(yùn)行的結(jié)果來看，數(shù)據(jù)集中的樣本分布很是平衡。分布平衡的數(shù)據(jù)集十分有利于我們利用算法進(jìn)行處理。<class'pandas.core.frame.memoryusage:720.0+bTTTTT4.2.1.Python語言的介紹在編程的領(lǐng)域里，有著“人生苦短，我用Python”的說法。我剛開始接觸的編程語言是C語言，然后是java,之后才是Python。對于一道很簡單的兩個(gè)數(shù)的加法題，C語言需要用10行代碼來實(shí)現(xiàn)，java語言則需要9行代碼來實(shí)現(xiàn)，python只需要4行代碼就可以實(shí)現(xiàn)，我們有理由相信在處理一些困難的問題的時(shí)候Python語言的代碼量也會是最少的。在接觸過C語言和java語言之后再接觸Python語言，就會發(fā)現(xiàn)利用Python語言編寫代碼的時(shí)候一般就是腦子里怎么想就怎么編寫就可以，不需要向C和java那樣還需