數(shù)據(jù)挖掘相關(guān)論文

1、 數(shù)據(jù)挖掘論文題 目：數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用 系 別： 計算機學院 專 業(yè)： 11網(wǎng)絡(luò)工程1班 學生姓名： 黃坤 學 號： 1110322111 指導教師： 江南 2014年 11月06 日 數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用一、研究原因電子商務(wù)在現(xiàn)代商務(wù)活動中的正變得日趨重要，隨著大數(shù)據(jù)時代的到來，商務(wù)信息顯得尤為重要，在電子商務(wù)中誰掌握了有利的市場信息，誰就能在這個競爭激烈電商行業(yè)中占據(jù)絕對的優(yōu)勢。而數(shù)據(jù)挖掘技術(shù)是獲取信息的最有效的技術(shù)工具。本文討論了數(shù)據(jù)挖掘的主要方法，具體闡述了數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的作用及應(yīng)用。 在信息經(jīng)濟時代，對企業(yè)來說，誰對市場變化反應(yīng)速度快，誰將

2、在激烈的市場競爭中占據(jù)有利的地位，競爭的結(jié)果最終將促使企業(yè)價值從市場競爭輸家轉(zhuǎn)移到贏家，這樣就使企業(yè)面臨一個問題：如何才能把大量的數(shù)據(jù)資源，轉(zhuǎn)化成自身價值呢？要想使數(shù)據(jù)真正成為一個公司的資源，只有充分利用它為公司自身的業(yè)務(wù)決策和戰(zhàn)略發(fā)展服務(wù)才行，否則大量的數(shù)據(jù)可能成為包袱，甚至成為垃圾。因此，面對“人們被數(shù)據(jù)淹沒，人們卻饑餓于知識”的挑戰(zhàn)，數(shù)據(jù)挖掘和知識發(fā)現(xiàn)(DMKD)技術(shù)應(yīng)運而生，并得以蓬勃發(fā)展，越來越顯示出其強大的生命力。二、2.1 國內(nèi)研究現(xiàn)狀KDD（從數(shù)據(jù)庫中發(fā)現(xiàn)知識）一詞首次出現(xiàn)在1989年8月舉行的第11屆國際聯(lián)合人工智能學術(shù)會議上。迄今為止,由美國人工智能協(xié)會主辦的KDD已經(jīng)召開

3、了7次,規(guī)模由原來的專題討論會發(fā)展到國際學術(shù)大會,人數(shù)由二三十人到七八百人,論文收錄比例從2X1到6X1,研究重點也逐漸從發(fā)現(xiàn)方法轉(zhuǎn)向系統(tǒng)應(yīng)用,并且注重多種發(fā)現(xiàn)策略和技術(shù)的集成,以及多種學科之間的相互滲透。其他內(nèi)容的專題會議也把數(shù)據(jù)挖掘和知識發(fā)現(xiàn)列為議題之一,成為當前計算機科學界的一大熱點。此外,數(shù)據(jù)庫、人工智能、信息處理、知識工程等領(lǐng)域的國際學術(shù)刊物也紛紛開辟了KDD專題或?qū)？?。IEEE的Knowledge and Data Engineering 會刊領(lǐng)先在1993年出版了KDD技術(shù)專刊,所發(fā)表的5篇論文代表了當時KDD研究的最新成果和動態(tài),較全面地論述了KDD 系統(tǒng)方法論、發(fā)現(xiàn)結(jié)果的評價

4、、KDD系統(tǒng)設(shè)計的邏輯方法,集中討論了鑒于數(shù)據(jù)庫的動態(tài)性冗余、高噪聲和不確定性、空值等問題,KDD系統(tǒng)與其它傳統(tǒng)的機器學習、專家系統(tǒng)、人工神經(jīng)網(wǎng)絡(luò)、數(shù)理統(tǒng)計分析系統(tǒng)的聯(lián)系和區(qū)別,以及相應(yīng)的基本對策。6篇論文摘要展示了KDD在從建立分子模型到設(shè)計制造業(yè)的具體應(yīng)用。不僅如此,由美國人工智能學會主辦的KDD國際研討會規(guī)模由原來的專題討論會發(fā)展到國際學術(shù)大會，研究重點也逐漸從發(fā)現(xiàn)方向轉(zhuǎn)向系統(tǒng)應(yīng)用，注重多重發(fā)現(xiàn)策略和技術(shù)集成，以及多種學科之間的相互滲透，并且有很多學校和科研機構(gòu)也正投入大量資金進行數(shù)據(jù)挖掘技術(shù)的進一步開發(fā)和深入研究。國內(nèi)對數(shù)據(jù)挖掘的研究稍晚，沒有形成整體力量。但是國內(nèi)的高校，例如清華大學

5、、中科院計算機技術(shù)研究所等，都已開展了不同程度的知識發(fā)現(xiàn)的基礎(chǔ)理論及其應(yīng)用研究。其中，北京系統(tǒng)工程研究所對模糊方法在知識發(fā)現(xiàn)中的應(yīng)用進行了較深入的研究。與國外相比，我國對數(shù)據(jù)挖掘領(lǐng)域的研究仍處于初級階段，絕大多數(shù)工作集中于局部算法設(shè)計，進行綜合的系統(tǒng)集成設(shè)計卻寥寥無幾。由于核心技術(shù)的欠缺，使得數(shù)據(jù)挖掘在國內(nèi)一些領(lǐng)域只是初步應(yīng)用，如銀行、金融、GIS等領(lǐng)域。所以研究數(shù)據(jù)挖掘技術(shù)，并將其應(yīng)用到科研、經(jīng)濟、教育等領(lǐng)域的重要性是可見一斑的。電子商務(wù)（E-Commerce）是以指利用電子數(shù)據(jù)交換（Electronic Data Interchange，EDI）、電子郵件（E-mail）、電子資金轉(zhuǎn)賬（E

6、lectronic Funds Transfer，EFT）和Internet等主要技術(shù)在個人、企業(yè)和國家之間進行無紙化的信息交換，包括商品信息及其訂購信息、資金信息及其支付信息、安全及其認證信息等，即以現(xiàn)代信息技術(shù)為手段，以經(jīng)濟效益為中心的現(xiàn)代化商業(yè)運轉(zhuǎn)模式。其最終目標是實現(xiàn)商務(wù)活動的網(wǎng)絡(luò)化、自動化與智能化。隨著Internet的迅速發(fā)展，電子商務(wù)的應(yīng)用不斷深入。在電子商務(wù)應(yīng)用系統(tǒng)中，相關(guān)的用戶數(shù)據(jù)日益增多，數(shù)據(jù)挖掘技術(shù)具有從大量復雜數(shù)據(jù)中發(fā)現(xiàn)特定規(guī)律的能力。商業(yè)電子化的趨勢不僅為客戶提供了便利的交易方式和廣泛的選擇，同時也為商家提供了更加深入了解客戶需求信息和購物行為特征的可能性。 

7、;2.2 數(shù)據(jù)挖掘技術(shù)2.2.1 統(tǒng)計技術(shù)統(tǒng)計技術(shù)對數(shù)據(jù)集進行挖掘的主要思想是：統(tǒng)計的方法對給定的數(shù)據(jù)集合假定了一個分步或者概率的模型（比如一個正態(tài)分布），然后根據(jù)模型采用相應(yīng)的方法進行挖掘。2.2.2 關(guān)聯(lián)規(guī)則數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類很重要的可以發(fā)現(xiàn)的知識。若兩個或者多個變量的取值之間存在某種規(guī)律性，就成為關(guān)聯(lián)。關(guān)聯(lián)可分為簡單關(guān)聯(lián)，時序關(guān)聯(lián)，因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱含的關(guān)聯(lián)網(wǎng)，優(yōu)勢并不知道數(shù)據(jù)庫中的關(guān)聯(lián)函數(shù)，即使知道也是不確定的，因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。2.2.3 基于歷史的分析MBR（Memory-based Reasoning）MBR的本質(zhì)是：現(xiàn)根據(jù)經(jīng)驗知識

8、尋找相似情況，然后再將這些情況的信息應(yīng)用于當前的例子中。使用的三個問題是：尋找確定的歷史數(shù)據(jù)；決定表示歷史數(shù)據(jù)的最有效方法；決定距離函數(shù)、聯(lián)合函數(shù)和鄰近的數(shù)量。2.2.4 遺傳算法GA（Genetic Aigorithms）該算法是基于進化理論，并采用遺傳結(jié)合、遺傳變異及自然選擇等方法優(yōu)化結(jié)果。主要思想是：根據(jù)適者生存的原則，形成由當前群體中最適合的規(guī)則組成新的群體，以及這些規(guī)則的后代。規(guī)則的適合度（Fitness）是對訓練樣本分類準確性的評估。2.2.5 聚集檢測將物理或者抽象對象的集合，分組成為由類似的對象組成的多個類的過程被成為聚類。在由聚類生成的數(shù)據(jù)對象集合中，這些對象具有相似性，并與

9、其他集合中的對象具有相異性。這種相異度是根據(jù)描述對象的屬性值來計算的，距離是經(jīng)常被采用的度量方法。2.2.6 連接分析它的基本理論是圖論，圖論的思想是尋找一個可以得出好的結(jié)果但不是完美結(jié)果的算法。這種不完美但是可行的思想模式，可以使之運用到更廣的用戶群中。2.2.7 決策樹決策樹是能夠被看成一棵樹的預測模型。樹的每個分支都是一個分類的問題，內(nèi)部節(jié)點表示在一個屬性上的測試，樹葉代表類或者分布。決策樹算法是目前應(yīng)用最廣泛的歸納推理算法之一，是一種逼近離散值函數(shù)的方法，也可將它看作是一個布爾函數(shù)。它是以實例為基礎(chǔ)的歸納學習算法，通過對一組訓練數(shù)據(jù)的學習，構(gòu)造出決策樹形式的只是表示，在決策樹的內(nèi)節(jié)點進

10、行屬性值的比較并根據(jù)不同的屬性值判斷從該節(jié)點向下的分枝，從而在決策樹葉節(jié)點得到結(jié)論。所以從根到葉節(jié)點的一條路徑就對應(yīng)著一條規(guī)則，整棵決策樹就對應(yīng)著一組吸取表達式規(guī)則。2.2.8 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是指由大量神經(jīng)元互聯(lián)而成的網(wǎng)絡(luò)，類似于服務(wù)器互聯(lián)而成的因特網(wǎng)。它主要由“神經(jīng)元”的互聯(lián)，或按組織的結(jié)點構(gòu)成。通常神經(jīng)網(wǎng)絡(luò)模型由三個層次組成：輸入層，中間層，輸出層。在神經(jīng)元求得輸入值后，再匯總計算總輸入值；由過濾機比較總輸出值，確定網(wǎng)絡(luò)的輸出值?？梢酝ㄟ^模擬判斷，來不斷修正計算的“權(quán)值”來達到學習的目的，增加判斷的正確性。2.2.9 粗糙集粗糙值是一種研究不確定性問題的工具，它根據(jù)已有的給定問題的知識，

11、對問題論域進行劃分，然后對劃分后的每個組成部分確定其對某個概念的支持程度。它用于從數(shù)據(jù)庫中發(fā)現(xiàn)分類規(guī)則的基本思路是將數(shù)據(jù)庫中的屬性分為條件屬性和結(jié)論屬性。對數(shù)據(jù)庫中的元組根據(jù)各個屬性不同的屬性值分成相應(yīng)的子集，然后對條件屬性劃分的子集與結(jié)論屬性劃分的子集之間上下近似關(guān)系生成判定規(guī)則。2.2.10 回歸分析回歸分析分為線性回歸、多元回歸和非線性回歸。線性回歸中，數(shù)據(jù)是用直線建模；多元回歸是線性回歸的擴展，涉及多個預測變量。非線性回歸是在基本線性模型上添加多個項式項形成為線性回歸模型。1. 數(shù)據(jù)挖掘階段分析數(shù)據(jù)挖掘階段作為整個項目的重中之重，通常數(shù)據(jù)挖掘的流程包括項目理解、數(shù)據(jù)理解、數(shù)據(jù)準備、建立

12、模型、模型評估和模型發(fā)布等。3.1 項目理解階段此階段主要確定項目目標，訂立項目成功的標準，完成項目形勢評估及制定項目執(zhí)行計劃等等。項目成功的標準是模型的準確率達到多少、純度達到多少等，而形式評估則主要對項目實施未來可能遇到的問題作一個簡單的評估，業(yè)務(wù)及行業(yè)規(guī)則不斷變化，模型在應(yīng)用過程中會遇到各種問題等。至于項目計劃則是對整個項目需要的時間，資源作一個整體的規(guī)劃把控。除此之外，此階段還需要對相關(guān)專業(yè)術(shù)語進行解釋說明等。3.2 數(shù)據(jù)理解和數(shù)據(jù)準備數(shù)據(jù)挖掘?qū)?shù)據(jù)的依賴性非常高，為了能夠?qū)崿F(xiàn)數(shù)據(jù)挖掘的目標，要求收集的數(shù)據(jù)足夠全，質(zhì)量盡量高。通常在這個階段花費的時間占整個項目的一半還多。原始數(shù)據(jù)采集完

13、后，還需要對數(shù)據(jù)進行描述和處理，比如進一步探查已選變量與目標變量之間是否存在關(guān)系，各變量數(shù)據(jù)的基本探查，如空值數(shù)目、唯一值數(shù)目、最小最大值的統(tǒng)計以及數(shù)據(jù)質(zhì)量檢驗等。數(shù)據(jù)準備數(shù)據(jù)集描述清洗數(shù)據(jù)構(gòu)造數(shù)據(jù)選擇數(shù)據(jù)格式化數(shù)據(jù)整合數(shù)據(jù) 3.3 建立模型階段數(shù)據(jù)挖掘項目的建立模型都要經(jīng)過三個階段：建立模型，測試并調(diào)整模型，應(yīng)用模型。建立模型，就得選擇相應(yīng)的建模技術(shù)，可能應(yīng)用到?jīng)Q策樹、神經(jīng)網(wǎng)絡(luò)及回歸分析等統(tǒng)計技術(shù)，在項目運營的各個階段，數(shù)據(jù)不同，運營宣傳方式也不同，這就可能利用模型的組合，各個項目階段采用不同的模型進行預測分析。3.4 模型評估階段模型的應(yīng)用通常需要較長周期的檢驗才能準確的評估其是否滿足商業(yè)

14、標準，在傳統(tǒng)行業(yè)，這個評估通常在模型應(yīng)用一年后作出。此外，對于設(shè)計的模型，不但要評估模型的準確性和通用性，還要努力找出相關(guān)商業(yè)理由解釋說明模型的欠缺，把生成的結(jié)果與建模初訂立的標準進行對比，同時根據(jù)目前的狀況對數(shù)據(jù)倉庫變量做適當?shù)男拚{(diào)整，以滿足日常數(shù)據(jù)分析需要。數(shù)據(jù)挖掘運營分析調(diào)研驗證3.5 模型發(fā)布階段在模型通過評估滿足商業(yè)目標情況后，進入模型發(fā)布階段。模型發(fā)布階段的內(nèi)容主要包括相關(guān)模型檢測和維護計劃（常規(guī)調(diào)整和適應(yīng)性的調(diào)整<應(yīng)用于節(jié)假日及寒暑假等特殊日期>），以確保模型的準確預測和預警。同時，還要利用模型指導日常運營發(fā)布相關(guān)數(shù)據(jù)分析報告。確定研究目標提出策略意見分析數(shù)據(jù)現(xiàn)象與

15、目標的關(guān)聯(lián)找出真實原因2. 數(shù)據(jù)挖掘技術(shù)在電子商務(wù)中的應(yīng)用4.1電子商務(wù)中數(shù)據(jù)挖掘技術(shù)的適用價值目前對于數(shù)據(jù)挖掘的對象和使用的方法層出不窮，隨著電子商務(wù)的興起，電子商務(wù)將是未來數(shù)據(jù)挖掘的主要發(fā)展方向之一，它在各種商業(yè)領(lǐng)域都存在廣泛的使用價值。客戶細分隨著以客戶為中心的經(jīng)營理念不斷深入人心，分析客戶、了解客戶并引導客戶的需求己成為企業(yè)經(jīng)營的重要課題。通過對電子商務(wù)系統(tǒng)收集的交易數(shù)據(jù)進行分析，可以按各種客戶指標(如自然屬性、收入貢獻交易額、價值度等)對客戶分類，然后確定不同類型客戶的行為模式以便采取相應(yīng)的營銷措施促使企業(yè)利潤的最大化?？蛻臬@得比如通過數(shù)據(jù)挖掘可以發(fā)現(xiàn)購買某種商品的消費者是男性還是女

16、性，學歷、收入如何，有什么愛好，是什么職業(yè)等等。甚至可以發(fā)現(xiàn)不同的人在購買該種商品的相關(guān)商品后多長時間有可能購買該種商品，以及什么樣的人會購買什么型號的該種商品等等。也許很多因素表面上看起來和購買該種商品不存在任何聯(lián)系，但數(shù)據(jù)挖掘的結(jié)果卻證明他們之間有聯(lián)系。在采用了數(shù)據(jù)挖掘后，針對目標客戶發(fā)送的廣告的有效性和回應(yīng)率將得到大幅度的提高，推銷的成本將大大降低?？蛻舯３謹?shù)據(jù)挖掘可以把你大量的客戶分成不同的類，在每個類里的客戶擁有相似的屬性，而不同類里的客戶的屬性也不同。你完全可以做到給不同類的客戶提供完全不同的服務(wù)來提高客戶的滿意度。數(shù)據(jù)挖掘還可以發(fā)現(xiàn)具有哪些特征的客戶有可能流失，這樣挽留客戶的措施

17、將具有針對性，挽留客戶的費用將下降。4.2數(shù)據(jù)挖掘技術(shù)在電子商務(wù)推薦系統(tǒng)的具體應(yīng)用 數(shù)據(jù)挖掘技術(shù)應(yīng)用于電子商務(wù)方方面面，在這里以電子商務(wù)活動中推薦系統(tǒng)應(yīng)用數(shù)據(jù)挖掘技術(shù)為案列進行簡單分析。4.2.1推薦系統(tǒng)在電子商務(wù)活動中的作用一般說來,推薦系統(tǒng)在電子商務(wù)活動中的作用可以歸納為以下幾點: （1）把瀏覽者轉(zhuǎn)變成購買者 己有明確購物目標的客戶也許可以借助檢索系統(tǒng)找到自己需要的東西,但對于大多數(shù)只是四處逛逛看一看的沖浪者,或是對自己的需要比較模糊的購買者,很難有耐心在幾十頁長的商品目錄逐項查找是否有自己感興趣的東西。而推薦系統(tǒng)通過合適的推薦,可以將一個瀏覽者變?yōu)橘徺I者。&

18、#160;（2）提高電子商務(wù)系統(tǒng)的交叉銷售能力電子商務(wù)推薦系統(tǒng)在用戶購買過程中向用戶提供其它有價值的商品推薦,用戶能夠從提供的推薦列表中購買自己確實需要但在購買過程中沒有想到的商品,從而有效提高電子商務(wù)系統(tǒng)的交叉銷售。例如站點可以根據(jù)客戶當前購物車中的物品向他們推薦一些和這些己選購的物品相關(guān)的物品。如果有一個比較好的推薦系統(tǒng),則企業(yè)的平均定購量就可能增加。 （3）提高客戶對電子商務(wù)網(wǎng)站忠誠度與傳統(tǒng)的商務(wù)模式相比,電子商務(wù)系統(tǒng)使得用戶擁有越來越多的選擇,用戶更換商家及其方便,只需要一兩次鼠標的點擊就可以在不同電子商務(wù)系統(tǒng)之間跳轉(zhuǎn)。電子商務(wù)推薦系統(tǒng)分析用戶的購買習慣,根據(jù)用戶需求向用戶提

19、供有價值的商品推薦。如果電子商務(wù)推薦系統(tǒng)的推薦質(zhì)量很高,用戶可以很容易找到自己想要的商品,那么用戶會再次訪問這個網(wǎng)站,并會推薦給其他人,這對于網(wǎng)站來說是一個很大的優(yōu)勢。4.2.2數(shù)據(jù)挖掘技術(shù)應(yīng)用于推薦系統(tǒng)具體表現(xiàn) 數(shù)據(jù)挖掘是在大型數(shù)據(jù)存儲庫中,自動地發(fā)現(xiàn)有用信息的過程。數(shù)據(jù)挖掘技術(shù)用來探查大型數(shù)據(jù)庫,發(fā)現(xiàn)先前未知的有用模式。電子商務(wù)推薦系統(tǒng)將數(shù)據(jù)挖掘技術(shù)運用到電子商務(wù)領(lǐng)域,以數(shù)據(jù)挖掘為基礎(chǔ)衍生出許多算法。 （1）基于關(guān)聯(lián)規(guī)則的推薦算法 關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘技術(shù)的一種,該技術(shù)挖掘發(fā)現(xiàn)大量數(shù)據(jù)中項集之間有趣的關(guān)聯(lián)或相關(guān)聯(lián)系。關(guān)聯(lián)規(guī)則挖掘的一個典型例子就是購物籃分析。該過

20、程通過發(fā)現(xiàn)顧客放入其購物籃中不同商品之間的聯(lián)系,分析顧客的購買習慣。通過了解哪些商品頻繁地被顧客同時購買,這種關(guān)聯(lián)的發(fā)現(xiàn)可以幫助商家制定營銷策略。 關(guān)聯(lián)規(guī)則的挖掘是一個兩步過程: 首先,找出所有頻繁項集。這些項集出現(xiàn)的頻繁性至少和預定義的最小支持計數(shù)一樣。其次,由頻繁項集產(chǎn)生強關(guān)聯(lián)規(guī)則。這些規(guī)則必須滿足最小支持度和最小置信度。 關(guān)聯(lián)規(guī)則挖掘算法的瓶頸出現(xiàn)在第一步。由于第一步需要反復掃描交易數(shù)據(jù)庫,所以增加了系統(tǒng)的開銷,降低了系統(tǒng)性能。例如:Aprior算法是一種最有影響的挖掘關(guān)聯(lián)規(guī)則頻繁項集的算法。該算法使用一種稱為逐層搜索的迭代方法尋找頻繁項集,它開創(chuàng)性地使用基于支持度的剪枝技術(shù),系統(tǒng)地控制候選項集指數(shù)增長。它缺點就是由于