數(shù)據(jù)挖掘的10個(gè)常見問題

數(shù)據(jù)挖掘的10個(gè)常見問題Q1.DataMining和統(tǒng)計(jì)分析有什么不同？硬要去區(qū)分DataMining和Statistics的差異其實(shí)是沒有太大意義的。一般將之定義為DataMining技術(shù)的CARTCHAID或模糊計(jì)算等等理論方法，也都是由統(tǒng)計(jì)學(xué)者根據(jù)統(tǒng)計(jì)理論所發(fā)展衍生，換另一個(gè)角度看，DataMining有相當(dāng)大的比重是由高等統(tǒng)計(jì)學(xué)中的多變量分析所支撐。但是為什么DataMining的出現(xiàn)會(huì)引發(fā)各領(lǐng)域的廣泛注意呢？主要原因在相較于傳統(tǒng)統(tǒng)計(jì)分析而言，DataMining有下列幾項(xiàng)特性：處理大量實(shí)際資料更強(qiáng)勢(shì)，且無須太專業(yè)的統(tǒng)計(jì)背景去使用DataMining的工具；資料分析趨勢(shì)為從大型數(shù)據(jù)庫(kù)抓取所需資料并使用專屬計(jì)算機(jī)分析軟件，DataMining的工具更符合企業(yè)需求；純就理論的基礎(chǔ)點(diǎn)來看，DataMining和統(tǒng)計(jì)分析有應(yīng)用上的差別，畢竟DataMining目的是方便企業(yè)末端用者使用而非給統(tǒng)計(jì)學(xué)家檢測(cè)用的。Q2.DataWarehousing和DataMining的關(guān)系為何？若將DataWarehousing(資料倉(cāng)儲(chǔ))比喻作礦坑，DataMining就是深入礦坑采礦的工作。畢竟DataMining不是一種無中生有的魔術(shù)，也不是點(diǎn)石成金的煉金術(shù)，若沒有夠豐富完整的資料，是很難期待DataMining能挖掘出什么有意義的信息的。要將龐大的資料轉(zhuǎn)換成為有用的信息，必須先有效率地收集信息。隨著科技的進(jìn)步，功能完善的數(shù)據(jù)庫(kù)系統(tǒng)就成了最好的收集資料的工具。「資料倉(cāng)儲(chǔ)」，簡(jiǎn)單地說，就是搜集來自其它系統(tǒng)的有用資料，存放在一整合的儲(chǔ)存區(qū)內(nèi)。所以其實(shí)就是一個(gè)經(jīng)過處理整合，且容量特別大的關(guān)系型數(shù)據(jù)庫(kù)，用以儲(chǔ)存決策支持系統(tǒng)(DesignSupportSystem)所需的資料，供決策支持或資料分析使用。從信息技術(shù)的角度來看，資料倉(cāng)儲(chǔ)的目標(biāo)是在組織中，在正確的時(shí)間，將正確的資料交給正確的人。許多人對(duì)于DataWarehousing和DataMining時(shí)?；煜?，不知如何分辨。其實(shí)，資料倉(cāng)儲(chǔ)是數(shù)據(jù)庫(kù)技術(shù)的一個(gè)新主題，在資料科技日漸普及下，利用計(jì)算機(jī)系統(tǒng)幫助我們操作、計(jì)算和思考，讓作業(yè)方式改變，決策方式也跟著改變。資料倉(cāng)儲(chǔ)本身是一個(gè)非常大的數(shù)據(jù)庫(kù)，它儲(chǔ)存著由組織作業(yè)數(shù)據(jù)庫(kù)中整合而來的資料，特別是指從線上交易系統(tǒng)OLTP(On-LineTransactionalProcessing)所得來的資料。將這些整合過的資料置放于資料倉(cāng)儲(chǔ)中，而公司的決策者則利用這些資料作決策；但是，這個(gè)轉(zhuǎn)換及整合資料的過程，是建立一個(gè)資料倉(cāng)儲(chǔ)最大的挑戰(zhàn)。因?yàn)閷⒆鳂I(yè)中的資料轉(zhuǎn)換成有用的的策略性信息是整個(gè)資料倉(cāng)儲(chǔ)的重點(diǎn)。綜上所述，資料倉(cāng)儲(chǔ)應(yīng)該具有這些資料：整合性資料(integrateddata)、詳細(xì)和匯總性的資料(detailedandsummarizeddata)、歷史資料、解釋資料的資料。從資料倉(cāng)儲(chǔ)挖掘出對(duì)決策有用的信息與知識(shí)，是建立資料倉(cāng)儲(chǔ)與使用DataMining的最大目的，兩者的本質(zhì)與過程是兩碼子事。換句話說，資料倉(cāng)儲(chǔ)應(yīng)先行建立完成，Datamining才能有效率的進(jìn)行，因?yàn)橘Y料倉(cāng)儲(chǔ)本身所含資料是干凈(不會(huì)有錯(cuò)誤的資料參雜其中)、完備，且經(jīng)過整合的。因此兩者關(guān)系或許可解讀為「DataMining是從巨大資料倉(cāng)儲(chǔ)中找出有用信息的一種過程與技術(shù)」。Q3.OLAP能不能代替DataMining？所謂OLAP(OnlineAnalyticalProcess)意指由數(shù)據(jù)庫(kù)所連結(jié)出來的線上查詢分析程序。有些人會(huì)說：「我已經(jīng)有OLAP的工具了，所以我不需要DataMining?！故聦?shí)上兩者間是截然不同的，主要差異在于DataMining用在產(chǎn)生假設(shè)，OLAP則用于查證假設(shè)。簡(jiǎn)單來說，OLAP是由使用者所主導(dǎo)，使用者先有一些假設(shè)，然后利用OLAP來查證假設(shè)是否成立；而DataMining則是用來幫助使用者產(chǎn)生假設(shè)。所以在使用OLAP或其它Query的工具時(shí)，使用者是自己在做探索(Exploration)但DataMining是用工具在幫助做探索。舉個(gè)例子來看，一市場(chǎng)分析師在為超市規(guī)劃貨品架柜擺設(shè)時(shí)，可能會(huì)先假設(shè)嬰兒尿布和嬰兒奶粉會(huì)是常被一起購(gòu)買的產(chǎn)品，接著便可利用OLAP的工具去驗(yàn)證此假設(shè)是否為真，又成立的證據(jù)有多明顯；但DataMining則不然，執(zhí)彳亍DataMining的人將龐大的結(jié)帳資料整理后，并不需要假設(shè)或期待可能的結(jié)果，透過Mining技術(shù)可找出存在于資料中的潛在規(guī)則，于是我們可能得到例如尿布和啤酒常被同時(shí)購(gòu)買的意料外之發(fā)現(xiàn)，這是OLAP所做不到的。DataMining常能挖掘出超越歸納范圍的關(guān)系，但OLAP僅能利用人工查詢及可視化的報(bào)表來確認(rèn)某些關(guān)系，是以DataMining此種自動(dòng)找出甚或不會(huì)被懷疑過的資料型樣與關(guān)系的特性，事實(shí)上已超越了我們經(jīng)驗(yàn)、教育、想象力的限制，OLAP可以和DataMining互補(bǔ)，但這項(xiàng)特性是DataMining無法被OLAF取代的。Q4.完整的DataMining包含哪些步驟?以下提供一個(gè)DataMining的進(jìn)行步驟以為參考:明確目標(biāo)與理解資料；獲取相關(guān)技術(shù)與知識(shí)；整合與查核資料；去除錯(cuò)誤或不一致及不完整的資料;由數(shù)據(jù)選取樣本先行試驗(yàn)；6.研發(fā)模式(model)與型樣(pattern)；7.實(shí)際DataMining的分析工作；測(cè)試與檢核；找出假設(shè)并提出解釋；持續(xù)應(yīng)用于企業(yè)流程中。由上述步驟可看出，DataMining牽涉了大量的準(zhǔn)備工作與規(guī)劃過程，事實(shí)上許多專家皆認(rèn)為整套DataMining的進(jìn)行有80%的時(shí)間精力是花費(fèi)在資料前置作業(yè)階段，其中包含資料的凈化與格式轉(zhuǎn)換甚或表格的連結(jié)。由此可知DataMining只是信息挖掘過程中的一個(gè)步驟而已，在進(jìn)行此步驟前還有許多的工作要先完成。Q5.DataMining運(yùn)用了哪些理論與技術(shù)？DataMining是近年來數(shù)據(jù)庫(kù)應(yīng)用技術(shù)中相當(dāng)熱門的議題，看似神奇、聽來時(shí)髦，實(shí)際上卻也不是什么新東西，因其所用之諸如預(yù)測(cè)模式、資料分割，連結(jié)分析(LinkAnalysis)、偏差偵測(cè)(DeviationDetection)等，美國(guó)早在二次世界大戰(zhàn)前就已應(yīng)用運(yùn)用在人口普查及軍事等方面。隨著信息科技超乎想象的進(jìn)展，許多新的計(jì)算機(jī)分析工具問世，例如關(guān)系型數(shù)據(jù)庫(kù)、模糊計(jì)算理論、基因算法則以及類神經(jīng)網(wǎng)絡(luò)等，使得從資料中發(fā)掘?qū)毑爻蔀橐环N系統(tǒng)性且可實(shí)行的程序。一般而言，DataMining的理論技術(shù)可分為傳統(tǒng)技術(shù)與改良技術(shù)兩支。傳統(tǒng)技術(shù)以統(tǒng)計(jì)分析為代表，舉凡統(tǒng)計(jì)學(xué)內(nèi)所含之?dāng)⑹鼋y(tǒng)計(jì)、機(jī)率論、回歸分析、類別資料分析等皆屬之，尤其DataMining對(duì)象多為變量繁多且筆數(shù)龐大的數(shù)據(jù)，是以高等統(tǒng)計(jì)學(xué)里所含括之多變量分析中用來精簡(jiǎn)變量的因素分析(FactorAnalysis)、用來分類的判別分析(DiscriminantAnalysis)，以及用來區(qū)隔群體的分群分析(ClusterAnalysis)等，在DataMining過程中特別常用。在改良技術(shù)方面，應(yīng)用較普遍的有決策樹理論(DecisionTrees)、類神經(jīng)網(wǎng)絡(luò)(NeuralNetwork)以及規(guī)則歸納法(RulesInduction)等。決策樹是一種用樹枝狀展現(xiàn)資料受各變量的影響情形之預(yù)測(cè)模型，根據(jù)對(duì)目標(biāo)變量產(chǎn)生之效應(yīng)的不同而建構(gòu)分類的規(guī)則，一般多運(yùn)用在對(duì)顧客資料的區(qū)隔分析上，例如針對(duì)有回函與未回含的郵寄對(duì)象找出影響其分類結(jié)果的變量組合，常用分類方法為CART(ClassificationandRegressionTrees)及CHAID(Chi-SquareAutomaticInteractionDetector)兩種。類神經(jīng)網(wǎng)絡(luò)是一種仿真人腦思考結(jié)構(gòu)的資料分析模式，由輸入之變量與數(shù)值中自我學(xué)習(xí)并根據(jù)學(xué)習(xí)經(jīng)驗(yàn)所得之知識(shí)不斷調(diào)整參數(shù)以期建構(gòu)資料的型樣(patterns)o類神經(jīng)網(wǎng)絡(luò)為非線性的設(shè)計(jì)，與傳統(tǒng)回歸分析相比，好處是在進(jìn)行分析時(shí)無須限定模式，特別當(dāng)資料變量間存有交互效應(yīng)時(shí)可自動(dòng)偵測(cè)出；缺點(diǎn)則在于其分析過程為一黑盒子，故常無法以可讀之模型格式展現(xiàn)，每階段的加權(quán)與轉(zhuǎn)換亦不明確，是故類神經(jīng)網(wǎng)絡(luò)多利用于資料屬于高度非線性且?guī)в邢喈?dāng)程度的變量交感效應(yīng)時(shí)。規(guī)則歸納法是知識(shí)發(fā)掘的領(lǐng)域中最常用的格式，這是一種由一連串的「如果…/則???(If/Then)」之邏輯規(guī)則對(duì)資料進(jìn)行細(xì)分的技術(shù)，在實(shí)際運(yùn)用時(shí)如何界定規(guī)則為有效是最大的問題，通常需先將資料中發(fā)生數(shù)太少的項(xiàng)目先剔除，以避免產(chǎn)生無意義的邏輯規(guī)則。Q6.DataMining包含哪些主要功能？DataMining實(shí)際應(yīng)用功能可分為三大類六分項(xiàng)來說明：Classification和Clustering屬于分類區(qū)隔類；Regression和Time-series屬于推算預(yù)測(cè)類；Association和Sequenee則屬于序列規(guī)則類。Classification是根據(jù)一些變量的數(shù)值做計(jì)算，再依照結(jié)果作分類。(計(jì)算的結(jié)果最后會(huì)被分類為幾個(gè)少數(shù)的離散數(shù)值，例如將一組資料分為”可能會(huì)響應(yīng)”或是”可能不會(huì)響應(yīng)"兩類)。Classification常被用來處理如前所述之郵寄對(duì)象篩選的問題。我們會(huì)用一些根據(jù)歷史經(jīng)驗(yàn)已經(jīng)分類好的資料來研究它們的特征，然后再根據(jù)這些特征對(duì)其他未經(jīng)分類或是新的數(shù)據(jù)做預(yù)測(cè)。這些我們用來尋找特征的已分類資料可能是來自我們的現(xiàn)有的客戶資料，或是將一個(gè)完整數(shù)據(jù)庫(kù)做部份取樣，再經(jīng)由實(shí)際的運(yùn)作來測(cè)試；譬如利用一個(gè)大型郵寄對(duì)象數(shù)據(jù)庫(kù)的部份取樣來建立一個(gè)ClassificationModel，再利用這個(gè)Model來對(duì)數(shù)據(jù)庫(kù)的其它資料或是新的資料作分類預(yù)測(cè)。Clustering用在將資料分群，其目的在于將群間的差異找出來，同時(shí)也將群內(nèi)成員的相似性找出來。Clustering與Classification不同的是，在分析前并不知道會(huì)以何種方式或根據(jù)來分類。所以必須要配合專業(yè)領(lǐng)域知識(shí)來解讀這些分群的意義。Regression是使用一系列的現(xiàn)有數(shù)值來預(yù)測(cè)一個(gè)連續(xù)數(shù)值的可能值。若將范圍擴(kuò)大亦可利用LogisticRegression來預(yù)測(cè)類別變量，特別在廣泛運(yùn)用現(xiàn)代分析技術(shù)如類神經(jīng)網(wǎng)絡(luò)或決策樹理論等分析工具，推估預(yù)測(cè)的模式已不在止于傳統(tǒng)線性的局限，在預(yù)測(cè)的功能上大大增加了選擇工具的彈性與應(yīng)用范圍的廣度。Time-SeriesForecasting與Regression功能類似，只是它是用現(xiàn)有的數(shù)值來預(yù)測(cè)未來的數(shù)值。兩者最大差異在于Time-Series所分析的數(shù)值都與時(shí)間有關(guān)。Time-SeriesForecasting的工具可以處理有關(guān)時(shí)間的一些特性，譬如時(shí)間的周期性、階層性、季節(jié)性以及其它的一些特別因素(如過去與未來的關(guān)連性)。Association是要找出在某一事件或是資料中會(huì)同時(shí)出現(xiàn)的東西。舉例而言，如果A是某一事件的一種選擇，則B也出現(xiàn)在該事件中的機(jī)率有多少。(例如：如果顧客買了火腿和柳橙汁，那么這個(gè)顧客同時(shí)也會(huì)買牛奶的機(jī)率是85%)SequeneeDiscovery與Association關(guān)系很密切，所不同的是SequeneeDiscovery中事件的相關(guān)是以時(shí)間因素來作區(qū)隔(例如：如果A股票在某一天上漲12%而且當(dāng)天股市加權(quán)指數(shù)下降，則B股票在兩天之內(nèi)上漲的機(jī)率是68%)。Q7.DataMining在各領(lǐng)域的應(yīng)用情形為何？DataMining在各領(lǐng)域的應(yīng)用非常廣泛，只要該產(chǎn)業(yè)擁有具分析價(jià)值與需求的資料倉(cāng)儲(chǔ)或數(shù)據(jù)庫(kù)，皆可利用Mining工具進(jìn)行有目的的挖掘分析。一般較常見的應(yīng)用案例多發(fā)生在零售業(yè)、直效行銷界、制造業(yè)、財(cái)務(wù)金融保險(xiǎn)、通訊業(yè)以及醫(yī)療服務(wù)等。于銷售資料中發(fā)掘顧客的消費(fèi)習(xí)性，并可藉由交易紀(jì)錄找出顧客偏好的產(chǎn)品組合，其它包括找出流失顧客的特征與推出新產(chǎn)品的時(shí)機(jī)點(diǎn)等等都是零售業(yè)常見的實(shí)例；直效行銷強(qiáng)調(diào)的分眾概念與數(shù)據(jù)庫(kù)行銷方式在導(dǎo)入DataMining的技術(shù)后，使直效行銷的發(fā)展性更為強(qiáng)大，例如利用DataMining分析顧客群之消費(fèi)行為與交易紀(jì)錄，結(jié)合基本資料，并依其對(duì)品牌價(jià)值等級(jí)的高低來區(qū)隔顧客，進(jìn)而達(dá)到差異化行銷的目的；制造業(yè)對(duì)DataMining的需求多運(yùn)用在品質(zhì)控管方面，由制造過程中找出影響產(chǎn)品品質(zhì)最重要的因素，以期提高作業(yè)流程的效率。近來電話公司、信用卡公司、保險(xiǎn)公司以及股票交易商對(duì)于詐欺行為的偵測(cè)(FraudDetection)都很有興趣，這些行業(yè)每年因?yàn)樵p欺行為而造成的損失都非?？捎^，DataMining可以從一些信用不良的客戶資料中找出相似特征并預(yù)測(cè)可能的詐欺交易，達(dá)到減少損失的目的。財(cái)務(wù)金融業(yè)可以利用DataMining來分析市場(chǎng)動(dòng)向，并預(yù)測(cè)個(gè)別公司的營(yíng)運(yùn)以及股價(jià)走向。DataMining的另一個(gè)獨(dú)特的用法是在醫(yī)療業(yè)，用來預(yù)測(cè)手術(shù)、用藥、診斷、或是流程控制的效率。Q8.WebMining和DataMining有什么不同？如果將Web視為CRM勺一個(gè)新的Channel,貝UWebMining便可單純看做DataMining應(yīng)用在網(wǎng)絡(luò)資料的泛稱。該如何測(cè)量一個(gè)網(wǎng)站是否成功？哪些內(nèi)容、優(yōu)惠、廣告是人氣最旺的？主要訪客是哪些人？什么原因吸引他們前來？如何從堆積如山之大量由網(wǎng)絡(luò)所得資料中找出讓網(wǎng)站運(yùn)作更有效率的操作因素？以上種種皆屬WebMining分析之范疇。WebMining不僅只限于一般較為人所知的logfile分析，除了計(jì)算網(wǎng)頁(yè)瀏覽率以及訪客人次外，舉凡網(wǎng)絡(luò)上的零售、財(cái)務(wù)服務(wù)、通訊服務(wù)、政府機(jī)關(guān)、醫(yī)療咨詢、遠(yuǎn)距教學(xué)等等，只要由網(wǎng)絡(luò)連結(jié)出的數(shù)據(jù)庫(kù)夠大夠完整，所有Off-Line可進(jìn)行的分析，WebMining都可以做，甚或更可整合Off-Line及On-Line的數(shù)據(jù)庫(kù)，實(shí)施更大規(guī)模的模型預(yù)測(cè)與推估，畢竟憑借網(wǎng)際網(wǎng)絡(luò)的便利性與滲透力再配合網(wǎng)絡(luò)行為的可追蹤性與高互動(dòng)特質(zhì)，一對(duì)一行銷的理念是最有機(jī)會(huì)在網(wǎng)絡(luò)世界里完全落實(shí)的。整體而言，WebMining具有以下特性：1.資料收集容易且不引人注意，所謂凡走過必留下痕跡，當(dāng)訪客進(jìn)入網(wǎng)站后的一切瀏覽行為與歷程都是可以立即被紀(jì)錄的；2.以交互式個(gè)人化服務(wù)為終極目標(biāo)，除了因應(yīng)不同訪客呈現(xiàn)專屬設(shè)計(jì)的網(wǎng)頁(yè)之外，不同的訪客也會(huì)有不同的服務(wù)；3.可整合外部來源資料讓分析功能發(fā)揮地更深更廣，除了logfile、cookies、會(huì)員填表資料、線上調(diào)查資料、線上交易資料等由網(wǎng)絡(luò)直接取得的資源外，結(jié)合實(shí)體世界累積時(shí)間更久、范圍更廣的資源，將使分析的結(jié)果更準(zhǔn)確也更深入。利用DataMining技術(shù)建立更深入的訪客資料剖析，并賴以架構(gòu)精準(zhǔn)的預(yù)測(cè)模式，以期呈現(xiàn)真正智能型個(gè)人化的網(wǎng)絡(luò)服務(wù)，是WebMining努力的方向。Q9.DataMining在CRM中扮演的角色為何？CRM(CustomerRelationshipManagement)是近來引起熱烈討論與高度關(guān)切的議題，尤其在直效行銷的崛起與網(wǎng)絡(luò)的快速發(fā)展帶動(dòng)下，跟不上CRM的腳步如同跟不上時(shí)代。事實(shí)上CRM并不算新發(fā)明，奧美直效行銷推動(dòng)十?dāng)?shù)年的C0(CustomerOwnership)就是現(xiàn)在大家談的CRM—客戶關(guān)系管理。DataMining應(yīng)用在CRM的主要方式可對(duì)應(yīng)在GapAnalysis之三個(gè)部分：針對(duì)AcquisitionGap，可利用CustomerProfiling找出客戶的一些共同的特征，希望能藉此深入了解客戶，藉由ClusterAnalysis對(duì)客戶進(jìn)行分群后再透過PatternAnalysis預(yù)測(cè)哪些人可能成為我們的客戶，以幫助行銷人員找到正確的行銷對(duì)象，進(jìn)而降低成本，也提高行銷的成功率。針對(duì)SalesGap，可利用BasketAnalysis幫助了解客戶的產(chǎn)品消費(fèi)模式，找出哪些產(chǎn)品客戶最容易一起購(gòu)買，或是利用SequeneeDiscovery預(yù)測(cè)客戶在買了某一樣產(chǎn)品之后，在多久之內(nèi)會(huì)買另一樣產(chǎn)品等等。利用DataMining可以更有效的決定產(chǎn)品組合、產(chǎn)品推薦、進(jìn)貨量或庫(kù)存量，甚或是在店