信息化 BI 資料倉儲與資料采礦

第24章

資料倉儲與資料採礦1第一節(jié)資料庫與資料庫管理系統(tǒng)運用資料庫管理系統(tǒng)的網(wǎng)站在一些出版社的網(wǎng)站，只要輸入書名、作者或某些關(guān)鍵字，就可以查到這本書的資訊，這就用到了資料庫的功能系統(tǒng)會去這個網(wǎng)站所連線到的資料庫傳回給你所需之資料，也是運用資料庫管理系統(tǒng)的網(wǎng)站一個好的資料庫管理系統(tǒng)不僅能提供使用者不同的觀點，十分簡易的方式存取資料，並能維護資料的完整性、安全性2資料庫管理系統(tǒng)3資料庫管理系統(tǒng)要件能有效率的提供企業(yè)所需的各項功能將資料重覆情形減至最低的程度提供完整一致的資料維護資料的安全性儲存的資料實體容易重新組織集中管理資料庫內(nèi)之資料經(jīng)由系統(tǒng)控制能容易將資料建立4第二節(jié)資料倉儲資料倉儲是特大型資料庫，將來自不同作業(yè)系統(tǒng)中之資料，在分析關(guān)聯(lián)性後，以具結(jié)構(gòu)性之方式集中存放，作為應(yīng)用程式與決策者分析的來源與依據(jù)從技術(shù)面與應(yīng)用面來看資料倉儲所扮演的角色，一個是集中儲存電子資訊所在，一個是現(xiàn)代企業(yè)系統(tǒng)架構(gòu)的核心前者是不同來源、不同型態(tài)的資料經(jīng)過清理轉(zhuǎn)換後，以同一型態(tài)、組織排列，儲存於倉儲內(nèi)，以供分析後者則是用以提供企業(yè)快速的、整合的、具分析性的資訊服務(wù)與決策能量5資料倉儲的特性主題導(dǎo)向(Subject-Oriented)資料倉儲會自動地將資料以相同的種類或主題分類在一起因此它的主要處理對象是屬於較高層次的且不重複的主題有別於交易處理業(yè)系統(tǒng)的流程導(dǎo)向資料倉儲是在解決決策分析的問題，而非交易導(dǎo)向的問題6資料倉儲的特性(續(xù))整合性（Integration）資料倉儲的資料須有相當?shù)恼闲栽谝粋€企業(yè)中，同時擁有多個資料庫或不同系統(tǒng)平臺是普遍的事資料倉儲便是整合企業(yè)多個資料庫透過跨越不同的平臺，在資料轉(zhuǎn)換過程中，讓欄位名稱、測量變數(shù)、編碼方式、日期時間等主題的屬性，變成具有一致的格式7資料倉儲的特性(續(xù))時間變化性（TimeVariation）只要作業(yè)系統(tǒng)在運作，隨時就會有新資料增加必須在某些特定的時間點到作業(yè)系統(tǒng)中擷取資料，以確保資料倉儲的可用性與時效性非揮發(fā)性（NonVolatilization）當資料被新增到資料倉儲中後，相對難以更動、修正或更新有偏向累積性和唯讀的性質(zhì)8資料倉儲之效益由於資料透過整合，因此決策者不必透過資訊人員就可取得所須的決策報表，公司整體決策時效性可進一步提昇資料倉儲整合並集中企業(yè)內(nèi)部及外部資訊，可提供企業(yè)制定有效決策、執(zhí)行精密行銷攻勢9資料倉儲之效益(續(xù))資料倉儲擁有充足的歷史資訊，可供企業(yè)從過去事件中找出特定行為模式與分析發(fā)展趨勢，進一步預(yù)測未來資料倉儲可支援資料採礦、連線分析(On-LineAnalyticalProcessing,OLAP)等分析工具，亦可幫助企業(yè)以新的視角與方式，進行資料分析與問題發(fā)掘企業(yè)決策者可直接獲取分析資料，不用透過資訊部門，不但可減輕資訊部門的工作負擔，還可以提升使用者的應(yīng)用能力以及資料分析的效率10資料料倉倉儲儲與與傳傳統(tǒng)統(tǒng)資資料料庫庫的的差差異異傳統(tǒng)統(tǒng)資資料料庫庫主主要要是是處處理理交交易易導(dǎo)導(dǎo)向向的的問問題題，，也也就就是是處處理理各各項項業(yè)業(yè)務(wù)務(wù)，，只只是是單單純純的的完完成成一一個個指指令令的的動動作作，，處處理理一一個個作作業(yè)業(yè)流流程程的的交交易易系系統(tǒng)統(tǒng)，，強強調(diào)調(diào)的的是是交交易易資資料料新新增增、、刪刪除除、、修修改改的的快快速速、、穩(wěn)穩(wěn)定定及及精精確確，，提提供供詳詳細細資資料料的的查查詢詢資料料倉倉儲儲則則是是以以交交易易主主體體為為導(dǎo)導(dǎo)向向，，以以資資訊訊分分析析為為核核心心，，將將資資料料收收集集整整合合以以提提供供企企業(yè)業(yè)決決策策制制定定，，其其目目的的是是在在最最短短的的時時間間、、最最有有彈彈性性的的方方式式下下，，提提供供綜綜合合資資料料查查詢詢，，滿滿足足決決策策者者分分析析的的需需求求11資料料倉倉儲儲的的結(jié)結(jié)構(gòu)構(gòu)早期期的的資資料料倉倉儲儲是是從從建建構(gòu)構(gòu)單單一一的的資資料料庫庫，，提提供供使使用用者者查查詢詢之之用用後來來發(fā)發(fā)展展到到企企業(yè)業(yè)資資訊訊工工廠廠(CorporateInformationFactory,CIF)企業(yè)業(yè)資資訊訊工工廠廠是是資資料料庫庫企業(yè)業(yè)資資料料倉倉儲儲(EnterpriseDataWarehouse,EDW)作業(yè)業(yè)資資料料儲儲存存(OperationalDataStore,ODS)資料料超超市市(DataMart,DM)EDW是根根據(jù)據(jù)企企業(yè)業(yè)的的目目標標或或主主題題所所組組成成，，與與DM有較較相相同同的的特特性性企業(yè)業(yè)的的DM是根根據(jù)據(jù)查查詢詢的的目目的的不不同同，，可可能能有有很很多多個個EDW卻只只有有是是企企業(yè)業(yè)的的一一個個資資料料倉倉儲儲資資料料庫庫ODS則是是儲儲存存即即時時性性的的作作業(yè)業(yè)資資料料，，允允許許資資料料的的更更新新與與變變動動12資料料倉倉儲儲成成功功關(guān)關(guān)鍵鍵提供供分分析析資資料料以以適適切切的的解解決決問問題題或或避避免免意意外外具適適當當訓(xùn)訓(xùn)練練的的使使用用者者與與專專業(yè)業(yè)的的專專案案經(jīng)經(jīng)理理資料料管管理理者者有有能能力力進進行行跨跨組組織織的的整整合合活活動動使用用的的技技術(shù)術(shù)具具周周延延性性，，延延展展性性及及可可靠靠性性13資料料倉倉儲儲建建置置步步驟驟及及建建置置要要素素範圍圍界界定定：：界定定倉倉儲儲的的目目標標與與範範圍圍需求求分分析析：：擬定定預(yù)預(yù)算算與與專專案案計計畫畫，，成成立立專專案案團團隊隊現(xiàn)況況了了解解及及細細部部需需求求分分析析：：完成成倉倉儲儲之之細細部部功功能能規(guī)規(guī)格格，，以以雛雛型型開開發(fā)發(fā)方方式式輔輔助助使使用用單單位位對對需需求求的的了了解解系統(tǒng)統(tǒng)設(shè)設(shè)計計與與建建置置：：建置置倉倉儲儲系系統(tǒng)統(tǒng)並並執(zhí)執(zhí)行行系系統(tǒng)統(tǒng)的的調(diào)調(diào)整整與與測測試試資料料轉(zhuǎn)轉(zhuǎn)換換：：系統(tǒng)統(tǒng)上上線線前前資資料料的的轉(zhuǎn)轉(zhuǎn)換換系統(tǒng)統(tǒng)上上線線：：倉儲儲系系統(tǒng)統(tǒng)的的正正式式啟啟用用系統(tǒng)統(tǒng)維維護護：：操作作與與維維護護，，包包含含定定期期資資料料更更新新14建置資資料倉倉儲專專案關(guān)關(guān)鍵成成功要要素必須要要有明明確的的目標標和需需求範範圍企業(yè)對對資料料倉儲儲有正正確的的認知知內(nèi)部高高層的的支持持部門間間需要要有良良好的的溝通通管道道專案支支援部部門的的設(shè)置置開放性性的資資料倉倉儲平平臺具延展展性及及擴充充性的的倉儲儲架構(gòu)構(gòu)須有完完整且且豐富富的資資料前端交交易系系統(tǒng)資資料品品質(zhì)及及穩(wěn)定定性15第三節(jié)節(jié)資資料倉倉儲與與資料料採礦礦資料採採礦可可使得得分析析人士士有能能力得得以對對於原原始資資料加加以剖剖析，，以瞭瞭解資資料所所呈現(xiàn)現(xiàn)出之之不同同面向向，或或是瞭瞭解不不同構(gòu)構(gòu)面間間之相相關(guān)性性資料採採礦和和各項項分析析工具具主要要之區(qū)區(qū)分，，在於於資料料採礦礦更可可以針針對相相當大大量之之資料料加以以分析析，找找出資資料中中的隱隱性模模式(HiddenPatterns)也就是是顧客客之購購買行行為模模式例如顧顧客在在購買買啤酒酒後會會購買買尿布布等產(chǎn)產(chǎn)品之之間的的關(guān)連連性16進行資資料採採礦前前，須須先行行建置置資料料倉儲儲資料倉倉儲就就是儲儲存大大量資資料的的資料料庫，，不同同之處處在於於資料料庫中中儲存存之資資料通通常是是與營營運較較相關(guān)關(guān)之資資料這些資資料在在累積積一段段時間間後，，除儲儲存?zhèn)鋫浞萃馔?，亦亦可加加以整整理後後移轉(zhuǎn)轉(zhuǎn)至另另一資資料系系統(tǒng)供供作資資料分分析之之用，，就是是資料料倉儲儲要將資資料庫庫中之之資料料經(jīng)過過萃取取及重重新整整理才才能移移轉(zhuǎn)至至資料料倉儲儲因此資資料分分析師師可藉藉由相相關(guān)分分析工工具如如線上上分析析處理理工具具、統(tǒng)統(tǒng)計分分析，，以及及其他他如資資料採採礦之之分析析工具具以進進行資資料分分析資料倉倉儲與與資料料採礦礦17第四節(jié)節(jié)資資料採採礦資料採採礦（（DataMining），是是將消消費者者的消消費行行為化化為具具體的的數(shù)據(jù)據(jù)，之之後在在大量量的資資料庫庫中，，建立立消費費者相相關(guān)模模式利用人人工智智慧、、統(tǒng)計計科學(xué)學(xué)的方方法，，自動動萃取取出可可提供供預(yù)測測的資資訊資料採採礦所所以會會被稱稱為採採礦是是因為為要從從如山山一般般的龐龐大資資料中中，找找出可可用的的資料料，就就如同同挖寶寶一樣樣也被稱稱為資資料挖挖礦、、資料料挖掘掘或資資料探探勘。。資料庫庫管理理系統(tǒng)統(tǒng)和統(tǒng)統(tǒng)計學(xué)學(xué)的迴迴歸分分析雖雖是資資料採採礦的的概念念，但但因其其缺少少提供供資料料更進進一步步的分分析，，所以以對企企業(yè)來來說，，可以以發(fā)展展出商商業(yè)用用途的的資料料採礦礦較有有價值值18運用資資料採採礦最成功功的資資料採採礦方方法能能創(chuàng)意意地使使用資資料，，和重重覆使使用性性、小小量資資料、、經(jīng)常常更新新的關(guān)關(guān)連式式資料料庫以以及線線上交交易處處理(On-LineTransactionProcessing,OLTP)系統(tǒng)統(tǒng)正好好成為為強烈烈的對對比在實務(wù)務(wù)上資資料礦礦採的的意思思是說說，資資料倉倉儲所所具有有的特特性，，可以以很清清楚的的區(qū)別別出來來首先資資料採採礦的的資料料是主主觀導(dǎo)導(dǎo)向，，它們們是組組織根根據(jù)經(jīng)經(jīng)理人人對資資料不不同的的看法法，而而不是是根據(jù)據(jù)特定定的功功能過過程或或應(yīng)用用倉儲時時須以以一致致的命命名原原則整整合資資料其次這這些資資料必必須不不同時時間、、不停停的被被蒐集集和組組織，，以用用為比比較、、辨識識趨勢勢和預(yù)預(yù)測之之用資料是是非變變化性性的，，一旦旦資料料進入入資料料倉儲儲之後後，這這些資資料不不再被被更新新或改改變，，它們們只是是被重重新載載入和和擷取取以為為分析析之用用商業(yè)用用途的的資料料視覺覺呈現(xiàn)現(xiàn)是資資料採採礦主主要部部份19資料採採礦五五大模模型分類(Classification)根據(jù)不不同團團體的的屬性性變數(shù)數(shù)，當當新資資料進進來時時加以以判定定並分分類預(yù)測(Predictive)利用多多個變變數(shù)來來找出出一個個應(yīng)變變數(shù)或或以歷歷史資資料來來決定定未來來可能能發(fā)生生的情情形群聚與與分群群(Clustering/Segmentation)以特定定變數(shù)數(shù)將團團體分分群組組的過過程，，目的的在找找出群群體間間的不不同或或群體體間的的相似似點關(guān)聯(lián)性性分析析(AssociationAnalysis)研究在在同一一筆交交易中中，兩兩種產(chǎn)產(chǎn)品同同時被被購買買的可可能性性有多多高，，購物物籃分分析就就是典典型的的關(guān)聯(lián)聯(lián)性分分析的的應(yīng)用用順序(SequentialModeling)分析購購買行行為的的順序序而言言，購購買一一項產(chǎn)產(chǎn)品後後，引引導(dǎo)購購買另另一樣樣產(chǎn)品品的順順序或或間隔隔20資料採採礦於於網(wǎng)路路上的的應(yīng)用用目前的的應(yīng)用用程式式大多多利用用網(wǎng)路路增加加企業(yè)業(yè)與顧顧客間間之互互動資料採採礦在在網(wǎng)路路上的的應(yīng)用用，與與一般般利用用資料料庫中中客戶戶資料料所作作的分分析有有所不不同當顧客客或潛潛在客客戶到到訪企企業(yè)網(wǎng)網(wǎng)站，，往往往能藉藉由顧顧客關(guān)關(guān)係管管理之之資訊訊軟體體進行行資料料蒐集集如顧客客所提提供的的個人人資料料、顧顧客點點選的的網(wǎng)頁頁內(nèi)容容、於於不同同網(wǎng)頁頁所停停留的的時間間長短短、利利用搜搜尋引引擎時時所經(jīng)經(jīng)常使使用的的關(guān)鍵鍵字，，及顧顧客到到訪網(wǎng)網(wǎng)站的的時間間點等等企業(yè)可可藉由由這些些資訊訊分析析瞭解解顧客客行為為模式式，再再利用用資料料採礦礦之分分析工工具來來進行行資料料分析析，以以瞭解解顧客客對公公司所所提供供之產(chǎn)產(chǎn)品與與服務(wù)務(wù)的滿滿意度度21大部份份的網(wǎng)網(wǎng)站或或相關(guān)關(guān)軟體體均有有上述述的功功能，，但企企業(yè)本本身缺缺乏對對資料料進行行分析析之意意願，，以及及缺乏乏資料料分析析解讀讀的人人才，，才是是資料料採礦礦實務(wù)務(wù)上真真正的的困難難之處處要利用用資料料採礦礦的技技術(shù)分分析顧顧客於於網(wǎng)站站上之之行為為模式式的企企業(yè)，，首先先必須須建構(gòu)構(gòu)一套套機制制，用用以記記錄顧顧客對對於網(wǎng)網(wǎng)站產(chǎn)產(chǎn)品及及服務(wù)務(wù)的滿滿意度度並確認認進行行網(wǎng)路路資料料採礦礦之目目標，，再配配合整整體營營運策策略來來蒐集集完整整的顧顧客資資料資料採採礦實實務(wù)困困難22當訪客客與網(wǎng)網(wǎng)站產(chǎn)產(chǎn)生互互動時時，即即有機機會產(chǎn)產(chǎn)生資資料，，通常?？梢砸岳糜玫乩砝韰^(qū)隔隔、人人格特特質(zhì)及及訪客客使用用之資資訊設(shè)設(shè)備等等方面面來區(qū)區(qū)分網(wǎng)網(wǎng)站訪訪客的的特質(zhì)質(zhì)訪客於於網(wǎng)頁頁中的的點選選順序序與落落點可可將顧顧客群群依照照產(chǎn)品品加以以分類類，以以分析析所提提供產(chǎn)產(chǎn)品與與服務(wù)務(wù)對顧顧客之之吸引引力這些均均可利利用不不同軟軟體與與網(wǎng)站站內(nèi)容容促使使訪客客提供供相關(guān)關(guān)資料料這些資資料的的累積積可促促成企企業(yè)對對銷售售及整整體策策略的的分析析與擬擬定資料採採礦於於整體體策略略的應(yīng)應(yīng)用23顧客愈愈有效效利用用網(wǎng)站站資源源，就就表示示企業(yè)業(yè)網(wǎng)站站的設(shè)設(shè)立有有助於於其行行銷策策略之之推展展因此在在規(guī)劃劃網(wǎng)路路資料料採礦礦整體體策略略前，，最好好能夠夠有一一個明明確的的目標標，以以作為為整體體策略略之準準則如：增增加顧顧客平平均瀏瀏覽次次數(shù)、、增加加顧客客於網(wǎng)網(wǎng)路購購買的的意願願等，，才能能提昇昇企業(yè)業(yè)營運運的效效率多數(shù)企企業(yè)採採取網(wǎng)網(wǎng)路資資料採採礦技技術(shù)，，單純純?yōu)橹ег菊w行行銷策策略，，但亦亦有部部份企企業(yè)僅僅將網(wǎng)網(wǎng)路視視為其其行銷銷管道道之一一，並並將其其與傳傳統(tǒng)行行銷管管道區(qū)區(qū)隔資料採採礦於於行銷銷的應(yīng)應(yīng)用24資料採採礦的的應(yīng)用用方向向開發(fā)新新顧客客根據(jù)顧顧客的的屬性性預(yù)測測其對對商品品或通通路設(shè)設(shè)計的的反應(yīng)應(yīng)，如如果預(yù)預(yù)測反反應(yīng)正正確，，則能能吸引引尚未未成為為顧客客但有有可能能對產(chǎn)產(chǎn)品感感興趣趣的人人維繫舊舊顧客客維繫既既有顧顧客對對企業(yè)業(yè)來說說相當當重要要，有有些企企業(yè)常常常因因為太太專注注於開開發(fā)新新顧客客，而而造成成流失失舊顧顧客這這對企企業(yè)的的獲利利會造造成很很大的的威脅脅篩選顧顧客有些顧顧客接接收企企業(yè)對對其服服務(wù)而而沒有有任何何回饋饋時，，應(yīng)考考慮停停止對對這些些客戶戶付出出努力力與成成本25資料採採礦的的應(yīng)用用方向向(續(xù)續(xù))購物籃籃分析析分析消消費者者購買買產(chǎn)品品的種種類及及數(shù)量量會為為公司司帶來來多少少經(jīng)濟濟效益益，或或稱為為關(guān)聯(lián)聯(lián)性分