chapter6電子數(shù)據(jù)交換

第六章統(tǒng)計(jì)類數(shù)據(jù)挖掘和知識類數(shù)據(jù)挖掘,6.1設(shè)計(jì)數(shù)據(jù)挖掘模型6.1.1數(shù)據(jù)挖掘方法論6.1.2構(gòu)造和使用數(shù)據(jù)挖掘模型6.2統(tǒng)計(jì)類數(shù)據(jù)挖掘6.2.1統(tǒng)計(jì)分析類數(shù)據(jù)挖掘技術(shù)6.2.2統(tǒng)計(jì)分析工具6.2.3統(tǒng)計(jì)分析工具應(yīng)用6.3知識類數(shù)據(jù)挖掘6.3.1知識發(fā)現(xiàn)系統(tǒng)的一般結(jié)構(gòu)6.3.2知識發(fā)現(xiàn)技術(shù)及其運(yùn)用6.3.3知識發(fā)現(xiàn)工具6.4MDX語言,6.1設(shè)計(jì)數(shù)據(jù)挖掘模型,數(shù)據(jù)挖掘的基本機(jī)制是數(shù)據(jù)挖掘模型，這是一個抽象的對象，該模型以一系列結(jié)構(gòu)行集存儲數(shù)據(jù)挖掘信息，并可使用各種工具輕松訪問數(shù)據(jù)。構(gòu)造和使用數(shù)據(jù)挖掘模型首先必必須創(chuàng)建數(shù)據(jù)挖掘模型，并可以使用數(shù)據(jù)挖掘模型測覽器以圖形格式顯示數(shù)據(jù)挖掘模型的內(nèi)容。,6.1.1數(shù)據(jù)挖掘方法論,1.數(shù)據(jù)取樣(Sample)2.數(shù)據(jù)特征探索、分析和預(yù)處理(Explore)3.問題明確化、數(shù)據(jù)調(diào)整和技術(shù)選擇(Modify)4模型的研發(fā)及知識的發(fā)現(xiàn)(Model)5模型和知識的綜合解釋和評價(Assess),6.1.2構(gòu)造和使用數(shù)據(jù)挖掘模型,1創(chuàng)建數(shù)據(jù)挖掘模型創(chuàng)建新的數(shù)據(jù)挖掘模型包括確定模型類型、構(gòu)建事例集將要使用的模型并選擇模型構(gòu)造新數(shù)據(jù)挖掘模型所用的數(shù)據(jù)挖掘技術(shù)。根據(jù)要處理的事例集數(shù)據(jù)的類型，可以使用兩種類型的數(shù)據(jù)挖掘模型：關(guān)系數(shù)據(jù)挖掘模型和OLAP數(shù)據(jù)模型。前者設(shè)計(jì)為處理傳統(tǒng)的關(guān)系數(shù)據(jù)庫表，而后者則設(shè)計(jì)為處理以多維數(shù)據(jù)集形式保存的OLAP數(shù)據(jù)。,2編輯數(shù)據(jù)挖掘模型,一般可以通過編輯器來編輯數(shù)據(jù)挖掘模型。數(shù)據(jù)挖掘模型的進(jìn)程取決于挖掘模型的類型。(1)通過編輯器編輯關(guān)系數(shù)據(jù)挖掘模型可以使用關(guān)系挖掘模型編輯器編輯關(guān)系數(shù)據(jù)挖掘模型的結(jié)構(gòu)，該編輯器也可用來處理數(shù)據(jù)挖掘模型和查看結(jié)果內(nèi)容，允許更改數(shù)據(jù)挖掘模型的基本屬性(如數(shù)據(jù)挖掘算法)，顯示數(shù)據(jù)挖掘模型列(包括鍵列、輸入列和可預(yù)測列)。,關(guān)系挖掘模型編輯器還可以顯示構(gòu)造事例集的表結(jié)構(gòu)，顯示事例和支持表。對于已培訓(xùn)的關(guān)系挖掘模型，可以使用數(shù)據(jù)挖掘模型瀏覽器，以圖形形式顯示數(shù)據(jù)挖掘模型的內(nèi)容。,(2)通過編輯器編輯OLAP數(shù)據(jù)挖掘模型可以使用OLAP挖掘模型編輯器編輯OLAP數(shù)據(jù)挖掘模型的結(jié)構(gòu)而且可處理數(shù)據(jù)挖掘模型并顯示結(jié)果內(nèi)容，更改數(shù)據(jù)挖掘模型的基本屬性(如數(shù)據(jù)挖掘算法)及組成數(shù)據(jù)挖掘模型事例集的維度、級別和度量值的屬性。如果OLAP數(shù)據(jù)挖掘模型已經(jīng)過培訓(xùn)，則該編輯器還可以使用數(shù)據(jù)挖掘模型瀏覽器以圖形形式顯示數(shù)據(jù)挖掘模型的內(nèi)容。,3培訓(xùn)數(shù)據(jù)挖掘模型,為提供預(yù)測性的結(jié)果，數(shù)據(jù)挖掘模型首先必須在稱為“培訓(xùn)”的進(jìn)程中采用已知數(shù)據(jù)。在該進(jìn)程中，數(shù)據(jù)被插入到未經(jīng)過培訓(xùn)的數(shù)據(jù)挖掘模型中。這個進(jìn)程并不將培訓(xùn)數(shù)據(jù)保存到數(shù)據(jù)挖掘模型中，而是通過數(shù)據(jù)挖掘模型分析培訓(xùn)數(shù)據(jù)，找出以后可使用的規(guī)則和模式，以確定預(yù)測列的圖值并將統(tǒng)計(jì)信息作為數(shù)據(jù)挖掘模型內(nèi)容保存。,4查看數(shù)據(jù)挖掘模型,查看已培訓(xùn)數(shù)據(jù)挖掘模型的最簡單方法是使用數(shù)據(jù)挖掘模型瀏覽器和相關(guān)性網(wǎng)絡(luò)瀏覽器，這些圖形化工具以易于理解的圖形界面顯示數(shù)據(jù)挖掘模型的復(fù)雜內(nèi)容（如決策樹)，并圖形化數(shù)據(jù)挖掘模型的內(nèi)容。,圖形化是指以易十理解的可視化格式顯示復(fù)雜數(shù)據(jù)的過程，但在數(shù)據(jù)挖掘中實(shí)現(xiàn)卻非常困難。數(shù)據(jù)挖掘模型瀏覽器可以簡化數(shù)據(jù)挖掘模型內(nèi)容的圖形化過程，而相關(guān)性網(wǎng)絡(luò)瀏覽器則可以使決策樹數(shù)據(jù)挖掘模型中復(fù)雜關(guān)系的圖形化變得易于理解。,5對數(shù)據(jù)挖掘模型的其他操作,也可以為數(shù)據(jù)挖掘模型分配安全角色，以將對該模型及其預(yù)測能力的訪問權(quán)限限制為特定用戶和組、當(dāng)數(shù)據(jù)挖掘模型鏈接到相應(yīng)的數(shù)據(jù)庫時，將使用數(shù)據(jù)庫角色決定是否允許訪問鏈接到數(shù)據(jù)庫中的數(shù)據(jù)挖掘模型，這與在多維數(shù)據(jù)集中使用數(shù)據(jù)庫角色類似。,6.2統(tǒng)計(jì)類數(shù)據(jù)挖掘,統(tǒng)計(jì)技術(shù)是一個有著百余年歷史，并有著廣泛應(yīng)用的技術(shù)。目前所使用的一些經(jīng)典數(shù)據(jù)挖掘技術(shù)(如CART和CHAID等)都來自統(tǒng)計(jì)技術(shù)。在數(shù)據(jù)挖掘中的概率、獨(dú)立性、偶然性和過適應(yīng)性等概念也都來源于統(tǒng)計(jì)技術(shù)。,6.2.1統(tǒng)計(jì)分析類數(shù)據(jù)挖掘技術(shù),統(tǒng)計(jì)類數(shù)據(jù)挖掘技術(shù)是數(shù)據(jù)挖掘技術(shù)中較為成熟的一種，主要包括數(shù)據(jù)的聚集與度量技術(shù)、各種回歸技術(shù)、聚類挖掘技術(shù)和最近鄰域挖掘技術(shù)等。1數(shù)據(jù)的聚集與度量2各種回歸技術(shù)回歸又包括線性回歸和非線性回歸。,3聚類挖掘技術(shù)(1)聚類分析原理(2)分層聚類(3)劃分聚類(4)密度聚類(5)網(wǎng)格聚類(6)模型聚類,4最近鄰域數(shù)據(jù)挖掘最近鄰域數(shù)據(jù)挖掘工具是數(shù)據(jù)挖掘技術(shù)中最容易理解的技術(shù)之一，因?yàn)樗门c人們思維方式相似的方法進(jìn)行分析檢測最接近的匹配樣本。用最近鄰域方法進(jìn)行預(yù)測的基本概念是相互之間“接近”的對象具有相似的預(yù)測值。如果知道其中一個對象的預(yù)測值后，可以預(yù)測其最近的鄰域?qū)ο蟆?6.2.2統(tǒng)計(jì)分析工具,數(shù)據(jù)挖掘中的統(tǒng)計(jì)分析上具是一種處于知識發(fā)現(xiàn)工具和信息處理工具之間的數(shù)據(jù)挖掘工具。,1統(tǒng)計(jì)類數(shù)據(jù)挖掘工具的功能,（1）可視化功能（2）探索功能（3）統(tǒng)計(jì)功能（4）數(shù)據(jù)管理功能（5）顯示功能（6）挖掘結(jié)果描述功能（7）開發(fā)工具（8）可接受的響應(yīng)時間,2統(tǒng)計(jì)分析類工具的用途,統(tǒng)計(jì)類數(shù)據(jù)挖掘工具可以在時序數(shù)據(jù)和序列數(shù)據(jù)的挖掘中發(fā)揮重要作用，主要是趨勢分析、相似性搜索、與時間有關(guān)數(shù)據(jù)的序列模式挖掘和周期性模式的挖掘。,6.2.3統(tǒng)計(jì)分析工具應(yīng)用,1統(tǒng)計(jì)分析類工具應(yīng)用中的問題(1)空缺值處理A.忽略元組B.人工填寫空缺值。C.使用一個全局變量填充空缺值。,(2)噪聲數(shù)據(jù)處理噪聲是一個測量變量中的隨機(jī)錯誤或偏差。給定一個數(shù)值屬性的噪聲，可以將其平滑掉或剔除掉噪聲。A.分箱B.聚類C.計(jì)算機(jī)和人工檢查結(jié)合D.回歸,(3)不一致數(shù)據(jù)處理對于有些事務(wù)，所記錄的數(shù)據(jù)可能存在不一致性。數(shù)據(jù)不一致可以使用其他材料人工加以更正，例如數(shù)據(jù)輸入時的錯誤可以便用紙上的記錄加以更正。,2統(tǒng)計(jì)分析遵循的基本原則,統(tǒng)計(jì)分析的科學(xué)依據(jù)在于事物發(fā)展的規(guī)律性。具體來說，應(yīng)該遵循以下3個基本原則。(1)與定性分析相結(jié)合原則(2)連貫和類推原則(3)統(tǒng)計(jì)資料的可靠性和分析公式的適應(yīng)性原則,3統(tǒng)計(jì)分析的步驟,(1)確定分析目標(biāo)(2)收集、審核及分析統(tǒng)計(jì)資料(3)確定分析模型、選擇分析方法(4)進(jìn)行分析和誤差分析,4統(tǒng)計(jì)類數(shù)據(jù)挖掘的性能問題,統(tǒng)計(jì)方法的優(yōu)點(diǎn)是精確、易理解并臣己經(jīng)被廣泛應(yīng)用。統(tǒng)計(jì)分析是一種有力的技術(shù)，用它可以了解客戶、市場、產(chǎn)品和其他關(guān)鍵商業(yè)參數(shù)。但也存在一些問題。,（1）它是勞動力密集的，需要相當(dāng)一部分統(tǒng)計(jì)分析員和商業(yè)分析員的分析勞動。（2）成功的可能性很大程度上依賴于商業(yè)分析員解決問題的能力，不能自行查找隱藏在數(shù)據(jù)背后的知識。（3）許多情況下，商業(yè)分析人員并不知道需要查找什么(或無法選擇離散的變量分析)，此時，統(tǒng)計(jì)分析工具將無法工作。,（4）在進(jìn)行市場細(xì)分時，很難集成和分析非數(shù)字化數(shù)據(jù)，只適合數(shù)字化數(shù)據(jù)處理。（5）一般來說，統(tǒng)計(jì)類數(shù)據(jù)挖掘工具的應(yīng)用成本與其可接受的響應(yīng)時間不好統(tǒng)一。,6.3知識類數(shù)據(jù)挖掘,知識類數(shù)據(jù)挖掘技術(shù)就是一種依靠數(shù)據(jù)驅(qū)動的、從數(shù)據(jù)倉庫的數(shù)據(jù)中挖掘業(yè)務(wù)模式的知識發(fā)現(xiàn)技術(shù)。,6.3.1知識發(fā)現(xiàn)系統(tǒng)的一般結(jié)構(gòu),知識發(fā)現(xiàn)系統(tǒng)的結(jié)構(gòu)由知識發(fā)現(xiàn)系統(tǒng)管理器、知識庫、商業(yè)分析員、數(shù)據(jù)倉庫的數(shù)據(jù)接口、數(shù)據(jù)選擇、知識發(fā)現(xiàn)引擎、知識發(fā)現(xiàn)評價、知識發(fā)現(xiàn)描述等部分組成。見圖6-1。,1知識發(fā)現(xiàn)系統(tǒng)管理器,知識發(fā)現(xiàn)系統(tǒng)管理器控制并管理整個知識發(fā)現(xiàn)過程。商業(yè)分析人員的輸入和知識庫中的信息用于驅(qū)動以下三個過程：（1）數(shù)據(jù)選擇過程。（2）抽取算法的選擇及使用過程。（3）發(fā)現(xiàn)的評價過程。,2知識庫和商業(yè)分析員,知識庫包含源于各方面的知識。商件分析員將元數(shù)據(jù)輸入數(shù)據(jù)倉庫，描述數(shù)據(jù)倉庫的數(shù)據(jù)結(jié)構(gòu)、商業(yè)分析員還要在知識庫中輸入其他相關(guān)的數(shù)據(jù)知識(如應(yīng)當(dāng)注意的關(guān)鍵數(shù)據(jù)字段、分析中用于產(chǎn)生數(shù)據(jù)需求的商業(yè)規(guī)則、任何數(shù)據(jù)層次等)。其目的是按一種有效的方式指導(dǎo)對關(guān)注性信息的發(fā)現(xiàn)。,3數(shù)據(jù)倉庫的數(shù)據(jù)庫接口,知識發(fā)現(xiàn)系統(tǒng)利用數(shù)據(jù)庫的查詢機(jī)制，從數(shù)據(jù)倉庫中抽取數(shù)據(jù)。對于關(guān)系數(shù)據(jù)庫，可使用SQL查詢語言。知識庫中的數(shù)據(jù)倉庫元數(shù)據(jù)指導(dǎo)數(shù)據(jù)庫接口正確組織數(shù)據(jù)結(jié)構(gòu)，并正確組織數(shù)據(jù)結(jié)構(gòu)在數(shù)據(jù)倉庫中存儲的方式。為了提高效率，知識發(fā)現(xiàn)系統(tǒng)的數(shù)據(jù)庫接口可以直接與數(shù)據(jù)倉庫通信。,4數(shù)據(jù)選擇,數(shù)據(jù)選擇構(gòu)件可以確定從數(shù)據(jù)倉庫中需要抽取的數(shù)據(jù)及數(shù)據(jù)結(jié)構(gòu)。知識庫指導(dǎo)數(shù)據(jù)選擇構(gòu)件，選擇需要抽取的數(shù)據(jù)以及抽取方式。如果只需示例數(shù)據(jù)，數(shù)據(jù)選擇構(gòu)件必須有能力選擇并抽取恰當(dāng)?shù)碾S機(jī)事例。此外，它還要選擇算法所需要的數(shù)據(jù)類型，同時將數(shù)據(jù)類型輸入算法。,5知識發(fā)現(xiàn)引擎,知識發(fā)現(xiàn)引擎將知識庫中的抽取算法提供數(shù)據(jù)選擇構(gòu)件抽取的數(shù)據(jù)，其目的是抽取數(shù)據(jù)元素間的模式和關(guān)系。存儲在知識庫中的經(jīng)驗(yàn)對發(fā)現(xiàn)抽取有重要的作用。許多數(shù)據(jù)挖掘算法可與知識發(fā)現(xiàn)系統(tǒng)結(jié)合，作為知識發(fā)現(xiàn)引擎，如數(shù)據(jù)依賴、分類規(guī)則、聚類、概括數(shù)據(jù)、偏差檢查、歸納和模糊推理等。,6發(fā)現(xiàn)評價,商業(yè)分析員需要尋找關(guān)注性的數(shù)據(jù)模式，以便了解顧客、產(chǎn)品、市場等等。數(shù)據(jù)倉庫潛在地具有宿主模式。評價構(gòu)件或過濾構(gòu)件有助于商業(yè)分析員篩選模式，選出關(guān)注性的信息。用于分析關(guān)注性模式的技術(shù)包括統(tǒng)計(jì)的重點(diǎn)、覆蓋級別的置信度因子，以及可視化分析。,7發(fā)現(xiàn)描述,發(fā)現(xiàn)描述構(gòu)件提供兩種必須的功能。一種是發(fā)現(xiàn)評價輔助商業(yè)分析員，在知識庫中保存關(guān)注性的發(fā)現(xiàn)結(jié)果，以備引用和使用。另一種是保持發(fā)現(xiàn)與商業(yè)經(jīng)理(或商業(yè)總經(jīng)理)的通信。其目的是利用知識發(fā)現(xiàn)來理解業(yè)務(wù)模式，將此理解轉(zhuǎn)化成可執(zhí)行的建議。知識發(fā)現(xiàn)系統(tǒng)中的描述技術(shù)包括可視化導(dǎo)航和瀏覽、自然語言文本報告以及圖表和圖形。,6.3.2知識發(fā)現(xiàn)技術(shù)及其運(yùn)用,前面敘述過，數(shù)據(jù)挖掘中的知識發(fā)現(xiàn)技術(shù)按照其不同的技術(shù)特點(diǎn)，可以分成規(guī)則型知識挖掘技術(shù)、神經(jīng)網(wǎng)絡(luò)型知識挖掘技術(shù)、遺傳算法型知識挖掘技術(shù)和粗糙集型數(shù)據(jù)挖掘技術(shù)。這些不同類型的知識挖掘技術(shù)在數(shù)據(jù)挖掘中占有重要的地位。,1關(guān)聯(lián)規(guī)則應(yīng)用,關(guān)聯(lián)規(guī)則是知識挖掘中一種主要的挖掘技術(shù)，通過關(guān)聯(lián)規(guī)則在數(shù)據(jù)倉庫中的應(yīng)用，可使人們了解各種事物發(fā)生的前因后果，使企業(yè)利用挖掘的各種商業(yè)規(guī)則在市場競爭中獲取優(yōu)勢。通常，關(guān)聯(lián)規(guī)則用于值域的基數(shù)很高或有多個二值屬性列的數(shù)據(jù)庫。,2神經(jīng)元網(wǎng)絡(luò)的應(yīng)用,人工種經(jīng)網(wǎng)絡(luò)是種有效的預(yù)測模型。其模型比較復(fù)雜，許多人都難以理解；但是在聚類分析、奇異點(diǎn)分析、特征抽取中可以得到較大的應(yīng)用，例如應(yīng)用在信用卡欺詐、信貸風(fēng)險、客戶分類、盈利客戶特征分析商業(yè)模式的識別上。,神經(jīng)元網(wǎng)絡(luò)在使用時需要很長的圳練時間，因而對有足夠長訓(xùn)練時間的應(yīng)用更為合適。此外，神經(jīng)元網(wǎng)絡(luò)對噪聲數(shù)據(jù)具有較高的承受能力。,3遺傳算法的應(yīng)用,遺傳算法作為基于生物進(jìn)化過程的組合優(yōu)化方法，在數(shù)據(jù)挖掘中主要用于分類系統(tǒng)中，并且經(jīng)常與神經(jīng)網(wǎng)絡(luò)等數(shù)據(jù)挖掘技術(shù)綜合應(yīng)用。神經(jīng)元網(wǎng)絡(luò)在客戶的分類中的應(yīng)用是比較成功的。,4粗糙集理論的應(yīng)用,粗糙集在數(shù)據(jù)挖掘應(yīng)用中，經(jīng)常用于處理不確定問題，而且在處理過程中可以不需要關(guān)于問題的先驗(yàn)知識，可以自動找出問題的內(nèi)在規(guī)律。因此，在模式識別、決策分析、知識發(fā)現(xiàn)等方面得到較廣泛的應(yīng)用。粗糙集在商業(yè)應(yīng)用中也具有很大的應(yīng)用范圍。,6.3.3知識發(fā)現(xiàn)工具,1知識發(fā)現(xiàn)工具系統(tǒng)結(jié)構(gòu)(1)無耦合(2)松散耦合(3)半緊密耦合(4)緊密耦合,2知識發(fā)現(xiàn)工具運(yùn)用中的問題,(1)數(shù)據(jù)挖掘技術(shù)應(yīng)用中的共性問題在應(yīng)用數(shù)據(jù)挖掘技術(shù)時，所遇到的共性問題有：數(shù)據(jù)質(zhì)量、數(shù)據(jù)可視化、極大數(shù)據(jù)庫、性能與成本、分析人員的技能、數(shù)據(jù)噪聲和模式評價等問題。,(2)數(shù)據(jù)挖掘技術(shù)應(yīng)用中的個性問題A.規(guī)則歸納應(yīng)用中的問題。B.神經(jīng)網(wǎng)絡(luò)應(yīng)用中的問題。神經(jīng)網(wǎng)絡(luò)方法也有一些缺點(diǎn)。第一，神經(jīng)網(wǎng)絡(luò)易于受訓(xùn)練過度的影響。第二，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度問題。C.遺傳算法應(yīng)用中的問題。,3知識發(fā)現(xiàn)的價值,(1)了解商業(yè)活動(2)發(fā)現(xiàn)商業(yè)異常(3)預(yù)測模型,6.4MDX語言,MDX是一種語法，支持多維對象與數(shù)據(jù)的定義和操作。它在很多方面與SQL語法相似，但并不是SQL語言的擴(kuò)展。事實(shí)上，MDX所提供的一些功能也可由SQL提供，盡管不是那么有效或直觀。,1基本MDX,MDX查詢的創(chuàng)建者在編寫查詢前必須確定所請求數(shù)據(jù)集的結(jié)構(gòu)，基本MDX查詢提供如下功能：A.MDX查詢的基本語法信息。B.成員、元組和集合提供了對成員、元組和集合的簡要描述(包