數(shù)據(jù)挖掘建模

數(shù)據(jù)挖掘原理與SPSSClementine應(yīng)用寶典元昌安主編鄧松李文敬劉海濤編著電子工業(yè)出版社2023/2/3

2023/2/3216.4小結(jié)16.3數(shù)據(jù)挖掘建模原理16.3.1建模要求16.3.2建模原則16.3.3簡化模型16.3.4建模步驟16.3.5建模素質(zhì)16.1數(shù)據(jù)挖掘建模概述16.1.2原型與模型16.1.3模式與模型16.1.4知識層次理論16.1.5模型與數(shù)據(jù)16.1.6知識結(jié)構(gòu)與框架16.1.7決策16.2數(shù)據(jù)挖掘建模基礎(chǔ)16.2.1數(shù)據(jù)挖掘建模16.2.2建模與挖掘的結(jié)合16.2.3模型分類16.2.4建模行為42內(nèi)容132023/2/316.1數(shù)據(jù)挖掘建模概述

16.1.1原型與模型原型指的是人們在現(xiàn)實世界里關(guān)心、研究、或者從事生產(chǎn)、管理的實際對象。本章所述的現(xiàn)實對象、研究對象、實際問題等均指原型。模型則是為了某個特定目的將原型的某部分簡縮、提煉而構(gòu)造的原型替代物。2023/2/3

16.1.2模式與模型

模式（Pattern）其實就是解決某一類問題的方法論，把解決某類問題的方法總結(jié)歸納到理論高度，就是模式。模型（Model）就是封裝數(shù)據(jù)和所有基于對這些數(shù)據(jù)的操作，是對現(xiàn)實世界中過程的抽象描述。2023/2/3

16.1.3知識層次理論

知識是從數(shù)據(jù)到智慧劃分為不同層次的，并且所有模型都是基于數(shù)據(jù)的，理解模型也要把握數(shù)據(jù)、信息和知識的結(jié)構(gòu)。2023/2/32023/2/37

16.1.4模型與數(shù)據(jù)

從某種意義上而言，模型就是知識，模型聯(lián)接著數(shù)據(jù)和知識，它們對于數(shù)據(jù)提供解釋具有一定的意義，把出現(xiàn)在數(shù)據(jù)中的信息封裝到特定框架中模型如何表述數(shù)據(jù)集內(nèi)的信息，亦即實際中運用何種形式或機制去表述模型中的信息內(nèi)容。2023/2/3從可操作性上而言，一個完整的模型通常必須包含信息表述結(jié)構(gòu)和解釋機制。一般模型的簡化形式可以用圖16－2的數(shù)據(jù)與模型的構(gòu)成部分來表示。2023/2/316.1.5知識結(jié)構(gòu)與框架知識結(jié)構(gòu)是指知識領(lǐng)域內(nèi)事實、概念、觀念、公理、定理、定律等的組合方式。一般可分為以下三類結(jié)構(gòu)：學(xué)科知識結(jié)構(gòu)，是各種學(xué)科內(nèi)容的有機組合。個體知識結(jié)構(gòu)，為個體頭腦中知識的構(gòu)成狀況，表現(xiàn)為各種門類、各種層次知識的比例及相互關(guān)系。群體知識結(jié)構(gòu)，為一個組織中成員所具有的各種不同知識的集體組合。概括地說，知識結(jié)構(gòu)可以表示成由對象間的互聯(lián)以及定義連接的交互網(wǎng)絡(luò)。2023/2/3框架（Framework）其實就是某種應(yīng)用的半成品，就是一組組件，供使用者選用來完成自己的系統(tǒng)。使用框架，簡單地說就是使用別人搭好的舞臺，進行表演。對于數(shù)據(jù)挖掘和建模來說，重要的是找到一個描述和使用知識的一般方式的過程，他們就是在這樣的框架中工作的。建模者的所有工作都是在模型結(jié)構(gòu)的框架中完成的。2023/2/3

16.1.6決策

決策是決定采取某種行動，這種行動的目的在于使當(dāng)事人所面臨的事件呈現(xiàn)令人滿意的狀態(tài)。此處當(dāng)事人稱為該行動的受益者。凡是根據(jù)預(yù)定目標做出行動的決定，均可稱為決策。2023/2/316.1.6.1決策的特征和種類

決策具有三個主要特征：（1）決策是為了實現(xiàn)特定目標的活動，沒有目標就無從決策，目標已經(jīng)實現(xiàn)，也就無需決策；（2）決策的目的在于付諸實施，不準備實施的決策是多余的、無用的；（3）決策具有選擇性，只有一個方案，就無從優(yōu)化，而不追求優(yōu)化的決策是無價值的。2023/2/3決策的種類選擇性決策在選擇性決策中，決策者面對著兩個或者更多離散的、特殊的備選項，必須從這個集合中選出一個子集或者僅選出一個選項。接受/拒絕性決策在接受/拒絕性決策中，決策者面對的僅是一個決策，必須接受這個決策或者拒絕它。評價性決策在評價性決策中，決策者必須基于對某實體價值的評估而進行一系列的活動建設(shè)性決策在建設(shè)性決策中，決策者必須依照特定的限制使用可用資源來恰當(dāng)?shù)亟M織各個可選的主題。2023/2/3

16.1.6.2決策步驟

一般決策過程都大致包括如圖16－3決策步驟流程圖所示的八個基本步驟：2023/2/3

16.1.6.3決策分析方法

科學(xué)決策的前提是運用科學(xué)的決策分析方法，決策分析是研究不確定性問題的一種系統(tǒng)分析方法。其目的是改進決策過程，從一系列備選方案中找出一個能滿足一定目標的合適方法。對于不同的情形會有不同的決策方法。34512確定性情形不確定性情形隨機性情形多目標情形多人決策情形2023/2/3

16.1.6.4決策與建模

在管理應(yīng)用中，決策常常依賴于模型來進行，模型是決策的有力助手，模型在提高效率方面產(chǎn)生了極其深遠的意義。建模是建立模型的過程的簡稱，又稱為模型化。凡是用模型描述問題的因果關(guān)系或相互關(guān)系的過程都屬于建模。建模的目的是用可量化的決策變量來幫助管理者進行決策，模型的目標函數(shù)表達了根據(jù)決策變量做出的相應(yīng)的績效度量，模型的約束條件表示對決策變量可能取值的限制。建模是為了解決問題，建模者只有依據(jù)存在的確定問題才可以建模。2023/2/316.2數(shù)據(jù)挖掘建?；A(chǔ)16.2.1數(shù)據(jù)挖掘建模數(shù)據(jù)挖掘中的建模是由數(shù)據(jù)驅(qū)動的，它通常不是由任何潛在機制或“事實”驅(qū)動的，而是為了捕捉數(shù)據(jù)中存在的關(guān)系。因此，數(shù)據(jù)挖掘建模是數(shù)據(jù)驅(qū)動型建模的一種。由于數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動的，根據(jù)數(shù)據(jù)得到的模型本無精確模型與非精確模型之分，所以不應(yīng)該認為數(shù)據(jù)與模型的發(fā)現(xiàn)存在某種因果關(guān)系。2023/2/316.2.1.1數(shù)據(jù)建模數(shù)據(jù)建模是建立數(shù)據(jù)驅(qū)動型模型的簡稱，是指用更具體、更明確的函數(shù)表達形式(函數(shù)類型)來描述由輸入變量到輸出變量之間的映射，并根據(jù)有限的采樣數(shù)據(jù)計算模型參數(shù)的建?；顒舆^程。

2023/2/316.2.1.2實體/數(shù)據(jù)驅(qū)動型模型的建模過程

2023/2/3

16.2.1.3實體模型與數(shù)據(jù)驅(qū)動型模型的比較

我們可以看到，雖然實體模型和數(shù)據(jù)驅(qū)動型模型都用于描述某個對象，但是，這兩種模型的含義有著本質(zhì)的區(qū)別，具體內(nèi)容請詳見表16－1實體模型與數(shù)據(jù)驅(qū)動型模型對比表。

2023/2/3212023/2/3

16.2.1.4數(shù)據(jù)挖掘建模

建構(gòu)模型是數(shù)據(jù)挖掘技術(shù)的重要內(nèi)容，正是通過建模，數(shù)據(jù)挖掘工具才可以準確地告訴用戶那些隱藏在數(shù)據(jù)庫深處的重要信息，同時又對未來做出預(yù)測。那么，何為建模？簡單而言，就是綜合運用數(shù)學(xué)思想方法和IT技術(shù)建立一個適合當(dāng)前問題的模型，用以解釋之前發(fā)生的事情并預(yù)測未來發(fā)生的事情。2023/2/3數(shù)據(jù)挖掘建模是指針對現(xiàn)實世界中要解決問題的特定對象，為特定的數(shù)據(jù)挖掘目的，做出一些重要的簡化和假設(shè)，運用適當(dāng)?shù)臄?shù)據(jù)挖掘工具和其他科學(xué)工具獲得的模型，然后利用該模型來解釋特定現(xiàn)象的現(xiàn)實形態(tài)，預(yù)測對象的未來狀況，提供處理對象的優(yōu)化決策和控制，設(shè)計滿足某種需要的產(chǎn)品等的過程。數(shù)據(jù)挖掘建模實際上就是為采用數(shù)據(jù)挖掘工具解決實際問題，而進行建立數(shù)據(jù)挖掘模型的活動過程。2023/2/3

16.2.1.5建模與數(shù)據(jù)挖掘工具

算法和建模作為數(shù)據(jù)挖掘工具的核心技術(shù)從它誕生之日起就在得到不斷完善。對各種算法的支持程度是衡量數(shù)據(jù)挖掘工具的一大標準。目前的算法技術(shù)已經(jīng)相當(dāng)成熟，而主流數(shù)據(jù)挖掘工具也基本上都提供了對主流算法的支持。數(shù)據(jù)挖掘中的建模主要采用數(shù)據(jù)建模和算法建模，其中更側(cè)重于算法建模。數(shù)據(jù)挖掘的過程就是一個不斷探索數(shù)據(jù)特征、建立和檢驗?zāi)Ｐ?，利用適合的模型來解決實際問題的過程。目前，數(shù)據(jù)挖掘建模業(yè)界探討較多的技術(shù)內(nèi)容主要有自動建模和模型轉(zhuǎn)換兩點。2023/2/3

16.2.2建模與挖掘的結(jié)合

所有的挖掘和建?；顒佣枷脒_到一些解決識別問題的目標。如果在戰(zhàn)略性的層次上，挖掘和建?？梢蕴骄亢完U明一個完整的問題域，問題或者問題域就是根據(jù)挖掘結(jié)果和建?？蚣芩龀龅臎Q策來解決的。假說(Hypothesis)經(jīng)常被用來表示似乎并未在數(shù)據(jù)中被真正發(fā)現(xiàn)，然而直覺上卻感覺是正確的猜想。當(dāng)然，數(shù)據(jù)挖掘的任務(wù)就是要估計得越精確越好。對于建模和挖掘而言，在建立解決問題方案的系統(tǒng)中，輸入越精確，輸出就越精確，如果所輸入的資料有重大錯誤，結(jié)果也必然是錯誤的。2023/2/3

16.2.3模型分類

在實際建立模型時，我們要依據(jù)建模目的，重點考慮對象的數(shù)學(xué)特征和數(shù)學(xué)方法。需要注意的是對同一事物由于對問題的認識程度或建模目的的不同，經(jīng)?？梢詷?gòu)造出不同的模型。我們可以從不同的途徑來描述模型，下面主要闡述常用的基本的數(shù)據(jù)挖掘模型，利用基本模型經(jīng)過修改、融合、創(chuàng)新成為需要的模型。這些常用的基本模型是：推理／預(yù)測模型,關(guān)聯(lián)／系統(tǒng)模型,靜態(tài)／動態(tài)模型,定量／定性模型,比較／交互模型建模者在挖掘環(huán)境中所用到的挖掘框架，包含了所有的這些常用模型，框架包含的模型越充分，選擇的恰當(dāng)性就越好。2023/2/316.3數(shù)據(jù)挖掘建模原理16.3.1建模要求建模需要熟練的數(shù)學(xué)技巧、豐富的想象力和敏銳的洞察力，需要大量的調(diào)查研究、借鑒已有模型，尤其要建模者親自“實踐”、自己動手、親自體驗。建模一般具有以下要求：34512模型要有足夠的精度，即把本質(zhì)的關(guān)系和規(guī)律反映出來，去掉非本質(zhì)的內(nèi)容。模型要簡單實用、便于處理。建模依據(jù)要充分，即要依據(jù)科學(xué)規(guī)律、經(jīng)濟規(guī)律等來建模。對于模型和建模盡量借鑒標準形式。模型要表示的系統(tǒng)要能操縱和控制，便于檢驗和修改。2023/2/316.3.2建模原則在數(shù)據(jù)挖掘建模的過程中，一般遵守以下基本原則：（1）簡單性（2）清晰性（3）相關(guān)性（4）準確性（5）識別性（6）集成性2023/2/316.3.3簡化模型常用簡化模型的方法：34512除去一些變量改變變量的性質(zhì)合并一些變量改變變量間的函數(shù)關(guān)系模型結(jié)構(gòu)的轉(zhuǎn)換6改變約束關(guān)系2023/2/316.3.4建模步驟圖16－5數(shù)據(jù)挖掘建模步驟流程圖2023/2/316.3.5建模素質(zhì)建模是一種積極的思維活動，從認識論的角度來看，是一種極為復(fù)雜且應(yīng)變能力極強的心理活動。其中，既有邏輯思維亦有非邏輯思維，因此沒有統(tǒng)一的模式和固定的方法。但是，建模過程大多要經(jīng)過分析與綜合、抽象與概括、比較與類比、系統(tǒng)化與具體化的階段，其中分析與綜合是基礎(chǔ)，抽象與概括是關(guān)鍵。從邏輯思維而言，抽象、歸納、演繹、類比等形式邏輯的思維方法被大量采用，熟悉這些基本方法對建模會有很大幫助。2023/2/3從系統(tǒng)模型的要求、建模過程和建模步驟來看，要建好模型，應(yīng)該具備下列幾方面的能力：分析綜合能力,抽象概括能力,聯(lián)想洞察能力,運用相關(guān)工具的能力,通過實踐驗證模型的能力2023/2/3稱職的建模者應(yīng)該具備以下幾方面的能力：(1)對客觀事物或過程能夠透過現(xiàn)象抓住本質(zhì)，使得對問題有一個深刻的理解、清晰的圖景、清楚的層次和明確的輪廓。(2)在數(shù)學(xué)方面應(yīng)有基本訓(xùn)練，要有一定的數(shù)學(xué)修養(yǎng)，并且掌握一套數(shù)學(xué)思路和方法。(3)具有把實際問題與數(shù)學(xué)聯(lián)系起來的能力，善于把各種現(xiàn)象中的表面差異撇去，而把本質(zhì)的共性提煉出來。同時，建模者應(yīng)該注意需要避免的四種傾向是：懶、饞、貪、變。2023/2/3

16.