數(shù)據(jù)挖掘建模

數(shù)據(jù)挖掘原理與SPSSClementine應用寶典元昌安主編鄧松李文敬劉海濤編著電子工業(yè)出版社2023/2/3

2023/2/3216.4小結(jié)16.3數(shù)據(jù)挖掘建模原理16.3.1建模要求16.3.2建模原則16.3.3簡化模型16.3.4建模步驟16.3.5建模素質(zhì)16.1數(shù)據(jù)挖掘建模概述16.1.2原型與模型16.1.3模式與模型16.1.4知識層次理論16.1.5模型與數(shù)據(jù)16.1.6知識結(jié)構與框架16.1.7決策16.2數(shù)據(jù)挖掘建模基礎16.2.1數(shù)據(jù)挖掘建模16.2.2建模與挖掘的結(jié)合16.2.3模型分類16.2.4建模行為42內(nèi)容132023/2/316.1數(shù)據(jù)挖掘建模概述

16.1.1原型與模型原型指的是人們在現(xiàn)實世界里關心、研究、或者從事生產(chǎn)、管理的實際對象。本章所述的現(xiàn)實對象、研究對象、實際問題等均指原型。模型則是為了某個特定目的將原型的某部分簡縮、提煉而構造的原型替代物。2023/2/3

16.1.2模式與模型

模式（Pattern）其實就是解決某一類問題的方法論，把解決某類問題的方法總結(jié)歸納到理論高度，就是模式。模型（Model）就是封裝數(shù)據(jù)和所有基于對這些數(shù)據(jù)的操作，是對現(xiàn)實世界中過程的抽象描述。2023/2/3

16.1.3知識層次理論

知識是從數(shù)據(jù)到智慧劃分為不同層次的，并且所有模型都是基于數(shù)據(jù)的，理解模型也要把握數(shù)據(jù)、信息和知識的結(jié)構。2023/2/32023/2/37

16.1.4模型與數(shù)據(jù)

從某種意義上而言，模型就是知識，模型聯(lián)接著數(shù)據(jù)和知識，它們對于數(shù)據(jù)提供解釋具有一定的意義，把出現(xiàn)在數(shù)據(jù)中的信息封裝到特定框架中模型如何表述數(shù)據(jù)集內(nèi)的信息，亦即實際中運用何種形式或機制去表述模型中的信息內(nèi)容。2023/2/3從可操作性上而言，一個完整的模型通常必須包含信息表述結(jié)構和解釋機制。一般模型的簡化形式可以用圖16－2的數(shù)據(jù)與模型的構成部分來表示。2023/2/316.1.5知識結(jié)構與框架知識結(jié)構是指知識領域內(nèi)事實、概念、觀念、公理、定理、定律等的組合方式。一般可分為以下三類結(jié)構：學科知識結(jié)構，是各種學科內(nèi)容的有機組合。個體知識結(jié)構，為個體頭腦中知識的構成狀況，表現(xiàn)為各種門類、各種層次知識的比例及相互關系。群體知識結(jié)構，為一個組織中成員所具有的各種不同知識的集體組合。概括地說，知識結(jié)構可以表示成由對象間的互聯(lián)以及定義連接的交互網(wǎng)絡。2023/2/3框架（Framework）其實就是某種應用的半成品，就是一組組件，供使用者選用來完成自己的系統(tǒng)。使用框架，簡單地說就是使用別人搭好的舞臺，進行表演。對于數(shù)據(jù)挖掘和建模來說，重要的是找到一個描述和使用知識的一般方式的過程，他們就是在這樣的框架中工作的。建模者的所有工作都是在模型結(jié)構的框架中完成的。2023/2/3

16.1.6決策

決策是決定采取某種行動，這種行動的目的在于使當事人所面臨的事件呈現(xiàn)令人滿意的狀態(tài)。此處當事人稱為該行動的受益者。凡是根據(jù)預定目標做出行動的決定，均可稱為決策。2023/2/316.1.6.1決策的特征和種類

決策具有三個主要特征：（1）決策是為了實現(xiàn)特定目標的活動，沒有目標就無從決策，目標已經(jīng)實現(xiàn)，也就無需決策；（2）決策的目的在于付諸實施，不準備實施的決策是多余的、無用的；（3）決策具有選擇性，只有一個方案，就無從優(yōu)化，而不追求優(yōu)化的決策是無價值的。2023/2/3決策的種類選擇性決策在選擇性決策中，決策者面對著兩個或者更多離散的、特殊的備選項，必須從這個集合中選出一個子集或者僅選出一個選項。接受/拒絕性決策在接受/拒絕性決策中，決策者面對的僅是一個決策，必須接受這個決策或者拒絕它。評價性決策在評價性決策中，決策者必須基于對某實體價值的評估而進行一系列的活動建設性決策在建設性決策中，決策者必須依照特定的限制使用可用資源來恰當?shù)亟M織各個可選的主題。2023/2/3

16.1.6.2決策步驟

一般決策過程都大致包括如圖16－3決策步驟流程圖所示的八個基本步驟：2023/2/3

16.1.6.3決策分析方法

科學決策的前提是運用科學的決策分析方法，決策分析是研究不確定性問題的一種系統(tǒng)分析方法。其目的是改進決策過程，從一系列備選方案中找出一個能滿足一定目標的合適方法。對于不同的情形會有不同的決策方法。34512確定性情形不確定性情形隨機性情形多目標情形多人決策情形2023/2/3

16.1.6.4決策與建模

在管理應用中，決策常常依賴于模型來進行，模型是決策的有力助手，模型在提高效率方面產(chǎn)生了極其深遠的意義。建模是建立模型的過程的簡稱，又稱為模型化。凡是用模型描述問題的因果關系或相互關系的過程都屬于建模。建模的目的是用可量化的決策變量來幫助管理者進行決策，模型的目標函數(shù)表達了根據(jù)決策變量做出的相應的績效度量，模型的約束條件表示對決策變量可能取值的限制。建模是為了解決問題，建模者只有依據(jù)存在的確定問題才可以建模。2023/2/316.2數(shù)據(jù)挖掘建模基礎16.2.1數(shù)據(jù)挖掘建模數(shù)據(jù)挖掘中的建模是由數(shù)據(jù)驅(qū)動的，它通常不是由任何潛在機制或“事實”驅(qū)動的，而是為了捕捉數(shù)據(jù)中存在的關系。因此，數(shù)據(jù)挖掘建模是數(shù)據(jù)驅(qū)動型建模的一種。由于數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動的，根據(jù)數(shù)據(jù)得到的模型本無精確模型與非精確模型之分，所以不應該認為數(shù)據(jù)與模型的發(fā)現(xiàn)存在某種因果關系。2023/2/316.2.1.1數(shù)據(jù)建模數(shù)據(jù)建模是建立數(shù)據(jù)驅(qū)動型模型的簡稱，是指用更具體、更明確的函數(shù)表達形式(函數(shù)類型)來描述由輸入變量到輸出變量之間的映射，并根據(jù)有限的采樣數(shù)據(jù)計算模型參數(shù)的建模活動過程。

2023/2/316.2.1.2實體/數(shù)據(jù)驅(qū)動型模型的建模過程

2023/2/3

16.2.1.3實體模型與數(shù)據(jù)驅(qū)動型模型的比較

我們可以看到，雖然實體模型和數(shù)據(jù)驅(qū)動型模型都用于描述某個對象，但是，這兩種模型的含義有著本質(zhì)的區(qū)別，具體內(nèi)容請詳見表16－1實體模型與數(shù)據(jù)驅(qū)動型模型對比表。

2023/2/3212023/2/3

16.2.1.4數(shù)據(jù)挖掘建模

建構模型是數(shù)據(jù)挖掘技術的重要內(nèi)容，正是通過建模，數(shù)據(jù)挖掘工具才可以準確地告訴用戶那些隱藏在數(shù)據(jù)庫深處的重要信息，同時又對未來做出預測。那么，何為建模？簡單而言，就是綜合運用數(shù)學思想方法和IT技術建立一個適合當前問題的模型，用以解釋之前發(fā)生的事情并預測未來發(fā)生的事情。2023/2/3數(shù)據(jù)挖掘建模是指針對現(xiàn)實世界中要解決問題的特定對象，為特定的數(shù)據(jù)挖掘目的，做出一些重要的簡化和假設，運用適當?shù)臄?shù)據(jù)挖掘工具和其他科學工具獲得的模型，然后利用該模型來解釋特定現(xiàn)象的現(xiàn)實形態(tài)，預測對象的未來狀況，提供處理對象的優(yōu)化決策和控制，設計滿足某種需要的產(chǎn)品等的過程。數(shù)據(jù)挖掘建模實際上就是為采用數(shù)據(jù)挖掘工具解決實際問題，而進行建立數(shù)據(jù)挖掘模型的活動過程。2023/2/3

16.2.1.5建模與數(shù)據(jù)挖掘工具

算法和建模作為數(shù)據(jù)挖掘工具的核心技術從它誕生之日起就在得到不斷完善。對各種算法的支持程度是衡量數(shù)據(jù)挖掘工具的一大標準。目前的算法技術已經(jīng)相當成熟，而主流數(shù)據(jù)挖掘工具也基本上都提供了對主流算法的支持。數(shù)據(jù)挖掘中的建模主要采用數(shù)據(jù)建模和算法建模，其中更側(cè)重于算法建模。數(shù)據(jù)挖掘的過程就是一個不斷探索數(shù)據(jù)特征、建立和檢驗模型，利用適合的模型來解決實際問題的過程。目前，數(shù)據(jù)挖掘建模業(yè)界探討較多的技術內(nèi)容主要有自動建模和模型轉(zhuǎn)換兩點。2023/2/3

16.2.2建模與挖掘的結(jié)合

所有的挖掘和建?；顒佣枷脒_到一些解決識別問題的目標。如果在戰(zhàn)略性的層次上，挖掘和建?？梢蕴骄亢完U明一個完整的問題域，問題或者問題域就是根據(jù)挖掘結(jié)果和建?？蚣芩龀龅臎Q策來解決的。假說(Hypothesis)經(jīng)常被用來表示似乎并未在數(shù)據(jù)中被真正發(fā)現(xiàn)，然而直覺上卻感覺是正確的猜想。當然，數(shù)據(jù)挖掘的任務就是要估計得越精確越好。對于建模和挖掘而言，在建立解決問題方案的系統(tǒng)中，輸入越精確，輸出就越精確，如果所輸入的資料有重大錯誤，結(jié)果也必然是錯誤的。2023/2/3

16.2.3模型分類

在實際建立模型時，我們要依據(jù)建模目的，重點考慮對象的數(shù)學特征和數(shù)學方法。需要注意的是對同一事物由于對問題的認識程度或建模目的的不同，經(jīng)?？梢詷嬙斐霾煌哪Ｐ汀Ｎ覀兛梢詮牟煌耐緩絹砻枋瞿Ｐ?，下面主要闡述常用的基本的數(shù)據(jù)挖掘模型，利用基本模型經(jīng)過修改、融合、創(chuàng)新成為需要的模型。這些常用的基本模型是：推理／預測模型,關聯(lián)／系統(tǒng)模型,靜態(tài)／動態(tài)模型,定量／定性模型,比較／交互模型建模者在挖掘環(huán)境中所用到的挖掘框架，包含了所有的這些常用模型，框架包含的模型越充分，選擇的恰當性就越好。2023/2/316.3數(shù)據(jù)挖掘建模原理16.3.1建模要求建模需要熟練的數(shù)學技巧、豐富的想象力和敏銳的洞察力，需要大量的調(diào)查研究、借鑒已有模型，尤其要建模者親自“實踐”、自己動手、親自體驗。建模一般具有以下要求：34512模型要有足夠的精度，即把本質(zhì)的關系和規(guī)律反映出來，去掉非本質(zhì)的內(nèi)容。模型要簡單實用、便于處理。建模依據(jù)要充分，即要依據(jù)科學規(guī)律、經(jīng)濟規(guī)律等來建模。對于模型和建模盡量借鑒標準形式。模型要表示的系統(tǒng)要能操縱和控制，便于檢驗和修改。2023/2/316.3.2建模原則在數(shù)據(jù)挖掘建模的過程中，一般遵守以下基本原則：（1）簡單性（2）清晰性（3）相關性（4）準確性（5）識別性（6）集成性2023/2/316.3.3簡化模型常用簡化模型的方法：34512除去一些變量改變變量的性質(zhì)合并一些變量改變變量間的函數(shù)關系模型結(jié)構的轉(zhuǎn)換6改變約束關系2023/2/316.3.4建模步驟圖16－5數(shù)據(jù)挖掘建模步驟流程圖2023/2/316.3.5建模素質(zhì)建模是一種積極的思維活動，從認識論的角度來看，是一種極為復雜且應變能力極強的心理活動。其中，既有邏輯思維亦有非邏輯思維，因此沒有統(tǒng)一的模式和固定的方法。但是，建模過程大多要經(jīng)過分析與綜合、抽象與概括、比較與類比、系統(tǒng)化與具體化的階段，其中分析與綜合是基礎，抽象與概括是關鍵。從邏輯思維而言，抽象、歸納、演繹、類比等形式邏輯的思維方法被大量采用，熟悉這些基本方法對建模會有很大幫助。2023/2/3從系統(tǒng)模型的要求、建模過程和建模步驟來看，要建好模型，應該具備下列幾方面的能力：分析綜合能力,抽象概括能力,聯(lián)想洞察能力,運用相關工具的能力,通過實踐驗證模型的能力2023/2/3稱職的建模者應該具備以下幾方面的能力：(1)對客觀事物或過程能夠透過現(xiàn)象抓住本質(zhì)，使得對問題有一個深刻的理解、清晰的圖景、清楚的層次和明確的輪廓。(2)在數(shù)學方面應有基本訓練，要有一定的數(shù)學修養(yǎng)，并且掌握一套數(shù)學思路和方法。(3)具有把實際問題與數(shù)學聯(lián)系起來的能力，善于把各種現(xiàn)象中的表面差異撇去，而把本質(zhì)的共性提煉出來。同時，建模者應該注意需要避免的四種傾向是：懶、饞、貪、變。2023/2/3

16.