數(shù)據(jù)挖掘建模

數(shù)據(jù)挖掘建模第1頁，共35頁，2023年，2月20日，星期六

第2頁，共35頁，2023年，2月20日，星期六16.4小結(jié)16.3數(shù)據(jù)挖掘建模原理16.3.1建模要求16.3.2建模原則16.3.3簡化模型16.3.4建模步驟16.3.5建模素質(zhì)16.1數(shù)據(jù)挖掘建模概述16.1.2原型與模型16.1.3模式與模型16.1.4知識(shí)層次理論16.1.5模型與數(shù)據(jù)16.1.6知識(shí)結(jié)構(gòu)與框架16.1.7決策16.2數(shù)據(jù)挖掘建模基礎(chǔ)16.2.1數(shù)據(jù)挖掘建模16.2.2建模與挖掘的結(jié)合16.2.3模型分類16.2.4建模行為42內(nèi)容13第3頁，共35頁，2023年，2月20日，星期六16.1數(shù)據(jù)挖掘建模概述

16.1.1原型與模型原型指的是人們?cè)诂F(xiàn)實(shí)世界里關(guān)心、研究、或者從事生產(chǎn)、管理的實(shí)際對(duì)象。本章所述的現(xiàn)實(shí)對(duì)象、研究對(duì)象、實(shí)際問題等均指原型。模型則是為了某個(gè)特定目的將原型的某部分簡縮、提煉而構(gòu)造的原型替代物。第4頁，共35頁，2023年，2月20日，星期六

16.1.2模式與模型

模式（Pattern）其實(shí)就是解決某一類問題的方法論，把解決某類問題的方法總結(jié)歸納到理論高度，就是模式。模型（Model）就是封裝數(shù)據(jù)和所有基于對(duì)這些數(shù)據(jù)的操作，是對(duì)現(xiàn)實(shí)世界中過程的抽象描述。第5頁，共35頁，2023年，2月20日，星期六

16.1.3知識(shí)層次理論

知識(shí)是從數(shù)據(jù)到智慧劃分為不同層次的，并且所有模型都是基于數(shù)據(jù)的，理解模型也要把握數(shù)據(jù)、信息和知識(shí)的結(jié)構(gòu)。第6頁，共35頁，2023年，2月20日，星期六第7頁，共35頁，2023年，2月20日，星期六

16.1.4模型與數(shù)據(jù)

從某種意義上而言，模型就是知識(shí)，模型聯(lián)接著數(shù)據(jù)和知識(shí)，它們對(duì)于數(shù)據(jù)提供解釋具有一定的意義，把出現(xiàn)在數(shù)據(jù)中的信息封裝到特定框架中模型如何表述數(shù)據(jù)集內(nèi)的信息，亦即實(shí)際中運(yùn)用何種形式或機(jī)制去表述模型中的信息內(nèi)容。第8頁，共35頁，2023年，2月20日，星期六從可操作性上而言，一個(gè)完整的模型通常必須包含信息表述結(jié)構(gòu)和解釋機(jī)制。一般模型的簡化形式可以用圖16－2的數(shù)據(jù)與模型的構(gòu)成部分來表示。第9頁，共35頁，2023年，2月20日，星期六16.1.5知識(shí)結(jié)構(gòu)與框架知識(shí)結(jié)構(gòu)是指知識(shí)領(lǐng)域內(nèi)事實(shí)、概念、觀念、公理、定理、定律等的組合方式。一般可分為以下三類結(jié)構(gòu)：學(xué)科知識(shí)結(jié)構(gòu)，是各種學(xué)科內(nèi)容的有機(jī)組合。個(gè)體知識(shí)結(jié)構(gòu)，為個(gè)體頭腦中知識(shí)的構(gòu)成狀況，表現(xiàn)為各種門類、各種層次知識(shí)的比例及相互關(guān)系。群體知識(shí)結(jié)構(gòu)，為一個(gè)組織中成員所具有的各種不同知識(shí)的集體組合。概括地說，知識(shí)結(jié)構(gòu)可以表示成由對(duì)象間的互聯(lián)以及定義連接的交互網(wǎng)絡(luò)。第10頁，共35頁，2023年，2月20日，星期六框架（Framework）其實(shí)就是某種應(yīng)用的半成品，就是一組組件，供使用者選用來完成自己的系統(tǒng)。使用框架，簡單地說就是使用別人搭好的舞臺(tái)，進(jìn)行表演。對(duì)于數(shù)據(jù)挖掘和建模來說，重要的是找到一個(gè)描述和使用知識(shí)的一般方式的過程，他們就是在這樣的框架中工作的。建模者的所有工作都是在模型結(jié)構(gòu)的框架中完成的。第11頁，共35頁，2023年，2月20日，星期六

16.1.6決策

決策是決定采取某種行動(dòng)，這種行動(dòng)的目的在于使當(dāng)事人所面臨的事件呈現(xiàn)令人滿意的狀態(tài)。此處當(dāng)事人稱為該行動(dòng)的受益者。凡是根據(jù)預(yù)定目標(biāo)做出行動(dòng)的決定，均可稱為決策。第12頁，共35頁，2023年，2月20日，星期六16.1.6.1決策的特征和種類

決策具有三個(gè)主要特征：（1）決策是為了實(shí)現(xiàn)特定目標(biāo)的活動(dòng)，沒有目標(biāo)就無從決策，目標(biāo)已經(jīng)實(shí)現(xiàn)，也就無需決策；（2）決策的目的在于付諸實(shí)施，不準(zhǔn)備實(shí)施的決策是多余的、無用的；（3）決策具有選擇性，只有一個(gè)方案，就無從優(yōu)化，而不追求優(yōu)化的決策是無價(jià)值的。第13頁，共35頁，2023年，2月20日，星期六決策的種類選擇性決策在選擇性決策中，決策者面對(duì)著兩個(gè)或者更多離散的、特殊的備選項(xiàng)，必須從這個(gè)集合中選出一個(gè)子集或者僅選出一個(gè)選項(xiàng)。接受/拒絕性決策在接受/拒絕性決策中，決策者面對(duì)的僅是一個(gè)決策，必須接受這個(gè)決策或者拒絕它。評(píng)價(jià)性決策在評(píng)價(jià)性決策中，決策者必須基于對(duì)某實(shí)體價(jià)值的評(píng)估而進(jìn)行一系列的活動(dòng)建設(shè)性決策在建設(shè)性決策中，決策者必須依照特定的限制使用可用資源來恰當(dāng)?shù)亟M織各個(gè)可選的主題。第14頁，共35頁，2023年，2月20日，星期六

16.1.6.2決策步驟

一般決策過程都大致包括如圖16－3決策步驟流程圖所示的八個(gè)基本步驟：第15頁，共35頁，2023年，2月20日，星期六

16.1.6.3決策分析方法

科學(xué)決策的前提是運(yùn)用科學(xué)的決策分析方法，決策分析是研究不確定性問題的一種系統(tǒng)分析方法。其目的是改進(jìn)決策過程，從一系列備選方案中找出一個(gè)能滿足一定目標(biāo)的合適方法。對(duì)于不同的情形會(huì)有不同的決策方法。34512確定性情形不確定性情形隨機(jī)性情形多目標(biāo)情形多人決策情形第16頁，共35頁，2023年，2月20日，星期六

16.1.6.4決策與建模

在管理應(yīng)用中，決策常常依賴于模型來進(jìn)行，模型是決策的有力助手，模型在提高效率方面產(chǎn)生了極其深遠(yuǎn)的意義。建模是建立模型的過程的簡稱，又稱為模型化。凡是用模型描述問題的因果關(guān)系或相互關(guān)系的過程都屬于建模。建模的目的是用可量化的決策變量來幫助管理者進(jìn)行決策，模型的目標(biāo)函數(shù)表達(dá)了根據(jù)決策變量做出的相應(yīng)的績效度量，模型的約束條件表示對(duì)決策變量可能取值的限制。建模是為了解決問題，建模者只有依據(jù)存在的確定問題才可以建模。第17頁，共35頁，2023年，2月20日，星期六16.2數(shù)據(jù)挖掘建模基礎(chǔ)16.2.1數(shù)據(jù)挖掘建模數(shù)據(jù)挖掘中的建模是由數(shù)據(jù)驅(qū)動(dòng)的，它通常不是由任何潛在機(jī)制或“事實(shí)”驅(qū)動(dòng)的，而是為了捕捉數(shù)據(jù)中存在的關(guān)系。因此，數(shù)據(jù)挖掘建模是數(shù)據(jù)驅(qū)動(dòng)型建模的一種。由于數(shù)據(jù)挖掘是數(shù)據(jù)驅(qū)動(dòng)的，根據(jù)數(shù)據(jù)得到的模型本無精確模型與非精確模型之分，所以不應(yīng)該認(rèn)為數(shù)據(jù)與模型的發(fā)現(xiàn)存在某種因果關(guān)系。第18頁，共35頁，2023年，2月20日，星期六16.2.1.1數(shù)據(jù)建模數(shù)據(jù)建模是建立數(shù)據(jù)驅(qū)動(dòng)型模型的簡稱，是指用更具體、更明確的函數(shù)表達(dá)形式(函數(shù)類型)來描述由輸入變量到輸出變量之間的映射，并根據(jù)有限的采樣數(shù)據(jù)計(jì)算模型參數(shù)的建?；顒?dòng)過程。

第19頁，共35頁，2023年，2月20日，星期六16.2.1.2實(shí)體/數(shù)據(jù)驅(qū)動(dòng)型模型的建模過程

第20頁，共35頁，2023年，2月20日，星期六

16.2.1.3實(shí)體模型與數(shù)據(jù)驅(qū)動(dòng)型模型的比較

我們可以看到，雖然實(shí)體模型和數(shù)據(jù)驅(qū)動(dòng)型模型都用于描述某個(gè)對(duì)象，但是，這兩種模型的含義有著本質(zhì)的區(qū)別，具體內(nèi)容請(qǐng)?jiān)斠姳?6－1實(shí)體模型與數(shù)據(jù)驅(qū)動(dòng)型模型對(duì)比表。

第21頁，共35頁，2023年，2月20日，星期六第22頁，共35頁，2023年，2月20日，星期六

16.2.1.4數(shù)據(jù)挖掘建模

建構(gòu)模型是數(shù)據(jù)挖掘技術(shù)的重要內(nèi)容，正是通過建模，數(shù)據(jù)挖掘工具才可以準(zhǔn)確地告訴用戶那些隱藏在數(shù)據(jù)庫深處的重要信息，同時(shí)又對(duì)未來做出預(yù)測。那么，何為建模？簡單而言，就是綜合運(yùn)用數(shù)學(xué)思想方法和IT技術(shù)建立一個(gè)適合當(dāng)前問題的模型，用以解釋之前發(fā)生的事情并預(yù)測未來發(fā)生的事情。第23頁，共35頁，2023年，2月20日，星期六數(shù)據(jù)挖掘建模是指針對(duì)現(xiàn)實(shí)世界中要解決問題的特定對(duì)象，為特定的數(shù)據(jù)挖掘目的，做出一些重要的簡化和假設(shè)，運(yùn)用適當(dāng)?shù)臄?shù)據(jù)挖掘工具和其他科學(xué)工具獲得的模型，然后利用該模型來解釋特定現(xiàn)象的現(xiàn)實(shí)形態(tài)，預(yù)測對(duì)象的未來狀況，提供處理對(duì)象的優(yōu)化決策和控制，設(shè)計(jì)滿足某種需要的產(chǎn)品等的過程。數(shù)據(jù)挖掘建模實(shí)際上就是為采用數(shù)據(jù)挖掘工具解決實(shí)際問題，而進(jìn)行建立數(shù)據(jù)挖掘模型的活動(dòng)過程。第24頁，共35頁，2023年，2月20日，星期六

16.2.1.5建模與數(shù)據(jù)挖掘工具

算法和建模作為數(shù)據(jù)挖掘工具的核心技術(shù)從它誕生之日起就在得到不斷完善。對(duì)各種算法的支持程度是衡量數(shù)據(jù)挖掘工具的一大標(biāo)準(zhǔn)。目前的算法技術(shù)已經(jīng)相當(dāng)成熟，而主流數(shù)據(jù)挖掘工具也基本上都提供了對(duì)主流算法的支持。數(shù)據(jù)挖掘中的建模主要采用數(shù)據(jù)建模和算法建模，其中更側(cè)重于算法建模。數(shù)據(jù)挖掘的過程就是一個(gè)不斷探索數(shù)據(jù)特征、建立和檢驗(yàn)?zāi)Ｐ?，利用適合的模型來解決實(shí)際問題的過程。目前，數(shù)據(jù)挖掘建模業(yè)界探討較多的技術(shù)內(nèi)容主要有自動(dòng)建模和模型轉(zhuǎn)換兩點(diǎn)。第25頁，共35頁，2023年，2月20日，星期六

16.2.2建模與挖掘的結(jié)合

所有的挖掘和建?；顒?dòng)都想達(dá)到一些解決識(shí)別問題的目標(biāo)。如果在戰(zhàn)略性的層次上，挖掘和建?？梢蕴骄亢完U明一個(gè)完整的問題域，問題或者問題域就是根據(jù)挖掘結(jié)果和建?？蚣芩龀龅臎Q策來解決的。假說(Hypothesis)經(jīng)常被用來表示似乎并未在數(shù)據(jù)中被真正發(fā)現(xiàn)，然而直覺上卻感覺是正確的猜想。當(dāng)然，數(shù)據(jù)挖掘的任務(wù)就是要估計(jì)得越精確越好。對(duì)于建模和挖掘而言，在建立解決問題方案的系統(tǒng)中，輸入越精確，輸出就越精確，如果所輸入的資料有重大錯(cuò)誤，結(jié)果也必然是錯(cuò)誤的。第26頁，共35頁，2023年，2月20日，星期六

16.2.3模型分類

在實(shí)際建立模型時(shí)，我們要依據(jù)建模目的，重點(diǎn)考慮對(duì)象的數(shù)學(xué)特征和數(shù)學(xué)方法。需要注意的是對(duì)同一事物由于對(duì)問題的認(rèn)識(shí)程度或建模目的的不同，經(jīng)常可以構(gòu)造出不同的模型。我們可以從不同的途徑來描述模型，下面主要闡述常用的基本的數(shù)據(jù)挖掘模型，利用基本模型經(jīng)過修改、融合、創(chuàng)新成為需要的模型。這些常用的基本模型是：推理／預(yù)測模型,關(guān)聯(lián)／系統(tǒng)模型,靜態(tài)／動(dòng)態(tài)模型,定量／定性模型,比較／交互模型建模者在挖掘環(huán)境中所用到的挖掘框架，包含了所有的這些常用模型，框架包含的模型越充分，選擇的恰當(dāng)性就越好。第27頁，共35頁，2023年，2月20日，星期六16.3數(shù)據(jù)挖掘建模原理16.3.1建模要求建模需要熟練的數(shù)學(xué)技巧、豐富的想象力和敏銳的洞察力，需要大量的調(diào)查研究、借鑒已有模型，尤其要建模者親自“實(shí)踐”、自己動(dòng)手、親自體驗(yàn)。建模一般具有以下要求：34512模型要有足夠的精度，即把本質(zhì)的關(guān)系和規(guī)律反映出來，去掉非本質(zhì)的內(nèi)容。模型要簡單實(shí)用、便于處理。建模依據(jù)要充分，即要依據(jù)科學(xué)規(guī)律、經(jīng)濟(jì)規(guī)律等來建模。對(duì)于模型和建模盡量借鑒標(biāo)準(zhǔn)形式。模型要表示的系統(tǒng)要能操縱和控制，便于檢驗(yàn)和修改。第28頁，共35頁，2023年，2月20日，星期六16.3.2建模原則在數(shù)據(jù)挖掘建模的過程中，一般遵守以下基本原則：（1）簡單性（2）清晰性（3）相關(guān)性（4）準(zhǔn)確性（5）識(shí)別性（6）集成性第29頁，共35頁，2023年，2月20日，星期六16.3.3簡化模型常用簡化模型的方法：34512除去一些變量改變變量的性質(zhì)合并一些變量改變變量間的函數(shù)關(guān)系模型結(jié)構(gòu)的轉(zhuǎn)換6改變約束關(guān)系第30頁，共35頁，2023年，2月20日，星期六16.3.4建模步驟圖16－5數(shù)據(jù)挖掘建模步驟流程圖第31頁，共35頁，2023年，2月20日，星期六16.3.5建模素質(zhì)建模是一種積極的思維活動(dòng)，從認(rèn)識(shí)論的角度來看，是一種極為復(fù)雜且應(yīng)變能力極強(qiáng)的心理活動(dòng)。其中，既有邏輯思維亦有非邏輯思維，因此沒有統(tǒng)一的模式和固定的方法。但是，建模過程大多要經(jīng)過分析與綜合、抽象與概括、比較與類比、系統(tǒng)化與具體化的階段，其中分析與綜合是基礎(chǔ)，抽象與概括是關(guān)鍵。從邏輯思維而言，抽象、歸納、演繹、類比等形式邏輯的思維方法被大量采用，熟悉這些基本方法對(duì)建模會(huì)有很大幫助。第32頁，共35頁，2023年，2月20日，星期六從系統(tǒng)模型的要求、建模過程和建模步驟來看，要建好模型，應(yīng)該具備下列幾方面的能力：分析綜合能力,抽象概括能力,聯(lián)想洞察能力,運(yùn)用相關(guān)工具的能力,通過實(shí)踐驗(yàn)證模型的能力第33頁，共35頁，2023年，2月20日，星期六稱職的建模者應(yīng)該具備以下幾方面的能力：(1)對(duì)客觀事物或過程能夠透過現(xiàn)象抓住本質(zhì)，使得對(duì)問題有一個(gè)深刻的理解、清晰的圖景、清楚的層次和明確的輪廓。(2)在數(shù)學(xué)方面應(yīng)有基本訓(xùn)練，要有一定的數(shù)學(xué)修養(yǎng)，并且掌握一套數(shù)學(xué)思路和方法。(3)具有把實(shí)際問題與數(shù)學(xué)聯(lián)系起來的能力，善于把各種現(xiàn)象中的表面差異撇去，而把本質(zhì)的共性提煉出來。同時(shí)，建模者應(yīng)該注意需要避免的四種傾向是：懶、饞、貪、變。第34頁，共35頁，2023年，2月20日，星