智能決策的不同理論與方法

1、智能決策的不同理論與方法2022/8/1決策理論與方法-智能決策理論與方法不確定性決策不確定性決策：指難以獲得各種狀態(tài)發(fā)生的概率，甚至對未來狀態(tài)都難以把握的決策問題。特點(diǎn)：狀態(tài)的不確定性。不確定性：不確定性來自人類的主觀認(rèn)識與客觀實(shí)際之間存在的差異。事物發(fā)生的隨機(jī)性、人類知識的不完全、不可靠、不精確和不一致以及自然語言中存在的模糊性和歧義性，都反映了這種差異，都會帶來不確定性。不確定性就造成了具有相同描述信息的對象可能屬于不同概念。 解決問題的主要理論方法：人工智能與不確定性理論智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8

2、/1決策理論與方法-智能決策理論與方法智能決策理論與方法1、智能決策理論的形成背景2、知識發(fā)現(xiàn)3、粗糙集理論4、機(jī)器學(xué)習(xí)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法智能決策理論與方法形成背景人類面臨越來越復(fù)雜的決策任務(wù)和決策環(huán)境：決策問題所涉及的變量規(guī)模越來越大；決策所依賴的信息具有不完備性、模糊性、不確定性等特點(diǎn)，使得決策問題難以全部定量化地表示出來；某些決策問題及其目標(biāo)可能是模糊的、不確定的，使得決策者對自己的偏好難以明確，隨著決策分析的深入，對決策問題的認(rèn)知加深，自己原有的偏好/

3、傾向得到不斷地修正，使得決策過程出現(xiàn)不斷調(diào)整的情況，這時，傳統(tǒng)的決策數(shù)學(xué)模型已經(jīng)難以勝任求解復(fù)雜度過高的決策問題、含有不確定性的決策問題以及半結(jié)構(gòu)化、非結(jié)構(gòu)化的決策問題，因而產(chǎn)生了智能決策理論、方法及技術(shù)。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法智能決策理論與方法AI的應(yīng)用模式智能決策方法是應(yīng)用人工智能(Artificial Intelligence, AI)相關(guān)理論方法，融合傳統(tǒng)的決策數(shù)學(xué)模型和方法而產(chǎn)生的具有智能化推理和求解的決策方法，其典型特征是能夠在不確定、不完備、模糊的信

4、息環(huán)境下，通過應(yīng)用符號推理、定性推理等方法，對復(fù)雜決策問題進(jìn)行建模、推理和求解。AI應(yīng)用于決策科學(xué)主要有兩種模式：針對可建立精確數(shù)學(xué)模型的決策問題，由于問題的復(fù)雜性，如組合爆炸、參數(shù)過多等而無法獲得問題的解析解，需要借助AI中的智能搜索算法獲得問題的數(shù)值解；針對無法建立精確數(shù)學(xué)模型的不確定性決策問題、半結(jié)構(gòu)化或非結(jié)構(gòu)化決策問題，需要借助AI方法建立相應(yīng)的決策模型并獲得問題的近似解。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法智能決策理論與方法1、智能決策理論的形成背景2、知識發(fā)現(xiàn)3、粗

5、糙集理論4、機(jī)器學(xué)習(xí)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識發(fā)現(xiàn)動機(jī)智能決策的核心是如何獲取支持決策的信息和知識。問題知識獲取是基于知識的系統(tǒng)(KBS)的最大瓶頸推理機(jī)知識工程師領(lǐng)域?qū)＜覜Q策者知識庫問題請求推理結(jié)果智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識發(fā)現(xiàn)動機(jī)問題推理規(guī)則的獲取與KBS中知識獲取一樣難，因而基于案例推理(Case-Based Reasoning

6、)漸漸變成基于案例檢索(Case-Based Retrieving)。推理機(jī)決策者案例庫問題請求推理結(jié)果規(guī)則庫知識工程師領(lǐng)域?qū)＜抑悄軟Q策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識發(fā)現(xiàn)動機(jī)決策者數(shù)據(jù)分析師數(shù)據(jù)中心不一定滿意的決策決策支持查詢查詢結(jié)果問題數(shù)據(jù)分析師與決策者之間對問題的理解存在偏差缺少有創(chuàng)造性的決策建議技術(shù)問題：如查詢效率(RDBMS)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策

7、理論與方法知識發(fā)現(xiàn)動機(jī)推理機(jī)數(shù)據(jù)挖掘工具數(shù)據(jù)中心決策者知識庫問題請求推理結(jié)果背景知識領(lǐng)域?qū)＜覂?yōu)點(diǎn)知識獨(dú)立于問題本身知識的獲取主要通過數(shù)據(jù)挖掘?qū)崿F(xiàn)有創(chuàng)造性收獲智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法Data Mining within the DSS智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識發(fā)現(xiàn)動機(jī)KDD帶來的新問題知識發(fā)現(xiàn)問題：如何從數(shù)據(jù)中將知識挖掘出來？面臨許多技術(shù)

8、問題：如數(shù)據(jù)異構(gòu)問題、數(shù)據(jù)具有噪音且信息不完整、使用什么樣的挖掘算法、知識如何表示等知識評價問題：數(shù)據(jù)本身具有權(quán)威性、客觀性，但知識不具備。知識如何評價？智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法參考書推薦智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法為什么要開展數(shù)據(jù)挖掘？信息技術(shù)的廣泛應(yīng)用產(chǎn)生了大量的數(shù)據(jù)：流數(shù)據(jù)（生產(chǎn)數(shù)據(jù)、監(jiān)控數(shù)據(jù)、傳感數(shù)據(jù)）各種(時間)序列數(shù)據(jù)（證券交易，

9、基因序列）對象關(guān)系數(shù)據(jù)（社交網(wǎng)絡(luò)，分子結(jié)構(gòu)）管理數(shù)據(jù)（MIS，ERP：財務(wù)、人力資源、客戶關(guān)系）空間數(shù)據(jù)（GIS、GPS）多媒體數(shù)據(jù)（視頻監(jiān)控，視頻分享）文本數(shù)據(jù)（學(xué)術(shù)論文，新聞，微博，博客）萬維網(wǎng)數(shù)據(jù)（內(nèi)容，結(jié)構(gòu)，使用，交易數(shù)據(jù)）智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法為什么要開展數(shù)據(jù)挖掘？Big Data大數(shù)據(jù)時代第一，數(shù)據(jù)體量（Volume）巨大 。從TB級別，躍升到PB級別。第二，數(shù)據(jù)類型繁多（Variety） 。網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。第三，價值（Valu

10、e）密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅有一兩秒。第四，處理速度（Velocity）快。1秒定律。We are drowning in data, but starving for knowledge! 智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法2022年8月1日電子商務(wù)新進(jìn)展：數(shù)據(jù)挖掘KDD & DM知識發(fā)現(xiàn)(Knowledge Discovery in Databases ,KDD) 是指從大量數(shù)據(jù)中提取有用的(useful)、新穎的(novel)、有效的

11、(valid)并最終能被人理解(understandable)的模式(patterns)的處理過程(process)。 數(shù)據(jù)挖掘(Data Mining，DM) 是KDD的核心階段, 通過實(shí)施相關(guān)算法獲得期望的模式。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程理解、定義用戶的目標(biāo)和KDD運(yùn)行的環(huán)境。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程（1）選取可用的

12、數(shù)據(jù)；（2）定義附加的、必須的數(shù)據(jù)，如領(lǐng)域知識；（3）數(shù)據(jù)集成為一個數(shù)據(jù)集，供KDD使用。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程（1）缺失值處理（2）剔除噪聲或異常數(shù)據(jù)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程（1）維數(shù)約簡(特征選擇與抽取，數(shù)據(jù)采樣)（2）屬性轉(zhuǎn)換 (離散化和泛化)（3）數(shù)據(jù)編碼智能決策的不同理論與方法-智能決策理論與方法-智能決策

13、理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程(1)確定數(shù)據(jù)挖掘類型，如分類、聚類、回歸； (2) 選擇特定的方法； (3) 執(zhí)行數(shù)據(jù)挖掘算法。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程評估和解釋所挖掘的模式，重點(diǎn)是可理解性、有用性.智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD過程與原有知識系統(tǒng)合

14、并。挑戰(zhàn): 動態(tài)與增量挖掘問題。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理空值估算空值是指屬性值未知且不可用、與其它任何值都不相同的符號。在樣本數(shù)據(jù)集中，空值在所有非主碼屬性中都可能出現(xiàn)?？罩党霈F(xiàn)的主要原因：在信息收集時忽略了一些認(rèn)為不重要的數(shù)據(jù)或信息提供者不愿意提供，而這些數(shù)據(jù)對以后的信息處理可能是有用的；某些屬性值未知；數(shù)據(jù)模型的限制。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-

15、智能決策理論與方法數(shù)據(jù)預(yù)處理空值估算空值處理的常用方法：從訓(xùn)練集中移去含未知值的實(shí)例；用某個最可能的值進(jìn)行替換；基于樣本中其它屬性的取值和分類信息，構(gòu)造規(guī)則來預(yù)測丟失的數(shù)據(jù)，并用預(yù)測結(jié)果“填補(bǔ)”丟失值；應(yīng)用貝葉斯公式確定未知值的概率分布，選擇一最可能的值填補(bǔ)空值或根據(jù)概率分布用不同值填補(bǔ)空值形成多個對象；將含有未知值的一個給定樣本數(shù)據(jù)集轉(zhuǎn)換成一個新的、可能不相容的但每個屬性值均已知的數(shù)據(jù)集，方法是將某個屬性的未知值用所有該屬性的可能值替換形成多個數(shù)據(jù)集。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決

16、策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化問題描述 設(shè) 為一樣本數(shù)據(jù)集， 為非空有限集合，C是條件屬性集，D是決策屬性集。假設(shè)對于任意有 ， R是實(shí)數(shù)集，則 為連續(xù)屬性。設(shè) 是 上的分割點(diǎn)集合，記為其中 ， 為一整數(shù)，表示離散化程度，可以看作按屬性將論域中的對象分成 類。3kiki-121智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化對于需要離散化的連續(xù)屬性集 ，其分割點(diǎn)集合記為將ci屬性的連續(xù)取值映射到離散空間，即對于任意若其屬性ci 的取值在區(qū)間 內(nèi)，則將屬性值重新

17、標(biāo)記為j。這樣就把原來含有連續(xù)屬性的樣本數(shù)據(jù)集A轉(zhuǎn)換成離散化的數(shù)據(jù)集 。因此離散化問題本質(zhì)上可歸結(jié)為利用選取的分割點(diǎn)對屬性的值域空間進(jìn)行劃分的問題。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化離散化方法典型的有等區(qū)間方法、等信息量方法、基于信息熵的方法、Holte的1R離散化方法、統(tǒng)計試驗(yàn)方法、超平面搜索方法以及用戶自定義區(qū)間等。應(yīng)用不同的準(zhǔn)則可將現(xiàn)有的離散化方法分為局部與全局方法(論域空間)、靜態(tài)與動態(tài)方法(屬性空間)和有導(dǎo)師與無導(dǎo)師方法(是否依賴決策屬性)。

18、(1)等區(qū)間離散化方法等區(qū)間分割是將連續(xù)屬性的值域等分成 ( )個區(qū)間, 一般由用戶確定。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化 假設(shè)某個屬性的最大屬性值為xmax，最小屬性值為xmin，用戶給定的分割點(diǎn)參數(shù)為k，則分割點(diǎn)間隔為=(xmax-xmin)/k， 所得到的屬性分割點(diǎn)為xmin+i，i=1,2,k。(2)等信息量離散化方法 等信息量分割首先將測量值進(jìn)行排序，然后將屬性值域分成k個區(qū)間，每個區(qū)間包含相同數(shù)量的測量值。假設(shè)某個屬性的最大屬性值為xma

19、x ，最小屬性值為xmin ，用戶給定的分割點(diǎn)參數(shù)為k，樣本集中的對象個數(shù)為n，則需要將樣本集中的對象按該屬性的取值從小到大排列，然后按對象數(shù)平均劃分為k段即得到分割點(diǎn)集，每兩個相鄰分割點(diǎn)之間的對象數(shù)均為n/k。 智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化(3)統(tǒng)計試驗(yàn)方法統(tǒng)計試驗(yàn)方法根據(jù)決策屬性分析區(qū)間劃分之間的獨(dú)立程度，確定分割點(diǎn)的有效性。對于任意分割點(diǎn) ，均可將 分成2個區(qū)間 和 ，兩區(qū)間的獨(dú)立程度為：其中：r是決策類數(shù)目nij是在第l區(qū)間中屬于第j決策

20、類的對象數(shù)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法數(shù)據(jù)預(yù)處理連續(xù)屬性離散化 若 ，則取 基于統(tǒng)計試驗(yàn)的離散化方法是將 值較大的分割點(diǎn)作為有效分割點(diǎn)。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法Taxonomy of Data Mining Methods智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決

21、策理論與方法-智能決策理論與方法Taxonomy of Data Mining MethodsVerification-oriented (the system verifies the users hypothesis): including the most common methods of traditional statistics, like goodness of fit(擬合優(yōu)度) test, tests of hypotheses (假設(shè)檢驗(yàn)，e.g., t-test of means), and analysis of variance (ANOVA，方差分析或F-檢驗(yàn)).

22、Discovery-oriented (the system finds new rules and patterns autonomously): prediction methods VS description methods；supervised learning（有導(dǎo)師學(xué)習(xí)） VS unsupervised learning智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods歸納總結(jié)(Induction & Summarization)：從泛化的

23、角度總結(jié)數(shù)據(jù)，即從低層次數(shù)據(jù)抽象出高層次的描述的過程。主要方法：歸納、泛化。泛化(Generalization)是用來擴(kuò)展一假設(shè)的語義信息，使其能夠包含更多的正例，應(yīng)用于更多的對象。動物哺乳類鳥類企鵝食肉類蹄類飛禽類走禽類虎印度豹長頸鹿斑馬信天翁鷹駝鳥動物世界概念樹第1層第2層第3層第4層智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods關(guān)聯(lián)規(guī)則(Association Rules)：關(guān)聯(lián)規(guī)則的形式為AB，A為前件，B為后件。 (Day=Friday)

24、and (Product= Diaper) (Product=Beer)為一典型關(guān)聯(lián)規(guī)則 A為滿足前件的對象集，B為滿足后件的對象，N為全部對象集。典型方法：Apriori算法。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法關(guān)聯(lián)規(guī)則發(fā)現(xiàn)(Apriori算法)Apriori算法由Agrawal & Srikant在1994年提出主要思想:一個頻繁項集（支持度超過給定值的項集）的子集一定是頻繁的例如， 若beer, diaper, nuts是頻繁的, 那么beer, diaper 一定是頻繁

25、的. 任一項是非頻繁的，則包含該項的超集一定是不頻繁的。例如， 若beer, diaper是不頻繁的, 那么 beer, diaper, nuts一定是不頻繁的.智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法關(guān)聯(lián)規(guī)則發(fā)現(xiàn)(Apriori算法)ProcedureFind the frequent itemsets: the sets of items that have minimum support (Apriori)A subset of a frequent itemset must

26、 also be a frequent itemset, i.e., if A B is a frequent itemset, both A and B should be a frequent itemsetIteratively find frequent itemsets with cardinality from 1 to k (k-itemset)Use the frequent itemsets to generate association rules.智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理

27、論與方法-智能決策理論與方法關(guān)聯(lián)規(guī)則發(fā)現(xiàn)(Apriori算法)Database DScan DC1L1L2C2C2Scan DC3L3Scan D智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods分類(Classification，等價關(guān)系，判別)：按類標(biāo)簽(為數(shù)據(jù)庫中的某屬性集，一般僅包含一個屬性)對數(shù)據(jù)庫中的對象進(jìn)行分類，具有相同標(biāo)簽值或標(biāo)簽值在指定區(qū)間內(nèi)的對象屬于同類。分類規(guī)則是判斷某個對象屬于某類的充分條件即對象具有某類的屬性時則表示該對象屬于該

28、類。其規(guī)則形式一般為IF LogicExp Then A類 Else B類。主要方法：決策樹、ANN、粗糙集、SVM等。（分別介紹）智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods聚類(Clustering,相容關(guān)系)：聚類也叫分段，就是將數(shù)據(jù)庫中的實(shí)體分成若干組或簇，簇內(nèi)實(shí)體相似性最大，簇間相似性最小。對象相似的判斷方法有多種如距離法。典型方法：K-means聚類方法的核心問題是樣品間的相似性度量，通常用距離來度量。智能決策的不同理論與方法-智能決策

29、理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-means算法)聚類分析中的常用距離(1)歐氏(Euclidean)距離(2)絕對距離 在實(shí)際應(yīng)用時常分析兩個樣品之間的相對距離，這時需要對樣品數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，然后用標(biāo)準(zhǔn)化數(shù)據(jù)計算距離。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-means算法)對于給定的n個樣品，先粗略地形成k(kn)個分割，使得每個分割對應(yīng)一個類、每個類至少有一個樣品并且每

30、個樣品精確地屬于一個類，然后按照某種原則進(jìn)行修正，直至分類比較合理為止。具體步驟如下：(1)聚點(diǎn)的選擇：聚點(diǎn)是一批有代表性的樣品，它的選擇決定了初始分類。首先確定分類數(shù)k，然后選擇k個有代表性的樣品作為每個類的初始元素即聚點(diǎn)。聚點(diǎn)可由用戶根據(jù)經(jīng)驗(yàn)選擇，也可隨機(jī)選擇，或?qū)⑷繕悠啡藶榈鼗螂S機(jī)地分成k類，以每類的重心作為聚點(diǎn)。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-means算法)(2)初始聚類有了聚點(diǎn)集合后，可根據(jù)下列最靠近原則實(shí)現(xiàn)初始分類：若對于某樣品x出現(xiàn) ，則x任意歸

31、于Gi(0) 或Gj(0) 類。這樣就得到了樣品空間的初始分類：智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-means算法)(3)迭代過程設(shè)聚類形成的一個分類為則可從G(m)出發(fā)計算新的聚點(diǎn)集合L(m+1)。一般可以以G(m)中各類的重心作為新的聚點(diǎn)。其中根據(jù)新的聚點(diǎn)集，對樣品空間重新聚類，形成新的分類：其中智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-mea

32、ns算法)(4)迭代終止 隨著m的增大，分類趨于穩(wěn)定。當(dāng)G(m+1)=G(m)或在一定的精度范圍內(nèi)近似有G(m+1)=G(m)，則遞推過程結(jié)束。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法聚類(K-means算法)m-male，f-femalemfmmmmmmmfmmmmmmmmmffmmmmmmmmmmmfmmmmmmmmmmmmmmmmmmmf16K64K32K20304050ageincome聚類模型智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與

33、方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods回歸(Regression)：根據(jù)歷史數(shù)據(jù)擬合一函數(shù)將屬性集映射到相應(yīng)的值集。回歸可以看作一種分類，區(qū)別是分類的類標(biāo)簽值是離散的，而回歸是連續(xù)的。neurallinerprofit010005000mins 回歸模型智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & MethodsSequence, trend and evolution analysisTr

34、end, time-series, and deviation analysis: e.g., regression and value predictionSequential pattern mininge.g., first buy digital camera, then buy large SD memory cardsPeriodicity analysisMotifs and biological sequence analysisApproximate and consecutive motifsSimilarity-based analysisMining data stre

35、amsOrdered, time-varying, potentially infinite, data streams智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & Methods異常探測(Outlier Detection)：Outlier: A data object that does not comply with the general behavior of the dataNoise or exception? One persons garbage

36、 could be another persons treasureMethods: by product of clustering or regression analysis, Useful in fraud detection, rare events analysis智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法KDD Goals & MethodsStructure and Network AnalysisGraph mining：Finding frequent subgr

37、aphs, trees, substructuresInformation network analysis：Social networksMultiple heterogeneous networks： friends, family, classmates, Links carry a lot of semantic information: Link miningWeb miningWeb is a big information network: from PageRank to GoogleAnalysis of Web information networks，Web commun

38、ity discovery, opinion mining, usage mining, 智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法智能決策理論與方法1、智能決策理論的形成背景2、知識發(fā)現(xiàn)3、粗糙集理論4、機(jī)器學(xué)習(xí)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法預(yù)備知識相關(guān)名詞解釋論域：研究對象的全體成員構(gòu)成的集合，一般用字母U表示；若XU，則稱X是U的子集隸屬度：描述一個對象x

39、與某個子集X之間的隸屬程度，一般用符號表示，若xX, 則=1;若 ,則=0;其他： 01(常用某個函數(shù)加以描述，稱為隸屬度函數(shù))智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法預(yù)備知識相關(guān)名詞解釋等價關(guān)系：R是U上的一個等價關(guān)系，當(dāng)且僅當(dāng)對于任意xU，均有x R x（自反性）對于任意x, yU，x R yy R x（對稱性）對于任意x, y, zU，x R y y R zx R z（傳遞性）等價類：若R是U上的一個等價關(guān)系，對于任意xU，稱集合x=y| y R x, y U為U關(guān)于R的一個

40、等價類，記為xR。設(shè)X1, X2, , Xn是U關(guān)于R的所有等價類，則有：XiXj=（ij，i, j=1,2,n）X1X2Xn=U劃分：所有等價類的集合稱為U關(guān)于R的商集，它構(gòu)成了U的一個劃分，記為U/R。概念：具有相同特征值的一群對象稱為一個概念（一個等價類就是一個概念）智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法預(yù)備知識相關(guān)名詞解釋pi T1 pj iff v(pi, T1)=v(pj, T1)，則T1是U上的一個等價關(guān)系（類似地可以定義T2, T3, E）X1=p1=p4=p6=

41、p1, p4, p6為U關(guān)于T1的一個等價類X2=p2=p3=p5=p2, p3, p5為U關(guān)于T1的另一個等價類（T1有多少種取值就有多少個等價類）顯然 X1X2=; X1X2=U商集U/T1=X1, X2UT1 T2T3Ep1NYNormalYp2YNNormalYp3YYHighYp4NYLowNp5YNNormalNp6NYHighY智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法預(yù)備知識成員集合成員：明確的隸屬關(guān)系模糊成員：概念模糊(如青年)導(dǎo)致成員模糊粗糙成員：概念清晰(如感冒

42、)，成員模糊(是否感冒不清楚)，具有概率特征(隸屬函數(shù))，但不是概率問題，只是由于根據(jù)可用知識無法得到準(zhǔn)確結(jié)論。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集理論的提出粗糙集理論由Pawlak提出1982,1991。粗糙集理論反映了人們以不完全信息或知識去處理一些不可分辨現(xiàn)象的能力，或依據(jù)觀察、度量到某些不精確的結(jié)果而進(jìn)行分類數(shù)據(jù)的能力。Pawlak Z., Rough sets. International Journal of Computer and Information

43、Sciences, 1982(11): 341-356Pawlak Z., Rough setTheoretical Aspects of Reasoning about Data, Dordrecht, Boston, London: Kluwer Academic Publishers,1991智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法基本思想知識是主體對論域中的客體進(jìn)行分類的能力，分類能力越強(qiáng)，主體所具備知識的可靠度越高 分類能力受主體分辨能力的影響，因此分類具有近似性 (粗糙

44、集)影響分類能力的因素(在信息系統(tǒng)中常描述為屬性)很多，不同的因素重要程度不同，其中某些因素起決定性作用 (屬性重要性：屬性約簡)具有相同屬性的實(shí)體，屬性取值的不同對分類能力也產(chǎn)生影響 (值重要性：值約簡)屬性之間存在某種依賴關(guān)系(決策規(guī)則)智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法信息系統(tǒng)與知識信息系統(tǒng)I可以定義為四元組，其中有限非空集合U是論域，A為關(guān)于U的屬性集， ，Va表示屬性a的值域，映射f: UAV表示對xU，aA，有： f(x, a)V。決策表：若屬性集合A可進(jìn)一步分為

45、兩個屬性子集的并：條件屬性集C和決策屬性集D，A=CD，CD=，則信息系統(tǒng)也被稱為決策表。UT1 T2T3Ep1NYNormalYp2YNNormalYp3YYHighYp4NYLowNp5YNNormalNp6NYHighY智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法信息系統(tǒng)與知識A的任何一個子集B確定一個U上的二元關(guān)系IND(B)：對于任意aB，xIND(B)ya(x)=a(y)；x, yU；a(x)表示對象x的a屬性值。則稱IND(B)為不可分辨關(guān)系。 IND(B)是等價關(guān)系，I

46、ND(B)的所有等價類的集合記為U/B（稱為知識B），含有元素x的等價類記為B(x)或xB，同一等價類中的元素是不可分辨的，稱IND(B)等價類為初等集（范疇），它是知識庫的基本結(jié)構(gòu)單元即概念。設(shè)R是由屬性集A的子集誘導(dǎo)的論域U上的等價關(guān)系族，則稱R為U上的一個知識庫，記為K=(U, R)。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集與近似對于U的任意子集X，若X恰能由知識R的若干個初等集的并構(gòu)成，則稱X為R-精確集，否則為R-粗糙集。每個粗糙集X都可用兩個與之相關(guān)的精確集近似表

47、示即X的上近似和下近似，他們是粗糙集理論的兩個最基本運(yùn)算。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集與近似下近似由所有包含于X的初等集合的并構(gòu)成， X的下近似中的元素一定屬于X。上近似由與X的交為非空的初等集合的并構(gòu)成，而上近似中的元素可能屬于X。上近似與下近似的差為邊界域，粗糙集的邊界域?yàn)榉强?，否則為精確集。邊界域中的元素根據(jù)可用知識沒有確定的分類，即它既不能劃分到X中也不能劃分到X的補(bǔ)集中。正域與負(fù)域智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策

48、理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法經(jīng)典粗糙集模型論域U粗糙集X粗糙集X智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法經(jīng)典粗糙集模型R1=T1：U/R1=p2, p3, p5，p1, p4, p6； R2=T2,T1：U/R2=p1, p4, p6, p2, p5, p3；R=T1, T2, T3：U/R=(p1, p3, p6, p2, p5,p4;F=E：U/F=p1, p2, p3, p6, p4, p5X1=p1, p2, p3, p6

49、是R粗糙集，X1的R下近似是p1, p3, p6，R上近似是p1, p2, p3, p5, p6，邊界域?yàn)閜2, p5；X2=p4, p5也是R粗糙集，X2的R下近似是p4，X2的R上近似是p2, p4, p5，而邊界域是p2, p5。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集數(shù)字特征精度： X的R精度反映了我們對于了解集合X的知識的完全程度。R(X)=1為精確集， 0R(X)1為粗糙集。粗糙度：X的R粗糙度反映了我們對于了解集合X的知識的不完全程度。(精度與概率或隸屬度的區(qū)別

50、)隸屬度：是根據(jù)可用知識R，對象x隸屬于概念X的條件概率。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集數(shù)字特征知識R=T1, T2, T3：U/R=(p1, p3, p6, p2, p5,p4;分類F=E：U/F=p1, p2, p3, p6, p4, p5X1=p1, p2, p3, p6是R粗糙集，X1的R下近似是p1, p3, p6，R上近似是p1, p2, p3, p5, p6，R精度為；R粗糙度為； X2=p4, p5也是R粗糙集，X2的R下近似是p4，X2的R上近似是

51、p2, p4, p5， R精度為；R粗糙度為；p2隸屬于X1的隸屬度為。智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集數(shù)字特征設(shè)F=X1，X2，Xn是論域U上的一個劃分，那么根據(jù)知識R，F(xiàn)的分類精度如何？F的近似精度：分類的近似精度給出了根據(jù)現(xiàn)有知識對對象進(jìn)行分類時可能正確的決策的百分?jǐn)?shù)。F的近似質(zhì)量：近似質(zhì)量給出了能正確分類的百分?jǐn)?shù)。這是一個非常重要的特征數(shù)字，它反映了兩種分類F和R之間的關(guān)系。如果將R看作決策表中的條件屬性集，F(xiàn)看成決策屬性集，近似質(zhì)量反映了兩者之間的依賴關(guān)系。

52、智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法粗糙集數(shù)字特征知識R=T1, T2, T3：U/R=(p1, p3, p6, p2, p5,p4;分類F=E：U/F=p1, p2, p3, p6, p4, p5X1=p1, p2, p3, p6是R粗糙集，X1的R下近似是p1, p3, p6，R上近似是p1, p2, p3, p5, p6 ； X2=p4, p5也是R粗糙集，X2的R下近似是p4，X2的R上近似是p2, p4, p5；F的近似精度為；F的近似質(zhì)量為。智能決策的不同理論與方法

53、-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識依賴為了尋找“IFTHEN”形式的推理規(guī)則，在粗糙集理論體系中所采用的方法是從一個給定的知識，推導(dǎo)另一個知識。如果知識D的所有初等范疇都能用知識C的某些初等范疇來定義，則稱知識D可由知識C推得，也稱D完全依賴于C，記為CD。 設(shè)信息系統(tǒng)I=，A=CD，BC，則D的B正域定義為：D的B正域表示：利用知識B，能正確地劃分到U/D各等價類中的所有對象的集合 智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022

54、/8/1決策理論與方法-智能決策理論與方法知識依賴設(shè)信息系統(tǒng)I=，D完全依賴于C當(dāng)且僅當(dāng) D等價于C當(dāng)且僅當(dāng)(CD) (DC)；D獨(dú)立于C當(dāng)且僅當(dāng)(CD) (DC)。如果知識D的部分初等范疇能用知識C的某些初等范疇來定義，稱知識D部分依賴于知識C。設(shè)信息系統(tǒng)I=，有： 則稱D是k(0k1)度依賴于C，記為CkD。 智能決策的不同理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法-智能決策理論與方法2022/8/1決策理論與方法-智能決策理論與方法知識依賴R1=T1：U/R1=p2, p3, p5，p1, p4, p6； R2=T2,T1：U/R2=p1, p4, p6, p2, p5, p3；R3=T1, T2, T3：U/R3=(p1, p3, p6, p2, p5,p4;F=E：U/F=p1, p2, p3, p6, p4, p5X1=p1, p2, p3, p6是R3粗糙集，X1的R3下近似是p1, p3, p6，R3上近