第4章 統(tǒng)計推理

人工智能是最廣泛的定義，其中夾雜數(shù)學(xué)規(guī)劃、統(tǒng)計學(xué)等學(xué)科交叉，機器學(xué)習(xí)是實現(xiàn)人工智能的重要方法，深度學(xué)習(xí)是實現(xiàn)機器學(xué)習(xí)的最新技術(shù)之一。其主要分為三大學(xué)派。符號學(xué)派：其原理主要為物理符號系統(tǒng)(即符號操作系統(tǒng))假設(shè)和有限合理性原理。其將學(xué)習(xí)看作逆向演繹，并從哲學(xué)、心理學(xué)、邏輯學(xué)中尋求洞見。主要包括：專家系統(tǒng)、語義網(wǎng)、知識圖譜、貝葉斯學(xué)派（樸素貝葉斯）、類推學(xué)派（支持向量機）；行為主義學(xué)派：其原理為控制論及感知——動作型控制系統(tǒng)。智能行為只能在現(xiàn)實世界中與周圍環(huán)境交互作用而表現(xiàn)出來，在計算機上模擬進化，并利用遺傳學(xué)和進化生物學(xué)知識。主要包括：強化學(xué)習(xí)、群體智能（粒子群算法、蟻群算法）、進化學(xué)派（遺傳算法）；聯(lián)結(jié)學(xué)派：其主要原理為神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)間的連接機制與學(xué)習(xí)算法，其對大腦進行逆向分析，靈感來源于神經(jīng)科學(xué)和物理學(xué)。主要包括：感知機、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等。第一部分——第4章：背景符號學(xué)派行為主義學(xué)派聯(lián)結(jié)學(xué)派

1956年夏季，以麥卡賽、明斯基、羅切斯特和申農(nóng)等為首的一批有遠見卓識的年輕科學(xué)家在一起聚會，共同研究和探討用機器模擬智能的一系列有關(guān)問題，并首次提出了“人工智能”（英文縮寫為AI）這一術(shù)語，它標志著“人工智能”學(xué)科的正式誕生。IBM公司“深藍”電腦擊敗人類的世界國際象棋冠軍、AlphaGo擊敗世界圍棋冠軍，便是人工智能技術(shù)的一個優(yōu)異表現(xiàn)。

諾貝爾經(jīng)濟學(xué)獎獲得者ThomasJ.Sargent甚至認為人工智能就是統(tǒng)計學(xué),只不過它用了一個很華麗的辭藻而已?；蛟S，這個觀點過于極端了。那么，人工智能與統(tǒng)計學(xué)到底是什么關(guān)系呢？本書認為，統(tǒng)計學(xué)是人工智能的重要基礎(chǔ)之一。無論是人工智能還是統(tǒng)計學(xué)，都有三個基本要素：問題、數(shù)據(jù)和方法。實現(xiàn)三個基本要素的統(tǒng)一是兩者的共同任務(wù)、互相借鑒，這兩者之間既有共性也有差異。人工智能與統(tǒng)計學(xué)間的關(guān)系第一部分——第4章：背景人工智能誕生背景人工智能與統(tǒng)計學(xué)間的關(guān)系以數(shù)據(jù)為基礎(chǔ)；都主要基于歸納思維；都以解決實際問題為目標，即尋找規(guī)律、探求關(guān)系、發(fā)現(xiàn)趨勢；都需借助一定的數(shù)學(xué)模型；都體現(xiàn)了貝葉斯思想。統(tǒng)計學(xué)基于人腦思維導(dǎo)向，而人工智能基于電腦思維導(dǎo)向；統(tǒng)計學(xué)基于人的能動性學(xué)習(xí)，而人工智能基于機器的程序化學(xué)習(xí)；統(tǒng)計學(xué)包括了各種各樣定性與定量相結(jié)合的方法，而人工智能只是基于經(jīng)驗的算法（目前情況下）；統(tǒng)計學(xué)思維同時具有正逆向思維（既可根據(jù)已掌握數(shù)據(jù)推斷未知數(shù)據(jù)，也可對缺失數(shù)據(jù)進行推斷），而人工智能只能進行正向思維（只根據(jù)所輸入數(shù)據(jù)進行學(xué)習(xí)推斷）；統(tǒng)計分析結(jié)果是否符合實際情況，一般只能進行事后驗證，而人工智能的實際效果通?？梢赃M行同步驗證；統(tǒng)計誤差一般是理論評判，而人工智能誤差可以進行實效評判。第一部分——第4章：背景兩者之間的共性兩者之間的差異貝葉斯決策（BayesianDecisionTheory）是在不完全信息下，對部分未知的狀態(tài)用主觀概率估計，然后用貝葉斯公式對發(fā)生概率進行修正，最后再利用期望值和修正概率做出最優(yōu)決策。貝葉斯決策是基于貝葉斯定理發(fā)展起來用于系統(tǒng)的闡述和解決統(tǒng)計問題的方法。一個完整的貝葉斯分析應(yīng)該包括數(shù)據(jù)分析，概率模型的構(gòu)造，先驗信息和效應(yīng)函數(shù)的假設(shè)以及最后的決策。貝葉斯理論能夠有效地綜合模型信息、數(shù)據(jù)信息和先驗信息等三類信息，使決策者能夠利用更多的信息做出最優(yōu)決策。

貝葉斯決策屬于風(fēng)險型決策，決策者雖不能控制客觀因素的變化，但卻掌握其變化的可能狀況及各狀況的分布概率，并利用期望值即未來可能出現(xiàn)的平均狀況作為決策準則，其基本思想是：首先，將已知類條件概率密度參數(shù)表達式和先驗概率。然后利用貝葉斯公式轉(zhuǎn)換成后驗概率。最后根據(jù)后驗概率大小進行決策分類。第一部分——第4章：4.1貝葉斯決策貝葉斯決策介紹貝葉斯決策基本思想貝葉斯決策的基本方法(1)缺少調(diào)查，(2)調(diào)查費用過高為了提高決策質(zhì)量，需要通過市場調(diào)查，收集有關(guān)狀態(tài)變量的補充信息，對先驗分布進行修正，用后驗狀態(tài)分布進行決策。補充信息（信息值）：指通過市場調(diào)查分析所獲取的補充信息，用已發(fā)生的隨機事件H或已取值的隨機變量τ表示，稱H或τ為信息值；信息值的可靠程度：用在狀態(tài)變量θ的條件下，信息值H的條件分布p(H/θ)表示；先驗概率—p(θ)：由以往的數(shù)據(jù)分析得到的概率；后驗概率—p(θ/H)：在得到信息之后，重新加以修正的概率。第一部分——第4章：4.1貝葉斯決策決策的兩種偏向貝葉斯決策貝葉斯決策的基本方法貝葉斯決策的基本步驟依據(jù)數(shù)據(jù)和資料以及經(jīng)驗和判斷，去測算和估計狀態(tài)變量θ的先驗分布p(θ)；計算各可行方案在不同θ下的條件結(jié)果值；根據(jù)某種決策準則評價選擇，找出最滿意方案。比較分析補充信息的價值和成本的過程。目的：判斷是否值得去補充信息判斷：如果信息的價值高于其成本，則補充信息給企業(yè)帶來正效益，應(yīng)該補充信息。反之，補充信息大可不必。利用補充信息修正先驗分布,得到更加符合實際的后驗分布；再利用后驗分布進行決策分析，選出最滿意的可行方案；對信息的價值和成本作對比分析，對決策分析的經(jīng)濟效益情況作出合理的說明。第一部分——第4章：4.1貝葉斯決策驗前分析預(yù)驗分析驗后分析貝葉斯決策的基本步驟第一部分——第4章：4.1貝葉斯決策序貫分析（主要針對多階段決策）驗后分析和預(yù)驗分析的異同相同：都是通過貝葉斯公式修正先驗分布不同：主要在于側(cè)重點不同指把復(fù)雜的決策問題的決策分析全過程劃分為若干階段，每一階段都包括先驗分析、預(yù)驗分析和驗后分析等步驟,每個階段前后相連,形成決策分析全過程馬爾可夫鏈，因俄國數(shù)學(xué)家安德雷·馬爾可夫得名，馬爾可夫在1906-1907年間發(fā)表的研究中為了證明隨機變量間的獨立性不是弱大數(shù)定律和中心極限定理成立的必要條件，構(gòu)造了一個按條件概率相互依賴的隨機過程，并證明其在一定條件下收斂于一組向量，該隨機過程被后世稱為馬爾可夫鏈。馬爾科夫鏈主要是基于如下假設(shè)：在給定當前只是或信息的情況下，過去（即當前以前的歷史狀態(tài)），對于預(yù)測將來（即當前以后的未來狀態(tài)）是無關(guān)的；每個狀態(tài)的轉(zhuǎn)移只依賴與之前的n個狀態(tài)，這個過程被稱為1個n階的模型，其中n是影響轉(zhuǎn)移狀態(tài)的數(shù)目。

馬爾可夫性質(zhì)（Markovproperty）是概率論中的一個概念，是指當一個隨機過程在給定現(xiàn)在狀態(tài)及所有過去狀態(tài)情況下，其未來狀態(tài)的條件概率分布僅依賴于當前狀態(tài)；換句話說，在給定現(xiàn)在狀態(tài)時，它與過去狀態(tài)（即該過程的歷史路徑）是條件獨立的，那么此隨機過程即具有馬爾可夫性質(zhì)。這類具有馬爾可夫性質(zhì)的過程通常稱之為馬爾可夫過程。第一部分——第4章：4.2馬爾可夫決策馬爾可夫鏈馬爾可夫性質(zhì)

第一部分——第4章：4.2馬爾可夫決策馬爾科夫過程(MarkovModel)

第一部分——第4章：4.2馬爾可夫決策馬爾科夫過程(MarkovModel)隱形馬爾科夫模型(HiddenMarkovModel,HMM)描述一個含有隱含未知參數(shù)的馬爾可夫過程。其難點是從可觀察的參數(shù)中確定該過程的隱含參數(shù),然后利用這些參數(shù)來作進一步的分析。我們不知道模型所經(jīng)過的狀態(tài)序列(模型的狀態(tài)轉(zhuǎn)換過程是不可觀察的、隱蔽的)，只知道狀態(tài)的隨機函數(shù)。隱藏的馬爾可夫鏈隨機生成的狀態(tài)的序列，稱為狀態(tài)序列(statesequence)；每個狀態(tài)生成一個觀測，而由此產(chǎn)生的觀測的隨機序列，稱為觀測序列(observationsequence)。序列的每一個位置又可以看作是一個時刻。

隱馬爾可夫模型的兩個基本假設(shè)

第一部分——第4章：4.2馬爾可夫決策隱馬爾可夫模型的兩個基本假設(shè):隱馬爾可夫模型的定義:

第一部分——第4章：4.2馬爾可夫決策隱馬爾可夫模型的兩個基本假設(shè)隱馬爾科夫模型的概率計算問題一前向算法

K近鄰（簡稱KNN）是一種基于統(tǒng)計的數(shù)據(jù)挖掘算法，給定一個訓(xùn)練數(shù)據(jù)集，對新的輸入實例，在訓(xùn)練數(shù)據(jù)集中找到與該實例最近鄰的K個實例，這K個實例的多數(shù)屬于某個類，就把該輸入實例分為這個類。即K近鄰算法的學(xué)習(xí)過程只是簡單的存儲已知的訓(xùn)練數(shù)據(jù)，當遇到新的查詢實例時，再從存儲器中取出一系列相似的實例，用來分類新的查詢實例。K近鄰算法的這種分類特點稱為消極學(xué)習(xí)方法，具有同樣特點的學(xué)習(xí)算法還有局部加權(quán)回歸，它的優(yōu)點在于不是在整個實例空間上一次性的估計目標函數(shù)，而是針對每個待分類的新實例做出局部的和相異的估計。其特點是在新的查詢實例到來之前，通過訓(xùn)練實例總結(jié)歸納出相似判斷的目標函數(shù)。K近鄰做分類預(yù)測時，一般是選擇多數(shù)表決法，即訓(xùn)練集里和預(yù)測的樣本特征最近的K個樣本，預(yù)測為里面有最多類別數(shù)的類別。而K近鄰做回歸時，一般是選擇平均法，即最近的K個樣本的樣本輸出的平均值作為回歸預(yù)測值。由于兩者區(qū)別不大，雖然本節(jié)主要是講解K近鄰的分類方法，但思想對K近鄰的回歸方法也適用。k近鄰第一部分——第4章：4.3k近鄰K近鄰，一種基于統(tǒng)計的數(shù)據(jù)挖掘算法K近鄰的分類預(yù)測K-近鄰算法優(yōu)缺點原理K-近鄰算法采用測量不同特征值之間的距離方法進行分類。其優(yōu)缺點及適用數(shù)據(jù)范圍如下：優(yōu)點：精度高、對異常值不敏感、無數(shù)據(jù)輸入假定。缺點：計算復(fù)雜度高、空間復(fù)雜度高。適用數(shù)據(jù)范圍：數(shù)值型和標稱型存在一個樣本數(shù)據(jù)集合，也稱作訓(xùn)練樣本集，并且樣本集中每個數(shù)據(jù)都存在標簽，即我們知道樣本集中每個數(shù)據(jù)與所屬分類的對應(yīng)關(guān)系。輸入沒有標簽的新數(shù)據(jù)后，將新數(shù)據(jù)的每個特征與樣本集中數(shù)據(jù)對應(yīng)的特征進行比較，然后算法提取樣本集中特征最相似數(shù)據(jù)（最近鄰）的分類標簽。一般來說，只選擇樣本數(shù)據(jù)集中前N個最相似的數(shù)據(jù)。K一般不大于20，最后，選擇k個中出現(xiàn)次數(shù)最多的分類，作為新數(shù)據(jù)的分類第一部分——第4章：4.3k近鄰K—近鄰算法K—近鄰算法工作原理K-近鄰算法原理（1）K值的選擇會對算法的結(jié)果產(chǎn)生重大影響。K值較小意味著只有與輸入實例較近的訓(xùn)練實例才會對預(yù)測結(jié)果起作用，但容易發(fā)生過擬合；如果K值較大，優(yōu)點是可以減少學(xué)習(xí)的估計誤差，但缺點是學(xué)習(xí)的近似誤差增大。（2）該算法中的分類決策規(guī)則往往是多數(shù)表決，即由輸入實例的K個最臨近的訓(xùn)練實例中的多數(shù)類決定輸入實例的類別。分類任務(wù)：輸出結(jié)果為k個訓(xùn)練樣本中占大多數(shù)的類?；貧w任務(wù)：輸出結(jié)果為k個訓(xùn)練樣本值的平均值。（3）距離度量一般采用Lp距離。設(shè)特征空間X是n維實數(shù)向量空間第一部分——第4章：4.3k近鄰三個基本要素K近鄰算法流程收集數(shù)據(jù)：可以使用任何方法準備數(shù)據(jù)：距離計算所需要的數(shù)值，最后是結(jié)構(gòu)化的數(shù)據(jù)格式。分析數(shù)據(jù)：可以使用任何方法訓(xùn)練算法：（此步驟kNN）中不適用測試算法：計算錯誤率使用算法：首先需要輸入樣本數(shù)據(jù)和結(jié)構(gòu)化的輸出結(jié)果，然后運行k-近鄰算法判定輸入數(shù)據(jù)分別屬于哪個分類，最后應(yīng)用對計算出的分類執(zhí)行后續(xù)的處理第一部分——第4章：4.3k近鄰K—近鄰算法流程決策樹（decisiontree）是一種基本的分類與回歸方法。本質(zhì)上決策樹是通過一系列規(guī)則對數(shù)據(jù)進行分類的過程。首先對數(shù)據(jù)進行處理，利用歸納算法生成可讀的規(guī)則和決策樹，然后使用決策對新數(shù)據(jù)進行分析。Hunt.Marin和Stone于1966年研制的CLS學(xué)習(xí)系統(tǒng)，用于學(xué)習(xí)單個概念。1979年J.R.Quinlan給出ID3算法，并在1983年和1986年對ID3進行了總結(jié)和簡化，使其成為決策樹學(xué)習(xí)算法的典型。Schlimmer和Fisher于1986年對ID3進行改造，在每個可能的決策樹節(jié)點創(chuàng)建緩沖區(qū)，使決策樹可以遞增式生成，得到ID4算法。1988年，Utgoff在ID4基礎(chǔ)上提出了ID5學(xué)習(xí)算法，進一步提高了效率。1993年，Quinlan進一步發(fā)展了ID3算法，改進成C4.5算法。另一類決策樹算法為CART，與C4.5不同的是，CART的決策樹由二元邏輯問題生成，每個樹節(jié)點只有兩個分枝，分別包括學(xué)習(xí)實例的正例與反例。第一部分——第4章：4.4決策樹決策樹的概念決策樹的發(fā)展過程與決策樹相關(guān)的重要算法有CLS、ID3、C4.5、CART等。本小節(jié)主要介紹最經(jīng)典的決策樹ID3算法用于分類的決策樹。決策樹模型呈樹形結(jié)構(gòu)，在分類問題中，表示基于特征對實例進行分類的過程。它可以認為是if-then規(guī)則的集合，也可以認為是定義在特征空間與類空間上的條件概率分布。主要優(yōu)點是模型具有可讀性，分類速度快。學(xué)習(xí)時，利用訓(xùn)練數(shù)據(jù)，根據(jù)損失函數(shù)最小化的原則建立決策樹模型。預(yù)測時，對新的數(shù)據(jù)，利用決策樹模型進行分類。決策樹學(xué)習(xí)通常包括3個步驟：第一部分——第4章：4.4決策樹決策樹模型決策樹模型的優(yōu)點特征選擇決策樹的生成決策樹的修剪決策樹簡介及優(yōu)點決策樹是一種典型的分類方法。首先對數(shù)據(jù)進行處理，利用歸納算法生成可讀的規(guī)則和決策樹；然后使用決策對新數(shù)據(jù)進行分析；其本質(zhì)上是通過一系列規(guī)則對數(shù)據(jù)進行分類的過程推理過程容易理解，決策推理過程可以表示成IfThen形式；推理過程完全依賴于屬性變量的取值特點；可自動忽略目標變量沒有貢獻的屬性變量，也為判斷屬性變量的重要性，減少變量的數(shù)目提供參考。第一部分——第4章：4.4決策樹決策樹決策樹算法優(yōu)點

第一部分——第4章：4.4決策樹

ID3算法ID3算法定義決策樹ID3算法——信息增益如果一個特征具有更好的分類能力,或者說,按照這一特征將訓(xùn)練數(shù)據(jù)集分割成子集，使得各個子集在當前條件下有最好的分類，那么就更應(yīng)該選擇這個特征。信息增益就能夠很好地表示這一直觀的準則。第一部分——第4章：4.4決策樹信息增益簡介(informationgain)葉結(jié)點根結(jié)點內(nèi)部結(jié)點葉結(jié)點葉結(jié)點決策樹模型決策樹ID3算法——信息增益為了便于說明這個問題，先給出熵與條件熵的定義。在信息論與概率統(tǒng)計中，熵(entropy)是表示隨機變量不確定性的度量。第一部分——第4章：4.4決策樹熵(entropy)特征A對訓(xùn)練數(shù)據(jù)集D的信息增益g(D,A),定義為集合D的經(jīng)驗熵H(D)與特征A給定條件下D的經(jīng)驗條件熵H(D/A)之差即

g(D,A)=H(D)-H(D|A)其中，信息增益(Informationgain)表示得知特征X的信息而使得類Y的信息的不確定性減少的程度。一般地，熵H(Y)與條件熵H（Y|X）之差稱為互信息(mutualinformation)，決策樹學(xué)習(xí)中的信息增益等價于訓(xùn)練數(shù)據(jù)集中類與特征的互信息。信息增益定義

第一部分——第4章：4.4決策樹決策樹ID3算法——信息增益計算步驟

決策樹ID3算法——流程決定分類屬性；對目前