機器學習之評估假設-文檔資料

1、Date:3/7/2022File:ML5.1Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering第第5章章 算法的評估與比較算法的評估與比較(Evaluating Hypotheses)Date:3/7/2022File:ML5.2Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering概述概述 對對是機器學習中的基本問

2、題是機器學習中的基本問題 本章用統(tǒng)計方法估計算法精度，主要解決以下三個問題：本章用統(tǒng)計方法估計算法精度，主要解決以下三個問題： 已知一個假設在有限數(shù)據(jù)樣本上觀察到的精度，怎樣估計它在其它已知一個假設在有限數(shù)據(jù)樣本上觀察到的精度，怎樣估計它在其它實例上的精度？實例上的精度？ 如果一個算法在某些數(shù)據(jù)樣本上好于另一個，那么一般情況下該算如果一個算法在某些數(shù)據(jù)樣本上好于另一個，那么一般情況下該算法是否更準確？法是否更準確？ 當數(shù)據(jù)有限時，怎樣高效地利用這些數(shù)據(jù)，通過它們既能學習到假當數(shù)據(jù)有限時，怎樣高效地利用這些數(shù)據(jù)，通過它們既能學習到假設，還能估計其精度？設，還能估計其精度？ 統(tǒng)計的方法，結合有關數(shù)

3、據(jù)基準分布的假定，可以用統(tǒng)計的方法，結合有關數(shù)據(jù)基準分布的假定，可以用Date:3/7/2022File:ML5.3Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering動機動機 對學習到的假設進行盡可能準確地性能評估十分重對學習到的假設進行盡可能準確地性能評估十分重要要 為了知道是否可以使用該假設為了知道是否可以使用該假設 是許多學習方法的重要組成部分是許多學習方法的重要組成部分 當給定的數(shù)據(jù)集有限時，要學習一個概念并估計其當給定的數(shù)據(jù)集有限時，要學習一個

4、概念并估計其將來的精度，存在將來的精度，存在兩個很關鍵的困難兩個很關鍵的困難： 估計的困難估計的困難 使用與訓練樣例和假設無關的測試樣例使用與訓練樣例和假設無關的測試樣例 估計的方差估計的方差 即使假設精度在獨立的無偏測試樣例上測量，得到的精度仍可能與即使假設精度在獨立的無偏測試樣例上測量，得到的精度仍可能與真實精度不同。真實精度不同。 測試樣例越少，產生的方差越大測試樣例越少，產生的方差越大 重點討論對學到的重點討論對學到的、對、對、的比較的比較Date:3/7/2022File:ML5.4Machine LearningPeng Kaixiang 2015. All rights rese

5、rved.Machine Learning for Control Engineering 有一所有可能實例的空間有一所有可能實例的空間X，其中定義了多，其中定義了多個目標函數(shù)，假定個目標函數(shù)，假定X中不同實例具有不同的中不同實例具有不同的出現(xiàn)頻率。一種合適的建模方式是，假定存出現(xiàn)頻率。一種合適的建模方式是，假定存在一未知的概率分布在一未知的概率分布D，它定義了，它定義了X中中。 學習任務是在假設空間上學習一個目標概念，學習任務是在假設空間上學習一個目標概念，訓練樣例的訓練樣例的，然后連同正確的目標值提供給學習器。，然后連同正確的目標值提供給學習器。Date:3/7/2022File:ML5.

6、5Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering評估假設的問題評估假設的問題 給定假設給定假設h和包含若干按和包含若干按D分布抽取的樣例的分布抽取的樣例的數(shù)據(jù)集，如何針對將來按同樣分布抽取的實數(shù)據(jù)集，如何針對將來按同樣分布抽取的實例，例， 這一精度估計的這一精度估計的是多少是多少Date:3/7/2022File:ML5.6Machine LearningPeng Kaixiang 2015. All rights reserved.Machine

7、Learning for Control Engineering 定義：假設定義：假設h關于目標函數(shù)關于目標函數(shù)f和數(shù)據(jù)樣本和數(shù)據(jù)樣本S的的（標記為（標記為errors(h)） 定義：假設定義：假設h關于目標函數(shù)關于目標函數(shù)f和分布和分布D的的（標記為（標記為errorD(h)）Sxsxhxfnherror)(),(1)(otherwisexhxfxhxf)()(01)(),(| Sn )()(Pr)(xhxfherrorDxDDate:3/7/2022File:ML5.7Machine LearningPeng Kaixiang 2015. All rights reserved.Machi

8、ne Learning for Control Engineering樣本錯誤率和真實錯誤率（樣本錯誤率和真實錯誤率（2） 想知道的是想知道的是，因為這是在分，因為這是在分類未來樣例時可以預料到的誤差。類未來樣例時可以預料到的誤差。 能測量的只是能測量的只是，因為樣本數(shù)據(jù)是，因為樣本數(shù)據(jù)是我們知道的。我們知道的。 要考慮的問題是：要考慮的問題是：在何種程度上在何種程度上提供了對提供了對？Date:3/7/2022File:ML5.8Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Contr

9、ol Engineering 先考慮離散值假設的情況，比如：先考慮離散值假設的情況，比如： 樣本樣本S包含包含n個樣例，它們的個樣例，它們的，并且不依賴于假設，并且不依賴于假設h n=30 假設假設h在這在這n個樣例上犯了個樣例上犯了r個錯誤個錯誤 根據(jù)上面的條件，統(tǒng)計理論可以給出以下斷言：根據(jù)上面的條件，統(tǒng)計理論可以給出以下斷言： 沒有其它信息的話，真實錯誤率沒有其它信息的話，真實錯誤率errorD(h)最可能的值是最可能的值是樣本錯誤率樣本錯誤率errorS(h)=r/n 有大約有大約95%的可能性，真實錯誤率處于下面的區(qū)間內：的可能性，真實錯誤率處于下面的區(qū)間內：nherrorherro

10、rherrorSSS)(1)(96. 1)(Date:3/7/2022File:ML5.9Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering 數(shù)據(jù)樣本數(shù)據(jù)樣本S包含包含n=40個樣例，并且假設個樣例，并且假設h在這些數(shù)據(jù)上產生在這些數(shù)據(jù)上產生了了r=12個錯誤，這樣樣本錯誤率為個錯誤，這樣樣本錯誤率為errorS(h)=12/40=0.3 如果沒有更多的信息，如果沒有更多的信息， 如果另外收集如果另外收集40個隨機抽取的樣例個隨機抽取的樣例S，樣本錯誤率

11、，樣本錯誤率errorS(h)將與原來的將與原來的errorS(h)存在一些差別存在一些差別 如果不斷重復這一實驗，每次抽取一個包含如果不斷重復這一實驗，每次抽取一個包含40樣例的樣本，樣例的樣本，將會發(fā)現(xiàn)約將會發(fā)現(xiàn)約95%的實驗中計算所得的區(qū)間包含真實錯誤率的實驗中計算所得的區(qū)間包含真實錯誤率 將上面的區(qū)間稱為將上面的區(qū)間稱為errorD(h)的的95%置信區(qū)間估計置信區(qū)間估計Date:3/7/2022File:ML5.10Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control

12、Engineering置信區(qū)間表達式的推廣置信區(qū)間表達式的推廣 常數(shù)常數(shù)1.96是由是由95%這一置信度確定的這一置信度確定的 定義定義zN為計算為計算N%置信區(qū)間的常數(shù)（取值見下），計置信區(qū)間的常數(shù)（取值見下），計算算errorD(h)的的N%置信區(qū)間的一般表達式（公式置信區(qū)間的一般表達式（公式5.1）為：為： （5.1） 可以求得同樣情況下的可以求得同樣情況下的68%置信區(qū)間，從直覺上可置信區(qū)間，從直覺上可以看出以看出68%置信區(qū)間要小于置信區(qū)間要小于95%置信區(qū)間，因為減置信區(qū)間，因為減小了要求小了要求errorD(h)落入的概率落入的概率nherrorherrorzherrorSSNS

13、)(1)()(confidencelevel50%68%80%90%95%98%99%z-score0.671.001.281.641.962.332.58Date:3/7/2022File:ML5.11Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering置信區(qū)間表達式的推廣（置信區(qū)間表達式的推廣（2） 公式公式5.1只能應用于只能應用于，它，它，并且，并且 公式公式5.1只提供了近似的置信區(qū)間，這一近似在至只提供了近似的置信區(qū)間，這一近似在至少包含少包含

14、30個樣例，并且個樣例，并且errorS(h)不太靠近不太靠近0或或1時很時很接近真實情況接近真實情況 判斷這種近似是否接近真實的更精確規(guī)則是：判斷這種近似是否接近真實的更精確規(guī)則是：5)(1)(herrorherrornSSDate:3/7/2022File:ML5.12Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering統(tǒng)計學中的基本定義和概念統(tǒng)計學中的基本定義和概念 隨機變量隨機變量 某隨機變量某隨機變量Y的概率分布的概率分布 隨機變量隨機變量Y的期

15、望值或均值的期望值或均值 隨機變量的方差隨機變量的方差 Y的標準差的標準差 二項分布二項分布 正態(tài)分布正態(tài)分布 中心極限定理中心極限定理 估計量估計量 Y的估計偏差的估計偏差 N%置信區(qū)間置信區(qū)間Date:3/7/2022File:ML5.13Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering 樣本錯誤率和真實錯誤率之間的樣本錯誤率和真實錯誤率之間的如何？如何？ 給定從總體中隨機抽取的某些樣本的觀察比給定從總體中隨機抽取的某些樣本的觀察比例，估計某個屬性

16、在總體的比例例，估計某個屬性在總體的比例 此處，感興趣的屬性是：此處，感興趣的屬性是：Date:3/7/2022File:ML5.14Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering 測量樣本錯誤率相當于在作一個有測量樣本錯誤率相當于在作一個有 從分布從分布D中隨機抽取中隨機抽取n個獨立的實例，形成樣本個獨立的實例，形成樣本S，然后測量樣本錯誤率然后測量樣本錯誤率errorS(h) 將實驗重復多次，每次抽取大小為將實驗重復多次，每次抽取大小為n的不同的

17、樣本的不同的樣本Si，得到不同的，得到不同的 ，取決于，取決于Si的組成中的隨機的組成中的隨機差異差異，一般情況下，可以將，一般情況下，可以將隨機變量看成一個有隨機輸出的實驗。隨機變量值隨機變量看成一個有隨機輸出的實驗。隨機變量值即為隨機實驗的觀察輸出即為隨機實驗的觀察輸出)(herroriS)(herroriSDate:3/7/2022File:ML5.15Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering錯誤率估計和二項比例估計（錯誤率估計和二項比例

18、估計（3） 設想要運行設想要運行k個這樣的隨機實驗，得到個這樣的隨機實驗，得到k個隨個隨機變量值，以圖表的形式顯示觀察到的機變量值，以圖表的形式顯示觀察到的； 當當k不斷增長，該圖表將呈現(xiàn)二項分布。不斷增長，該圖表將呈現(xiàn)二項分布。Date:3/7/2022File:ML5.16Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering二項分布二項分布 有一有一，要估計在拋硬幣時出現(xiàn)正面的概，要估計在拋硬幣時出現(xiàn)正面的概率率p； 投擲硬幣投擲硬幣n次并計算出現(xiàn)正面

19、的次數(shù)次并計算出現(xiàn)正面的次數(shù)r，那么，那么p的一的一個合理估計是個合理估計是r/n； 如果重新進行一次實驗，生成一個新的如果重新進行一次實驗，生成一個新的n次拋硬幣次拋硬幣的集合，出現(xiàn)正面的次數(shù)的集合，出現(xiàn)正面的次數(shù)r可能與前不同，得到對可能與前不同，得到對p的另一個估計；的另一個估計；描述的是對任一可能的描述的是對任一可能的r值，這個正面概值，這個正面概率為率為p的硬幣拋擲的硬幣拋擲n次恰好出現(xiàn)次恰好出現(xiàn)r次正面的概率。次正面的概率。Date:3/7/2022File:ML5.17Machine LearningPeng Kaixiang 2015. All rights reserved.

20、Machine Learning for Control Engineering二項分布（二項分布（2） 從拋擲硬幣的隨機樣本中從拋擲硬幣的隨機樣本中與在實例的隨機樣與在實例的隨機樣本上測試本上測試h以以是相同的問題是相同的問題 一次硬幣拋擲對應于從一次硬幣拋擲對應于從D中抽取一個實例并測試它中抽取一個實例并測試它是否被是否被h誤分類誤分類 一次一次拋擲出現(xiàn)正面的概率拋擲出現(xiàn)正面的概率p對應于隨機抽取的對應于隨機抽取的實例被誤分類的概率實例被誤分類的概率errorD(h) 二項分布給出了一個二項分布給出了一個，無論用，無論用于表示于表示n次硬幣出現(xiàn)正面的次數(shù)還是在次硬幣出現(xiàn)正面的次數(shù)還是在n個

21、樣例中個樣例中假設出錯的次數(shù)假設出錯的次數(shù) 二項分布的具體形式依賴于樣本大小二項分布的具體形式依賴于樣本大小n以及概率以及概率p或或errorD(h)Date:3/7/2022File:ML5.18Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering應用二項分布的條件應用二項分布的條件 有一基本實驗，其輸出可被描述為一隨機變量有一基本實驗，其輸出可被描述為一隨機變量Y，隨機變量隨機變量Y有兩種取值有兩種取值 在實驗的任一次嘗試中在實驗的任一次嘗試中Y=1的

22、概率為常數(shù)的概率為常數(shù)p，它與，它與其它實驗嘗試無關，因此其它實驗嘗試無關，因此Y=0的概率為的概率為1-p p為預先未知，面臨的問題是如何估計為預先未知，面臨的問題是如何估計 基本實驗的基本實驗的n次獨立嘗試按序列執(zhí)行，生成一個獨次獨立嘗試按序列執(zhí)行，生成一個獨立同分布的隨機變量序列立同分布的隨機變量序列 隨機變量隨機變量R表示表示n次實驗中出現(xiàn)次實驗中出現(xiàn)Yi=1的次數(shù)，它取的次數(shù)，它取特定值特定值r的概率由二項分布給出的概率由二項分布給出 （5.2）rnrpprnrnrR)1 ()!( !)Pr(Date:3/7/2022File:ML5.19Machine LearningPeng K

23、aixiang 2015. All rights reserved.Machine Learning for Control Engineering均值均值 期望值是重復采樣隨機變量得到的值的平均期望值是重復采樣隨機變量得到的值的平均 定義：考慮隨機變量定義：考慮隨機變量Y可能的取值為可能的取值為y1.yn，Y的期望值的期望值EY定義如下：定義如下： 如果隨機變量如果隨機變量Y服從二項分布，那么可得服從二項分布，那么可得EY=npniiiyYyYE1)Pr(Date:3/7/2022File:ML5.20Machine LearningPeng Kaixiang 2015. All right

24、s reserved.Machine Learning for Control Engineering方差方差 方差描述的是概率分布的寬度或散度，描述了隨機方差描述的是概率分布的寬度或散度，描述了隨機變量與其均值之間的差有多大變量與其均值之間的差有多大 定義：隨機變量定義：隨機變量Y的方差的方差VarY定義如下：定義如下：描述了從描述了從Y的一個觀察值估計其均值的一個觀察值估計其均值EY的誤差平的誤差平方的期望方的期望 隨機變量隨機變量Y的標準差的標準差 Y 若隨機變量若隨機變量Y服從二項分布，則方差和標準差分別服從二項分布，則方差和標準差分別為：為：VarY=np(1-p)(2YEYEYVa

25、r)(2YEYEY)1 (pnpYDate:3/7/2022File:ML5.21Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering估計量、偏差和方差估計量、偏差和方差 回到問題：我們得出了隨機變量回到問題：我們得出了隨機變量errorS(h)服從二項服從二項分布，那么分布，那么errorS(h)和和errorD(h)之間可能的差異是之間可能的差異是多少？多少？ 用用5.2式定義的二項分布，可得式定義的二項分布，可得errorS(h)=r/nerrorD

26、(h)=p 統(tǒng)計學中將統(tǒng)計學中將errorS(h)稱為稱為errorD(h)的一個估計量的一個估計量是用來估計總體的某一參數(shù)的隨機變量，最是用來估計總體的某一參數(shù)的隨機變量，最關心的是它平均來說是否能產生正確估計關心的是它平均來說是否能產生正確估計Date:3/7/2022File:ML5.22Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering估計量、偏差和方差（估計量、偏差和方差（2）衡量估計量的期望值同真實參數(shù)值之衡量估計量的期望值同真實參數(shù)值之間的

27、差異間的差異 定義：針對任意參數(shù)定義：針對任意參數(shù)p的估計量的估計量Y的估計偏差是：的估計偏差是：EY-p 如果估計偏差為如果估計偏差為0，稱，稱Y為為p的的，在，在此情況下，由多次重復實驗生成的此情況下，由多次重復實驗生成的Y的多個隨的多個隨機值的平均將收斂于機值的平均將收斂于p 由于由于errorS(h)服從二項分布，因此服從二項分布，因此errorS(h)是是errorD(h)的一個的一個Date:3/7/2022File:ML5.23Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for

28、Control Engineering 對估計偏差的補充說明：對估計偏差的補充說明： 要使要使errorS(h)是是errorD(h)的無偏估計，假設的無偏估計，假設h和和樣本樣本S必須獨立選取必須獨立選取 估計偏差不能與第估計偏差不能與第2章介紹的學習器的歸納偏置章介紹的學習器的歸納偏置相混淆相混淆 估計量的另一重要屬性是它的方差，給定多估計量的另一重要屬性是它的方差，給定多個無偏估計量，選取其中方差最小的個無偏估計量，選取其中方差最小的 由方差的定義，所選擇的由方差的定義，所選擇的Date:3/7/2022File:ML5.24Machine LearningPeng Kaixiang 2

29、015. All rights reserved.Machine Learning for Control Engineering估計量、偏差和方差（估計量、偏差和方差（4） 一個例子一個例子 n=40個隨機樣例個隨機樣例 r=12個錯誤個錯誤 errorS(h)的標準差的標準差 一般地，若在一般地，若在n個隨機選取的樣本中有個隨機選取的樣本中有r個錯個錯誤，誤，errorS(h)的標準差是：的標準差是：近似地近似地 (5.9) nppnrherrorS)1 ()(nherrorherrorSSherrorS)(1)()(Date:3/7/2022File:ML5.25Machine Lear

30、ningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering置信區(qū)間置信區(qū)間 通常描述某估計的不確定性的方法是使用通常描述某估計的不確定性的方法是使用，真實，真實的值以一定的概率落入該區(qū)間中，這樣的估計稱為的值以一定的概率落入該區(qū)間中，這樣的估計稱為 定義：某個參數(shù)定義：某個參數(shù)p的的N%置信區(qū)間是一個以置信區(qū)間是一個以N%的概率包含的概率包含p的區(qū)間的區(qū)間 由于估計量由于估計量errorS(h)服從二項分布，這一分布的均值為服從二項分布，這一分布的均值為errorD(h)，標準差可由式

31、，標準差可由式5.9計算，因此，為計算計算，因此，為計算95%置信置信區(qū)間，只需要找到一個以區(qū)間，只需要找到一個以errorD(h)為中心的區(qū)間，它的寬為中心的區(qū)間，它的寬度足以包含該分布度足以包含該分布 這提供了一個包圍這提供了一個包圍errorD(h)的區(qū)間，使的區(qū)間，使errorS(h)有有95%機會機會落入其中，同樣它也指定了落入其中，同樣它也指定了errorD(h)有有95%的機會落入包的機會落入包圍圍errorS(h)的區(qū)間的大小的區(qū)間的大小Date:3/7/2022File:ML5.26Machine LearningPeng Kaixiang 2015. All rights

32、reserved.Machine Learning for Control Engineering置信區(qū)間（置信區(qū)間（2） 對于二項分布，計算置信區(qū)間很煩瑣，多數(shù)對于二項分布，計算置信區(qū)間很煩瑣，多數(shù)情況下，計算它的近似值情況下，計算它的近似值 對于足夠大的樣本，二項分布可以由對于足夠大的樣本，二項分布可以由，而正態(tài)分布的置信區(qū)間容易得到，而正態(tài)分布的置信區(qū)間容易得到 如果隨機變量如果隨機變量Y服從均值為服從均值為 ，標準差為，標準差為 的的一個正態(tài)分布，那么一個正態(tài)分布，那么Y的任一觀察值的任一觀察值y有有N%的機會落入下面的區(qū)間的機會落入下面的區(qū)間 相似地，均值相似地，均值 有有N%的機會

33、落入下面的區(qū)間的機會落入下面的區(qū)間NzNzyDate:3/7/2022File:ML5.27Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering置信區(qū)間（置信區(qū)間（3） 式子式子5.1的三步推導過程的三步推導過程 errorS(h)遵從二項分布，其均值為遵從二項分布，其均值為errorD(h)，標準差如式，標準差如式5.9所所示示 對于對于，二項分布非常近似于正態(tài)分布，二項分布非常近似于正態(tài)分布 式式5.1告訴我們如何根據(jù)正態(tài)分布的均值求出告訴我們如何根據(jù)

34、正態(tài)分布的均值求出N%置信區(qū)間置信區(qū)間 式子式子5.1的推導中有兩個近似的推導中有兩個近似 估計估計errorS(h)的標準差，我們將的標準差，我們將errorD(h)近似為近似為errorS(h) 用正態(tài)分布近似二項分布用正態(tài)分布近似二項分布 統(tǒng)計學的一般規(guī)則表明，這兩個近似在統(tǒng)計學的一般規(guī)則表明，這兩個近似在n=30或或np(1-p)=5時工作得很好，對于較小的時工作得很好，對于較小的n值，最好使用列表的值，最好使用列表的形式給出二項分布的具體值形式給出二項分布的具體值Date:3/7/2022File:ML5.28Machine LearningPeng Kaixiang 2015. A

35、ll rights reserved.Machine Learning for Control Engineering雙側和單側邊界雙側和單側邊界 上述的置信區(qū)間是上述的置信區(qū)間是，有時用到，有時用到 例如問題例如問題“errorD(h)至多為至多為U的概率的概率”，在只要限，在只要限定定h的最大錯誤率，而不在乎真實錯誤率是否小于的最大錯誤率，而不在乎真實錯誤率是否小于估計錯誤率時，很自然提出這種問題估計錯誤率時，很自然提出這種問題 由于正態(tài)分布關于其均值對稱，因此，任意正態(tài)分由于正態(tài)分布關于其均值對稱，因此，任意正態(tài)分布上的雙側置信區(qū)間能夠轉換為相應的單側區(qū)間，布上的雙側置信區(qū)間能夠轉換為相

36、應的單側區(qū)間， 由一個有下界由一個有下界L和上界和上界U的的100(1- )%置信區(qū)間，可置信區(qū)間，可得到一個下界為得到一個下界為L且無上界的且無上界的100(1- /2)%置信區(qū)置信區(qū)間，也得到一個有上界間，也得到一個有上界U且無下界的且無下界的100(1- /2)%置信區(qū)間置信區(qū)間Date:3/7/2022File:ML5.29Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering80%雙側置信區(qū)間雙側置信區(qū)間90%單側置信區(qū)間單側置信區(qū)間Date:3/

37、7/2022File:ML5.30Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering推導置信區(qū)間的一般方法推導置信區(qū)間的一般方法 前面介紹的是針對一特定情況推導置信區(qū)間前面介紹的是針對一特定情況推導置信區(qū)間估計：估計： 下面介紹的方法是在許多估計問題中用到的下面介紹的方法是在許多估計問題中用到的通用的方法通用的方法的問題的問題Date:3/7/2022File:ML5.31Machine LearningPeng Kaixiang 2015. All r

38、ights reserved.Machine Learning for Control Engineering 確定基準總體中要估計的參數(shù)確定基準總體中要估計的參數(shù)p，例如，例如errorD(h) 定義一個估計量定義一個估計量Y（如（如errorS(h)），它的選擇應為），它的選擇應為最小方差的無偏估計量最小方差的無偏估計量 確定控制估計量確定控制估計量Y的概率分布的概率分布DY，包括其均值和方，包括其均值和方差差 通過尋找閾值通過尋找閾值L和和U確定確定N%置信區(qū)間，以使這個置信區(qū)間，以使這個按按DY分布的隨機變量有分布的隨機變量有N%機會落入機會落入L和和U之間之間Date:3/7/202

39、2File:ML5.32Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering思考題思考題 如果假設如果假設h在在n=65的獨立抽取樣本上出現(xiàn)的獨立抽取樣本上出現(xiàn)r=10個錯誤，真實錯誤率的個錯誤，真實錯誤率的90%置信區(qū)間是置信區(qū)間是多少？多少？95%的單側置信區(qū)間（上界）是多少？的單側置信區(qū)間（上界）是多少？90%的單側區(qū)間是多少？的單側區(qū)間是多少？Date:3/7/2022File:ML5.33Machine LearningPeng Kaixiang

40、 2015. All rights reserved.Machine Learning for Control Engineering中心極限定理中心極限定理 考慮如下的一般框架考慮如下的一般框架 在在n個獨立抽取的且服從同樣概率分布的隨機變量個獨立抽取的且服從同樣概率分布的隨機變量Y1.Yn中觀察試驗值中觀察試驗值 令令 代表每一變量代表每一變量Yi服從的服從的的均值，并令的均值，并令 代表代表標準差，稱這些變量標準差，稱這些變量Yi為獨立同分布隨機變量為獨立同分布隨機變量 為了估計為了估計Yi服從的分布的均值服從的分布的均值 ，我們計算樣本的均值，我們計算樣本的均值 中心極限定理說明中心極

41、限定理說明 服從的分布均值為服從的分布均值為 ，而標準差為，而標準差為niinYnY11nYnYnDate:3/7/2022File:ML5.34Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering中心極限定理（中心極限定理（2） 定理定理5.1（中心極限定理）考慮獨立同分布的隨機變（中心極限定理）考慮獨立同分布的隨機變量量Y1.Yn的集合，它們服從一任意的概率分布，均的集合，它們服從一任意的概率分布，均值為值為 ，有限方差為，有限方差為 2，定義樣本均值

42、為，定義樣本均值為 ，當當n時，式子時，式子 服從正態(tài)分布，均值為服從正態(tài)分布，均值為0且標且標準差為準差為1. 中心極限定理說明在不知道獨立的中心極限定理說明在不知道獨立的Yi所服從的基準所服從的基準分布的情況下，我們可以得知分布的情況下，我們可以得知，說明了怎樣使用，說明了怎樣使用 的均值和方差來確定獨立的的均值和方差來確定獨立的Yi的均值和方差的均值和方差 中心極限定理說明了中心極限定理說明了niinYnY11nYnYYDate:3/7/2022File:ML5.35Machine LearningPeng Kaixiang 2015. All rights reserved.Machi

43、ne Learning for Control Engineering兩個假設錯誤率間的差異兩個假設錯誤率間的差異 問題：問題： 考慮某離散目標函數(shù)的兩個假設考慮某離散目標函數(shù)的兩個假設h1和和h2，h1在一在一擁有擁有n1個隨機抽取的樣例的樣本個隨機抽取的樣例的樣本S1上測試，上測試，h2在在一擁有一擁有n2個從相同分布中抽取的樣例的樣本個從相同分布中抽取的樣例的樣本S2上上測試，要估計這兩個假設的真實錯誤率間的差測試，要估計這兩個假設的真實錯誤率間的差異異d=errorD(h1)-errorD(h2)Date:3/7/2022File:ML5.36Machine LearningPeng

44、Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering兩個假設錯誤率間的差異（兩個假設錯誤率間的差異（2） 使用使用5.4節(jié)中描述的四個步驟來推導節(jié)中描述的四個步驟來推導d的置信區(qū)的置信區(qū)間估計間估計 確定待估計的參數(shù)，如上所述的確定待估計的參數(shù)，如上所述的d 定義一估計量，定義一估計量， 是是d的無偏估計量，即的無偏估計量，即E =d。由于對于較大的。由于對于較大的n1和和n2，errorS1(h1)和和errorS2(h2)都近似遵從正態(tài)分都近似遵從正態(tài)分布，兩個正態(tài)分布的差仍為正態(tài)分布，方差為

45、兩個布，兩個正態(tài)分布的差仍為正態(tài)分布，方差為兩個正態(tài)分布的方差的和正態(tài)分布的方差的和 （5.12） 現(xiàn)在知道了現(xiàn)在知道了 服從均值為服從均值為d、方差為、方差為 2的正態(tài)分布，的正態(tài)分布，因此因此d的的N%置信區(qū)間是置信區(qū)間是 （5.13）)()(2121herrorherrordSSd2221112)(1)()(1)(2211nherrorherrornherrorherrorSSSSddNzd dDate:3/7/2022File:ML5.37Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning f

46、or Control Engineering兩個假設錯誤率間的差異（兩個假設錯誤率間的差異（3） 上面分析的是上面分析的是h1和和h2在相互獨立的數(shù)據(jù)樣本上測試在相互獨立的數(shù)據(jù)樣本上測試的情況，如果在同一個樣本上測試的情況，如果在同一個樣本上測試h1和和h2，那么也，那么也可以使用公式可以使用公式5.13計算置信區(qū)間計算置信區(qū)間 這種情況下的方差通常小于式子這種情況下的方差通常小于式子5.12給出的方差，給出的方差，這是因為單個樣本消除了兩個樣本組合帶來的隨機這是因為單個樣本消除了兩個樣本組合帶來的隨機差異，這樣，由式子差異，這樣，由式子5.13給出的置信區(qū)間一般來說給出的置信區(qū)間一般來說偏于

47、保守，但結果是正確的偏于保守，但結果是正確的Date:3/7/2022File:ML5.38Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering假設檢驗假設檢驗 有時感興趣的是某個特定猜想有時感興趣的是某個特定猜想，而不是，而不是對某參數(shù)的置信區(qū)間估計。比如：對某參數(shù)的置信區(qū)間估計。比如：errorD(h1)errorD(h2)的可能性有多大？的可能性有多大？ 例子，假定分別用大小為例子，假定分別用大小為100的獨立樣本的獨立樣本S1和和S2測測量量h1和

48、和h2的樣本錯誤率為的樣本錯誤率為0.30和和0.20，給定，給定 ，問問errorD(h1)errorD(h2)的概率是多少？的概率是多少？d0的概率的概率是多少？是多少？ 概率概率Pr(d0)等于等于 對對d的過高估計不大于的過高估計不大于0.1的概率，的概率，也就是這個概率為也就是這個概率為 落入單側區(qū)間落入單側區(qū)間 d+0.10= +0.10的概率的概率10. 0dddddDate:3/7/2022File:ML5.39Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control

49、 Engineering假設檢驗（假設檢驗（2） 對于對于 落入單側區(qū)間落入單側區(qū)間 +0.10的概率，可以通過計的概率，可以通過計算算 分布在該區(qū)間的概率質量來確定分布在該區(qū)間的概率質量來確定 落入這個單側落入這個單側區(qū)間的概率區(qū)間的概率 將區(qū)間將區(qū)間 errorD(h2)的概率的概率約為約為95%。使用統(tǒng)計學術語表述為：接受。使用統(tǒng)計學術語表述為：接受errorD(h1)errorD(h2)假設的置信度是假設的置信度是95%ddddddddddddd64. 110. 0dddDate:3/7/2022File:ML5.40Machine LearningPeng Kaixiang 2015

50、. All rights reserved.Machine Learning for Control Engineering 有時感興趣的是有時感興趣的是，而不是，而不是兩個具體的假設本身兩個具體的假設本身 如何近似地檢驗多個學習算法？如何近似地檢驗多個學習算法？ 如何確定兩個算法之間的差異在統(tǒng)計上是有意義的？如何確定兩個算法之間的差異在統(tǒng)計上是有意義的？ 假定有假定有LA和和LB兩個算法，要確定為了學習一特定兩個算法，要確定為了學習一特定目標函數(shù)目標函數(shù)f，平均來說那個算法更好，平均來說那個算法更好 定義定義“平均平均”的一種合理方法是，從一基準實例分的一種合理方法是，從一基準實例分布中抽取

51、包含布中抽取包含n個樣例的訓練集合，在所有這樣的個樣例的訓練集合，在所有這樣的集合中測量兩個算法的平均性能，即集合中測量兩個算法的平均性能，即 （5.14）)()(SLerrorSLerrorEBDADDSDate:3/7/2022File:ML5.41Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering學習算法比較（學習算法比較（2） 在實際的學習算法比較中，我們只有一個有限的樣本在實際的學習算法比較中，我們只有一個有限的樣本D0，把，把它分割成訓練集合

52、它分割成訓練集合S0和測試集合和測試集合T0，使用下式比較兩個學習，使用下式比較兩個學習到的假設的準確度到的假設的準確度 （5.15） 上式與上式與5.14有兩個重要的不同有兩個重要的不同 使用使用errorT0(h)來近似來近似errorD(h) 錯誤率的差異測量是在一個訓練集合錯誤率的差異測量是在一個訓練集合S0上，而不是在從分布上，而不是在從分布D中抽取中抽取的所有樣本的所有樣本S上計算的期望值上計算的期望值 改進改進5.15式的一種方法是，將數(shù)據(jù)式的一種方法是，將數(shù)據(jù)D0多次分割為不相交的訓多次分割為不相交的訓練和測試集合，然后在其中計算這些不同的實驗的錯誤率的練和測試集合，然后在其中

53、計算這些不同的實驗的錯誤率的平均值平均值 )()(0000SLerrorSLerrorBTATDate:3/7/2022File:ML5.42Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering學習算法比較（學習算法比較（3）K-Fold 交叉驗證交叉驗證Randomly partition data D into k disjoint equal-sized subsets P1Pk: Use Pi for the test set and remain

54、ing data for training Si = (D Pi) hA = LA(Si) hB = LB(Si) i = errorPi(hA) errorPi(hB) Return the average difference in error: (5-17)11kiikDate:3/7/2022File:ML5.43Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering學習算法比較（學習算法比較（4） 算法返回的算法返回的 可看作下式的估計可看作下式的

55、估計 （5.17） 估計式估計式5.17的近似的的近似的N%置信區(qū)間可表示成置信區(qū)間可表示成 （5.18），其中），其中tN,k-1是一常數(shù)，其意義類似于前面是一常數(shù)，其意義類似于前面的的zN，第一個下標表示所需的，第一個下標表示所需的，第二個下標，第二個下標表示表示，常記作，常記作v，它與生成隨機變量，它與生成隨機變量 的值的值時獨立的隨機事件數(shù)目相關。而時獨立的隨機事件數(shù)目相關。而 代表代表 所服從的所服從的概率分布的標準差的估計，定義如下概率分布的標準差的估計，定義如下: (5.19) 注意當自由度注意當自由度v時，時，tN,v的值趨向常數(shù)的值趨向常數(shù)zN。)()(0SLerrorSLe

56、rrorEBDADDSstkN1, kiikks12)() 1(1sDate:3/7/2022File:ML5.44Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering 類似于正態(tài)分布的鐘形分布，但更寬且矮，類似于正態(tài)分布的鐘形分布，但更寬且矮，以反映使用以反映使用 近似真實的標準差近似真實的標準差 時帶來的時帶來的更大方差。更大方差。YsYDate:3/7/2022File:ML5.45Machine LearningPeng Kaixiang 2015

57、. All rights reserved.Machine Learning for Control Engineering學習算法比較（學習算法比較（5） 這里描述的比較學習算法的過程要在這里描述的比較學習算法的過程要在，這與前面描述的比較兩個用獨，這與前面描述的比較兩個用獨立測試集合評估過的假設不同。立測試集合評估過的假設不同。 使用相同樣本來測試假設被稱為使用相同樣本來測試假設被稱為，配對測，配對測試通常會產生更緊密的置信區(qū)間，因為在試通常會產生更緊密的置信區(qū)間，因為在。 若假設在分開的數(shù)據(jù)樣本上的測試，兩個樣本錯誤若假設在分開的數(shù)據(jù)樣本上的測試，兩個樣本錯誤率之間的差異也可能部分來源于

58、兩個樣本組成的不率之間的差異也可能部分來源于兩個樣本組成的不同。同。Date:3/7/2022File:ML5.46Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering配對配對t測試測試 前面主要討論前面主要討論的過程，并論證公式的過程，并論證公式5.18和和5.19 為了理解為了理解5.18中的置信區(qū)間，考慮一下的估中的置信區(qū)間，考慮一下的估計問題計問題 給定一系列獨立同分布的隨機變量給定一系列獨立同分布的隨機變量Y1Yk的觀的觀察值察值 要估計這些要估

59、計這些Yi所服從的概率分布的均值所服從的概率分布的均值 使用的估計量為樣本均值使用的估計量為樣本均值kiYikY11Date:3/7/2022File:ML5.47Machine LearningPeng Kaixiang 2015. All rights reserved.Machine Learning for Control Engineering配對配對t測試（測試（2） 這一基于樣本均值估計分布均值的問題非常普遍（比如，這一基于樣本均值估計分布均值的問題非常普遍（比如，早先的用早先的用errorS(h)估計估計errorD(h)） 由式由式5.18和和5.19描述的描述的t測試應用于

60、該問題的一特殊情形，測試應用于該問題的一特殊情形，即每個單獨的即每個單獨的Yi都遵循正態(tài)分布都遵循正態(tài)分布 考慮前面比較學習算法的過程的一個理想化形式，假定考慮前面比較學習算法的過程的一個理想化形式，假定不是擁有固定樣本數(shù)據(jù)不是擁有固定樣本數(shù)據(jù)D0，而是從基準實例分布中抽取，而是從基準實例分布中抽取新的訓練樣例，使新的訓練樣例，使 這一理想化方法能很好地匹配上面的估計問題，該過程這一理想化方法能很好地匹配上面的估計問題，該過程所測量的所測量的 i對應獨立同分布的隨機變量對應獨立同分布的隨機變量Yi，其分布的均，其分布的均值值 對應兩學習算法錯誤率的期望差異。對應兩學習算法錯誤率的期望差異。Da