




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、date:10/25/2021file:ml5.1machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering第第5章章 算法的評估與比較算法的評估與比較(evaluating hypotheses)date:10/25/2021file:ml5.2machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering概述概述 對對是機器學(xué)習(xí)中
2、的基本問題是機器學(xué)習(xí)中的基本問題 本章用統(tǒng)計方法估計算法精度,主要解決以下三個問題:本章用統(tǒng)計方法估計算法精度,主要解決以下三個問題: 已知一個假設(shè)在有限數(shù)據(jù)樣本上觀察到的精度,怎樣估計它在其它已知一個假設(shè)在有限數(shù)據(jù)樣本上觀察到的精度,怎樣估計它在其它實例上的精度?實例上的精度? 如果一個算法在某些數(shù)據(jù)樣本上好于另一個,那么一般情況下該算如果一個算法在某些數(shù)據(jù)樣本上好于另一個,那么一般情況下該算法是否更準(zhǔn)確?法是否更準(zhǔn)確? 當(dāng)數(shù)據(jù)有限時,怎樣高效地利用這些數(shù)據(jù),通過它們既能學(xué)習(xí)到假當(dāng)數(shù)據(jù)有限時,怎樣高效地利用這些數(shù)據(jù),通過它們既能學(xué)習(xí)到假設(shè),還能估計其精度?設(shè),還能估計其精度? 統(tǒng)計的方法,結(jié)
3、合有關(guān)數(shù)據(jù)基準(zhǔn)分布的假定,可以用統(tǒng)計的方法,結(jié)合有關(guān)數(shù)據(jù)基準(zhǔn)分布的假定,可以用date:10/25/2021file:ml5.3machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering動機動機 對學(xué)習(xí)到的假設(shè)進行盡可能準(zhǔn)確地性能評估十分重對學(xué)習(xí)到的假設(shè)進行盡可能準(zhǔn)確地性能評估十分重要要 為了知道是否可以使用該假設(shè)為了知道是否可以使用該假設(shè) 是許多學(xué)習(xí)方法的重要組成部分是許多學(xué)習(xí)方法的重要組成部分 當(dāng)給定的數(shù)據(jù)集有限時,要學(xué)習(xí)一個概念并估計其當(dāng)給定的數(shù)據(jù)集有限時
4、,要學(xué)習(xí)一個概念并估計其將來的精度,存在將來的精度,存在兩個很關(guān)鍵的困難兩個很關(guān)鍵的困難: 估計的困難估計的困難 使用與訓(xùn)練樣例和假設(shè)無關(guān)的測試樣例使用與訓(xùn)練樣例和假設(shè)無關(guān)的測試樣例 估計的方差估計的方差 即使假設(shè)精度在獨立的無偏測試樣例上測量,得到的精度仍可能與即使假設(shè)精度在獨立的無偏測試樣例上測量,得到的精度仍可能與真實精度不同。真實精度不同。 測試樣例越少,產(chǎn)生的方差越大測試樣例越少,產(chǎn)生的方差越大 重點討論對學(xué)到的重點討論對學(xué)到的、對、對、的比較的比較date:10/25/2021file:ml5.4machine learningpeng kaixiang 2015. all rig
5、hts reserved.machine learning for control engineering 有一所有可能實例的空間有一所有可能實例的空間x,其中定義了多,其中定義了多個目標(biāo)函數(shù),假定個目標(biāo)函數(shù),假定x中不同實例具有不同的中不同實例具有不同的出現(xiàn)頻率。一種合適的建模方式是,假定存出現(xiàn)頻率。一種合適的建模方式是,假定存在一未知的概率分布在一未知的概率分布d,它定義了,它定義了x中中。 學(xué)習(xí)任務(wù)是在假設(shè)空間上學(xué)習(xí)一個目標(biāo)概念,學(xué)習(xí)任務(wù)是在假設(shè)空間上學(xué)習(xí)一個目標(biāo)概念,訓(xùn)練樣例的訓(xùn)練樣例的,然后連同正確的目標(biāo)值提供給學(xué)習(xí)器。,然后連同正確的目標(biāo)值提供給學(xué)習(xí)器。date:10/25/202
6、1file:ml5.5machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering評估假設(shè)的問題評估假設(shè)的問題 給定假設(shè)給定假設(shè)h和包含若干按和包含若干按d分布抽取的樣例的分布抽取的樣例的數(shù)據(jù)集,如何針對將來按同樣分布抽取的實數(shù)據(jù)集,如何針對將來按同樣分布抽取的實例,例, 這一精度估計的這一精度估計的是多少是多少date:10/25/2021file:ml5.6machine learningpeng kaixiang 2015. all rights reser
7、ved.machine learning for control engineering 定義:假設(shè)定義:假設(shè)h關(guān)于目標(biāo)函數(shù)關(guān)于目標(biāo)函數(shù)f和數(shù)據(jù)樣本和數(shù)據(jù)樣本s的的(標(biāo)記為(標(biāo)記為errors(h)) 定義:假設(shè)定義:假設(shè)h關(guān)于目標(biāo)函數(shù)關(guān)于目標(biāo)函數(shù)f和分布和分布d的的(標(biāo)記為(標(biāo)記為errord(h))sxsxhxfnherror)(),(1)(otherwisexhxfxhxf)()(01)(),(| sn )()(pr)(xhxfherrordxddate:10/25/2021file:ml5.7machine learningpeng kaixiang 2015. all rights
8、reserved.machine learning for control engineering樣本錯誤率和真實錯誤率(樣本錯誤率和真實錯誤率(2) 想知道的是想知道的是,因為這是在分,因為這是在分類未來樣例時可以預(yù)料到的誤差。類未來樣例時可以預(yù)料到的誤差。 能測量的只是能測量的只是,因為樣本數(shù)據(jù)是,因為樣本數(shù)據(jù)是我們知道的。我們知道的。 要考慮的問題是:要考慮的問題是:在何種程度上在何種程度上提供了對提供了對?date:10/25/2021file:ml5.8machine learningpeng kaixiang 2015. all rights reserved.machine le
9、arning for control engineering 先考慮離散值假設(shè)的情況,比如:先考慮離散值假設(shè)的情況,比如: 樣本樣本s包含包含n個樣例,它們的個樣例,它們的,并且不依賴于假設(shè),并且不依賴于假設(shè)h n=30 假設(shè)假設(shè)h在這在這n個樣例上犯了個樣例上犯了r個錯誤個錯誤 根據(jù)上面的條件,統(tǒng)計理論可以給出以下斷言:根據(jù)上面的條件,統(tǒng)計理論可以給出以下斷言: 沒有其它信息的話,真實錯誤率沒有其它信息的話,真實錯誤率errord(h)最可能的值是最可能的值是樣本錯誤率樣本錯誤率errors(h)=r/n 有大約有大約95%的可能性,真實錯誤率處于下面的區(qū)間內(nèi):的可能性,真實錯誤率處于下面的
10、區(qū)間內(nèi):nherrorherrorherrorsss)(1)(96. 1)(date:10/25/2021file:ml5.9machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 數(shù)據(jù)樣本數(shù)據(jù)樣本s包含包含n=40個樣例,并且假設(shè)個樣例,并且假設(shè)h在這些數(shù)據(jù)上產(chǎn)生在這些數(shù)據(jù)上產(chǎn)生了了r=12個錯誤,這樣樣本錯誤率為個錯誤,這樣樣本錯誤率為errors(h)=12/40=0.3 如果沒有更多的信息,如果沒有更多的信息, 如果另外收集如果另外收集40個隨機抽取
11、的樣例個隨機抽取的樣例s,樣本錯誤率,樣本錯誤率errors(h)將與原來的將與原來的errors(h)存在一些差別存在一些差別 如果不斷重復(fù)這一實驗,每次抽取一個包含如果不斷重復(fù)這一實驗,每次抽取一個包含40樣例的樣本,樣例的樣本,將會發(fā)現(xiàn)約將會發(fā)現(xiàn)約95%的實驗中計算所得的區(qū)間包含真實錯誤率的實驗中計算所得的區(qū)間包含真實錯誤率 將上面的區(qū)間稱為將上面的區(qū)間稱為errord(h)的的95%置信區(qū)間估計置信區(qū)間估計date:10/25/2021file:ml5.10machine learningpeng kaixiang 2015. all rights reserved.machine l
12、earning for control engineering置信區(qū)間表達式的推廣置信區(qū)間表達式的推廣 常數(shù)常數(shù)1.96是由是由95%這一置信度確定的這一置信度確定的 定義定義zn為計算為計算n%置信區(qū)間的常數(shù)(取值見下),計置信區(qū)間的常數(shù)(取值見下),計算算errord(h)的的n%置信區(qū)間的一般表達式(公式置信區(qū)間的一般表達式(公式5.1)為:為: (5.1) 可以求得同樣情況下的可以求得同樣情況下的68%置信區(qū)間,從直覺上可置信區(qū)間,從直覺上可以看出以看出68%置信區(qū)間要小于置信區(qū)間要小于95%置信區(qū)間,因為減置信區(qū)間,因為減小了要求小了要求errord(h)落入的概率落入的概率nher
13、rorherrorzherrorssns)(1)()(confidencelevel50%68%80%90%95%98%99%z-score0.671.001.281.641.962.332.58date:10/25/2021file:ml5.11machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering置信區(qū)間表達式的推廣(置信區(qū)間表達式的推廣(2) 公式公式5.1只能應(yīng)用于只能應(yīng)用于,它,它,并且,并且 公式公式5.1只提供了近似的置信區(qū)間,這一近似在至只提
14、供了近似的置信區(qū)間,這一近似在至少包含少包含30個樣例,并且個樣例,并且errors(h)不太靠近不太靠近0或或1時很時很接近真實情況接近真實情況 判斷這種近似是否接近真實的更精確規(guī)則是:判斷這種近似是否接近真實的更精確規(guī)則是:5)(1)(herrorherrornssdate:10/25/2021file:ml5.12machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering統(tǒng)計學(xué)中的基本定義和概念統(tǒng)計學(xué)中的基本定義和概念 隨機變量隨機變量 某隨機變量某隨機變
15、量y的概率分布的概率分布 隨機變量隨機變量y的期望值或均值的期望值或均值 隨機變量的方差隨機變量的方差 y的標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差 二項分布二項分布 正態(tài)分布正態(tài)分布 中心極限定理中心極限定理 估計量估計量 y的估計偏差的估計偏差 n%置信區(qū)間置信區(qū)間date:10/25/2021file:ml5.13machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 樣本錯誤率和真實錯誤率之間的樣本錯誤率和真實錯誤率之間的如何?如何? 給定從總體中隨機抽取的某些樣本的觀察比給
16、定從總體中隨機抽取的某些樣本的觀察比例,估計某個屬性在總體的比例例,估計某個屬性在總體的比例 此處,感興趣的屬性是:此處,感興趣的屬性是:date:10/25/2021file:ml5.14machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 測量樣本錯誤率相當(dāng)于在作一個有測量樣本錯誤率相當(dāng)于在作一個有 從分布從分布d中隨機抽取中隨機抽取n個獨立的實例,形成樣本個獨立的實例,形成樣本s,然后測量樣本錯誤率然后測量樣本錯誤率errors(h) 將實驗重復(fù)多次
17、,每次抽取大小為將實驗重復(fù)多次,每次抽取大小為n的不同的樣本的不同的樣本si,得到不同的,得到不同的 ,取決于,取決于si的組成中的隨機的組成中的隨機差異差異,一般情況下,可以將,一般情況下,可以將隨機變量看成一個有隨機輸出的實驗。隨機變量值隨機變量看成一個有隨機輸出的實驗。隨機變量值即為隨機實驗的觀察輸出即為隨機實驗的觀察輸出)(herroris)(herrorisdate:10/25/2021file:ml5.15machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engi
18、neering錯誤率估計和二項比例估計(錯誤率估計和二項比例估計(3) 設(shè)想要運行設(shè)想要運行k個這樣的隨機實驗,得到個這樣的隨機實驗,得到k個隨個隨機變量值,以圖表的形式顯示觀察到的機變量值,以圖表的形式顯示觀察到的; 當(dāng)當(dāng)k不斷增長,該圖表將呈現(xiàn)二項分布。不斷增長,該圖表將呈現(xiàn)二項分布。date:10/25/2021file:ml5.16machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering二項分布二項分布 有一有一,要估計在拋硬幣時出現(xiàn)正面的概,要估計在
19、拋硬幣時出現(xiàn)正面的概率率p; 投擲硬幣投擲硬幣n次并計算出現(xiàn)正面的次數(shù)次并計算出現(xiàn)正面的次數(shù)r,那么,那么p的一的一個合理估計是個合理估計是r/n; 如果重新進行一次實驗,生成一個新的如果重新進行一次實驗,生成一個新的n次拋硬幣次拋硬幣的集合,出現(xiàn)正面的次數(shù)的集合,出現(xiàn)正面的次數(shù)r可能與前不同,得到對可能與前不同,得到對p的另一個估計;的另一個估計;描述的是對任一可能的描述的是對任一可能的r值,這個正面概值,這個正面概率為率為p的硬幣拋擲的硬幣拋擲n次恰好出現(xiàn)次恰好出現(xiàn)r次正面的概率。次正面的概率。date:10/25/2021file:ml5.17machine learningpeng k
20、aixiang 2015. all rights reserved.machine learning for control engineering二項分布(二項分布(2) 從拋擲硬幣的隨機樣本中從拋擲硬幣的隨機樣本中與在實例的隨機樣與在實例的隨機樣本上測試本上測試h以以是相同的問題是相同的問題 一次硬幣拋擲對應(yīng)于從一次硬幣拋擲對應(yīng)于從d中抽取一個實例并測試它中抽取一個實例并測試它是否被是否被h誤分類誤分類 一次一次拋擲出現(xiàn)正面的概率拋擲出現(xiàn)正面的概率p對應(yīng)于隨機抽取的對應(yīng)于隨機抽取的實例被誤分類的概率實例被誤分類的概率errord(h) 二項分布給出了一個二項分布給出了一個,無論用,無論用于
21、表示于表示n次硬幣出現(xiàn)正面的次數(shù)還是在次硬幣出現(xiàn)正面的次數(shù)還是在n個樣例中個樣例中假設(shè)出錯的次數(shù)假設(shè)出錯的次數(shù) 二項分布的具體形式依賴于樣本大小二項分布的具體形式依賴于樣本大小n以及概率以及概率p或或errord(h)date:10/25/2021file:ml5.18machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering應(yīng)用二項分布的條件應(yīng)用二項分布的條件 有一基本實驗,其輸出可被描述為一隨機變量有一基本實驗,其輸出可被描述為一隨機變量y,隨機變量隨機變量
22、y有兩種取值有兩種取值 在實驗的任一次嘗試中在實驗的任一次嘗試中y=1的概率為常數(shù)的概率為常數(shù)p,它與,它與其它實驗嘗試無關(guān),因此其它實驗嘗試無關(guān),因此y=0的概率為的概率為1-p p為預(yù)先未知,面臨的問題是如何估計為預(yù)先未知,面臨的問題是如何估計 基本實驗的基本實驗的n次獨立嘗試按序列執(zhí)行,生成一個獨次獨立嘗試按序列執(zhí)行,生成一個獨立同分布的隨機變量序列立同分布的隨機變量序列 隨機變量隨機變量r表示表示n次實驗中出現(xiàn)次實驗中出現(xiàn)yi=1的次數(shù),它取的次數(shù),它取特定值特定值r的概率由二項分布給出的概率由二項分布給出 (5.2)rnrpprnrnrr)1 ()!( !)pr(date:10/25
23、/2021file:ml5.19machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering均值均值 期望值是重復(fù)采樣隨機變量得到的值的平均期望值是重復(fù)采樣隨機變量得到的值的平均 定義:考慮隨機變量定義:考慮隨機變量y可能的取值為可能的取值為y1.yn,y的期望值的期望值ey定義如下:定義如下: 如果隨機變量如果隨機變量y服從二項分布,那么可得服從二項分布,那么可得ey=npniiiyyyye1)pr(date:10/25/2021file:ml5.20machi
24、ne learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering方差方差 方差描述的是概率分布的寬度或散度,描述了隨機方差描述的是概率分布的寬度或散度,描述了隨機變量與其均值之間的差有多大變量與其均值之間的差有多大 定義:隨機變量定義:隨機變量y的方差的方差vary定義如下:定義如下:描述了從描述了從y的一個觀察值估計其均值的一個觀察值估計其均值ey的誤差平的誤差平方的期望方的期望 隨機變量隨機變量y的標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差 y 若隨機變量若隨機變量y服從二項分布,則方差和標(biāo)準(zhǔn)差分別服
25、從二項分布,則方差和標(biāo)準(zhǔn)差分別為:為:vary=np(1-p)(2yeyeyvar)(2yeyey)1 (pnpydate:10/25/2021file:ml5.21machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering估計量、偏差和方差估計量、偏差和方差 回到問題:我們得出了隨機變量回到問題:我們得出了隨機變量errors(h)服從二項服從二項分布,那么分布,那么errors(h)和和errord(h)之間可能的差異是之間可能的差異是多少?多少? 用用5.
26、2式定義的二項分布,可得式定義的二項分布,可得errors(h)=r/nerrord(h)=p 統(tǒng)計學(xué)中將統(tǒng)計學(xué)中將errors(h)稱為稱為errord(h)的一個估計量的一個估計量是用來估計總體的某一參數(shù)的隨機變量,最是用來估計總體的某一參數(shù)的隨機變量,最關(guān)心的是它平均來說是否能產(chǎn)生正確估計關(guān)心的是它平均來說是否能產(chǎn)生正確估計date:10/25/2021file:ml5.22machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering估計量、偏差和方差(估計
27、量、偏差和方差(2)衡量估計量的期望值同真實參數(shù)值之衡量估計量的期望值同真實參數(shù)值之間的差異間的差異 定義:針對任意參數(shù)定義:針對任意參數(shù)p的估計量的估計量y的估計偏差是:的估計偏差是:ey-p 如果估計偏差為如果估計偏差為0,稱,稱y為為p的的,在,在此情況下,由多次重復(fù)實驗生成的此情況下,由多次重復(fù)實驗生成的y的多個隨的多個隨機值的平均將收斂于機值的平均將收斂于p 由于由于errors(h)服從二項分布,因此服從二項分布,因此errors(h)是是errord(h)的一個的一個date:10/25/2021file:ml5.23machine learningpeng kaixiang 2
28、015. all rights reserved.machine learning for control engineering 對估計偏差的補充說明:對估計偏差的補充說明: 要使要使errors(h)是是errord(h)的無偏估計,假設(shè)的無偏估計,假設(shè)h和和樣本樣本s必須獨立選取必須獨立選取 估計偏差不能與第估計偏差不能與第2章介紹的學(xué)習(xí)器的歸納偏置章介紹的學(xué)習(xí)器的歸納偏置相混淆相混淆 估計量的另一重要屬性是它的方差,給定多估計量的另一重要屬性是它的方差,給定多個無偏估計量,選取其中方差最小的個無偏估計量,選取其中方差最小的 由方差的定義,所選擇的由方差的定義,所選擇的date:10/2
29、5/2021file:ml5.24machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering估計量、偏差和方差(估計量、偏差和方差(4) 一個例子一個例子 n=40個隨機樣例個隨機樣例 r=12個錯誤個錯誤 errors(h)的標(biāo)準(zhǔn)差的標(biāo)準(zhǔn)差 一般地,若在一般地,若在n個隨機選取的樣本中有個隨機選取的樣本中有r個錯個錯誤,誤,errors(h)的標(biāo)準(zhǔn)差是:的標(biāo)準(zhǔn)差是:近似地近似地 (5.9) nppnrherrors)1 ()(nherrorherrorsshe
30、rrors)(1)()(date:10/25/2021file:ml5.25machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering置信區(qū)間置信區(qū)間 通常描述某估計的不確定性的方法是使用通常描述某估計的不確定性的方法是使用,真實,真實的值以一定的概率落入該區(qū)間中,這樣的估計稱為的值以一定的概率落入該區(qū)間中,這樣的估計稱為 定義:某個參數(shù)定義:某個參數(shù)p的的n%置信區(qū)間是一個以置信區(qū)間是一個以n%的概率包含的概率包含p的區(qū)間的區(qū)間 由于估計量由于估計量error
31、s(h)服從二項分布,這一分布的均值為服從二項分布,這一分布的均值為errord(h),標(biāo)準(zhǔn)差可由式,標(biāo)準(zhǔn)差可由式5.9計算,因此,為計算計算,因此,為計算95%置信置信區(qū)間,只需要找到一個以區(qū)間,只需要找到一個以errord(h)為中心的區(qū)間,它的寬為中心的區(qū)間,它的寬度足以包含該分布度足以包含該分布 這提供了一個包圍這提供了一個包圍errord(h)的區(qū)間,使的區(qū)間,使errors(h)有有95%機會機會落入其中,同樣它也指定了落入其中,同樣它也指定了errord(h)有有95%的機會落入包的機會落入包圍圍errors(h)的區(qū)間的大小的區(qū)間的大小date:10/25/2021file:m
32、l5.26machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering置信區(qū)間(置信區(qū)間(2) 對于二項分布,計算置信區(qū)間很煩瑣,多數(shù)對于二項分布,計算置信區(qū)間很煩瑣,多數(shù)情況下,計算它的近似值情況下,計算它的近似值 對于足夠大的樣本,二項分布可以由對于足夠大的樣本,二項分布可以由,而正態(tài)分布的置信區(qū)間容易得到,而正態(tài)分布的置信區(qū)間容易得到 如果隨機變量如果隨機變量y服從均值為服從均值為 ,標(biāo)準(zhǔn)差為,標(biāo)準(zhǔn)差為 的的一個正態(tài)分布,那么一個正態(tài)分布,那么y的任一觀察值
33、的任一觀察值y有有n%的機會落入下面的區(qū)間的機會落入下面的區(qū)間 相似地,均值相似地,均值 有有n%的機會落入下面的區(qū)間的機會落入下面的區(qū)間nznzydate:10/25/2021file:ml5.27machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering置信區(qū)間(置信區(qū)間(3) 式子式子5.1的三步推導(dǎo)過程的三步推導(dǎo)過程 errors(h)遵從二項分布,其均值為遵從二項分布,其均值為errord(h),標(biāo)準(zhǔn)差如式,標(biāo)準(zhǔn)差如式5.9所所示示 對于對于,二項分布
34、非常近似于正態(tài)分布,二項分布非常近似于正態(tài)分布 式式5.1告訴我們?nèi)绾胃鶕?jù)正態(tài)分布的均值求出告訴我們?nèi)绾胃鶕?jù)正態(tài)分布的均值求出n%置信區(qū)間置信區(qū)間 式子式子5.1的推導(dǎo)中有兩個近似的推導(dǎo)中有兩個近似 估計估計errors(h)的標(biāo)準(zhǔn)差,我們將的標(biāo)準(zhǔn)差,我們將errord(h)近似為近似為errors(h) 用正態(tài)分布近似二項分布用正態(tài)分布近似二項分布 統(tǒng)計學(xué)的一般規(guī)則表明,這兩個近似在統(tǒng)計學(xué)的一般規(guī)則表明,這兩個近似在n=30或或np(1-p)=5時工作得很好,對于較小的時工作得很好,對于較小的n值,最好使用列表的值,最好使用列表的形式給出二項分布的具體值形式給出二項分布的具體值date:10
35、/25/2021file:ml5.28machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering雙側(cè)和單側(cè)邊界雙側(cè)和單側(cè)邊界 上述的置信區(qū)間是上述的置信區(qū)間是,有時用到,有時用到 例如問題例如問題“errord(h)至多為至多為u的概率的概率”,在只要限,在只要限定定h的最大錯誤率,而不在乎真實錯誤率是否小于的最大錯誤率,而不在乎真實錯誤率是否小于估計錯誤率時,很自然提出這種問題估計錯誤率時,很自然提出這種問題 由于正態(tài)分布關(guān)于其均值對稱,因此,任意正態(tài)分由于正
36、態(tài)分布關(guān)于其均值對稱,因此,任意正態(tài)分布上的雙側(cè)置信區(qū)間能夠轉(zhuǎn)換為相應(yīng)的單側(cè)區(qū)間,布上的雙側(cè)置信區(qū)間能夠轉(zhuǎn)換為相應(yīng)的單側(cè)區(qū)間, 由一個有下界由一個有下界l和上界和上界u的的100(1- )%置信區(qū)間,可置信區(qū)間,可得到一個下界為得到一個下界為l且無上界的且無上界的100(1- /2)%置信區(qū)置信區(qū)間,也得到一個有上界間,也得到一個有上界u且無下界的且無下界的100(1- /2)%置信區(qū)間置信區(qū)間date:10/25/2021file:ml5.29machine learningpeng kaixiang 2015. all rights reserved.machine learning fo
37、r control engineering80%雙側(cè)置信區(qū)間雙側(cè)置信區(qū)間90%單側(cè)置信區(qū)間單側(cè)置信區(qū)間date:10/25/2021file:ml5.30machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering推導(dǎo)置信區(qū)間的一般方法推導(dǎo)置信區(qū)間的一般方法 前面介紹的是針對一特定情況推導(dǎo)置信區(qū)間前面介紹的是針對一特定情況推導(dǎo)置信區(qū)間估計:估計: 下面介紹的方法是在許多估計問題中用到的下面介紹的方法是在許多估計問題中用到的通用的方法通用的方法的問題的問題date:
38、10/25/2021file:ml5.31machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 確定基準(zhǔn)總體中要估計的參數(shù)確定基準(zhǔn)總體中要估計的參數(shù)p,例如,例如errord(h) 定義一個估計量定義一個估計量y(如(如errors(h)),它的選擇應(yīng)為),它的選擇應(yīng)為最小方差的無偏估計量最小方差的無偏估計量 確定控制估計量確定控制估計量y的概率分布的概率分布dy,包括其均值和方,包括其均值和方差差 通過尋找閾值通過尋找閾值l和和u確定確定n%置信區(qū)間,以
39、使這個置信區(qū)間,以使這個按按dy分布的隨機變量有分布的隨機變量有n%機會落入機會落入l和和u之間之間date:10/25/2021file:ml5.32machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering思考題思考題 如果假設(shè)如果假設(shè)h在在n=65的獨立抽取樣本上出現(xiàn)的獨立抽取樣本上出現(xiàn)r=10個錯誤,真實錯誤率的個錯誤,真實錯誤率的90%置信區(qū)間是置信區(qū)間是多少?多少?95%的單側(cè)置信區(qū)間(上界)是多少?的單側(cè)置信區(qū)間(上界)是多少?90%的單側(cè)區(qū)間是多
40、少?的單側(cè)區(qū)間是多少?date:10/25/2021file:ml5.33machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering中心極限定理中心極限定理 考慮如下的一般框架考慮如下的一般框架 在在n個獨立抽取的且服從同樣概率分布的隨機變量個獨立抽取的且服從同樣概率分布的隨機變量y1.yn中觀察試驗值中觀察試驗值 令令 代表每一變量代表每一變量yi服從的服從的的均值,并令的均值,并令 代表代表標(biāo)準(zhǔn)差,稱這些變量標(biāo)準(zhǔn)差,稱這些變量yi為獨立同分布隨機變量為獨立同
41、分布隨機變量 為了估計為了估計yi服從的分布的均值服從的分布的均值 ,我們計算樣本的均值,我們計算樣本的均值 中心極限定理說明中心極限定理說明 服從的分布均值為服從的分布均值為 ,而標(biāo)準(zhǔn)差為,而標(biāo)準(zhǔn)差為niinyny11nynyndate:10/25/2021file:ml5.34machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering中心極限定理(中心極限定理(2) 定理定理5.1(中心極限定理)考慮獨立同分布的隨機變(中心極限定理)考慮獨立同分布的隨機變量
42、量y1.yn的集合,它們服從一任意的概率分布,均的集合,它們服從一任意的概率分布,均值為值為 ,有限方差為,有限方差為 2,定義樣本均值為,定義樣本均值為 ,當(dāng)當(dāng)n時,式子時,式子 服從正態(tài)分布,均值為服從正態(tài)分布,均值為0且標(biāo)且標(biāo)準(zhǔn)差為準(zhǔn)差為1. 中心極限定理說明在不知道獨立的中心極限定理說明在不知道獨立的yi所服從的基準(zhǔn)所服從的基準(zhǔn)分布的情況下,我們可以得知分布的情況下,我們可以得知,說明了怎樣使用,說明了怎樣使用 的均值和方差來確定獨立的的均值和方差來確定獨立的yi的均值和方差的均值和方差 中心極限定理說明了中心極限定理說明了niinyny11nynyydate:10/25/2021fi
43、le:ml5.35machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering兩個假設(shè)錯誤率間的差異兩個假設(shè)錯誤率間的差異 問題:問題: 考慮某離散目標(biāo)函數(shù)的兩個假設(shè)考慮某離散目標(biāo)函數(shù)的兩個假設(shè)h1和和h2,h1在一在一擁有擁有n1個隨機抽取的樣例的樣本個隨機抽取的樣例的樣本s1上測試,上測試,h2在在一擁有一擁有n2個從相同分布中抽取的樣例的樣本個從相同分布中抽取的樣例的樣本s2上上測試,要估計這兩個假設(shè)的真實錯誤率間的差測試,要估計這兩個假設(shè)的真實錯誤率間的差
44、異異d=errord(h1)-errord(h2)date:10/25/2021file:ml5.36machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering兩個假設(shè)錯誤率間的差異(兩個假設(shè)錯誤率間的差異(2) 使用使用5.4節(jié)中描述的四個步驟來推導(dǎo)節(jié)中描述的四個步驟來推導(dǎo)d的置信區(qū)的置信區(qū)間估計間估計 確定待估計的參數(shù),如上所述的確定待估計的參數(shù),如上所述的d 定義一估計量,定義一估計量, 是是d的無偏估計量,即的無偏估計量,即e =d。由于對于較大的。由于
45、對于較大的n1和和n2,errors1(h1)和和errors2(h2)都近似遵從正態(tài)分都近似遵從正態(tài)分布,兩個正態(tài)分布的差仍為正態(tài)分布,方差為兩個布,兩個正態(tài)分布的差仍為正態(tài)分布,方差為兩個正態(tài)分布的方差的和正態(tài)分布的方差的和 (5.12) 現(xiàn)在知道了現(xiàn)在知道了 服從均值為服從均值為d、方差為、方差為 2的正態(tài)分布,的正態(tài)分布,因此因此d的的n%置信區(qū)間是置信區(qū)間是 (5.13))()(2121herrorherrordssd2221112)(1)()(1)(2211nherrorherrornherrorherrorssssddnzd ddate:10/25/2021file:ml5.37
46、machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering兩個假設(shè)錯誤率間的差異(兩個假設(shè)錯誤率間的差異(3) 上面分析的是上面分析的是h1和和h2在相互獨立的數(shù)據(jù)樣本上測試在相互獨立的數(shù)據(jù)樣本上測試的情況,如果在同一個樣本上測試的情況,如果在同一個樣本上測試h1和和h2,那么也,那么也可以使用公式可以使用公式5.13計算置信區(qū)間計算置信區(qū)間 這種情況下的方差通常小于式子這種情況下的方差通常小于式子5.12給出的方差,給出的方差,這是因為單個樣本消除了兩個樣本組
47、合帶來的隨機這是因為單個樣本消除了兩個樣本組合帶來的隨機差異,這樣,由式子差異,這樣,由式子5.13給出的置信區(qū)間一般來說給出的置信區(qū)間一般來說偏于保守,但結(jié)果是正確的偏于保守,但結(jié)果是正確的date:10/25/2021file:ml5.38machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering假設(shè)檢驗假設(shè)檢驗 有時感興趣的是某個特定猜想有時感興趣的是某個特定猜想,而不是,而不是對某參數(shù)的置信區(qū)間估計。比如:對某參數(shù)的置信區(qū)間估計。比如:errord(h1
48、)errord(h2)的可能性有多大?的可能性有多大? 例子,假定分別用大小為例子,假定分別用大小為100的獨立樣本的獨立樣本s1和和s2測測量量h1和和h2的樣本錯誤率為的樣本錯誤率為0.30和和0.20,給定,給定 ,問問errord(h1)errord(h2)的概率是多少?的概率是多少?d0的概率的概率是多少?是多少? 概率概率pr(d0)等于等于 對對d的過高估計不大于的過高估計不大于0.1的概率,的概率,也就是這個概率為也就是這個概率為 落入單側(cè)區(qū)間落入單側(cè)區(qū)間 d+0.10= +0.10的概率的概率10. 0ddddddate:10/25/2021file:ml5.39machin
49、e learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering假設(shè)檢驗(假設(shè)檢驗(2) 對于對于 落入單側(cè)區(qū)間落入單側(cè)區(qū)間 +0.10的概率,可以通過計的概率,可以通過計算算 分布在該區(qū)間的概率質(zhì)量來確定分布在該區(qū)間的概率質(zhì)量來確定 落入這個單側(cè)落入這個單側(cè)區(qū)間的概率區(qū)間的概率 將區(qū)間將區(qū)間 errord(h2)的概率的概率約為約為95%。使用統(tǒng)計學(xué)術(shù)語表述為:接受。使用統(tǒng)計學(xué)術(shù)語表述為:接受errord(h1)errord(h2)假設(shè)的置信度是假設(shè)的置信度是95%dddddd
50、ddddddd64. 110. 0ddddate:10/25/2021file:ml5.40machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 有時感興趣的是有時感興趣的是,而不是,而不是兩個具體的假設(shè)本身兩個具體的假設(shè)本身 如何近似地檢驗多個學(xué)習(xí)算法?如何近似地檢驗多個學(xué)習(xí)算法? 如何確定兩個算法之間的差異在統(tǒng)計上是有意義的?如何確定兩個算法之間的差異在統(tǒng)計上是有意義的? 假定有假定有l(wèi)a和和lb兩個算法,要確定為了學(xué)習(xí)一特定兩個算法,要確定為了學(xué)習(xí)一
51、特定目標(biāo)函數(shù)目標(biāo)函數(shù)f,平均來說那個算法更好,平均來說那個算法更好 定義定義“平均平均”的一種合理方法是,從一基準(zhǔn)實例分的一種合理方法是,從一基準(zhǔn)實例分布中抽取包含布中抽取包含n個樣例的訓(xùn)練集合,在所有這樣的個樣例的訓(xùn)練集合,在所有這樣的集合中測量兩個算法的平均性能,即集合中測量兩個算法的平均性能,即 (5.14))()(slerrorslerrorebdaddsdate:10/25/2021file:ml5.41machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engine
52、ering學(xué)習(xí)算法比較(學(xué)習(xí)算法比較(2) 在實際的學(xué)習(xí)算法比較中,我們只有一個有限的樣本在實際的學(xué)習(xí)算法比較中,我們只有一個有限的樣本d0,把,把它分割成訓(xùn)練集合它分割成訓(xùn)練集合s0和測試集合和測試集合t0,使用下式比較兩個學(xué)習(xí),使用下式比較兩個學(xué)習(xí)到的假設(shè)的準(zhǔn)確度到的假設(shè)的準(zhǔn)確度 (5.15) 上式與上式與5.14有兩個重要的不同有兩個重要的不同 使用使用errort0(h)來近似來近似errord(h) 錯誤率的差異測量是在一個訓(xùn)練集合錯誤率的差異測量是在一個訓(xùn)練集合s0上,而不是在從分布上,而不是在從分布d中抽取中抽取的所有樣本的所有樣本s上計算的期望值上計算的期望值 改進改進5.15
53、式的一種方法是,將數(shù)據(jù)式的一種方法是,將數(shù)據(jù)d0多次分割為不相交的訓(xùn)多次分割為不相交的訓(xùn)練和測試集合,然后在其中計算這些不同的實驗的錯誤率的練和測試集合,然后在其中計算這些不同的實驗的錯誤率的平均值平均值 )()(0000slerrorslerrorbtatdate:10/25/2021file:ml5.42machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering學(xué)習(xí)算法比較(學(xué)習(xí)算法比較(3)k-fold 交叉驗證交叉驗證randomly partition
54、 data d into k disjoint equal-sized subsets p1pk: use pi for the test set and remaining data for training si = (d pi) ha = la(si) hb = lb(si) i = errorpi(ha) errorpi(hb) return the average difference in error: (5-17)11kiikdate:10/25/2021file:ml5.43machine learningpeng kaixiang 2015. all rights reser
55、ved.machine learning for control engineering學(xué)習(xí)算法比較(學(xué)習(xí)算法比較(4) 算法返回的算法返回的 可看作下式的估計可看作下式的估計 (5.17) 估計式估計式5.17的近似的的近似的n%置信區(qū)間可表示成置信區(qū)間可表示成 (5.18),其中),其中tn,k-1是一常數(shù),其意義類似于前面是一常數(shù),其意義類似于前面的的zn,第一個下標(biāo)表示所需的,第一個下標(biāo)表示所需的,第二個下標(biāo),第二個下標(biāo)表示表示,常記作,常記作v,它與生成隨機變量,它與生成隨機變量 的值的值時獨立的隨機事件數(shù)目相關(guān)。而時獨立的隨機事件數(shù)目相關(guān)。而 代表代表 所服從的所服從的概率分布的標(biāo)
56、準(zhǔn)差的估計,定義如下概率分布的標(biāo)準(zhǔn)差的估計,定義如下: (5.19) 注意當(dāng)自由度注意當(dāng)自由度v時,時,tn,v的值趨向常數(shù)的值趨向常數(shù)zn。)()(0slerrorslerrorebdaddsstkn1, kiikks12)() 1(1sdate:10/25/2021file:ml5.44machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering 類似于正態(tài)分布的鐘形分布,但更寬且矮,類似于正態(tài)分布的鐘形分布,但更寬且矮,以反映使用以反映使用 近似真實的標(biāo)準(zhǔn)差
57、近似真實的標(biāo)準(zhǔn)差 時帶來的時帶來的更大方差。更大方差。ysydate:10/25/2021file:ml5.45machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering學(xué)習(xí)算法比較(學(xué)習(xí)算法比較(5) 這里描述的比較學(xué)習(xí)算法的過程要在這里描述的比較學(xué)習(xí)算法的過程要在,這與前面描述的比較兩個用獨,這與前面描述的比較兩個用獨立測試集合評估過的假設(shè)不同。立測試集合評估過的假設(shè)不同。 使用相同樣本來測試假設(shè)被稱為使用相同樣本來測試假設(shè)被稱為,配對測,配對測試通常會產(chǎn)生
58、更緊密的置信區(qū)間,因為在試通常會產(chǎn)生更緊密的置信區(qū)間,因為在。 若假設(shè)在分開的數(shù)據(jù)樣本上的測試,兩個樣本錯誤若假設(shè)在分開的數(shù)據(jù)樣本上的測試,兩個樣本錯誤率之間的差異也可能部分來源于兩個樣本組成的不率之間的差異也可能部分來源于兩個樣本組成的不同。同。date:10/25/2021file:ml5.46machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering配對配對t測試測試 前面主要討論前面主要討論的過程,并論證公式的過程,并論證公式5.18和和5.19 為了理
59、解為了理解5.18中的置信區(qū)間,考慮一下的估中的置信區(qū)間,考慮一下的估計問題計問題 給定一系列獨立同分布的隨機變量給定一系列獨立同分布的隨機變量y1yk的觀的觀察值察值 要估計這些要估計這些yi所服從的概率分布的均值所服從的概率分布的均值 使用的估計量為樣本均值使用的估計量為樣本均值kiyiky11date:10/25/2021file:ml5.47machine learningpeng kaixiang 2015. all rights reserved.machine learning for control engineering配對配對t測試(測試(2) 這一基于樣本均值估計分布均值
60、的問題非常普遍(比如,這一基于樣本均值估計分布均值的問題非常普遍(比如,早先的用早先的用errors(h)估計估計errord(h)) 由式由式5.18和和5.19描述的描述的t測試應(yīng)用于該問題的一特殊情形,測試應(yīng)用于該問題的一特殊情形,即每個單獨的即每個單獨的yi都遵循正態(tài)分布都遵循正態(tài)分布 考慮前面比較學(xué)習(xí)算法的過程的一個理想化形式,假定考慮前面比較學(xué)習(xí)算法的過程的一個理想化形式,假定不是擁有固定樣本數(shù)據(jù)不是擁有固定樣本數(shù)據(jù)d0,而是從基準(zhǔn)實例分布中抽取,而是從基準(zhǔn)實例分布中抽取新的訓(xùn)練樣例,使新的訓(xùn)練樣例,使 這一理想化方法能很好地匹配上面的估計問題,該過程這一理想化方法能很好地匹配上面
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 售賣義齒器械合同范本
- 建設(shè)知識產(chǎn)權(quán)保護高地的實施細(xì)則與規(guī)劃
- 員工欠款合同范本
- 黨務(wù)材料外包合同范本
- 品牌油漆采購合同范本
- 合同范本書庫
- 同城兼職用工合同范本
- 合同范本甲方人多
- 臺歷沖壓合同范本
- 合作贊助協(xié)議合同范例
- 動力國際項目詳情
- 2024年徐州生物工程職業(yè)技術(shù)學(xué)院單招職業(yè)適應(yīng)性測試題庫及答案解析
- 重點關(guān)愛學(xué)生幫扶活動記錄表
- 2024年部編版五年級下冊語文第一單元綜合檢測試卷及答案
- 5-6歲幼兒園小學(xué)美術(shù)PPT課件教案教程創(chuàng)意幼教手工《樹懶》
- 牛津譯林英語七年級上冊7AUnits1-4單元復(fù)習(xí)課件
- 《義務(wù)教育道德與法治課程標(biāo)準(zhǔn)(2022年版)》
- 2023北京高三一模語文匯編:非連續(xù)性文本閱讀
- 初中物理核心素養(yǎng)培養(yǎng)
- 保安公司招聘筆試題及答案
- 介紹錢三強的
評論
0/150
提交評論