Adaboost算法流程和證明

1、Adaboost算法1、Adaabooost算算法簡(jiǎn)介介 Adabooostt算法是是Freeundd和Schhapiire根根據(jù)在線線分配算算法提出出的，他他們?cè)敿?xì)細(xì)分析了了Adaabooost算算法錯(cuò)誤誤率的上上界，以以及為了了使強(qiáng)分分類器達(dá)達(dá)到錯(cuò)誤誤率，算算法所需需要的最最多迭代代次數(shù)等等相關(guān)問問題。與與Booostiing算算法不同同的是，Adaboost算法不需要預(yù)先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限即弱分類器的誤差，并且最后得到的強(qiáng)分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。 2、Adaabooost 算法基基本原理理 Adabooostt是一種種

2、迭代算算法，其其核心思思想是針針對(duì)同一一個(gè)訓(xùn)練練集訓(xùn)練練不同的的分類器器(弱分類類器)，然后后把這些些弱分類類器集合合起來，構(gòu)構(gòu)成一個(gè)個(gè)更強(qiáng)的的最終分分類器(強(qiáng)分類類器)。其算算法本身身是通過過改變數(shù)數(shù)據(jù)分布布來實(shí)現(xiàn)現(xiàn)的，它它根據(jù)每每次訓(xùn)練練集之中中每個(gè)樣樣本的分分類是否否正確，以以及上次次的總體體分類的的準(zhǔn)確率率，來確確定每個(gè)個(gè)樣本的的權(quán)值。將將修改過過權(quán)值的的新數(shù)據(jù)據(jù)集送給給下層分分類器進(jìn)進(jìn)行訓(xùn)練練，最后后將每次次訓(xùn)練得得到的分分類器最最后融合合起來，作作為最后后的決策策分類器器。使用用Adaabooost分分類器可可以排除除一些不不必要的的訓(xùn)練數(shù)數(shù)據(jù)特征征，并將將關(guān)鍵放放在關(guān)鍵鍵的訓(xùn)練練

3、數(shù)據(jù)上上面。 Adabooostt算法中中不同的的訓(xùn)練集集是通過過調(diào)整每每個(gè)樣本本對(duì)應(yīng)的的權(quán)重來來實(shí)現(xiàn)的的。開始始時(shí)，每每個(gè)樣本本對(duì)應(yīng)的的權(quán)重是是相同的的，即其其中 為樣本本個(gè)數(shù)，在在此樣本本分布下下訓(xùn)練出出一弱分分類器。對(duì)對(duì)于分類類錯(cuò)誤的的樣本，加加大其對(duì)對(duì)應(yīng)的權(quán)權(quán)重；而而對(duì)于分分類正確確的樣本本，降低低其權(quán)重重，這樣樣分錯(cuò)的的樣本就就被突出出出來，從從而得到到一個(gè)新新的樣本本分布。在在新的樣樣本分布布下，再再次對(duì)弱弱分類器器進(jìn)行訓(xùn)訓(xùn)練，得得到弱分分類器。依依次類推推，經(jīng)過過次循環(huán)環(huán)，得到到個(gè)弱分分類器，把把這個(gè)弱弱分類器器按一定定的權(quán)重重疊加(booost)起來，得得到最終終想要的的強(qiáng)分類

4、類器。 Adabooostt算法的的具體步步驟如下下：設(shè)輸入的個(gè)個(gè)訓(xùn)練樣樣本為：,其中是輸輸入的訓(xùn)訓(xùn)練樣本本，分別表表示正樣樣本和負(fù)負(fù)樣本，其中正正樣本數(shù)數(shù)為，負(fù)樣本本數(shù)。，具體體步驟如如下：初始化每每個(gè)樣本本的權(quán)重重；對(duì)每個(gè)(為弱分分類器的的個(gè)數(shù))：把權(quán)重歸歸一化為為一個(gè)概概率分布布對(duì)每個(gè)特特征，訓(xùn)訓(xùn)練一個(gè)個(gè)弱分類類器計(jì)算算對(duì)應(yīng)所所有特征征的弱分分類器的的加權(quán)錯(cuò)錯(cuò)誤率選取最佳佳的弱分分類器(擁有最最小錯(cuò)誤誤率)：按照這個(gè)個(gè)最佳弱弱分類器器，調(diào)整整權(quán)重其中表示被被正確地地分類，表示被錯(cuò)誤地分類最后的強(qiáng)強(qiáng)分類器器為：，3、Adaaboosst算法法應(yīng)用 隨著Adaaboosst算法法的發(fā)展展，目

5、前前Adaaboosst算法法廣泛的的應(yīng)用于于人臉檢檢測(cè)、目目標(biāo)識(shí)別別等領(lǐng)域域，其中中有在人人臉識(shí)別別、汽車車識(shí)別、駕駕駛員眨眨眼識(shí)別別的方面面的應(yīng)用用和研究究。Disceete-Adaabooost算算法1、給定訓(xùn)訓(xùn)練集：，其中中，表示示的正確確的類別別標(biāo)簽， ,表示第副圖像的第個(gè)特征值2、訓(xùn)練集集上樣本本的初始始分布：3、尋找弱弱分類器器()對(duì)于每個(gè)個(gè)樣本中中的第個(gè)個(gè)特征，可可以得到到一個(gè)弱弱分類器器，即可得得到閾值值和方向向，使得達(dá)到到最小，而而弱分類類器為：其中決定不不等式的的方向, 只有兩種種情況。4、將所有有特征()中挑挑選出一一個(gè)具有有最小誤誤差的弱弱分類器器。5、對(duì)所有有的樣本

6、本權(quán)重進(jìn)進(jìn)行更新新其中是使得得歸一化化因子。6、經(jīng)過輪輪訓(xùn)練得得到個(gè)最最優(yōu)的弱弱分類器器，此時(shí)時(shí)組成一一個(gè)強(qiáng)分分類器；在Adabboosst算法法的弱學(xué)學(xué)習(xí)中，將將產(chǎn)生錯(cuò)錯(cuò)誤率為為的弱分分類器。如如果每個(gè)個(gè)錯(cuò)誤率率，則強(qiáng)強(qiáng)分類器器的總錯(cuò)錯(cuò)誤率一切都從強(qiáng)強(qiáng)分類器器的錯(cuò)誤誤率開始始首先權(quán)值更更新其中然后強(qiáng)分類類器的錯(cuò)錯(cuò)誤率使這個(gè)錯(cuò)誤誤率快速速下降？為歸一化因因子。轉(zhuǎn)化為求的的最小值值了！此時(shí)我們用用貪心算算法求出出的一個(gè)個(gè)局部最最小值對(duì)中的求導(dǎo)導(dǎo)此時(shí)時(shí)將固定定令導(dǎo)數(shù)為零零解出此時(shí)繪制關(guān)于的的曲線圖圖從這幅圖上上我們可可以看出出，當(dāng)錯(cuò)錯(cuò)誤率越越小或者者越大（只只要不在在中點(diǎn)處處徘徊）的的時(shí)候快快速收

7、斂斂到0。越?。赫f明明錯(cuò)誤越越小的分分類器能能快速識(shí)識(shí)別出正正例。越大: 說說明錯(cuò)誤誤越大的的分類器器也能快速速識(shí)別出出正例。既然最大，只只要我把把弱分類類器取反反，這樣樣錯(cuò)誤率率就是最最小，這這樣還是是收斂到到0。從以上的證證明，我我們知道道只要是是弱分類類器的錯(cuò)錯(cuò)誤率都都取最小小，于是是我們就就能組合合得到一一個(gè)強(qiáng)分分類器。接下來我們們就找出出一個(gè)弱分分類器錯(cuò)錯(cuò)誤率很很小。找找個(gè)聯(lián)合合起來就就得到了了強(qiáng)分類類器！怎么找弱分分類器？決策樹IDD3，CC4.55，C55.0ID3 生生成樹用用（CIIG類別別屬性增增益法）C4.5 生成樹樹用（GGainn Raatioo增益比比率法）修剪樹樹用(RRulee p