《機(jī)器學(xué)習(xí)項(xiàng)目案例開(kāi)發(fā)》課件 13.1集成算法-隨機(jī)森林

人工智能技術(shù)與應(yīng)用13.集成算法概述課程概況—基本情況PART01集成算法什么是集成算法常用的集成算法集成算法的對(duì)比集成算法的概念集成算法(ensemblelearning)：集成學(xué)習(xí):集成學(xué)習(xí)是通過(guò)構(gòu)建并結(jié)合多個(gè)學(xué)習(xí)器來(lái)完成學(xué)習(xí)任務(wù)，如右圖所示，其過(guò)程是：先產(chǎn)生一組“個(gè)體學(xué)習(xí)器”，再用某種策略將它們結(jié)合起來(lái)。個(gè)體學(xué)習(xí)器:決策樹(shù)，神經(jīng)網(wǎng)絡(luò)等。同質(zhì)和異質(zhì)同質(zhì)，個(gè)體學(xué)習(xí)器全是同一類型，這時(shí)個(gè)體學(xué)習(xí)器又稱“基學(xué)習(xí)器”；異質(zhì)是指?jìng)€(gè)體學(xué)習(xí)器包含不同類型得學(xué)習(xí)算法。一般我們常用的都是同質(zhì)的，即個(gè)體學(xué)習(xí)器都是同一類型的參考：https:///u012328159/article/details/89740430

集成算法的概念Bagging模型Bagging模型(bootstrapaggregation)：原理：并行訓(xùn)練多個(gè)分類器，相互獨(dú)立的隨機(jī)的建立多個(gè)模型典型應(yīng)用：隨機(jī)森林隨機(jī)：特征隨機(jī)采樣、數(shù)據(jù)隨機(jī)采樣關(guān)注點(diǎn)：從偏差-方差分解的角度，關(guān)注降低方差Bagging模型(bootstrapaggregation)：原理：并行訓(xùn)練多個(gè)分類器，相互獨(dú)立的隨機(jī)的建立多個(gè)模型自助采樣(bootstrapsampling)：對(duì)數(shù)據(jù)集D做隨機(jī)采樣，每一個(gè)樣本每次被抽樣的概率相同，且每次抽完之后放回。包括隨機(jī)選擇數(shù)據(jù)和特征。

Bagging

Bagging基于自助采樣法，通過(guò)多次自助采樣得到不同的訓(xùn)練集，并基于訓(xùn)練集得到基學(xué)習(xí)器，最后再將這些基學(xué)習(xí)器的預(yù)測(cè)結(jié)果結(jié)合，得到最終的學(xué)習(xí)器的預(yù)測(cè)。一般在分類問(wèn)題中，采用簡(jiǎn)單投票法結(jié)合預(yù)測(cè)結(jié)果，在回歸問(wèn)題中則采用簡(jiǎn)單平均法。關(guān)注點(diǎn)：從偏差-方差分解的角度，關(guān)注降低方差Bagging模型Bagging實(shí)現(xiàn)步驟：實(shí)現(xiàn)步驟：輸入：數(shù)據(jù)集D，訓(xùn)練輪數(shù)T輸出：最終預(yù)測(cè)模型G(1)迭代訓(xùn)練基學(xué)習(xí)器：a.從數(shù)據(jù)集D中自助采樣得到訓(xùn)練集D'b.通過(guò)訓(xùn)練集D'訓(xùn)練得到基學(xué)習(xí)器C(2)組合預(yù)測(cè)結(jié)果：Bagging模型Random

Forest隨機(jī)森林(Random

Forest)：隨機(jī)森林：隨機(jī)森林是一個(gè)包含多個(gè)決策樹(shù)的分類器，并且其輸出的類別是由個(gè)別樹(shù)輸出的類別的眾數(shù)而定。Treee：?jiǎn)蝹€(gè)的決策樹(shù)絕對(duì)多數(shù)投票法Majorityvoting就是將樣本X,訓(xùn)練出不同的模型,然后進(jìn)行測(cè)試,進(jìn)行投票,得票最多的模型則被被認(rèn)為是最好.隨機(jī)森林(RandomForest)：數(shù)據(jù)的隨機(jī)抽樣：從原始的數(shù)據(jù)集中采取有放回的抽樣，構(gòu)造子數(shù)據(jù)集，子數(shù)據(jù)集的數(shù)據(jù)量是和原始數(shù)據(jù)集相同的。不同子數(shù)據(jù)集的元素可以重復(fù)，同一個(gè)子數(shù)據(jù)集中的元素也可以重復(fù)。第二，利用子數(shù)據(jù)集來(lái)構(gòu)建子決策樹(shù)，將這個(gè)數(shù)據(jù)放到每個(gè)子決策樹(shù)中，每個(gè)子決策樹(shù)輸出一個(gè)結(jié)果。如圖3，假設(shè)隨機(jī)森林中有3棵子決策樹(shù)，2棵子樹(shù)的分類結(jié)果是A類，1棵子樹(shù)的分類結(jié)果是B類，那么隨機(jī)森林的分類結(jié)果就是A類。Random

Forest隨機(jī)森林(RandomForest)：特征的隨機(jī)抽樣：與數(shù)據(jù)集的隨機(jī)選取類似，隨機(jī)森林中的子樹(shù)的每一個(gè)分裂過(guò)程并未用到所有的待選特征，而是從所有的待選特征中隨機(jī)選取一定的特征，之后再在隨機(jī)選取的特征中選取最優(yōu)的特征。這樣能夠使得隨機(jī)森林中的決策樹(shù)都能夠彼此不同，提升系統(tǒng)的多樣性，從而提升分類性能。Random

Fores