機器學習集成學習作業(yè)

1、機器學習作業(yè)：試分析和總結(jié) 隨機森林(Random Forest)和梯度提升樹(GBDT)的區(qū)別(至少寫出三條)。隨機森林可以是分類樹也可以是回歸樹；GBD僅能是回歸樹；隨機森林對異常值不敏感，而 GBDT寸異常值很敏感；隨機森林對訓練集一視同仁，GBD碇基于權(quán)值的弱分類器的集成；隨機森林采用多數(shù)投票等，BD頂U是將所有結(jié)果累加起來，或者加權(quán)累加來。解釋隨機森林預測算法的原理，并分析隨機森林能夠降低方差的原因。隨機森林預測算法的原理：從原始訓練集中使用Bootstraping方法隨機有放回采樣選出m個樣本，共進行n_tree次采樣，生成n_tree個訓練集；對于n_tree個訓練集，分別訓練n

2、_tree個決策樹模型；對于單個決策樹模型，假設訓練樣本特征的個數(shù)為n,那么每次分裂時根據(jù)信息增益或信息增益比或基尼指數(shù)選擇最好的特征進行分裂；每棵樹都一直這樣分裂下去，直到該節(jié)點的所有訓練樣例都屬于同一類。在決 策樹的分裂過程中不需要剪枝；將生成的多棵決策樹組成隨機森林。 對于分類問題，按多棵樹分類器投票決定 最終分類結(jié)果；對于回歸問題，由多棵樹預測值的均值決定最終預測結(jié)果。原因：隨機性的引入使得隨機森林模型不容易陷入過擬合， 具有很好的抗噪能力。而且 隨機性保證了各子模型間的多樣性，子模型間差異越大，模型融合起來的效果會 越好，即降低方差的效果更好。3、3、舉例說明AdaBoost中誤差率

3、的變化過程。當存在7 0,使得對任意嬴均滿足% 7時，即對所有基分類器的誤差率都小于臬個小于1時，有即第法的誤差率隨考選代次數(shù)的滔加以指數(shù)的形式下降*4、假設已知訓練集 T=(1, 5.5),(2, 6.5),(3,7.3), (4,8.5),4、(5,9.3), (6, 8.9), (7, 9.2), (8, 9.5), (9,7.5), (10, 8.9),試用提升樹構(gòu)建回歸樹(需滿足 L(y,fn(x)0.2)o一共進行23輪，下面就前3輪得到的回歸樹進行說明。初始化fo(x) 0.第1輪結(jié)束，Ti第1輪結(jié)束，Ti(x)6.438.83x 3.5x 3.5,f1(x) 06.43T1 (

4、x)18.8335.平方損失誤3.5差最小值為4.321以2輪結(jié)束，T2 (x)0.160.638.585 fi(x) T2(x)6.59以2輪結(jié)束，T2 (x)0.160.638.585 fi(x) T2(x)6.598.998.20 x 3.53.5 x8.5.x 8.5平方損失誤差最小值為3.332以3輪結(jié)束，T3(x)1.090.121.51.5f3(x)f2(x) T3(x)5.506.719.118.32x1.53.51.5x 3535平方損失誤差最小值為x 8.58.52.012。依次類推第1輪劃分點x=3.5(包含此點)，左段均值為6.433333,右段均值為8.828571平

5、方損失誤差最小值為4.321000平方損失誤差表如下，格式為y: x(以x為分點的情況下，平方損失誤差為y)8.8: 1.5, 5.239: 2.5, 4.321: 3.5, 7.398: 4.5, 11.608: 5.5, 13.421: 6.5, 15.195: 7.5, 16.349:8.5, 15.676: 9.5本輪后的殘差表，格式為x,y(x點對應的殘差y)1, -0.933, 2, 0.067, 3, 0.867, 4, -0.329, 5, 0.471, 6, 0.071, 7, 0.371, 8,0.671, 9, -1.329, 10, 0.071第2輪劃分點x=8.5（包

6、含此點），左段均值為0.157000,右段均值為-0.629000平方損失誤差最小值為3.332000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）3.354: 1.5, 3.853: 2.5, 4.321: 3.5, 4.276: 4.5, 4.313: 5.5, 4.302: 6.5, 4.157: 7.5, 3.332: 8.5, 4.315: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -1.09, 2, -0.09, 3, 0.71, 4, -0.486, 5, 0.314, 6, -0.086, 7, 0.214, 8, 0.514, 9

7、, -0.7, 10, 0.7第3輪劃分點x=1.5（包含此點），左段均值為-1.090000,右段土MS為0.121111平方損失誤差最小值為2.012000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）2.012: 1.5, 2.462: 2.5, 3.227: 3.5, 2.952: 4.5, 3.168: 5.5, 3.112: 6.5, 3.207: 7.5, 3.332: 8.5, 2.788: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.0, 2, -0.211, 3, 0.589, 4, -0.607, 5, 0.193, 6,

8、-0.207, 7, 0.093, 8, 0.393, 9, -0.821, 10, 0.579第4輪劃分點x=9.5（包含此點），左段均值為-0.064222,右段均值為0.579000平方損失誤差最小值為1.640000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）2.012: 5.5, 1.984: 2.5, 1.944: 3.5, 1.99: 4.5, 1.988: 6.5, 2.002: 7.5, 1.976: 8.5, 1.64:9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.064, 2, -0.147, 3, 0.653, 4, -0

9、.543, 5, 0.257, 6, -0.143, 7, 0.157, 8, 0.457, 9, -0.757, 10, 0.0第5輪劃分點x=8.5（包含此點），左段均值為0.094375,右段均值為-0.378500平方損失誤差最小值為1.282000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）1.635: 1.5, 1.636: 2.5, 1.485: 3.5, 1.64: 9.5, 1.608: 5.5, 1.632: 6.5, 1.597: 7.5, 1.282:8.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -0.03, 2, -0.24

10、1, 3, 0.559, 4, -0.637, 5, 0.163, 6, -0.237, 7, 0.063, 8, 0.363, 9, -0.379, 10, 0.379第6輪劃分點x=9.5（包含此點），左段均值為-0.041778,右段均值為0.379000平方損失誤差最小值為1.124000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）1.282: 1.5, 1.237: 2.5, 1.244: 3.5, 1.232: 4.5, 1.269: 5.5, 1.208: 6.5, 1.221: 7.5, 1.283: 8.5, 1.124: 9.5本輪后的殘差表，

11、格式為x,y（x點對應的殘差y）1, 0.012, 2, -0.199, 3, 0.601, 4, -0.595, 5, 0.205, 6, -0.195, 7, 0.105, 8, 0.405, 9, -0.337, 10, 0.0第7輪劃分點x=3.5（包含此點），左段均值為0.138000,右段均值為-0.058857平方損失誤差最小值為1.042000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）1.123: 5.5, 1.102: 2.5, 1.042: 3.5, 1.11: 4.5, 1.111: 6.5, 1.121: 7.5, 1.052: 8.5,

12、 1.124:9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -0.126, 2, -0.337, 3, 0.463, 4, -0.536, 5, 0.264, 6, -0.136, 7, 0.164, 8, 0.464, 9, -0.278, 10, 0.059第8輪劃分點x=2.5（包含此點），左段均值為-0.231500,右段均值為0.058000平方損失誤差最小值為0.908000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）1.025: 1.5, 0.908: 2.5, 1.042: 3.5, 0.922: 4.5, 1.013: 5.5, 0

13、.973: 6.5, 1.014: 7.5, 1.012: 8.5, 1.038: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.106, 2, -0.106, 3, 0.405, 4, -0.594, 5, 0.206, 6, -0.194, 7, 0.106, 8, 0.406, 9, -0.336, 10, 0.001第9輪劃分點x=3.5（包含此點），左段均值為0.135000,右段均值為-0.057857平方損失誤差最小值為0.830000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.896: 1.5, 0.908: 9.5, 0.8

14、3: 3.5, 0.893: 4.5, 0.895: 6.5, 0.906: 7.5, 0.838: 8.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -0.029, 2, -0.241, 3, 0.27, 4, -0.536, 5, 0.264, 6, -0.136, 7, 0.164, 8, 0.464, 9, -0.278, 10, 0.059第10輪劃分點x=4.5（包含此點），左段均值為-0.134000,右段均值為0.089500平方損失誤差最小值為0.710000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.829: 1.5, 0.785

15、: 2.5, 0.83: 3.5, 0.71: 4.5, 0.801: 5.5, 0.761: 6.5, 0.802: 7.5, 0.8: 8.5, 0.826: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.105, 2, -0.107, 3, 0,404, 4, -0.402, 5, 0.175, 6, -0.225, 7, 0.075, 8, 0.375, 9, -0.367, 10, -0.03第11輪劃分點x=8.5（包含此點），左段均值為0.050000,右段均值為-0.198500平方損失誤差最小值為0.612000平方損失誤差表如下，格式為y: x（以x為分點

16、的情況下，平方損失誤差為y）0.698: 5,5, 0,71: 7,5, 0,634: 3,5, 0,709: 9,5, 0,612: 8.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0,055, 2, -0,157, 3, 0,354, 4, -0,452, 5, 0,125, 6, -0,275, 7, 0,025, 8, 0.325, 9, -0,168, 10, 0,169第12輪劃分點x=6.5（包含此點），左段均值為-0.058333,右段均值為0.087750平方損失誤差最小值為0.560000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y

17、）0.608: 1,5, 0,605: 2,5, 0,581: 3,5, 0,595: 4,5, 0,609: 5,5, 0,56: 6,5, 0,561: 7,5, 0,612:8.5, 0,58: 9.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0,113, 2, -0,099, 3, 0,412, 4, -0,394, 5, 0,183, 6, -0,217, 7, -0,063, 8, 0.237, 9, -0,256, 10, 0,081第13輪劃分點x=3.5（包含此點），左段均值為0.142000,右段均值為-0.061286平方損失誤差最小值為0.474000平方

18、損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.546: 1,5, 0,56: 6,5, 0,474: 3,5, 0,542: 5,5, 0,558: 7,5, 0,541: 8,5, 0,553: 9.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -0,029, 2, -0,241, 3, 0,27, 4, -0,333, 5, 0,244, 6, -0,156, 7, -0,002, 8,0.298, 9, -0.195, 10, 0.142第14輪劃分點x=4.5（包含此點），左段均值為-0.083250,右段均值為0.055167平方損失誤差最小值

19、為0.428000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.473: 1.5, 0.428: 4.5, 0.474: 3.5, 0.47: 5.5, 0.449: 6.5, 0.445: 7.5, 0.472: 8.5, 0.451:9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.054, 2, -0.158, 3, 0.353, 4, -0.25, 5, 0.189, 6, -0.211, 7, -0.057, 8, 0.243, 9, -0.25, 10, 0.087第15輪劃分點x=3.5（包含此點），左段均值為0.083000,右段均

20、值為-0.035571平方損失誤差最小值為0.398000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.424: 1.5, 0.421: 2.5, 0.398: 3.5, 0.428: 4.5, 0.413: 5.5, 0.427: 6.5, 0.425: 7.5, 0.411: 8.5, 0.419: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, -0.029, 2, -0.241, 3, 0.27, 4, -0.214, 5, 0.225, 6, -0.175, 7, -0.021, 8, 0.279, 9, -0.214, 10, 0.123

21、第16輪劃分點x=2.5（包含此點），左段均值為-0.135000,右段均值為0.034125平方損失誤差最小值為0.352000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.397: 1.5, 0.352: 2.5, 0.398: 5.5, 0.379: 4.5, 0.387: 6.5, 0.381: 9.5, 0.393: 8.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.106, 2, -0.106, 3, 0.236, 4, -0.248, 5, 0.191, 6, -0.209, 7, -0.055, 8,0.245, 9, -0.248

22、, 10, 0.089第17輪劃分點x=3.5（包含此點），左段均值為0.078667,右段均值為-0.033571平方損失誤差最小值為0.326000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.34: 5.5, 0.352: 6.5, 0.326: 3.5, 0.349: 7.5, 0.336: 8.5, 0.344: 9.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.027, 2, -0.185, 3, 0.157, 4, -0.214, 5, 0.225, 6, -0.175, 7, -0.021, 8, 0.279, 9, -0.214

23、, 10, 0.123第18輪劃分點x=4.5（包含此點），左段均值為-0.053750,右段均值為0.036167平方損失誤差最小值為0.306000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.325: 1.5, 0.31: 2.5, 0.326: 5.5, 0.306: 4.5, 0.314: 6.5, 0.309: 9.5, 0.321: 8.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.081, 2, -0.131, 3, 0.211, 4, -0.16, 5, 0.189, 6, -0.211, 7, -0.057, 8, 0.243

24、, 9, -0.25, 10, 0.087第19輪劃分點x=8.5（包含此點），左段均值為0.020625,右段均值為-0.081500平方損失誤差最小值為0.290000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.299: 1.5, 0.305: 2.5, 0.294: 3.5, 0.306: 6.5, 0.292: 5.5, 0.303: 7.5, 0.29: 8.5, 0.298:9.5）本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.06, 2, -0.152, 3, 0.19, 4, -0.181, 5, 0.168, 6, -0.232,

25、 7, -0.078, 8, 0.222, 9, -0.168, 10, 0.168第20輪劃分點x=9.5（包含此點），左段均值為-0.019000,右段均值為0.168000平方損失誤差最小值為0.258000平方損失誤差表如下，格式為y: x（以x為分點的情況下，平方損失誤差為y）0.285: 3.5, 0.284: 2.5, 0.287: 4.5, 0.286: 5.5, 0.281: 6.5, 0.266: 7.5, 0.289: 8.5, 0.258: 9.5本輪后的殘差表，格式為x,y（x點對應的殘差y）1, 0.079, 2, -0.133, 3, 0.209, 4, -0.162, 5, 0.187, 6, -0.213, 7, -0.059, 8, 0.241, 9, -0.149, 10, 0.0第21輪劃分點x=8.5（包含此點），左段均值為0.018625,右段均值為-0.074500平方損失誤差最小值為0.24400