機(jī)器學(xué)習(xí)試卷

1、一、判斷題（1）極大似然估計(jì)是無(wú)偏估計(jì)且在所有的無(wú)偏估計(jì)中方差最小，所以極大似然 估計(jì)的風(fēng)險(xiǎn)最小。（2）回歸函數(shù)A和B，如果A比B更簡(jiǎn)單，則A幾乎一定會(huì)比B在測(cè)試集上 表現(xiàn)更好。（3）全局線性回歸需要利用全部樣本點(diǎn)來(lái)預(yù)測(cè)新輸入的對(duì)應(yīng)輸出值，而局部線 性回歸只需利用查詢點(diǎn)附近的樣本來(lái)預(yù)測(cè)輸出值。所以全局線性回歸比局部線性 回歸計(jì)算代價(jià)更高。（4）Boosting的一個(gè)優(yōu)點(diǎn)是不會(huì)過(guò)擬合。（5）在回歸分析中，最佳子集選擇可以做特征選擇，當(dāng)特征數(shù)目較多時(shí)計(jì)算量 大；嶺回歸和Lasso模型計(jì)算量小，且Lasso也可以實(shí)現(xiàn)特征選擇。（6）梯度下降有時(shí)會(huì)陷于局部極小值，但EM算法不會(huì)。（7）支持向量機(jī)是判別

2、模型。T（8）ICA方法對(duì)于高斯分布的數(shù)據(jù)也有效。F（9）回歸問(wèn)題屬于非監(jiān)督學(xué)習(xí)的一種方法。F（10）聚類算法中不需要給出標(biāo)簽y。T二、考慮一個(gè)二分類器問(wèn)題（Y為1或0），每個(gè)訓(xùn)練樣本X有兩個(gè)特征X1、 X2（0或1）。給出P（Y=0）=P（Y=1）=0.5，條件概率如下表：p（Xi|y）=（Xi = 1V = 0u.r0.3= 1（L2F）= （J Aa = 1 = u y = i0.90.10.50.5分類器預(yù)測(cè)的結(jié)果錯(cuò)誤的概率為期望錯(cuò)誤率，Y是樣本類別的實(shí)際值，Y（X1，X2）為樣本類別的預(yù)測(cè)值，那么期望錯(cuò)誤率為：1 IpP（y = 1 - r（-vb-v2） = i 一（、&）X i

3、=0 A衛(wèi)=0（1）給出X1, X2的所有可能值，使用貝葉斯分類器預(yù)測(cè)結(jié)果，填寫(xiě)下表:X1X2P(X1,X2,Y=0)P(X1,X2,Y=1)Y(X1,X2)00011011（2）計(jì)算給定特征（XI，X2）預(yù)測(cè)Y的期望錯(cuò)誤率，假設(shè)貝葉斯分類器從無(wú) 限的訓(xùn)練樣本中學(xué)習(xí)所得。（3）下面哪個(gè)有更小的期望錯(cuò)誤率？a、僅僅給出XI，采用貝葉斯分類器預(yù)測(cè)Y。b、僅僅給出X2,采用貝葉斯分類器預(yù)測(cè)Y。（4）給出一個(gè)新的特征X3, X3的與X2保持完全相同，現(xiàn)在計(jì)算給定（XI， X2, X3）采用貝葉斯分類器預(yù)測(cè)Y的期望錯(cuò)誤率，假設(shè)分類器從無(wú)限的訓(xùn)練數(shù) 據(jù)中學(xué)習(xí)所得。（5）使用貝葉斯分類器會(huì)產(chǎn)生什么問(wèn)題，為什么？（1）算法1-NN的訓(xùn)練誤差的是多少?三、交叉驗(yàn)證1、4.給定如下數(shù)據(jù)集，其中X為輸入變量，r為輸出變量。假設(shè)考慮采用k-NN算法 對(duì)X對(duì)應(yīng)的y進(jìn)行預(yù)測(cè)，其中距離度量采用不加權(quán)的歐氏距離。（12分）同）（2）算法3-NN的訓(xùn)練誤差是多少？（3）算法1-NN的LOOCV （留一交叉驗(yàn)證）估計(jì)誤差是多少？（4）算法3-NN的LOOCV （留一交叉驗(yàn)證）估計(jì)誤差是多少？四、用最大似然估計(jì)的方法估計(jì)高斯分布的均值和方差，并指出其局限性。五、隨著信息化的發(fā)展，大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái)。海量的文本