機器學習試卷

1、一、判斷題（1）極大似然估計是無偏估計且在所有的無偏估計中方差最小，所以極大似然 估計的風險最小。（2）回歸函數(shù)A和B，如果A比B更簡單，則A幾乎一定會比B在測試集上 表現(xiàn)更好。（3）全局線性回歸需要利用全部樣本點來預測新輸入的對應輸出值，而局部線 性回歸只需利用查詢點附近的樣本來預測輸出值。所以全局線性回歸比局部線性 回歸計算代價更高。（4）Boosting的一個優(yōu)點是不會過擬合。（5）在回歸分析中，最佳子集選擇可以做特征選擇，當特征數(shù)目較多時計算量 大；嶺回歸和Lasso模型計算量小，且Lasso也可以實現(xiàn)特征選擇。（6）梯度下降有時會陷于局部極小值，但EM算法不會。（7）支持向量機是判別

2、模型。T（8）ICA方法對于高斯分布的數(shù)據(jù)也有效。F（9）回歸問題屬于非監(jiān)督學習的一種方法。F（10）聚類算法中不需要給出標簽y。T二、考慮一個二分類器問題（Y為1或0），每個訓練樣本X有兩個特征X1、 X2（0或1）。給出P（Y=0）=P（Y=1）=0.5，條件概率如下表：p（Xi|y）=（Xi = 1V = 0u.r0.3= 1（L2F）= （J Aa = 1 = u y = i0.90.10.50.5分類器預測的結果錯誤的概率為期望錯誤率，Y是樣本類別的實際值，Y（X1，X2）為樣本類別的預測值，那么期望錯誤率為：1 IpP（y = 1 - r（-vb-v2） = i 一（、&）X i

3、=0 A衛(wèi)=0（1）給出X1, X2的所有可能值，使用貝葉斯分類器預測結果，填寫下表:X1X2P(X1,X2,Y=0)P(X1,X2,Y=1)Y(X1,X2)00011011（2）計算給定特征（XI，X2）預測Y的期望錯誤率，假設貝葉斯分類器從無 限的訓練樣本中學習所得。（3）下面哪個有更小的期望錯誤率？a、僅僅給出XI，采用貝葉斯分類器預測Y。b、僅僅給出X2,采用貝葉斯分類器預測Y。（4）給出一個新的特征X3, X3的與X2保持完全相同，現(xiàn)在計算給定（XI， X2, X3）采用貝葉斯分類器預測Y的期望錯誤率，假設分類器從無限的訓練數(shù) 據(jù)中學習所得。（5）使用貝葉斯分類器會產(chǎn)生什么問題，為什么？（1）算法1-NN的訓練誤差的是多少?三、交叉驗證1、4.給定如下數(shù)據(jù)集，其中X為輸入變量，r為輸出變量。假設考慮采用k-NN算法 對X對應的y進行預測，其中距離度量采用不加權的歐氏距離。（12分）同）（2）算法3-NN的訓練誤差是多少？（3）算法1-NN的LOOCV （留一交叉驗證）估計誤差是多少？（4）算法3-NN的LOOCV （留一交叉驗證）估計誤差是多少？四、用最大似然估計的方法估計高斯分布的均值和方差，并指出其局限性。五、隨著信息化的發(fā)展，大數(shù)據(jù)的時代已經(jīng)到來。海量的文本