廈門大學機器學習考習題

1、第一題判斷題（10分，每題1分）1邏輯斯蒂回歸模型能夠用來做分類，可是SVM不可以用來做回歸。（）訓練數(shù)據(jù)較少時更簡單發(fā)生過擬合。（）假如回歸函數(shù)A比B簡單，則A必定會比B在測試集上表現(xiàn)更好。（）4在核回歸中，最影響回歸的過擬合性和欠擬合之間均衡的參數(shù)為核函數(shù)的寬度。（）5在AdaBoost算法中，全部被錯分的樣本的權重更新比率同樣。（）Boosting的一個長處是不會過擬合。（）7梯度降落有時會陷于局部極小值，但EM算法不會。（）8SVM對噪聲（如來自其余散布的噪聲樣本）魯棒。（）9經(jīng)驗風險最小化在必定條件下與極大似然預計是等價的。（）10在回歸剖析中，最正確子集選擇能夠做特點選擇；Lass

2、o模型也能夠?qū)崿F(xiàn)特點選擇。（）第二題統(tǒng)計學習方法的三因素（10分）1.(5分)H是一個函數(shù)空間，p(x,y)是XY上一個概率測度，Dxi,yiin1是XY的一個子集（采樣），(f)L(x,y,f(x,y)dp，1n，(f)i1L(xi,yi,f(xi,yi)XYfHargmin(f),fzargmin(f),請問：fHfH1(2分)(fz)(fH)跟著N增大而增大嗎？為何？2(3分)(fz)(fH)跟著H增大而增大嗎？為何？2.(5分)比較感知機、邏輯斯蒂回歸模型、AdaBoost和SVM的損失函數(shù)。第三題產(chǎn)生式模型和鑒別式模型（10分）（5分）解說產(chǎn)生式模型和鑒別式模型，并剖析兩者的不一樣點

3、；2列出三種鑒別式模型（3分）和兩種產(chǎn)生式模型（2分）第四題EMandNaiveBayes（15分）（5分）概括EM算法的用途及其主要思想；（10分）EM算法能夠用到樸實貝葉斯法的非監(jiān)察學習，寫出其算法。第五題HMM（10分）考慮盒子和球模型，狀態(tài)會合，觀察會合，0.50.20.30.50.5A0.30.50.2，B0.40.6，0.20.30.50.70.3設T=3，O=(紅、白、紅)，試用前向算法計算.第六題SVM（15分）考慮利用線性支持向量機對以下兩類可分數(shù)據(jù)進行分類：+1：(1,1),(2,2),(2,0)-1：(0,0),(1,0),(0,1)（4分）在圖中做出這6個訓練點，結構擁

4、有最優(yōu)超平面和最優(yōu)間隔的權重向量；（3分）哪些是支撐向量？3（8分）經(jīng)過找尋拉格朗日乘子i來結構在對偶空間的解，并將它與1中的結果比較。第七題Logistic回歸模型（15分）如圖1(a)所示，數(shù)據(jù)采納簡化的線性logistic回歸模型進行兩類分類，即，PY1x,w1,w2gw1x1w2x21exp(w1x1w2x2)1為了簡化，不采納偏差w0,訓練數(shù)據(jù)能夠被完整分開（訓練偏差為0，如圖1(b)所示的L1）。oooL3oL4ooooooooL2oooo+L1+圖1(a)二維訓練數(shù)據(jù)圖1(b)可能的決議面：L1,L2,L3,L4NC221（8分）考慮一個正則化的方法，即最大化ii12,注意只有被

5、懲logPyx,w,w2wi1罰。則當C很大時，如圖1(b)所示的4個決議界限中，哪條線可能是由該正則方法獲得的？L2、L3和L4能夠經(jīng)過正則獲得嗎？簡要說明原因。NCw12（7分）假如我們將正則項給出L1范式，即最大化logPyixi,w1,w2w2,i12則跟著C增大，下邊哪一種情況可能出現(xiàn)（單項選擇）？注：簡要說明原因(A)將變?yōu)?，而后也將變?yōu)?。(B)將變?yōu)?，而后也將變?yōu)?。(C)和將同時變?yōu)?。(D)兩個權重都不會變?yōu)?，不過跟著C的增大而減小為0。第八題AdaBoost（15分）考慮以下列圖2所示的訓練樣本，此中X和O分別表示正樣本和負樣本。采納AdaBoost算法對上述樣本進行分類。在Boosting的每次迭代中，選擇加權錯誤率最小的弱分類器。假設采納的弱分類器為平行兩個坐標軸的線性分類器。6-15.5+154.543.532.521.510.500123456圖2訓練數(shù)據(jù)1（4分）在圖2中標出第一次迭代選擇的弱分類器（L1），并給出決議面的+和-面。（4分）在圖2頂用圓圈標出在第一次迭代后權重最大的樣本，其權重是多少？（