機(jī)器學(xué)習(xí)期末試題

1、中國(guó)科學(xué)院大學(xué) 課程編號(hào)：712008Z  試 題 專 用 紙 課程名稱：機(jī)器學(xué)習(xí) 任課教師：卿來(lái)云 姓名 學(xué)號(hào) 成績(jī) 一、基礎(chǔ)題（共36分）1、請(qǐng)描述極大似然估計(jì)MLE和最大后驗(yàn)估計(jì)MAP之間的區(qū)別。請(qǐng)解釋為什么MLE比MAP更容易過(guò)擬合。（10分）ABCy00100100110000111111100111012、在年度百花獎(jiǎng)評(píng)獎(jiǎng)揭曉之前，一位教授問(wèn)80個(gè)電影系的學(xué)生，誰(shuí)將分別獲得8個(gè)獎(jiǎng)項(xiàng)（如最佳導(dǎo)演、最佳男女主角等）。評(píng)獎(jiǎng)結(jié)果揭曉后，該教授計(jì)算每個(gè)學(xué)生的猜中率，同時(shí)也計(jì)算了所有80個(gè)學(xué)生投票的結(jié)果。他發(fā)現(xiàn)所有人投票結(jié)果幾乎比任何一個(gè)學(xué)生的結(jié)果正確率都高。這種提高是偶然的嗎？請(qǐng)解

2、釋原因。（10分）3、假設(shè)給定如右數(shù)據(jù)集，其中A、B、C為二值隨機(jī)變量，y為待預(yù)測(cè)的二值變量。(a) 對(duì)一個(gè)新的輸入A=0, B=0, C=1，樸素貝葉斯分類器將會(huì)怎樣預(yù)測(cè)y？（10分）(b) 假設(shè)你知道在給定類別的情況下A、B、C是獨(dú)立的隨機(jī)變量，那么其他分類器（如Logstic回歸、SVM分類器等）會(huì)比樸素貝葉斯分類器表現(xiàn)更好嗎？為什么？（注意：與上面給的數(shù)據(jù)集沒(méi)有關(guān)系。）（6分）二、回歸問(wèn)題。（共24分）現(xiàn)有N個(gè)訓(xùn)練樣本的數(shù)據(jù)集，其中為實(shí)數(shù)。1 我們首先用線性回歸擬合數(shù)據(jù)。為了測(cè)試我們的線性回歸模型，我們隨機(jī)選擇一些樣本作為訓(xùn)練樣本，剩余樣本作為測(cè)試樣本?，F(xiàn)在我們慢慢增加訓(xùn)練樣本的數(shù)目，

3、那么隨著訓(xùn)練樣本數(shù)目的增加，平均訓(xùn)練誤差和平均測(cè)試誤差將會(huì)如何變化？為什么？（6分）平均訓(xùn)練誤差：A、增加 B、減小平均測(cè)試誤差：A、增加 B、減小2 給定如下圖(a)所示數(shù)據(jù)。粗略看來(lái)這些數(shù)據(jù)不適合用線性回歸模型表示。因此我們采用如下模型： ，其中。假設(shè)我們采用極大似然估計(jì)w，請(qǐng)給出log似然函數(shù)并給出w的估計(jì)。（8分）3 給定如下圖(b)所示的數(shù)據(jù)。從圖中我們可以看出該數(shù)據(jù)集有一些噪聲，請(qǐng)?jiān)O(shè)計(jì)一個(gè)對(duì)噪聲魯棒的線性回歸模型，并簡(jiǎn)要分析該模型為什么能對(duì)噪聲魯棒。（10分）(a) (b)三、SVM分類。（第15題各4分，第6題5分，共25分）下圖為采用不同核函數(shù)或不同的松弛因子得到的SVM決策邊

4、界。但粗心的實(shí)驗(yàn)者忘記記錄每個(gè)圖形對(duì)應(yīng)的模型和參數(shù)了。請(qǐng)你幫忙給下面每個(gè)模型標(biāo)出正確的圖形。1、其中。2、其中。3、其中。4、其中。5、其中。6、考慮帶松弛因子的線性SVM分類器：下面有一些關(guān)于某些變量隨參數(shù)C的增大而變化的表述。如果表述總是成立，標(biāo)示“是”；如果表述總是不成立，標(biāo)示“否”；如果表述的正確性取決于C增大的具體情況，標(biāo)示“不一定”。 共 3 頁(yè) 第2 頁(yè)(1) 不會(huì)增大(2) 增大(3) 不會(huì)減小(4) 會(huì)有更多的訓(xùn)練樣本被分錯(cuò)(5) 間隔(Margin)不會(huì)增大四、一個(gè)初學(xué)機(jī)器學(xué)習(xí)的朋友對(duì)房?jī)r(jià)進(jìn)行預(yù)測(cè)。他在一個(gè)N=1000個(gè)房?jī)r(jià)數(shù)據(jù)的數(shù)據(jù)集上匹配了一個(gè)有533個(gè)參數(shù)的模型，該模型能解釋數(shù)據(jù)集上99%的變化。1、請(qǐng)問(wèn)該模型能很好地預(yù)測(cè)來(lái)年的房?jī)r(jià)嗎？簡(jiǎn)單解釋原因。（5分）2、如果上述模