機(jī)器學(xué)習(xí)第6章作業(yè)三

貝葉斯學(xué)習(xí)（課后習(xí)題）6.1由題意可得，兩次對(duì)病人做化驗(yàn)測(cè)試都為正時(shí)，cancer和?cancer的后驗(yàn)概率分別可表示為：P(canner|+，+)，P(?cancer|+，+)。最后一個(gè)等號(hào)是因?yàn)榧俣▋蓚€(gè)測(cè)試是相互獨(dú)立的，即：P(+,+|cancer)=P(+|cancer)P(+|cancer)同理可得：P(+|cancer)P(+|cancer)P(cancer)=0.98*0.98*0.008=0.0076832P(+|?cancer)P(+|?cancer)P(?cancer)=0.03*0.03*0.992=0.0008928P(+,+)=P(+,+|cancer)P(cancer)+P(+,+|?cancer)P(?cancer)=0.0076832+0.0008928=0.008576所以：P(canner|+，+)＝0.0076832/0.008576=0.895896P(?cancer|+，+)=0.1041046.2由貝葉斯公式可知：因?yàn)槭录ancer與?cancer互斥，且P(cancer)+P(?cancer)=1,有全概率公式可得： P(+)=P(+|cancer)P(cancer)+P(+|?cancer)P(?cancer)故所以中的歸一化方法正確。6.3(a)P(h):如果假設(shè)h1比h2更一般時(shí)，賦予P（h1）>=P(h2) (b)P(h):如果假設(shè)h1比h2更一般時(shí)，賦予P（h1）<=P(h2)P(D|h)的分布同上(c)P(h):對(duì)任意假設(shè)hi和hj，P(hi)=P(hj)=P(D|h)的分布同上6.4 當(dāng)h()=時(shí)=1,否則=0故P(D)(a)用k表示合取式中布爾屬性的個(gè)數(shù)，用l表示樣例中與假設(shè)不一致的樣例個(gè)數(shù)，則要被最小化的量的表達(dá)式為：+(b)訓(xùn)練樣例集D有8個(gè)屬性{A1,A1,…,A8},共8個(gè)屬性，需要3位來(lái)表示，目標(biāo)值為d,共有4個(gè)訓(xùn)練樣例，需要2位來(lái)表示。A1A2A3A4A5A6A7A8dX1011100000X2101100000X3110100000X4111100001在這組訓(xùn)練數(shù)據(jù)中，最短的一個(gè)一致假設(shè)為A1A2存在一個(gè)不一致假設(shè)A1，需3位表示，只有一個(gè)屬性，有2個(gè)不一致，需4位，則此時(shí)的描述長(zhǎng)度為7位，小于一致假設(shè)是的9位，此時(shí)MDL選擇一個(gè)不一致的假設(shè)。(c)P(h):如果假設(shè)hi中的布爾屬性合取式中的屬性個(gè)數(shù)小于hj的個(gè)數(shù)，則P(hi)>P(hj)P(D|h)=在樸素貝葉斯分類(lèi)中，在給定目標(biāo)