隨堂課件算法

1、法律IT教育品牌EDUCATION TO CREATE A BRIGHT FUTURE本課件包括演示文稿、示例、代碼、題庫(kù)、和聲音等內(nèi)容，北風(fēng)網(wǎng)和講師擁有完全知識(shí)產(chǎn)權(quán)；只限于善意學(xué)習(xí)者在本課程使用，不得在課程范圍外向任何第散播。任何其他人或者機(jī)構(gòu)不得盜版、內(nèi)容，我們保留一切通過法律、仿造其中的創(chuàng)意和者的權(quán)利。課程咨詢：北風(fēng)教育：IT在線教育領(lǐng)導(dǎo)品牌EDUCATION TO CREATE A BRIGHT FUTUREIT教育品牌課程要求EDUCATION TO CREATE A BRIGHT FUTURE課上課下“九字”真言認(rèn)真聽，善摘錄，勤思考多溫故，樂實(shí)踐，再發(fā)散四不原則不懶散惰性，不早退

2、不請(qǐng)假，不拖延作業(yè)一點(diǎn)注意事項(xiàng)“四不原則”，不包就業(yè)和推薦就業(yè)3IT教育品牌嚴(yán)格是大愛EDUCATION TO CREATE A BRIGHT FUTURE4IT教育品牌寄語EDUCATION TO CREATE A BRIGHT FUTURE5IT教育品牌課程內(nèi)容EDUCATION TO CREATE A BRIGHT FUTURE樸素網(wǎng)絡(luò)：三門問題參賽者會(huì)看見三扇關(guān)閉了的門，其中一扇的后面有一輛汽車， 選中后面有車的那扇門可贏得該汽車，另外兩扇門后面則各藏有一只山羊。當(dāng)參賽者選定了一扇門，但未去開啟它的時(shí)候，山羊。開啟剩下兩扇門的其中一扇，露出其中一只其后會(huì)問參賽者要不要換另一扇仍然關(guān)上的

3、門。問題是：換另一扇門會(huì)否增加參賽者贏得汽車的機(jī)率？6IT教育品牌定理相關(guān)公式EDUCATION TO CREATE A BRIGHT FUTURE先驗(yàn)概率P(A)：在不考慮任何情況下，A發(fā)生的概率發(fā)生的概率P(A | B) = P( AB)P(B)條件概率P(B|A)：A后驗(yàn)概率P(A|B)：在B全概率：如果A和A' 率分別乘以B對(duì)這兩個(gè)發(fā)生的情況下，B發(fā)生之后，對(duì)A發(fā)生的概率的重新評(píng)估樣本空間的一個(gè)劃分，那么的概率之和。B的概率為：A和A'的概P(B) = P( A) * P(B | A) + P( A' )* P(B | A' )P(B) = å

4、 P(Ai )* P(B | Ai )i=1n7IT教育品牌定理公式EDUCATION TO CREATE A BRIGHT FUTURE基于條件概率的定律數(shù)學(xué)公式P(A | B) = P( AB)P(B)nP(B) = åP(A )* P(B | A )iii=1P( A | B) = P(A)* P(B | A) =P(A)* P(B | A)nåi=1P(B)P(B | A )* P(A )ii8IT教育品牌公式的應(yīng)用EDUCATION TO CREATE A BRIGHT FUTURE有兩個(gè)碗，第一個(gè)碗中裝有30個(gè)水果糖和10個(gè)巧克力糖，第二個(gè)碗中裝有20個(gè)水果糖和

5、20個(gè)巧克力糖，現(xiàn)在隨機(jī)選擇一個(gè)碗，從中取出一顆糖，發(fā)生是水果糖，請(qǐng)求出這顆水果糖來自一號(hào)碗的概率有多大？9IT教育品牌樸素算法EDUCATION TO CREATE A BRIGHT FUTURE樸素用(Naive Bayes， NB)是基于“特征之間是定理的監(jiān)督學(xué)習(xí)算法的”這一樸素假設(shè)，應(yīng)對(duì)應(yīng)給定的樣本X的特征向量x1,x2,.,xm；該樣本X的類別y的概率可以由式得到：公) = P(y)P(| y)P(y |mP()mm10P(y)P()品牌yP(y |) =樸素的，所以得到：| y, x1,.,算法推導(dǎo)BmRIGHT FUTUREEDUP()mm特征屬性之間是P(xim ) = P(x

6、i | y)mP( y)Õ P(x P(公式優(yōu)化得到：P(y | y)P(y)P(m ) =P()mm在給定樣本的情況下，P(x1,x2,.,xm)是，所以得到：mP(y |m ) µ P( y)Õ P(xi | y)i=1從而：my = arg max P(y)Õ P(xi | y)yi=111IT教育品牌樸素算法流程(y)P(| y)EDUCATION TO CREATE A BRIGHT FUTURE) = PP(y |mP()mm樸素算法流程/定義如下：設(shè)x=a1,a2,.,am為待分類項(xiàng)，其中a為x的一個(gè)特征屬性類別集合為C=y1,y2,.,y

7、n分別計(jì)算P(y1|x),P(y2|x),P(yn|x)的值（公式）如果P(yk|x)=maxP(y1|x),P(y2|x),P(yn|x),那么認(rèn)為x為yk類型12IT教育品牌樸素流程EDUCATION TO CREATE A BRIGHT FUTURE13IT教育品牌樸素EDUCATION TO CREATE A BRIGHT FUTUREGaussian Naive Bayes是指當(dāng)特征屬性為連續(xù)值時(shí)，而且分布服從分布，那計(jì)算P(x|y)的時(shí)候可以直接使用g(x,h,s) =分布的概率公式：-(x-h)212s2e2psP(xk | yk ) = g(xk ,hy,sy)kk因此只需要計(jì)

8、算出各個(gè)類別中此特征項(xiàng)劃分的各個(gè)均值和標(biāo)準(zhǔn)差14IT教育品牌樸素EDUCATION TO CREATE A BRIGHT FUTUREBernoulli Naive Bayes是指當(dāng)特征屬性為連續(xù)值時(shí)，而且分布服從分布，那計(jì)算P(x|y)的時(shí)候可以直接使用分布的概率公式：P(xk | y) = P(1| y)xk + (1- P(1| y)(1- xk )分布是一種離散分布，只有兩種可能的結(jié)果。1表示，出現(xiàn)的概率為p；0表示失敗，出現(xiàn)的概率為q=1-p；其中均值為E(x)=p，方差為Var(X)=p(1-p)15IT教育品牌多項(xiàng)式樸素EDUCATION TO CREATE A BRIGHT F

9、UTUREMultinomial Naive Bayes是指當(dāng)特征屬性服從多項(xiàng)分布，從而，對(duì)于每個(gè)類別y，參數(shù)為y=(y1,y2,.,yn)，其中n為特征屬性數(shù)目，那么P(xi|y)的概率為yi。+aNyiq=yiN+a* ny= å xiNyixÎTT= åNNyyii =116IT教育品牌案例一：鳶尾花數(shù)據(jù)分類EDUCATION TO CREATE A BRIGHT FUTURE使用樸素API對(duì)鳶尾花數(shù)據(jù)進(jìn)行分類操作17IT教育品牌案例一：鳶尾花數(shù)據(jù)分類EDUCATION TO CREATE A BRIGHT FUTURE18IT教育品牌案例二：文本數(shù)據(jù)分類E

10、DUCATION TO CREATE A BRIGHT FUTURE分別使用樸素API和其它分類API對(duì)scikit中自帶的文本數(shù)據(jù)進(jìn)行分類操作(部分相關(guān)文本數(shù)據(jù)處理方式詳見聚類算法)；比較各種不同分類算法的效果以及執(zhí)行消耗時(shí)間19IT教育品牌案例二：文本數(shù)據(jù)分類EDUCATION TO CREATE A BRIGHT FUTURE文本類數(shù)據(jù)處理的最重要的是需要將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值型數(shù)據(jù)，一般情況是將文本轉(zhuǎn)換為一個(gè)向量；先計(jì)算出在文檔A中各個(gè)單詞出現(xiàn)的頻率TF(term/token)在計(jì)算出文檔A中的各個(gè)單詞在所有文檔中出現(xiàn)的頻率DF(出現(xiàn)的文檔/總的文檔)這樣的話我們可到如果一個(gè)詞在當(dāng)前文檔

11、中出現(xiàn)的頻率越高，在所有文檔中出現(xiàn)的頻率越低，那么這個(gè)單詞就越重要，所以可以似乎用TF/DF的值來作為單詞的權(quán)重；考慮有DF的計(jì)算過程中，分母有可能為空，經(jīng)常使用IDF(逆文件頻率)來替代DF，此時(shí)的權(quán)重等于TF * IDF；有時(shí)候防止IDF過大以及IDF為0的情況，可以將公式換為：TF * log(IDF + 1)通過使用文本數(shù)據(jù)形成的向量之間的距離來量化兩個(gè)文檔的相似性，一般使用夾角余弦公式20IT教育品牌案例二：文本數(shù)據(jù)分類EDUCATION TO CREATE A BRIGHT FUTURE21IT教育品牌網(wǎng)絡(luò)EDUCATION TO CREATE A BRIGHT FUTURE把某個(gè)

12、研究系統(tǒng)中涉及到的隨量，根據(jù)是否條件繪制在一個(gè)有向圖中，就形成了網(wǎng)絡(luò)。網(wǎng)絡(luò)(Bayesian Network)，又稱有向無環(huán)圖模型(directed acyclicgraphical m, DAG)，是一種概率圖模型，根據(jù)概率圖的拓?fù)浣Y(jié)構(gòu)，一組隨量X1,X2,.,Xn及其N組條件概率分布(Conditional ProbabililtyDistributions, CPD)的性質(zhì)22IT教育品牌網(wǎng)絡(luò)EDUCATION TO CREATE A BRIGHT FUTURE當(dāng)多個(gè)特征屬性之間存在著某種相關(guān)關(guān)系的時(shí)候，使用樸素算法就沒法解決這類問題，那么網(wǎng)絡(luò)就是解決這類應(yīng)用場(chǎng)景的一個(gè)非常好的算法。一般

13、而言，網(wǎng)絡(luò)的有向無環(huán)圖中的節(jié)點(diǎn)表示隨量，可以是可觀察到的變量，或隱變量，未知參數(shù)等等。連接兩個(gè)節(jié)點(diǎn)之間的箭頭代表兩個(gè)隨量之間的因果關(guān)系(也就是這兩個(gè)隨量之間非條件)，如果兩個(gè)節(jié)點(diǎn)間以一個(gè)單箭頭連接在一起，表示其中一個(gè)節(jié)點(diǎn)是“因”，另外一個(gè)是“果”，從而兩節(jié)點(diǎn)之間就會(huì)產(chǎn)生一個(gè)條件概率值。注意：每個(gè)節(jié)點(diǎn)在給定其直接前驅(qū)的時(shí)候，條件于其后繼。23IT教育品牌網(wǎng)絡(luò)EDUCATION TO CREATE A BRIGHT FUTURE網(wǎng)絡(luò)的關(guān)鍵方法是圖模型，構(gòu)建一個(gè)圖模型我們需要把具有因果的各個(gè)變量用箭頭連在一起。兩個(gè)節(jié)點(diǎn)的箭頭代表此兩個(gè)隨網(wǎng)絡(luò)的有向無環(huán)圖中的節(jié)點(diǎn)表示隨量是具有因果關(guān)系的。量。連接網(wǎng)絡(luò)是

14、模擬人的認(rèn)知思維推理模式的，用一組條件概率以及有向無環(huán)圖對(duì)不確定性因果推理關(guān)系建模24IT教育品牌最簡(jiǎn)單的一個(gè)網(wǎng)絡(luò)EDUCATION TO CREATE A BRIGHT FUTUREP(a, b, c) = P(c | a, b)P(b | a)P(a)abc25IT教育品牌全連接網(wǎng)絡(luò)EDUCATION TO CREATE A BRIGHT FUTURE每一對(duì)節(jié)點(diǎn)之間都有邊連接n ) = P(xnP(P(|n-1).P(x2 | x1 )P(x1 )i-1 ) * P(x1 )nn ) = Õ P(xi i=2A|BECD26IT教育品牌“正常”網(wǎng)絡(luò)EDUCATION TO CRE

15、ATE A BRIGHT FUTUREx1,x2,x3x6和x7在給定條件下x1,x2,x3.x7的分布為p(x1,3)p(3)p(x6 | x4)p(5)27IT教育品牌實(shí)際網(wǎng)絡(luò)：是否下雨EDUCATION TO CREATE A BRIGHT FUTURE有一天早晨，Bruce離開他的房子的時(shí)候發(fā)現(xiàn)他家花園中的草地是濕的，有兩種可能，第一：昨天晚上下雨了，第二：他昨天晚上忘記關(guān)掉花園中的噴水器，接下來，他觀察他的鄰居Joe，發(fā)現(xiàn)他家花園中的草地也是濕的，因此，他推斷，他家的草地濕了是因?yàn)樽蛱焱砩舷掠甑木壒蔙SJB28R01P(J=0)0.80P(J=1)0.21RSp(B=0)p(B=1)

16、0010010.10.910011101R01P(R)0.80.2S01P(S)0.90.1IT教育品牌實(shí)際網(wǎng)絡(luò)：是否下雨EDUCATION TO CREATE A BRIGHT FUTUREp(R = 1, B = 1, J = 1)p(S = 1, B = 1, J = 1)p(R = 1| B = 1, J = 1) =p(S = 1| B = 1, J = 1) =p(B = 1, J = 1)p(B = 1, J = 1)å p(B = 1, J = 1, R, S = 1)å p(B = 1, J = 1, R = 1, S )=RSp(B = 1, J = 1

17、, R, S )å()å p B = 1, J = 1, R, SR,Så p(J = 1| R)p(B = 1| R, S = 1)p(R)p(S = 1)R,Så p(J = 1| R)p(B = 1| R = 1, S )p(R = 1)p(S )=RSå p(J = 1| R)p(B = 1| R, S )p(R)p(S )å p(J = 1| R)p(B = 1| R, S )p(R)p(S )R,SR,S= 0.0344 = 0.16040.2= 0.9328所以出應(yīng)0.21440.2144該是下雨導(dǎo)致草地變濕29IT教育

18、品牌網(wǎng)絡(luò)判定條件-01EDUCATION TO CREATE A BRIGHT FUTURE在C給定的條件下，a和b被阻斷(blocked)是的c條件：tail - to -tailP(a, b, c) = P(c)P(b | c)P(a | c)Þ P(a, b, c) / P(c) = P(b | c)P(a | c)Q p(a, b | c) = p(a, b, c)/ p(c) p(a, b | c) = p(a | c)p(b | c)abcab30IT教育品牌網(wǎng)絡(luò)判定條件-02EDUCATION TO CREATE A BRIGHT FUTURE在C給定的條件下，a和b被阻斷(blocked)是的條件：head- to -tailacbacbp(a, b | c)= p(a, b, c)/ p(c)= p(a) * p(c | a) * p(b | c) / p(c)= p(a, c)* p(b | c)/ p(c)= p(a | c)* p(b | c)P(a, b,