機(jī)器學(xué)習(xí)與深度學(xué)習(xí)PPT完整全套教學(xué)課件

大數(shù)據(jù)挖掘技術(shù)與應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)第1章引言第2章簡(jiǎn)單模型第3章貝葉斯學(xué)習(xí)第4章決策樹第5章支持向量機(jī)第6章集成學(xué)習(xí)第7章聚類第8章感知機(jī)與神經(jīng)網(wǎng)絡(luò)第9章-卷積神經(jīng)網(wǎng)絡(luò)第10章循環(huán)神經(jīng)網(wǎng)絡(luò)第11章生成對(duì)抗網(wǎng)絡(luò)第12章強(qiáng)化學(xué)習(xí)第一章引言1.1

人工智能概述1.2機(jī)器學(xué)習(xí)概述1.3深度學(xué)習(xí)概述

of312習(xí)題1.1人工智能概述第一章引言of313人類的生產(chǎn)和生活中，無(wú)時(shí)無(wú)刻不在伴隨著智能，比如下棋、猜謎、寫作、編程，甚至是駕車、說(shuō)話、做飯等，都需要人用腦去做。如果機(jī)器能完成這些任務(wù)，那就可以認(rèn)為機(jī)器具備了“人工智能”(AI：ArtificialIntelligence)。1.1人工智能概述第一章引言of314理論基礎(chǔ)

信息：對(duì)世間萬(wàn)物的表示與表達(dá)認(rèn)知：人腦對(duì)外部世界形成判斷，并確定萬(wàn)物之間的聯(lián)系智能：人類運(yùn)用腦思維，對(duì)各種信息進(jìn)行處理的能力，包括學(xué)習(xí)能力、抽象思維能力等等在信息、認(rèn)知和智能的基礎(chǔ)上，產(chǎn)生了各種學(xué)科的交叉，e.g.信息論、控制科學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)、認(rèn)知科學(xué)等

1.1.1人工智能產(chǎn)生的基礎(chǔ)條件技術(shù)基礎(chǔ)：

計(jì)算機(jī)的誕生與發(fā)展：誕生于20世紀(jì)40-50年代，通過(guò)幾十年的不斷發(fā)展，物理體積越來(lái)越小，計(jì)算速度與存儲(chǔ)容量卻呈現(xiàn)出爆炸式的增長(zhǎng)計(jì)算機(jī)技術(shù)質(zhì)的飛躍：從解決數(shù)值計(jì)算問(wèn)題，發(fā)展到模擬人類的智力活動(dòng)，e.g.圖形圖像檢測(cè)、語(yǔ)言翻譯、聲音識(shí)別、電腦游戲等等

1.1人工智能概述第一章引言of3151人工智能的思想萌芽（20世紀(jì)30年代）當(dāng)時(shí)計(jì)算機(jī)還沒誕生，被稱為“人工智能之父”的圖靈，當(dāng)時(shí)不僅創(chuàng)造了一個(gè)簡(jiǎn)單的非數(shù)字計(jì)算模型，而且證明了計(jì)算機(jī)可以用智能的方式進(jìn)行工作2人工智能作為學(xué)科而出現(xiàn)（20世紀(jì)50年代）1956年夏，在美國(guó)達(dá)特茅斯大學(xué)舉行了一個(gè)長(zhǎng)達(dá)2個(gè)月的研討會(huì)，由當(dāng)時(shí)年輕的數(shù)學(xué)家John-McCarthy和他的眾多學(xué)者朋友參加。在會(huì)上，McCarthy提出了“ArtificialIntelligence”一詞，之后Newell和Simon提出了物理符號(hào)系統(tǒng)假設(shè)，從而創(chuàng)建了人工智能學(xué)科3人工智能的第一次低谷（20世紀(jì)70年代）許多科研人員預(yù)先低估了人工智能問(wèn)題的復(fù)雜性，導(dǎo)致在實(shí)踐過(guò)程中遇到了三大瓶頸問(wèn)題：（1）計(jì)算機(jī)性能不足（2）所設(shè)計(jì)的程序解決不了大規(guī)模的運(yùn)算問(wèn)題（3）無(wú)法找到容量足夠大的數(shù)據(jù)庫(kù)作為人工智能問(wèn)題的底層載體來(lái)支撐從20世紀(jì)30年代的思想萌芽一直發(fā)展到今天，人工智能共經(jīng)歷了6個(gè)歷史性的階段1.1.2人工智能的發(fā)展史1.1人工智能概述第一章引言of3164人工智能的崛起（1980年）一個(gè)名為“XCON”的專家系統(tǒng)，采用“知識(shí)庫(kù)+推理機(jī)”的結(jié)構(gòu)，并投入數(shù)字設(shè)備公司進(jìn)行使用。它本身是一套專業(yè)知識(shí)和經(jīng)驗(yàn)都很完備的計(jì)算機(jī)智能系統(tǒng)，并為該公司帶來(lái)了商業(yè)價(jià)值。隨后，其他的專家系統(tǒng)也跟著誕生了，且價(jià)格不菲。此時(shí)，像Symbolics、LispMachines這樣的計(jì)算機(jī)軟件公司也隨之成立了。5人工智能的第二次低谷（1987年）蘋果公司和IBM公司生產(chǎn)的臺(tái)式機(jī)在性能上超越了Symbolics等公司生產(chǎn)的通用計(jì)算機(jī)。此時(shí)，專家系統(tǒng)就變得黯然失色，人工智能系統(tǒng)從此走向衰敗。6人工智能再次崛起（20世紀(jì)90年代至今）1997年，IBM的計(jì)算機(jī)“深藍(lán)”完勝國(guó)際象棋世界冠軍，標(biāo)志著人工智能的發(fā)展進(jìn)入了一個(gè)重要的里程碑。2006年，Hinton在Science期刊上發(fā)表了一篇關(guān)于深度神經(jīng)網(wǎng)絡(luò)（亦稱深度學(xué)習(xí)）的文章，揭示了在人工智能領(lǐng)域取得的重大突破性成果，使人類又一次看到了機(jī)器取代人類智能的希望。至此，人工智能在全球范圍內(nèi)日漸火熱。1.1.2人工智能的發(fā)展史（續(xù)）1.1人工智能概述第一章引言of317

人工智能就是讓計(jì)算機(jī)去實(shí)現(xiàn)人類智能。換言之，人工智能即機(jī)器智能。具有智能的機(jī)器可以幫助人們解決生產(chǎn)生活中的各種問(wèn)題，為社會(huì)創(chuàng)造效益，服務(wù)于人。大致上，人工智能可以分為如下幾大分支，且它們相互交叉，相互滲透。1.1.3人工智能的幾個(gè)重要分支規(guī)劃與調(diào)度通過(guò)計(jì)算和優(yōu)化，幫助人們確定最優(yōu)的調(diào)度或者組合方案。這類系統(tǒng)廣泛應(yīng)用于城市規(guī)劃、軍事指揮、導(dǎo)航等專家系統(tǒng)一個(gè)有大量專門知識(shí)和經(jīng)驗(yàn)的程序系統(tǒng)，模擬人類專家的決策過(guò)程，以解決復(fù)雜的問(wèn)題模式識(shí)別讓計(jì)算機(jī)把外界信號(hào)（圖像、聲音等）輸入到計(jì)算機(jī)內(nèi)部進(jìn)行加工處理、分析、推斷等過(guò)程，最終實(shí)現(xiàn)識(shí)別機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘機(jī)器人旨在運(yùn)用數(shù)值法、信息論、統(tǒng)計(jì)學(xué)等方法，為人工智能的實(shí)現(xiàn)提供一系列訓(xùn)練和判別的方法數(shù)據(jù)的獲取和存儲(chǔ)能力爆炸式的增長(zhǎng)，考慮如何從大規(guī)模kao數(shù)據(jù)中挖掘出有價(jià)值的潛在信息一種可再編程的多功能操作裝置，可以把人工勞動(dòng)從繁重、量大、重復(fù)的生產(chǎn)崗位上解放出來(lái)1.1人工智能概述第一章引言of3181.1.4人工智能與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的三者關(guān)系機(jī)器學(xué)習(xí)是人工智能的一個(gè)分支領(lǐng)域，而深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的方法之一第一章引言1.2機(jī)器學(xué)習(xí)概述1.1人工智能概述1.3深度學(xué)習(xí)概述

of319習(xí)題1.2機(jī)器學(xué)習(xí)概述第一章引言of31101.2.1機(jī)器學(xué)習(xí)的定義機(jī)器學(xué)習(xí)是一個(gè)從數(shù)據(jù)到理解的過(guò)程，如下圖所示。通過(guò)訓(xùn)練學(xué)習(xí)（先驗(yàn)數(shù)據(jù)），讓空白的機(jī)器變得有智能，可以推斷、預(yù)測(cè)、判別未知的世界，即實(shí)現(xiàn)人工智能1.2機(jī)器學(xué)習(xí)概述第一章引言of31111.2.2機(jī)器學(xué)習(xí)的主要方法

要實(shí)現(xiàn)所謂的“數(shù)據(jù)”到“理解”，需要一定的學(xué)習(xí)方法?？墒牵煌姆椒〞?huì)產(chǎn)生不同的“模型”，進(jìn)而影響對(duì)未知樣本的判斷效果，從而會(huì)產(chǎn)生不同的識(shí)別正確率。因此，選擇合適的學(xué)習(xí)方法至關(guān)重要。在機(jī)器學(xué)習(xí)領(lǐng)域，常用的方法有：

監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)集成學(xué)習(xí)強(qiáng)化學(xué)習(xí)深度學(xué)習(xí)（后面1.3節(jié)將著重介紹，本節(jié)不再贅述）度量學(xué)習(xí)1.2機(jī)器學(xué)習(xí)概述第一章引言of31121.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

1、監(jiān)督學(xué)習(xí)

對(duì)類別已知的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，并得到模型的過(guò)程，叫做監(jiān)督學(xué)習(xí)（SupervisedLearning）。Fisher線性鑒別分析（FisherLinearDiscriminantAnalysis,簡(jiǎn)稱FLDA或LDA）是一種非常經(jīng)典的監(jiān)督學(xué)習(xí)方法，運(yùn)用到了矩陣分析法和統(tǒng)計(jì)學(xué)。它在1936年由Fisher最早提出的，因此我們稱之為Fisher準(zhǔn)則，如下圖所示，w是待求的投影方向。1.2機(jī)器學(xué)習(xí)概述第一章引言of31131.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

2、非監(jiān)督學(xué)習(xí)

非監(jiān)督學(xué)習(xí)（UnsupervisedLearning）在事先不知道訓(xùn)練樣本類別的情況下，去學(xué)習(xí)模型，從中判斷出樣本類別。在現(xiàn)實(shí)生活中，類別已知的樣本畢竟是少數(shù)，大多數(shù)樣本都屬于類別未知的情況。在類別未知的情況下，人們一般用聚類（左圖）或樣本分布情況（右圖）來(lái)判斷不同的類別。前者適用于樣本數(shù)量少的情況，而后者適合樣本多的情況。1.2機(jī)器學(xué)習(xí)概述第一章引言of31141.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

3、半監(jiān)督學(xué)習(xí)

監(jiān)督學(xué)習(xí)的前提是類別已知，非監(jiān)督學(xué)習(xí)過(guò)程中可以知曉訓(xùn)練樣本的結(jié)構(gòu)信息。兩者相結(jié)合，便是半監(jiān)督學(xué)習(xí)（Semi-supervisedlearning）。

這種結(jié)合，能鞏固和加強(qiáng)模型對(duì)類別的區(qū)分度，如下圖所示，+”和“-”分別表示兩類樣本。訓(xùn)練過(guò)程中，雖然空圈的樣本類別未知，但是當(dāng)它加入“+”類后，使該類的結(jié)構(gòu)更接近于高斯分布了。因此，空圈被判為“+”類樣本。1.2機(jī)器學(xué)習(xí)概述第一章引言of31151.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

4、集成學(xué)習(xí)

集成學(xué)習(xí)（EnsembleLearning）則是把若干單個(gè)弱分類器融合成強(qiáng)分類器，以加強(qiáng)分類效果。通過(guò)一定的集成方法，可以使集成后的分類效果好于任何一個(gè)單分類器。以Boost算法為例，如下圖所示，m表示融合的分類器個(gè)數(shù)，虛線是剛剛學(xué)得的弱分類器，實(shí)線表示前m個(gè)單分類器融合后的分類邊界。該算法將邊界上容易錯(cuò)分的樣本權(quán)值增大（即圈被放大），不斷根據(jù)錯(cuò)分的樣本去調(diào)整并學(xué)習(xí)下一個(gè)單分類器，再融合進(jìn)去，即m單調(diào)增大。隨著單分類器的不斷融合，分類的準(zhǔn)確率不斷提升。當(dāng)m=150時(shí)，融合后的強(qiáng)分類器幾乎可以達(dá)到100%的正確率。1.2機(jī)器學(xué)習(xí)概述第一章引言of31161.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

5、強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)（ReinforcementLearning）在學(xué)習(xí)過(guò)程中，既沒有事先給定的類別標(biāo)簽，也不拒絕次優(yōu)的模型，而是在一步步不斷嘗試各種模型的過(guò)程中，通過(guò)每步走完之后所反饋的獎(jiǎng)勵(lì)值，來(lái)分析并探索下一步該怎么走，以達(dá)到累計(jì)獎(jiǎng)勵(lì)值期望（即概率與獎(jiǎng)勵(lì)值的乘積）最大化的目標(biāo)。舉一個(gè)簡(jiǎn)單的例子，人們都在探索如何保持身體健康。假如人的體質(zhì)分為健壯、適中、亞健康三種狀態(tài)，即{S1,S2,S3}。在S1狀態(tài)下，鍛煉身體則獎(jiǎng)勵(lì)值+0.5，不鍛煉則+0；在S2狀態(tài)下，鍛煉身體則獎(jiǎng)勵(lì)值+1，不鍛煉則-0.1；在S3狀態(tài)下，鍛煉身體則獎(jiǎng)勵(lì)值+0.2，不鍛煉則-5。強(qiáng)化學(xué)習(xí)就是要在這三種狀態(tài)之間，以給定的概率和動(dòng)作一步步轉(zhuǎn)換，這期間不斷積累獎(jiǎng)勵(lì)值。當(dāng)獎(jiǎng)勵(lì)值的期望達(dá)到最大且保持穩(wěn)定后（即隨后的動(dòng)作及狀態(tài)轉(zhuǎn)換，雖然繼續(xù)積累獎(jiǎng)勵(lì)值，但是它的期望不再增加），則停止學(xué)習(xí)?？傊瑥?qiáng)化學(xué)習(xí)適合應(yīng)用于長(zhǎng)期-短期的回報(bào)問(wèn)題中。它一般在有限的狀態(tài)中進(jìn)行多次不同的動(dòng)作，轉(zhuǎn)換到各種不同的狀態(tài)，得到各種不同的獎(jiǎng)勵(lì)值（有增有減）作為先驗(yàn)知識(shí)，據(jù)此再去引導(dǎo)下一步動(dòng)作和狀態(tài)轉(zhuǎn)換。在人工智能領(lǐng)域中，像機(jī)器人控制、電梯調(diào)度、電子通訊、下棋游戲等等，都有強(qiáng)化學(xué)習(xí)的參與。1.2機(jī)器學(xué)習(xí)概述第一章引言of31171.2.2機(jī)器學(xué)習(xí)的主要方法（續(xù)）

6、度量學(xué)習(xí)

度量學(xué)習(xí)（MetricLearning）就是對(duì)距離的學(xué)習(xí)。如果用和分別表示原始空間中任意兩個(gè)不同的訓(xùn)練樣本，那么它們之間的歐氏距離為：投影之后，兩個(gè)樣本變?yōu)楹停謩e記作和，那么投影后的距離是：如果將記作，那么度量學(xué)習(xí)的任務(wù)就是要學(xué)習(xí)這個(gè)，使它成為投影空間，并改變投影后樣本之間的距離。

1.2機(jī)器學(xué)習(xí)概述第一章引言of31181.2.3機(jī)器學(xué)習(xí)的應(yīng)用及其相關(guān)課程介紹

機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用例子很多，比如垃圾郵件過(guò)濾和股票市場(chǎng)分析，分別如下左圖和右圖所示。此外，機(jī)器學(xué)習(xí)也可以應(yīng)用于生物特征識(shí)別（人臉、指紋、虹膜等）、天氣預(yù)報(bào)、風(fēng)險(xiǎn)投資預(yù)測(cè)、地質(zhì)勘探等諸多領(lǐng)域。1.2機(jī)器學(xué)習(xí)概述第一章引言of31191.2.3機(jī)器學(xué)習(xí)的應(yīng)用及其相關(guān)課程介紹（續(xù)）

機(jī)器學(xué)習(xí)方法需要通過(guò)計(jì)算機(jī)編程來(lái)實(shí)現(xiàn)，而在實(shí)現(xiàn)過(guò)程中，以數(shù)學(xué)為工具，其中涵蓋了優(yōu)化理論、數(shù)值計(jì)算、矩陣分析、概率統(tǒng)計(jì)、微積分等等。總體歸納起來(lái)，與機(jī)器學(xué)習(xí)相關(guān)的課程如下表所示課程與機(jī)器學(xué)習(xí)相關(guān)的要點(diǎn)高級(jí)語(yǔ)言編程C、C++、Matlab、Python或C+Matlab、C+Python混合編程等概率論與數(shù)理統(tǒng)計(jì)貝葉斯理論、最大似然參數(shù)估計(jì)、生成式模型、高斯混合模型等優(yōu)化算法凸函數(shù)判定、導(dǎo)數(shù)求解、梯度下降法、牛頓法、擬牛頓法等線性代數(shù)與矩陣分析線性空間變換、矩陣分解、正定性判別、最小二乘問(wèn)題等計(jì)算機(jī)視覺圖像處理（平滑去噪、輪廓提取、直方圖等）、圖像語(yǔ)義理解等數(shù)字圖像處理信號(hào)離散化、傅里葉變換、圖像濾波、小波變換等數(shù)據(jù)挖掘分類、聚類、回歸、關(guān)聯(lián)規(guī)則、協(xié)同過(guò)濾等第一章引言1.3深度學(xué)習(xí)概述1.1人工智能概述1.2機(jī)器學(xué)習(xí)概述

of3120習(xí)題1.3深度學(xué)習(xí)概述第一章引言of3121

從1.1.2節(jié)中，我們知道，人工智能在上世紀(jì)70年代遭遇了一次低谷，主要原因就在于計(jì)算機(jī)存儲(chǔ)容量和計(jì)算性能支撐不了大規(guī)模的復(fù)雜計(jì)算。雖然當(dāng)時(shí)人們認(rèn)為理論上機(jī)器可以按照預(yù)先設(shè)定的指令去運(yùn)行，但現(xiàn)實(shí)問(wèn)題是機(jī)器效率太低，可行性不足。

而近年來(lái)，隨著計(jì)算機(jī)硬件技術(shù)的發(fā)展，處理器的運(yùn)算速度和存儲(chǔ)器的容量都呈現(xiàn)出指數(shù)級(jí)的提升，為巨量的數(shù)據(jù)處理與存儲(chǔ)提供了保障。與此同時(shí)，網(wǎng)絡(luò)技術(shù)的突飛猛進(jìn)也提供了呈爆炸式增長(zhǎng)的數(shù)據(jù)來(lái)源。傳統(tǒng)機(jī)器學(xué)習(xí)與深度學(xué)習(xí)算法的區(qū)別如下圖所示1.3.1深度學(xué)習(xí)的產(chǎn)生發(fā)展史1.3深度學(xué)習(xí)概述第一章引言of31221.3.1深度學(xué)習(xí)的產(chǎn)生發(fā)展史（續(xù)）1神經(jīng)網(wǎng)絡(luò)的雛形（20世紀(jì)50-60年代）當(dāng)時(shí)當(dāng)時(shí)叫做感知機(jī)，只能解決簡(jiǎn)單的線性二分類問(wèn)題，而面對(duì)復(fù)雜的分類問(wèn)題卻束手無(wú)策2玻爾茲曼機(jī)的誕生（1983年）Hinton在此基礎(chǔ)上提出了玻爾茲曼機(jī)（BoltzmannMachine），能解決人工神經(jīng)網(wǎng)絡(luò)的復(fù)雜問(wèn)題3反向傳播的提出（1986年）Hinton又證明了反向傳播（即從輸出反推到輸入）算法有助于神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)數(shù)據(jù)的內(nèi)部表示1.3深度學(xué)習(xí)概述第一章引言of31231.3.1深度學(xué)習(xí)的產(chǎn)生發(fā)展史（續(xù)）4卷積神經(jīng)網(wǎng)絡(luò)的誕生（20世紀(jì)80年代）LeCun研發(fā)出了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，簡(jiǎn)稱CNN），為后來(lái)的圖像識(shí)別提供了理論基礎(chǔ)。此外，LeCun提出了一個(gè)早期的反向傳播方法backprop,之后做了優(yōu)化改進(jìn)，加快了反向傳播的速度，從而提高了深度學(xué)習(xí)的效率。5神經(jīng)網(wǎng)絡(luò)與序列概率模型相結(jié)合（20世紀(jì)90年代）Bengio提出了隱形馬爾可夫模型（HiddenMarkovModel，簡(jiǎn)稱HMM），為現(xiàn)在的深度語(yǔ)音識(shí)別奠定了基礎(chǔ)6深度學(xué)習(xí)的正式提出（2006年）Hinton等人在《Science》上發(fā)文，認(rèn)為多隱層的人工神經(jīng)網(wǎng)絡(luò)通過(guò)逐層訓(xùn)練，能得到優(yōu)異的特征學(xué)習(xí)能力，自此引發(fā)了深度學(xué)習(xí)研究的熱潮。1.3深度學(xué)習(xí)概述第一章引言of31241.3.2深度學(xué)習(xí)的幾種常見模型1.自動(dòng)編碼器自動(dòng)編碼器（AutoEncoder）是一種非監(jiān)督學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，在輸入層和輸出層之間有一個(gè)潛藏的隱層，它通過(guò)編碼和解碼兩個(gè)不同的函數(shù)映射過(guò)程，來(lái)學(xué)習(xí)信號(hào)的潛在結(jié)構(gòu)，如下圖所示1.3深度學(xué)習(xí)概述第一章引言of31251.3.2深度學(xué)習(xí)的幾種常見模型2.深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，簡(jiǎn)稱DNN）是一種全連接的神經(jīng)網(wǎng)絡(luò)，在網(wǎng)絡(luò)的同層次與不同層次的節(jié)點(diǎn)之間構(gòu)造兩兩的連接關(guān)系（邊），并為所有的邊分別賦予一定權(quán)重，通過(guò)不斷地調(diào)節(jié)網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)重，能學(xué)習(xí)數(shù)據(jù)固有的內(nèi)在表示，如下圖所示1.3深度學(xué)習(xí)概述第一章引言of31261.3.2深度學(xué)習(xí)的幾種常見模型3.受限玻爾茲曼機(jī)受限玻爾茲曼機(jī)（RestrictedBoltzmannMachine，簡(jiǎn)稱RBM）。RBM是一個(gè)隱含層與可見層相互連接的雙向圖模型結(jié)構(gòu)網(wǎng)絡(luò)，同層節(jié)點(diǎn)之間相互獨(dú)立（即無(wú)連接邊），如下圖所示。在RBM的能量建模中，假設(shè)每條邊都有能量，且獨(dú)立分布。通過(guò)建立并學(xué)習(xí)總體能量函數(shù)，使該模型總能量不斷下降并達(dá)到穩(wěn)態(tài)后，能夠模擬數(shù)據(jù)的真實(shí)分布，從而得到輸入數(shù)據(jù)與潛在因子（隱藏層）之間的關(guān)系1.3深度學(xué)習(xí)概述第一章引言of31271.3.2深度學(xué)習(xí)的幾種常見模型4.卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，簡(jiǎn)稱CNN）是深度神經(jīng)網(wǎng)絡(luò)中最常見的模型之一，它由卷積層、池化層（下采樣）、全連接層共三要素構(gòu)成，如所示下圖。在卷積層中，卷積核算子能夠提取二維圖像的局部特征，比如輪廓提取、圖像平滑等，使得CNN對(duì)圖像的平移、旋轉(zhuǎn)和尺度變換等具有魯棒性。1.3深度學(xué)習(xí)概述第一章引言of31281.3.2深度學(xué)習(xí)的幾種常見模型5.循環(huán)神經(jīng)網(wǎng)絡(luò)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrenceNeuralNetwork,簡(jiǎn)稱RNN）可以把上一時(shí)刻處理完畢的輸出結(jié)果W，與下一時(shí)刻本身的輸入U(xiǎn)，共同作為輸入，參與下一時(shí)刻的運(yùn)算，如下圖所示。該網(wǎng)絡(luò)能夠有效地對(duì)信號(hào)序列隨著時(shí)間變化的過(guò)程去建模，目前廣泛地應(yīng)用在語(yǔ)音識(shí)別、自然語(yǔ)言處理等方面。1.3深度學(xué)習(xí)概述第一章引言of31291.3.3深度學(xué)習(xí)的應(yīng)用場(chǎng)合1.人體姿態(tài)的三維復(fù)原近些年來(lái)，隨著人們對(duì)3D電影和3D動(dòng)畫的興趣越來(lái)越濃厚，基于視頻的3D人體姿態(tài)復(fù)原受到了越來(lái)越多的關(guān)注。如何從單目鏡中所看到的傳統(tǒng)二維圖像，轉(zhuǎn)換成具有遠(yuǎn)近距離感同時(shí)又形象生動(dòng)的三維立體圖效果，是圖像語(yǔ)義理解中的一個(gè)難題。如下圖所示，第一行是原始二維圖像，中間一行是深度編碼器所復(fù)原的三維圖像，第三行是其他方法所復(fù)原的三維圖像。不難看出，深度方法對(duì)人體姿態(tài)的表述更準(zhǔn)（傾斜、側(cè)身、迎面、背面等），即對(duì)圖像語(yǔ)義的理解更正確1.3深度學(xué)習(xí)概述第一章引言of31301.3.3深度學(xué)習(xí)的應(yīng)用場(chǎng)合2.網(wǎng)站的隱私保護(hù)

如今，智能聯(lián)網(wǎng)的手機(jī)越來(lái)越普及，手機(jī)拍照的清晰度也在不斷提高。很多人喜歡拍照片然后分享到網(wǎng)絡(luò)社交平臺(tái)上。雖然我們可以設(shè)置可見權(quán)限，比如指定好友可見、家人可見等等，但是在默認(rèn)的情況下，網(wǎng)絡(luò)上被分享的照片人人可見。

運(yùn)用深度卷積神經(jīng)網(wǎng)絡(luò)，可以統(tǒng)計(jì)社交網(wǎng)絡(luò)上上任意兩人之間的共同好友個(gè)數(shù)或者其他方面共享的程度，來(lái)衡量他們倆的關(guān)聯(lián)程度，從而能夠自動(dòng)識(shí)別出社交網(wǎng)站上哪些圖片涉及到個(gè)人隱私，并做模糊處理。1.3深度學(xué)習(xí)概述第一章引言of31311.3.3深度學(xué)習(xí)的應(yīng)用場(chǎng)合3.自然場(chǎng)景中的文字提取與識(shí)別在計(jì)算機(jī)視覺領(lǐng)域，從自然場(chǎng)景圖片中讀取文字，是一項(xiàng)非常熱門且意義非凡的研究工作。它的整個(gè)過(guò)程包含兩個(gè)部分，即文字提取（即檢測(cè)）和文字識(shí)別。采用深度卷積回歸網(wǎng)絡(luò)做監(jiān)督訓(xùn)練，并采用大小不同的多個(gè)卷積核算子來(lái)提取文字信息，克服了文字多角度、多尺度、旋轉(zhuǎn)及側(cè)身所帶來(lái)的不確定性。該網(wǎng)絡(luò)模型方法能有效定位并標(biāo)出測(cè)試圖片中的文字，如下圖綠框所示。1.3深度學(xué)習(xí)概述第一章引言of31321.3.4深度學(xué)習(xí)開源工具名稱支持語(yǔ)言說(shuō)明下載網(wǎng)址CaffeC++,Python,MatlabUCBerkerleyBVLC實(shí)驗(yàn)室發(fā)布的深度學(xué)習(xí)開源工具，是目前全世界應(yīng)用最廣泛的深度學(xué)習(xí)平臺(tái)之一/BVLC/caffeTensorflowC++,Python谷歌發(fā)布的機(jī)器學(xué)習(xí)開發(fā)工具，支持多CPU，多GPU計(jì)算及CNN、RNN等深度學(xué)習(xí)模型/tensorflow/tensorflowMXNetC++百度牽頭組織的機(jī)器學(xué)習(xí)聯(lián)盟發(fā)布的C++深度學(xué)習(xí)工具庫(kù)/dmlc/mxnetTheanoPython基于Python語(yǔ)言的深度學(xué)習(xí)開源工具/Theano/TheanoPaddlePython百度公司自行研發(fā)推出的開源深度學(xué)習(xí)平臺(tái)，支持多操作系統(tǒng)和多GPU運(yùn)算/DMTKC/C++微軟發(fā)布的一套通用的深度學(xué)習(xí)開源工具，支持分布式計(jì)算/Microsoft/DMTK習(xí)題：1．什么是人工智能？并概況一下人工智能產(chǎn)生的基礎(chǔ)條件。2．人工智能在最近幾十年的發(fā)展分別經(jīng)歷了哪些階段？3．人工智能、機(jī)器學(xué)習(xí)與深度學(xué)習(xí)三者之間的關(guān)系是什么？4.什么是模型？它與特征提取、分類分別有什么關(guān)系？5．機(jī)器學(xué)習(xí)中，半監(jiān)督學(xué)習(xí)如何把監(jiān)督和非監(jiān)督結(jié)合起來(lái)的？6．請(qǐng)簡(jiǎn)述機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的區(qū)別與聯(lián)系。7．深度學(xué)習(xí)領(lǐng)域“三巨頭”是指哪三人？他們分別有什么貢獻(xiàn)？8．深度學(xué)習(xí)有哪些主流開源工具？9．深度學(xué)習(xí)有哪些常用模型？10．掌握Python軟件的安裝和使用。感謝聆聽大數(shù)據(jù)挖掘技術(shù)與應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)2.1KNN算法2.2線性回歸2.3邏輯回歸of5636高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第2章簡(jiǎn)單模型習(xí)題2.1KNN算法第二章

簡(jiǎn)單模型

of3137

KNN算法，是K-NearestNeighboralgorithm的簡(jiǎn)寫，也可以叫K近鄰算法，是最簡(jiǎn)單的機(jī)器學(xué)習(xí)分類算法模型之一。所謂K近鄰，就是K個(gè)最近的鄰居的意思，即每個(gè)樣本都可以用與它最近的K個(gè)鄰居來(lái)代表。KNN算法是基于實(shí)例的學(xué)習(xí)（instance-basedlearning），屬于非參數(shù)模型，它學(xué)習(xí)的不是明確的泛化模型，而是樣本之間的關(guān)系。當(dāng)新的樣本到來(lái)時(shí)，這種學(xué)習(xí)方式不會(huì)用擬合好的算式去計(jì)算輸出結(jié)果或是輸出結(jié)果的概率，而是根據(jù)這個(gè)新樣本和訓(xùn)練樣本之間的關(guān)系來(lái)確定它的輸出。

KNN算法應(yīng)用領(lǐng)域包括文本處理、模式識(shí)別、計(jì)算機(jī)視覺、通信工程、生物工程等。

2.1KNN算法第二章

簡(jiǎn)單模型

of31382.1.1KNN算法步驟構(gòu)建KNN算法主要分為4步：算距離，排序，取近鄰和做決策，即（1）算距離：計(jì)算新樣本與已知樣本空間中所有樣本點(diǎn)的距離。常用的距離有歐式距離和夾角余弦距離；（2）排序：對(duì)所有距離按升序排列；（3）取近鄰：確定并選取與未知樣本距離最小的K個(gè)樣本或點(diǎn)。選定合適的K值，對(duì)分類的效果尤為重要；（4）做決策：得到K近鄰列表，采用多數(shù)表決的方法對(duì)樣本進(jìn)行分類。

2.1KNN算法第二章

簡(jiǎn)單模型

of31392.1.3KNN算法描述

輸入：訓(xùn)練數(shù)據(jù)集Z；可調(diào)參數(shù)K；新樣本的特征向量；1：foralldo；2:計(jì)算新樣本與已知樣本空間中每個(gè)點(diǎn)的距離；3:對(duì)所有距離按升序排列，得到近鄰列表；4:多數(shù)表決；5：endfor；輸出：新樣本的類別。2.2線性回歸2.1KNN算法

2.3邏輯回歸of5640高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第2章簡(jiǎn)單模型習(xí)題2.1KNN算法第二章

簡(jiǎn)單模型

of31412.1.4KNN算法評(píng)價(jià)KNN算法不僅可以用于分類，還可以用于回歸。它包含以下四個(gè)優(yōu)點(diǎn)：（1）模型簡(jiǎn)單，容易理解，也易于實(shí)現(xiàn)，并且無(wú)需估計(jì)參數(shù)，也無(wú)需訓(xùn)練；（2）特別適合對(duì)離散類型的事件進(jìn)行分類；（3）適合于多分類問(wèn)題（對(duì)象具有多個(gè)類別標(biāo)簽），KNN比SVM的表現(xiàn)要好；（4）精度高、對(duì)異常值不敏感、無(wú)數(shù)據(jù)輸入假定。

2.2

線性回歸第二章

簡(jiǎn)單模型

of31422.2線性回歸線性回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。線性回歸最大的優(yōu)點(diǎn)不是在于計(jì)算，而是便于解釋或預(yù)測(cè)。廣泛應(yīng)用于流行病的預(yù)測(cè)、風(fēng)險(xiǎn)性資產(chǎn)控制、消費(fèi)支出、定投資支出、勞動(dòng)力需求與供給等的預(yù)測(cè)。

第二章

簡(jiǎn)單模型

of31432.2.1算法原理給定數(shù)據(jù)集中的每個(gè)樣本，我們用向量表示每個(gè)實(shí)例樣本，表示樣條的第個(gè)屬性（特征）的取值，建立一個(gè)線性回歸模型（hypothesis，假設(shè)），此時(shí)可表示為其中,稱線性回歸模型，主要是模型是樣本的不同屬性（特征）的線性組合，其中為組合系數(shù)（參數(shù)）。

2.2

線性回歸第二章

簡(jiǎn)單模型

of31442.2.2模型求解令對(duì)

求關(guān)于

的偏導(dǎo)數(shù),即再令偏導(dǎo)數(shù)等于0，即有,也就是說(shuō)，不用經(jīng)過(guò)訓(xùn)練就可以直接利用上面的公式計(jì)算出線性回歸模型的最優(yōu)解。

2.2

線性回歸第二章

簡(jiǎn)單模型

of31452.2.3算法步驟用梯度下降法求最小值的一般步驟：（1）參數(shù)的初始化：通常所有參數(shù)都初始化為1；（2）確定學(xué)習(xí)率；（3）求代價(jià)函數(shù)的梯度（所有參數(shù)的偏導(dǎo)數(shù)）；（4）所有參數(shù)都沿梯度方向移動(dòng)一步，步長(zhǎng)就是學(xué)習(xí)率的大小；（5）重復(fù)步驟（4）直到參數(shù)不再發(fā)生變化（此時(shí)取到極值點(diǎn)，梯度為0）或達(dá)到預(yù)先設(shè)定的迭代次數(shù).

2.2

線性回歸第二章

簡(jiǎn)單模型

of31462.2.3算法步驟用梯度下降法求最小值的一般步驟：（1）參數(shù)的初始化：通常所有參數(shù)都初始化為1；（2）確定學(xué)習(xí)率；（3）求代價(jià)函數(shù)的梯度（所有參數(shù)的偏導(dǎo)數(shù)）；（4）所有參數(shù)都沿梯度方向移動(dòng)一步，步長(zhǎng)就是學(xué)習(xí)率的大?。唬?）重復(fù)步驟（4）直到參數(shù)不再發(fā)生變化（此時(shí)取到極值點(diǎn)，梯度為0）或達(dá)到預(yù)先設(shè)定的迭代次數(shù).

2.2

線性回歸第二章

簡(jiǎn)單模型

of31472.2.4算法描述線性回歸算法分為訓(xùn)練、測(cè)試和預(yù)測(cè)三個(gè)部分，訓(xùn)練部分主要是通過(guò)訓(xùn)練習(xí)得屬于每個(gè)屬性的參數(shù)值，測(cè)試部分主要是用測(cè)試樣本對(duì)已訓(xùn)練好的模型進(jìn)行測(cè)試，若測(cè)試的結(jié)果很好，就可以用訓(xùn)練好的參數(shù)對(duì)新樣本進(jìn)行預(yù)測(cè)。以下以批量梯度下降法為例進(jìn)行說(shuō)明。算法2.2訓(xùn)練模型

2.2

線性回歸第二章

簡(jiǎn)單模型

of31482.2.4算法描述算法2.3模型測(cè)試與輸出

2.2

線性回歸第二章

簡(jiǎn)單模型

of31492.2.4算法描述算法2.3模型測(cè)試與輸出

2.2

線性回歸第二章

簡(jiǎn)單模型

of31502.2.5算法評(píng)價(jià)線性回歸算法主要用來(lái)預(yù)測(cè)數(shù)值型的目標(biāo)值。優(yōu)點(diǎn)在于：（1）結(jié)果易于理解，計(jì)算上簡(jiǎn)單和方便；（2）用多變量線性回歸模型，通過(guò)多組數(shù)據(jù)，可直觀、快速分析出三者之間的線性關(guān)系。缺點(diǎn)在于：（1）模型對(duì)于非線性數(shù)據(jù)的擬合效果不好；（2）對(duì)小樣本的數(shù)據(jù)或多重共線性的數(shù)據(jù)會(huì)產(chǎn)生過(guò)擬合或欠擬合現(xiàn)象；（3）對(duì)滿秩的樣本，由于計(jì)算矩陣的逆的運(yùn)算量大，往往導(dǎo)致計(jì)算延遲。

2.2

線性回歸2.3邏輯回歸2.1KNN算法

2.2線性回歸of5651高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第2章簡(jiǎn)單模型習(xí)題第二章

簡(jiǎn)單模型

of3152邏輯回歸（logisticregression）是當(dāng)前業(yè)界比較常用的機(jī)器學(xué)習(xí)方法，應(yīng)用于研究其些事件發(fā)生的概率，以概率的形式估計(jì)事件發(fā)生的可能性[16]。雖然頂著“回歸”的名字，但是它主要是用來(lái)做分類的。之所以取這個(gè)名字，原因在于它在線性回歸的基礎(chǔ)上，套用了一個(gè)邏輯函數(shù)，即Sigmoid函數(shù)g(.)，從而把線性回歸模型推廣為值域?yàn)?0,1)的概率輸出函數(shù)，這樣就將線性回歸模型的連續(xù)性預(yù)測(cè)值與分類任務(wù)的離散標(biāo)記聯(lián)系起來(lái)。邏輯回歸分為兩個(gè)部分:（1）學(xué)習(xí)預(yù)測(cè)模型；（2）應(yīng)用預(yù)測(cè)模型預(yù)測(cè)結(jié)果。邏輯回歸是一項(xiàng)可用于預(yù)測(cè)二分類結(jié)果的統(tǒng)計(jì)技術(shù)，廣泛應(yīng)用于金融、醫(yī)學(xué)、犯罪學(xué)和其他社會(huì)科學(xué)中。

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31532.3.1算法原理給定任意一組輸入，然后通過(guò)某個(gè)函數(shù)得到輸出，這個(gè)輸出就是輸入數(shù)據(jù)的分類。在二分類情況下，這個(gè)函數(shù)就輸出0或1。具有這種性質(zhì)的函數(shù)就是Sigmoid函數(shù)，如圖所示。

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31542.3.1算法原理Sigmoid函數(shù)具有如下形式：它也叫對(duì)數(shù)幾率函數(shù)，可以將任何數(shù)據(jù)映射到（0，1）之間。而概率也恰恰是之間的數(shù)，那也就表明要被分類的樣本可以映射到（0，1）之間。顯然對(duì)數(shù)幾率函數(shù)能夠在線性回歸和邏輯回歸之間提供更好的可解釋性。當(dāng)利用邏輯回歸模型解決分類任務(wù)時(shí)，線性回歸的結(jié)果正是以對(duì)數(shù)幾率的形式出現(xiàn)的。邏輯回歸模型由條件概率分布表示如式：

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31552.3.2模型求解對(duì)給定的數(shù)據(jù)集，邏輯回歸使每個(gè)樣本屬于其真實(shí)標(biāo)記的概率最大化，以此為依據(jù)確定參數(shù)的最優(yōu)值。由于每個(gè)樣本的輸出滿足伯努利分布，且不同的樣本之間相互獨(dú)立，因而，似然函數(shù)可以表示為如下形式：由于單個(gè)樣本的標(biāo)記，只能取得0或1，因而上式的兩項(xiàng)中只有一項(xiàng)有非零的取值，將每個(gè)條件概率的對(duì)數(shù)幾率函數(shù)形式代入上式，利用對(duì)數(shù)操作將乘積轉(zhuǎn)化為求和，就可以得到對(duì)數(shù)似然函數(shù)如式：

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31562.3.3算法步驟用梯度下降法求，可分為：賦值和迭代。（1）首先對(duì)賦值，這個(gè)值可以是隨機(jī)的，也可以讓是一個(gè)全零的向量。（2）改變的值，使得按梯度下降的方向進(jìn)行減少。梯度方向由對(duì)的偏導(dǎo)數(shù)確定，由于求的是極小值，因此梯度方向是偏導(dǎo)數(shù)的反方向。結(jié)果為

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31572.3.4算法描述

邏輯回歸算法分為訓(xùn)練、測(cè)試和預(yù)測(cè)三個(gè)部分，訓(xùn)練部分主要是通過(guò)訓(xùn)練習(xí)得屬于每個(gè)屬性的參數(shù)值，測(cè)試部分主要是用測(cè)試樣本對(duì)已訓(xùn)練好的模型進(jìn)行測(cè)試，若測(cè)試的結(jié)果很好，就利用訓(xùn)練好的參數(shù)對(duì)新樣本進(jìn)行預(yù)測(cè)。以下以批量梯度下降法為例進(jìn)行說(shuō)明。訓(xùn)練模型

2.3

邏輯回歸第二章

簡(jiǎn)單模型

of31582.3.5算法評(píng)價(jià)邏輯回歸模型優(yōu)點(diǎn)：（1）計(jì)算代價(jià)不高，易于理解和實(shí)現(xiàn)；（2）可以適用于連續(xù)型和類別型自變量；（3）容易使用和解釋。邏輯回歸模型缺點(diǎn)：（1）對(duì)模型中自變量多重共線性較為敏感，例如兩個(gè)高度相關(guān)自變量同時(shí)放入模型，可能導(dǎo)致較弱的一個(gè)自變量回歸符號(hào)不符合預(yù)期，符號(hào)被扭轉(zhuǎn)。需要利用因子分析或者變量聚類分析等手段來(lái)選擇代表性的自變量，以減少候選變量之間的相關(guān)性；（2）預(yù)測(cè)結(jié)果呈“S”型，因此從log(odds)向概率轉(zhuǎn)化的過(guò)程是非線性的，在兩端隨著log(odds)值的變化，概率變化很小，邊際值太小，而中間概率的變化很大，很敏感。導(dǎo)致很多區(qū)間的變量變化對(duì)目標(biāo)概率的影響沒有區(qū)分度，無(wú)法確定閥值；（3）容易欠擬合，分類精度可能不高。

2.3

邏輯回歸

習(xí)

題2.1KNN算法

2.2線性回歸of5659高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第2章簡(jiǎn)單模型2.3邏輯回歸習(xí)題：1.簡(jiǎn)述一下KNN算法的原理，KNN算法有哪些優(yōu)點(diǎn)和缺點(diǎn)?2.KNN算法中，當(dāng)數(shù)據(jù)量比較大時(shí)，需要?dú)w一化嗎？如何提高計(jì)算效率？3.從數(shù)學(xué)上來(lái)講，線性回歸算法的損失函數(shù)是一個(gè)凸函數(shù)，因此初始值對(duì)結(jié)果并無(wú)影響，可以嘗試使用不同的初始值來(lái)運(yùn)行函數(shù)，看看得到的結(jié)果是否有變化？如果有變化，思考發(fā)生變化的原因。4.觀察線性回歸的可視化圖形，發(fā)現(xiàn)兩條直線之間存在著細(xì)微差別。但是從理論上來(lái)講，兩種方法的原理是一樣的，sklearn只是把梯度下降算法進(jìn)行了封裝。那為什么會(huì)出現(xiàn)這種差別？可以如何調(diào)整？5.邏輯回歸是一種分類算法，該算法和線性回歸有哪些區(qū)別與聯(lián)系？6.線性回歸中將作為常量來(lái)求，而在邏輯回歸中并沒有這樣做,這是為什么？7.邏輯回歸本質(zhì)上仍為線性回歸，為什么被單獨(dú)列為一類？8.如何解決欠擬合或過(guò)擬合問(wèn)題？9.為什么邏輯回歸需要?dú)w一化或者取對(duì)數(shù)，為什么邏輯回歸把特征離散化后效果更好?10.如何用邏輯回歸建立一個(gè)廣告點(diǎn)擊次數(shù)預(yù)測(cè)模型?11.邏輯回歸是監(jiān)督機(jī)器學(xué)習(xí)的算法嗎？12.為什么會(huì)在訓(xùn)練的過(guò)程當(dāng)中將高度相關(guān)的特征去掉？13.邏輯回歸的損失函數(shù)為什么要使用極大似然函數(shù)作為損失函數(shù)AIRack人工智能實(shí)驗(yàn)平臺(tái)——一站式的人工智能實(shí)驗(yàn)平臺(tái)DeepRack深度學(xué)習(xí)一體機(jī)——開箱即用的AI科研平臺(tái)BDRack大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)——一站式的大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)智能硬件大數(shù)據(jù)免費(fèi)托管平臺(tái)環(huán)境大數(shù)據(jù)開放平臺(tái)免費(fèi)大數(shù)據(jù)APP推薦運(yùn)用大數(shù)據(jù)，精彩你生活劉鵬看未來(lái)云創(chuàng)大數(shù)據(jù)我的PM2.5同聲譯微信公眾號(hào)推薦完善的課程體系：大數(shù)據(jù)方向、人工智能方向。面向理論與實(shí)踐，分為本科院校、專科院校、高職院校。感謝聆聽大數(shù)據(jù)挖掘技術(shù)與應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)3.2貝葉斯基礎(chǔ)理論3.3樸素貝葉斯3.4貝葉斯網(wǎng)絡(luò)of5666高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第三章貝葉斯學(xué)習(xí)習(xí)題3.1貝葉斯方法簡(jiǎn)述3.5實(shí)驗(yàn)3.1貝葉斯方法簡(jiǎn)述of31671．發(fā)展歷程第三章貝葉斯學(xué)習(xí)最早起源于英國(guó)數(shù)學(xué)家ThomasBayes在《論有關(guān)機(jī)遇問(wèn)題的求解》中證明的關(guān)于貝葉斯定理的一個(gè)特例。1763年，由他的朋友RichardPrice幫助整理，文章在《倫敦皇家學(xué)會(huì)自然科學(xué)會(huì)報(bào)》公開后并沒有得到很大反響。1774年，法國(guó)數(shù)學(xué)家Pierre-SimonLaplace在《論事件原因存在的概率》中獨(dú)立地提出了與貝葉斯公式有異曲同工之妙的“不充分推理原則”，但此時(shí)貝葉斯方法仍未受到關(guān)注。20世紀(jì)50年代，多位統(tǒng)計(jì)學(xué)家共同努力，逐步建立貝葉斯統(tǒng)計(jì)，出現(xiàn)貝葉斯學(xué)派，開始使用術(shù)語(yǔ)“貝葉斯”，貝葉斯方法才真正得到重視。從理論上說(shuō)，貝葉斯推理雖然容易實(shí)現(xiàn)，但鑒于實(shí)踐中，未知參數(shù)的后驗(yàn)分布多為高維、復(fù)雜的分布，計(jì)算較困難，限制了貝葉斯方法的應(yīng)用。直至蒙特卡洛方法出現(xiàn)，將馬爾可夫過(guò)程引入到蒙特卡洛模擬中，通過(guò)模擬方式對(duì)高維積分計(jì)算，突破了計(jì)算困難，才推動(dòng)貝葉斯方法在理論研究和應(yīng)用上新的發(fā)展。近年來(lái)，伴隨著工業(yè)界和學(xué)術(shù)界對(duì)大數(shù)據(jù)和機(jī)器學(xué)習(xí)的極大關(guān)注，以及貝葉斯方法在語(yǔ)音、視覺等領(lǐng)域的成功應(yīng)用，它已經(jīng)成為非常重要的一類機(jī)器學(xué)習(xí)方法。3.1貝葉斯方法簡(jiǎn)述of31682．應(yīng)用作為機(jī)器學(xué)習(xí)的核心方法之一，貝葉斯方法從1763年提出到現(xiàn)在，已有250多年的歷史，在此期間有了長(zhǎng)足的進(jìn)步，不僅在參數(shù)估計(jì)、后驗(yàn)推理、模型檢測(cè)、隱變量概率模型等統(tǒng)計(jì)學(xué)領(lǐng)域有廣泛而深遠(yuǎn)的應(yīng)用，其應(yīng)用還可延伸到各個(gè)問(wèn)題領(lǐng)域。貝葉斯方法在機(jī)器學(xué)習(xí)領(lǐng)域也有諸多應(yīng)用，從單變量的回歸與分類到多變量的結(jié)構(gòu)化輸出預(yù)測(cè)，從有監(jiān)督學(xué)習(xí)到半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)等，如文本分類、垃圾郵件過(guò)濾、情感判別，以及推薦系統(tǒng)等，幾乎任何一種學(xué)習(xí)任務(wù)都可以采用貝葉斯方法實(shí)現(xiàn)。

第三章貝葉斯學(xué)習(xí)3.1貝葉斯方法簡(jiǎn)述of31693．優(yōu)缺點(diǎn)優(yōu)勢(shì)：如預(yù)測(cè)過(guò)程簡(jiǎn)單快速，易于訓(xùn)練，給所需資源帶來(lái)良好表現(xiàn)；可以有機(jī)地結(jié)合先驗(yàn)知識(shí)或主觀概率；可根據(jù)具體實(shí)際情況，在決策過(guò)程中不斷使用該貝葉斯方法；可對(duì)決策結(jié)果的可能性或不確定性做推理，給出數(shù)量化的評(píng)價(jià)，而非全或無(wú)；當(dāng)輸入數(shù)據(jù)變量較少時(shí)，該方法同樣有效；處理多分類問(wèn)題，該方法也仍然有效。缺陷：輸入數(shù)據(jù)量較多或數(shù)據(jù)間相關(guān)性較大，則會(huì)出現(xiàn)問(wèn)題。如輸入數(shù)據(jù)多，分析計(jì)算則比較復(fù)雜，特別是在解決復(fù)雜問(wèn)題時(shí)，問(wèn)題就更加突顯；還有些數(shù)據(jù)輸入，在使用時(shí)必須采用主觀概率，則妨礙了貝葉斯方法的使用，這也是貝葉斯方法的一個(gè)局限。

第三章貝葉斯學(xué)習(xí)3.1貝葉斯方法簡(jiǎn)述of31704．發(fā)展及挑戰(zhàn)由于貝葉斯理論的適應(yīng)性和可擴(kuò)展性，以及交叉學(xué)科中先驗(yàn)知識(shí)的引入，使貝葉斯學(xué)習(xí)在機(jī)器學(xué)習(xí)領(lǐng)域有了更廣泛的應(yīng)用場(chǎng)景，將發(fā)揮更大的作用。如正則化貝葉斯方法、非參數(shù)化貝葉斯方法都極大地推動(dòng)了貝葉斯理論的發(fā)展。在系統(tǒng)實(shí)現(xiàn)方面，貝葉斯方法也已經(jīng)能在多種分布式計(jì)算框架下實(shí)現(xiàn)。近來(lái)，大數(shù)據(jù)貝葉斯學(xué)習(xí)也受到人們普遍關(guān)注。因此，如何突破經(jīng)典貝葉斯框架的局限，加強(qiáng)貝葉斯學(xué)習(xí)的靈活性，加快貝葉斯學(xué)習(xí)的推理過(guò)程，在不同的場(chǎng)景下建立合適模型，是適應(yīng)大數(shù)據(jù)時(shí)代需要去挑戰(zhàn)的。

第三章貝葉斯學(xué)習(xí)3.3樸素貝葉斯3.4貝葉斯網(wǎng)絡(luò)of5671高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第三章貝葉斯學(xué)習(xí)習(xí)題3.5實(shí)驗(yàn)3.2貝葉斯基礎(chǔ)理論3.1貝葉斯方法簡(jiǎn)述3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31723.2.1概率基礎(chǔ)條件概率，是指事件

在另一事件已經(jīng)發(fā)生的條件下發(fā)生的概率，表示為。條件概率公式為：

1．條件概率例3-1一個(gè)盒子里裝了6只球，其中綠色球2只，紅色球4只，每次不放回地隨機(jī)從盒子里取一只球。求連續(xù)2次取到紅球的概率。解：3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31733.2.1概率基礎(chǔ)全概率公式，是指事件構(gòu)成一個(gè)完備事件組且都有正概率，則對(duì)任一事件都有公式成立。全概率公式為：

2．全概率公式例3-2高射炮向敵機(jī)發(fā)射四發(fā)炮彈，每彈擊中與否相互獨(dú)立且每發(fā)炮彈擊中的概率均為0.3，又知敵機(jī)若中1彈，墜毀的概率為0.1，若中2彈，墜毀的概率為0.3，若中3彈，墜毀的概率為0.7，若中4彈，敵機(jī)必墜毀。求敵機(jī)墜毀的概率。解：3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31743.2.2貝葉斯方法貝葉斯方法是一種統(tǒng)計(jì)推斷方法，可以有效地計(jì)算條件概率。貝葉斯公式為：

1．貝葉斯公式上面的貝葉斯公式可描述為：后驗(yàn)概率＝先驗(yàn)概率×調(diào)整因子（1）如果調(diào)整因子，即先驗(yàn)概率被增強(qiáng)，事件發(fā)生的可能性變大；（2）如果調(diào)整因子，即事件的發(fā)生對(duì)判斷事件發(fā)生的可能性無(wú)幫助；（3）如果調(diào)整因子

，即先驗(yàn)概率被削弱，事件發(fā)生的可能性變小。3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31753.2.2貝葉斯方法假設(shè)事件是由相互獨(dú)立的小事件

組成，在事件

已經(jīng)發(fā)生的條件下，計(jì)算某個(gè)小事件

的概率。貝葉斯公式可表示為：

1．貝葉斯公式貝葉斯公式可以理解成在條件概率基礎(chǔ)上尋找事件發(fā)生的原因。3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31763.2.2貝葉斯方法2．貝葉斯方法實(shí)例例3-3有兩個(gè)盒子和，盒中有6只綠球，5只紅球，盒中有2只綠球，4只紅球，已知從兩個(gè)盒子里抽出了一只綠球。求這只球來(lái)自盒的概率。解：選中盒的先驗(yàn)概率為0.5，因?yàn)檎{(diào)整因子，則后驗(yàn)概率為0.58，大于原先驗(yàn)概率0.5，表示先驗(yàn)概率被增強(qiáng)。3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31773.2.2貝葉斯方法2．貝葉斯方法實(shí)例例3-4某種疾病發(fā)病率約為0.1%，即1000人中有1個(gè)人是陽(yáng)性，現(xiàn)在的檢測(cè)手段很成熟，準(zhǔn)確率高達(dá)99%，但是有5%的誤診率。如果一個(gè)人的檢測(cè)結(jié)果呈陽(yáng)性，那么這個(gè)人真的感染這種病的概率有多大。解：盡管這種疾病的檢測(cè)準(zhǔn)確度高達(dá)99%，而檢測(cè)結(jié)果呈陽(yáng)性的可信度不到2%，原因在于它的發(fā)病率低，僅約為0.1%。3.2貝葉斯基礎(chǔ)理論第三章貝葉斯學(xué)習(xí)of31783.2.2貝葉斯方法3．貝葉斯方法應(yīng)用貝葉斯公式作為統(tǒng)計(jì)及概率論中最具影響力及最重要的概念之一，使得貝葉斯方法成為一種很好的利用經(jīng)驗(yàn)幫助作出更合理判斷的方法。當(dāng)我們認(rèn)識(shí)事物不全面的情況下，它可以幫助量化對(duì)某些事物的態(tài)度或看法，并基于新的證據(jù)動(dòng)態(tài)調(diào)整我們的看法或態(tài)度，在經(jīng)過(guò)一系列的事情證實(shí)后，形成比較穩(wěn)定而正確的看法，越來(lái)越接近真相。3.2貝葉斯基礎(chǔ)理論3.4貝葉斯網(wǎng)絡(luò)of5679高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第三章貝葉斯學(xué)習(xí)習(xí)題3.5實(shí)驗(yàn)3.3樸素貝葉斯3.1貝葉斯方法簡(jiǎn)述3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31803.3.1樸素貝葉斯法介紹樸素貝葉斯法（NaiveBayes，簡(jiǎn)稱NB）是一種基于貝葉斯定理與特征條件獨(dú)立假設(shè)的分類方法，該方法基于一個(gè)簡(jiǎn)單的假設(shè)，即所有特征屬性間相互獨(dú)立，這也是樸素貝葉斯法中“樸素”的由來(lái)。1．樸素貝葉斯法簡(jiǎn)單描述樸素貝葉斯法的核心思想，即在特征屬性獨(dú)立的條件下，選擇最大的后驗(yàn)概率樸素貝葉斯法的核心思想，即在特征屬性獨(dú)立的條件下，選擇最大的后驗(yàn)概率

作為確定待分類項(xiàng)屬于某個(gè)類

的依據(jù)。

Pmax3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31813.3.1樸素貝葉斯法介紹2．樸素貝葉斯公式樸素貝葉斯公式為：3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31823.3.1樸素貝葉斯法介紹因?qū)λ蓄悇e都相同，如僅計(jì)算待分類項(xiàng)所屬類型，而不需要計(jì)算待分類項(xiàng)的具體概率，可省略計(jì)算分母。將計(jì)算待分類項(xiàng)具體概率問(wèn)題，簡(jiǎn)化成計(jì)算待分類項(xiàng)所屬類型問(wèn)題。樸素貝葉斯公式可改為：3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31833.3.1樸素貝葉斯法介紹3．樸素貝葉斯法計(jì)算步驟令表示訓(xùn)練集中類樣本的集合，令表示在的第個(gè)屬性取值樣本的集合。樸素貝葉斯法的計(jì)算步驟：（1）計(jì)算先驗(yàn)概率；（2）計(jì)算類條件概率；（3）計(jì)算，求解待分類項(xiàng)所屬類型。（4）利用公式，求解待分類項(xiàng)具體概率。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31843.3.2樸素貝葉斯法實(shí)例例3-5根據(jù)表3-1中提供的訓(xùn)練數(shù)據(jù)（前10條房屋購(gòu)買記錄），預(yù)測(cè)測(cè)試數(shù)據(jù)（第11條記錄的用戶），計(jì)算其是否購(gòu)房及購(gòu)房的可能性多大。用戶年齡/歲性別收入/萬(wàn)元

婚姻狀況是否購(gòu)房124男45否是256男32是是323女30是否431女15否否547女30是是645男30是否732男23否否826男15否否923男20否否1046女40是否1135男35是？3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31853.3.2樸素貝葉斯法實(shí)例解：

（1）計(jì)算先驗(yàn)概率

。

。

（2）計(jì)算類條件概率。分別計(jì)算年齡、性別、收入和婚姻狀況4個(gè)特征屬性在兩種結(jié)果發(fā)生前提下的概率，如表3-2至3-5所示。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31863.3.2樸素貝葉斯法實(shí)例解：。

3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31873.3.2樸素貝葉斯法實(shí)例解：。

（3）針對(duì)待分類項(xiàng)，計(jì)算，求解出最大值即為所屬類別。

（4）如果需要計(jì)算第11條記錄的用戶購(gòu)房可能性有多大，就需要嚴(yán)格按照樸素貝葉斯公式要求，計(jì)算待分類項(xiàng)的具體概率。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31883.3.2樸素貝葉斯法實(shí)例。

需要注意的是:如果某個(gè)屬性值在訓(xùn)練集中沒有與某個(gè)類同時(shí)出現(xiàn)，直接基于類條件概率計(jì)算待分類項(xiàng)的所屬類型會(huì)出現(xiàn)問(wèn)題。如本例中，因?yàn)闀?huì)導(dǎo)致在進(jìn)行概率估算時(shí)出現(xiàn)錯(cuò)誤，

無(wú)論其他屬性的類條件概率多高，分類結(jié)果都是“不購(gòu)房”，因?yàn)槲幢挥^測(cè)到，并不代表出現(xiàn)的概率為0，這顯然不合理。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31893.3.2樸素貝葉斯法實(shí)例。

上面“年齡”屬性的取值信息抹掉了其他三個(gè)屬性的取值，在進(jìn)行概率估計(jì)時(shí)，解決這個(gè)問(wèn)題的方法通常是使用拉普拉斯修正。在拉普拉斯修正中，假設(shè)訓(xùn)練集的分類數(shù)，用表示；的第個(gè)屬性可能的取值數(shù)用表示。則原來(lái)的先驗(yàn)概率的計(jì)算公式，由。

拉普拉斯修正為。原來(lái)的類條件概率的計(jì)算公式，由拉普拉斯修正為3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31903.3.2樸素貝葉斯法實(shí)例。

大家思考下，在拉普拉斯修正后，上例中第11條記錄的用戶會(huì)不會(huì)購(gòu)買房子呢？我們?nèi)苑炙膫€(gè)步驟進(jìn)行計(jì)算。（1）計(jì)算先驗(yàn)概率。（2）計(jì)算類條件概率。

3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31913.3.2樸素貝葉斯法實(shí)例。

（3）針對(duì)待分類項(xiàng)，再次計(jì)算，求解出最大值即為所屬類別。

3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31923.3.2樸素貝葉斯法實(shí)例。

由此可得顯然，通過(guò)以上三步，可以得出第11條記錄的用戶不購(gòu)房的結(jié)論。這碰巧與前面的預(yù)測(cè)結(jié)果吻合，但并不代表拉普拉斯修正是沒有必要的，可以看到拉普拉斯修正后，原來(lái)為0的結(jié)果被平滑的過(guò)渡為0.013，起到了修正的作用。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31933.3.2樸素貝葉斯法實(shí)例。

大家思考下，不同分類任務(wù)中屬性如果是離散型或連續(xù)型，分別怎么辦？針對(duì)離散型屬性或方便用離散區(qū)間替換的連續(xù)屬性，可以用先驗(yàn)概率和類條件概率直接計(jì)算。對(duì)于連續(xù)型屬性，假設(shè)服從某種概率分布，然后使用訓(xùn)練數(shù)據(jù)估計(jì)分布的參數(shù)，一般使用極大似然估計(jì)法（MaximumLikelihoodEstimation，簡(jiǎn)稱MLE）。3.3樸素貝葉斯第三章貝葉斯學(xué)習(xí)of31943.3.3樸素貝葉斯法優(yōu)缺點(diǎn)。

優(yōu)點(diǎn)：以貝葉斯公式作為支撐，有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)及穩(wěn)定的分類效率。屬于監(jiān)督學(xué)習(xí)的生成模型，實(shí)現(xiàn)簡(jiǎn)單，沒有迭代，在大量樣本下會(huì)有較好的表現(xiàn)，在數(shù)據(jù)較少的情況下也仍然有效，可以處理多類別問(wèn)題。缺點(diǎn)：樸素貝葉斯法假設(shè)了屬性間相互獨(dú)立，而這種假設(shè)在實(shí)際過(guò)程中往往不成立，因此該方法在數(shù)據(jù)特征關(guān)聯(lián)性較強(qiáng)的分類任務(wù)上性能表現(xiàn)不佳。特征屬性間相關(guān)性越大，分類誤差也就越大。3.2貝葉斯基礎(chǔ)理論3.3樸素貝葉斯of5695高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第三章貝葉斯學(xué)習(xí)習(xí)題3.5實(shí)驗(yàn)3.4貝葉斯網(wǎng)絡(luò)3.1貝葉斯方法簡(jiǎn)述3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of31963.4.1貝葉斯網(wǎng)絡(luò)介紹。

最早由JudeaPearl于1986年在專家系統(tǒng)中引入。貝葉斯網(wǎng)絡(luò)描述了特征屬性間的依賴關(guān)系，提供了一種因果信息的表示方法，是貝葉斯方法的擴(kuò)展。貝葉斯網(wǎng)絡(luò)基于概率理論和圖論，數(shù)學(xué)基礎(chǔ)牢固，表現(xiàn)形象直觀，是目前不確定知識(shí)表達(dá)和推理領(lǐng)域最有效的理論模型之一。貝葉斯網(wǎng)絡(luò)由一個(gè)有向無(wú)環(huán)圖和條件概率表組成。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，是一個(gè)有向無(wú)環(huán)圖，由代表特征屬性的節(jié)點(diǎn)及連接這些節(jié)點(diǎn)的有向邊構(gòu)成。每個(gè)節(jié)點(diǎn)都有一個(gè)條件概率表，代表一個(gè)特征屬性，連接節(jié)點(diǎn)間的有向邊描述了特征屬性間的相互依賴關(guān)系，關(guān)系強(qiáng)度用條件概率表示。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of31973.4.1貝葉斯網(wǎng)絡(luò)介紹。

假設(shè)節(jié)點(diǎn)

直接影響到節(jié)點(diǎn)

，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖中可表示為→，條件概率

表示

、

的依賴關(guān)系強(qiáng)度，可量化父節(jié)點(diǎn)

對(duì)節(jié)點(diǎn)

的影響。如一個(gè)人發(fā)燒，可能會(huì)體溫高，貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)圖直觀地刻畫了“發(fā)燒”和“體溫”之間的依賴關(guān)系，條件概率表3-6進(jìn)一步量化了“發(fā)燒”和“體溫”的依賴關(guān)系。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of31983.4.1貝葉斯網(wǎng)絡(luò)介紹。

假設(shè)“感染”原因?qū)е掳l(fā)燒的概率為80%，“腫瘤”原因?qū)е掳l(fā)燒的概率為5%，“血液病”原因?qū)е掳l(fā)燒的概率為5%，“其它”原因?qū)е掳l(fā)燒的概率為10%，用貝葉斯網(wǎng)絡(luò)表示，如下圖所示。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of31993.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

1．貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)令表示一個(gè)有向無(wú)環(huán)圖，代表圖中所有節(jié)點(diǎn)的集合，代表有向邊的集合，為圖中某一節(jié)點(diǎn)所代表的特征屬性。

多特征屬性非獨(dú)立聯(lián)合條件概率分布公式：貝葉斯網(wǎng)絡(luò)假定每個(gè)特征屬性與其非后裔屬性獨(dú)立。因此對(duì)任意特征屬性，其聯(lián)合分布可由各自的局部條件概率分布相乘獲得。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311003.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

2.貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)形式當(dāng)與直接相連，如下圖所示，給出的信息則會(huì)影響對(duì)的判斷，則

與必然相關(guān)。貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)中特征屬性間的依賴關(guān)系，主要包含順連結(jié)構(gòu)、分連結(jié)構(gòu)和匯連結(jié)構(gòu)三種形式。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311013.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

（1）當(dāng)與通過(guò)間接相連，如下圖所示，若呈順連結(jié)構(gòu)，在給定的情況下，則與條件獨(dú)立。即3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311023.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

（2）當(dāng)與通過(guò)間接相連，如下圖所示，若呈分連結(jié)構(gòu)，在給定的情況下，則與條件獨(dú)立。即3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311033.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

（3）當(dāng)與通過(guò)間接相連，如下圖所示，若呈匯連結(jié)構(gòu)，在未給定的情況下，則與條件獨(dú)立。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311043.4.2貝葉斯網(wǎng)絡(luò)實(shí)現(xiàn)。

3．貝葉斯網(wǎng)絡(luò)構(gòu)造構(gòu)造貝葉斯網(wǎng)絡(luò)，一般分為三步。（1）標(biāo)識(shí)貝葉斯網(wǎng)絡(luò)中的節(jié)點(diǎn)，即有影響的特征屬性；（2）建立網(wǎng)絡(luò)結(jié)構(gòu)，即形成有向無(wú)環(huán)圖，直觀展示特征屬性間的依賴關(guān)系。一般這步需要領(lǐng)域?qū)＜业南闰?yàn)知識(shí)，想獲取好的網(wǎng)絡(luò)結(jié)構(gòu)，還需不斷迭代改進(jìn)；（3）學(xué)習(xí)網(wǎng)絡(luò)參數(shù)，即訓(xùn)練貝葉斯網(wǎng)絡(luò)，構(gòu)造完成條件概率表，量化特征屬性間的依賴程度。貝葉斯網(wǎng)絡(luò)參數(shù)是各特征屬性的概率分布，如果每個(gè)特征屬性的值都可以直接觀察，此方法類似于樸素貝葉斯分類。一般這步是通過(guò)訓(xùn)練樣本統(tǒng)計(jì)獲得。但往往貝葉斯網(wǎng)絡(luò)中存在隱藏特征向量，即特征屬性缺失，訓(xùn)練方法就比較復(fù)雜，例如梯度下降法期望最大化算法是常用的估計(jì)參數(shù)隱變量的方法。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311053.4.3貝葉斯網(wǎng)絡(luò)特性及應(yīng)用。

1．貝葉斯網(wǎng)絡(luò)特性（1）貝葉斯網(wǎng)絡(luò)本身是一種不定性因果關(guān)聯(lián)模型。與其他決策模型不同，它本身是將多元知識(shí)圖解為可視化的一種概率知識(shí)表達(dá)與推理模型，更為貼切地表述了網(wǎng)絡(luò)節(jié)點(diǎn)特征屬性間的因果關(guān)系及條件相關(guān)性。（2）貝葉斯網(wǎng)絡(luò)具有強(qiáng)大的不確定性問(wèn)題處理能力。用條件概率表達(dá)各個(gè)特征屬性間的相關(guān)關(guān)系，能在有限的、不完整的、不確定的信息條件下學(xué)習(xí)和推理。（3）貝葉斯網(wǎng)絡(luò)能有效地進(jìn)行多源信息的表達(dá)與融合?？蓪⒐收显\斷與維修決策相關(guān)的各種信息納入網(wǎng)絡(luò)結(jié)構(gòu)中，按節(jié)點(diǎn)的方式統(tǒng)一進(jìn)行處理，能有效地按信息的相關(guān)關(guān)系進(jìn)行融合。3.4貝葉斯網(wǎng)絡(luò)第三章貝葉斯學(xué)習(xí)of311063.4.3貝葉斯網(wǎng)絡(luò)特性及應(yīng)用。

2．貝葉斯網(wǎng)絡(luò)應(yīng)用基于概率推理的貝葉斯網(wǎng)絡(luò)是為解決不確定性和不完整性問(wèn)題提出的，它對(duì)于解決復(fù)雜設(shè)備中不確定性和關(guān)聯(lián)性引起的故障診斷很有優(yōu)勢(shì)，在處理不確定信息的智能化系統(tǒng)中得到重要應(yīng)用，隨后它逐步成為了處理不確定性問(wèn)題的主流，成功應(yīng)用在統(tǒng)計(jì)決策、專家系統(tǒng)、信息檢索、工業(yè)控制、智能科學(xué)、醫(yī)療診斷、學(xué)習(xí)預(yù)測(cè)等多個(gè)領(lǐng)域。3.2貝葉斯基礎(chǔ)理論3.3樸素貝葉斯107高級(jí)大數(shù)據(jù)人才培養(yǎng)叢書第三章貝葉斯學(xué)習(xí)習(xí)題3.4貝葉斯網(wǎng)絡(luò)3.5實(shí)驗(yàn)3.1貝葉斯方法簡(jiǎn)述3.5實(shí)驗(yàn)第三章貝葉斯學(xué)習(xí)of311083.5.1實(shí)驗(yàn)?zāi)康摹?/p>

1.了解樸素貝葉斯算法原理和工作流程2.會(huì)將文本量化為特征向量3.應(yīng)用sklearn完成樸素貝葉斯方法對(duì)新聞文本進(jìn)行類別預(yù)測(cè)的程序4.運(yùn)行程序，分析結(jié)果3.5實(shí)驗(yàn)第三章貝葉斯學(xué)習(xí)of311093.5.2實(shí)驗(yàn)要求。

1.了解樸素貝葉斯方法2.從互聯(lián)網(wǎng)獲取新聞數(shù)據(jù)集3.理解實(shí)現(xiàn)樸素貝葉斯方法對(duì)新聞文本預(yù)測(cè)類別的程序流程4.實(shí)現(xiàn)新聞文本分類程序3.5實(shí)驗(yàn)第三章貝葉斯學(xué)習(xí)of311103.5.3實(shí)驗(yàn)原理。

1．新聞數(shù)據(jù)集該新聞數(shù)據(jù)集包含18846條新聞文本，涉及20大類話題。2．文本量化為特征向量文本量化為特征向量，特征數(shù)值計(jì)算的常見方法通常有兩種，一個(gè)是CountVectorizer，另一個(gè)是TfidfVectorizer。對(duì)于每一個(gè)訓(xùn)練文本，CountVectorizer只考慮每個(gè)詞匯在該訓(xùn)練文本中出現(xiàn)的頻率，即詞頻；而TfidfVectorizer除了考慮某一詞匯在當(dāng)前訓(xùn)練文本中出現(xiàn)的頻率外，還需關(guān)注包含這個(gè)詞匯的其它訓(xùn)練文本數(shù)目的倒數(shù)，即逆文檔頻率，是詞頻的權(quán)重調(diào)整系數(shù)。當(dāng)訓(xùn)練文本數(shù)量越多，TfidfVectorizer特征量化方式就更有優(yōu)勢(shì)。3.5實(shí)驗(yàn)第三章貝葉斯學(xué)習(xí)of311113.5.3實(shí)驗(yàn)原理。

3．評(píng)價(jià)指標(biāo)本實(shí)驗(yàn)中，引入了4個(gè)評(píng)價(jià)指標(biāo)，分別是準(zhǔn)確率、精確率、召回率和指標(biāo)。

3.5實(shí)驗(yàn)第三章貝葉斯學(xué)習(xí)of311123.5.4實(shí)驗(yàn)步驟。

本實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境為anaconda3+python3.7的環(huán)境，代碼詳見課本。3.5.5實(shí)驗(yàn)結(jié)果習(xí)題：什么是先驗(yàn)概率和后驗(yàn)概率？2.樸素貝葉斯算法的前提假設(shè)是什么？3.什么是樸素貝葉斯中的零概率問(wèn)題？如何解決？4.樸素貝葉斯算法中如何使用拉普拉斯修正？5.貝葉斯網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)如何學(xué)習(xí)？6.貝葉斯網(wǎng)絡(luò)學(xué)習(xí)的結(jié)構(gòu)如何存儲(chǔ)？AIRack人工智能實(shí)驗(yàn)平臺(tái)——一站式的人工智能實(shí)驗(yàn)平臺(tái)DeepRack深度學(xué)習(xí)一體機(jī)——開箱即用的AI科研平臺(tái)BDRack大數(shù)據(jù)實(shí)驗(yàn)平臺(tái)——一站式的大數(shù)據(jù)實(shí)訓(xùn)平臺(tái)智能硬件大數(shù)據(jù)免費(fèi)托管平臺(tái)環(huán)境大數(shù)據(jù)開放平臺(tái)免費(fèi)大數(shù)據(jù)APP推薦運(yùn)用大數(shù)據(jù)，精彩你生活劉鵬看未來(lái)云創(chuàng)大數(shù)據(jù)我的PM2.5同聲譯微信公眾號(hào)推薦完善的課程體系：大數(shù)據(jù)方向、人工智能方向。面向理論與實(shí)踐，分為本科院校、專科院校、高職院校。感謝聆聽大數(shù)據(jù)挖掘技術(shù)與應(yīng)用機(jī)器學(xué)習(xí)與深度學(xué)習(xí)第四章決策樹4.1決策樹簡(jiǎn)述4.2屬性選擇4.3剪枝處理4.4決策樹算法of31119習(xí)題4.5實(shí)驗(yàn)高級(jí)人工智能人才培養(yǎng)叢書4.1簡(jiǎn)述第四章決策樹of31120某位經(jīng)理在經(jīng)營(yíng)俱樂部的過(guò)程中發(fā)現(xiàn)，某些天好像所有人都來(lái)玩高爾夫，以至于員工們都忙得團(tuán)團(tuán)轉(zhuǎn)還是應(yīng)付不過(guò)來(lái)；而有些天卻一個(gè)人也不來(lái)，使得俱樂部為多余的雇員數(shù)量浪費(fèi)了不少資金。因此，他通過(guò)收集一段時(shí)間的天氣預(yù)報(bào)來(lái)看人們傾向于什么時(shí)候來(lái)打高爾夫，以適時(shí)調(diào)整雇員數(shù)量。1．引入-高爾夫俱樂部雇傭人員與天氣的關(guān)系4.1簡(jiǎn)述第四章決策樹of311211．引入-高爾夫俱樂部雇傭人員與天氣的關(guān)系序號(hào)屬性類標(biāo)號(hào)(Y:打高爾夫；N：不打高爾夫）天況溫度濕度風(fēng)況1晴熱大無(wú)N2晴熱大有N3多云熱大無(wú)Y4雨中大無(wú)Y5雨冷正常無(wú)Y6雨冷正常有N7多云冷正常有Y8晴中大無(wú)N9晴冷正常無(wú)Y10雨中正常無(wú)Y11晴中正常有Y12多云中大有Y13多云熱正常無(wú)Y14雨中大有N結(jié)論：如果天氣狀況是多云，人們總是選擇玩高爾夫，晴天時(shí)大部分人會(huì)來(lái)打球，而只有少數(shù)很著迷的甚至在雨天也會(huì)玩；進(jìn)一步地，在晴天當(dāng)濕度較高時(shí)，顧客們就不太喜歡來(lái)玩球，但如果雨天沒有風(fēng)的話，人們還是愿意到俱樂部來(lái)打高爾夫。這就通過(guò)決策樹給出了一個(gè)解決方案：在潮濕的晴天或者刮風(fēng)的雨天安排少量的雇員，因?yàn)檫@種天氣不會(huì)有太多人來(lái)打高爾夫；而其他天氣則可考慮另外再雇傭一些臨時(shí)員工，使得大批顧客來(lái)玩高爾夫時(shí)俱樂部仍能正常運(yùn)作。4.1簡(jiǎn)述第四章決策樹2．樹型結(jié)構(gòu)決策模型呈現(xiàn)倒置的樹型，因此形象地稱為決策樹。決策樹是一種由節(jié)點(diǎn)和有向邊組成的層次結(jié)構(gòu)。節(jié)點(diǎn)包含一個(gè)根節(jié)點(diǎn)、若干個(gè)內(nèi)部節(jié)點(diǎn)和若干個(gè)葉子節(jié)點(diǎn)。根節(jié)點(diǎn)和每個(gè)內(nèi)部節(jié)點(diǎn)表示一個(gè)屬性的測(cè)試，亦稱為判斷節(jié)點(diǎn)。4.1簡(jiǎn)述第四章決策樹3．樹的構(gòu)建（1）.決策樹的生成（2）.生成樹的剪枝第四章決策樹4.1決策樹簡(jiǎn)述4.2屬性選擇4.3剪枝處理4.4決策樹算法

of31124習(xí)題4.5實(shí)驗(yàn)4.2屬性選擇第四章決策樹決策樹學(xué)習(xí)的關(guān)鍵是如何選擇最優(yōu)劃分屬性。一般而言，隨著劃分過(guò)程不斷進(jìn)行，我們希望決策樹的分枝節(jié)點(diǎn)所包含的樣本盡可能屬于同一類別，即節(jié)點(diǎn)的“純度”越來(lái)越高。決策樹算法通過(guò)引入信息增益或基尼不純度來(lái)對(duì)一個(gè)數(shù)據(jù)集的有序程度進(jìn)行量化。4.2屬性選擇第四章決策樹1．信息增益（1）信息熵假定當(dāng)前樣本集合D中第k類樣本所占的比例為，則D的信息熵定義為：的值越小，則D的純度越高。4.2屬性選擇第四章決策樹1．信息增益（2）信息增益假定離散屬性a有V個(gè)可能的取值

，若使用a來(lái)對(duì)樣本集D進(jìn)行劃分，則會(huì)產(chǎn)生V個(gè)分枝節(jié)點(diǎn)，其中第v個(gè)分枝節(jié)點(diǎn)包含了D中所有在屬性a上取值為

的記為，計(jì)算用屬性a對(duì)樣本集D進(jìn)行劃分所獲得的“信息增益”：信息增益越大，則意味著使用屬性a來(lái)進(jìn)行劃分所獲得的“純度提升”越大。因此，可以用信息增益來(lái)進(jìn)行決策樹的劃分屬性選擇。ID3決策樹學(xué)習(xí)算法就是以信息增益為準(zhǔn)則來(lái)劃分屬性。4.2屬性選擇第四章決策樹1．信息增益例子：高爾夫俱樂部雇傭人員與天氣的關(guān)系序號(hào)屬性類標(biāo)號(hào)(Y: