機(jī)器學(xué)習(xí)算法課件

機(jī)器學(xué)習(xí)算法

機(jī)器學(xué)習(xí)算法 機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)(MachineLearning,ML)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。計(jì)算器學(xué)習(xí)專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，并重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。機(jī)器學(xué)習(xí)是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，其應(yīng)用遍及人工智能的各個(gè)領(lǐng)域，它主要使用歸納、綜合而不是演繹。機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)家想讓計(jì)算機(jī)像人一樣思考，所研發(fā)出來(lái)的計(jì)算機(jī)理論。誕生于上個(gè)世紀(jì)60年代，在最近的十幾年發(fā)展非常迅速。機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)(MachineLearning,ML)機(jī)器學(xué)習(xí)最常見(jiàn)應(yīng)用機(jī)器學(xué)習(xí)最常見(jiàn)應(yīng)用機(jī)器學(xué)習(xí)的學(xué)習(xí)方式監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)遺傳算法機(jī)器學(xué)習(xí)的學(xué)習(xí)方式監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)遺傳算法監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)9分類標(biāo)記label監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)9分類標(biāo)記監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)能實(shí)現(xiàn)，為什么還要研究無(wú)監(jiān)督學(xué)習(xí)？缺乏足夠的先驗(yàn)知識(shí)的領(lǐng)域，難以人工標(biāo)注類別進(jìn)行人工類別標(biāo)注的成本太高監(jiān)督學(xué)習(xí)解決的問(wèn)題：回歸，分類非監(jiān)督學(xué)習(xí)解決的問(wèn)題：降維，聚類，關(guān)聯(lián)規(guī)則2023/10/510監(jiān)督學(xué)習(xí)vs非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)能實(shí)現(xiàn)，為什么還要研究無(wú)監(jiān)強(qiáng)化學(xué)習(xí)命中未命中強(qiáng)化學(xué)習(xí)命中未命中遺傳算法優(yōu)勝劣汰

適者生存遺傳算法優(yōu)勝劣汰適者如何選擇合適算法解決問(wèn)題影響算法選擇的因素：數(shù)據(jù)的大小、質(zhì)量和性質(zhì)可用計(jì)算時(shí)間任務(wù)的緊迫性你想用數(shù)據(jù)做什么算法選擇的基本思路：1.數(shù)據(jù)是否足夠多、數(shù)據(jù)維度是否過(guò)高、數(shù)據(jù)是否存在大量冗余，是則考慮步驟2，否則考慮步驟32.數(shù)據(jù)維度降低、數(shù)據(jù)采樣去重3.明確問(wèn)題：預(yù)測(cè)結(jié)果？二分類？多分類？聚類？強(qiáng)化訓(xùn)練？如何選擇合適算法解決問(wèn)題影響算法選擇的因素：回顧：實(shí)現(xiàn)人工智能開(kāi)發(fā)的流程獲得已有樣本數(shù)據(jù)（經(jīng)驗(yàn)）對(duì)已有數(shù)據(jù)進(jìn)行分析和預(yù)處理根據(jù)需要實(shí)現(xiàn)的智能化目標(biāo)，選擇方法或者模型不斷調(diào)整方法和模型參數(shù)，使其從已有數(shù)據(jù)中學(xué)習(xí)規(guī)律、獲得經(jīng)驗(yàn)，直到期望值與實(shí)際值無(wú)限接近，從而使計(jì)算機(jī)的軟硬件來(lái)模擬人類某些智能行為關(guān)鍵技術(shù)智能行為：數(shù)據(jù)分類、數(shù)據(jù)規(guī)律預(yù)測(cè)、語(yǔ)音識(shí)別、自動(dòng)檢索、圖像識(shí)別等等。2023/10/5回顧：實(shí)現(xiàn)人工智能開(kāi)發(fā)的流程獲得已有樣本數(shù)據(jù)（經(jīng)驗(yàn)）2023機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非明確概念數(shù)據(jù)樣本屬性(特征)標(biāo)簽變量標(biāo)簽數(shù)組矩陣向量明確概念數(shù)據(jù)樣本屬性(特征)標(biāo)簽變量標(biāo)簽數(shù)組矩陣向量明確概念挑西瓜的學(xué)問(wèn)序號(hào)/屬性色澤根蒂敲聲西瓜質(zhì)量1青綠蜷縮濁響微甜2烏黑蜷縮沉悶很甜3淺白硬挺清脆很甜4青綠硬挺沉悶不甜…………………………明確概念挑西瓜的學(xué)問(wèn)序號(hào)/屬性色澤根蒂敲聲西瓜質(zhì)量1青綠蜷縮1.1回歸分析回歸分析（regressionanalysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法為什么使用回歸分析：從實(shí)際應(yīng)用上來(lái)看更好地了解：更好地了解該現(xiàn)象并有可能基于對(duì)該現(xiàn)象的了解來(lái)影響政策的制定以及決定采取何種相應(yīng)措施。例：了解某些特定瀕危鳥(niǎo)類的主要棲息地特征（例如：降水、食物源、植被、天敵），以協(xié)助通過(guò)立法來(lái)保護(hù)該物種。2023/10/5181.1回歸分析回歸分析（regressionanalys1.1回歸分析為什么使用回歸分析：從實(shí)際應(yīng)用上來(lái)看（續(xù)）建模預(yù)測(cè)：對(duì)某種現(xiàn)象建模以預(yù)測(cè)其他地點(diǎn)或其他時(shí)間的數(shù)值，例：如果已知人口增長(zhǎng)情況和典型的天氣狀況，預(yù)計(jì)明年的用電量將會(huì)是多少。探索檢驗(yàn)：假設(shè)根據(jù)以往數(shù)據(jù)探索即將發(fā)生事件，例：公安部門對(duì)城市各個(gè)住宅區(qū)的犯罪活動(dòng)進(jìn)行建模，以更好地了解犯罪活動(dòng)并希望實(shí)施可能阻止犯罪活動(dòng)的策略。

2023/10/5191.1回歸分析為什么使用回歸分析：從實(shí)際應(yīng)用上來(lái)看（續(xù)）21.1回歸分析為什么使用回歸分析：從算法功能上來(lái)看確定因變量Y與自變量X間的定量關(guān)系表達(dá)式，這種表達(dá)式稱為回歸方程；判斷自變量X對(duì)因變量Y影響程度；利用所求得的回歸方程進(jìn)行預(yù)測(cè)和控制目標(biāo)值?；貧w分析的前提：回歸分析是對(duì)具有因果關(guān)系的影響因素（自變量）和預(yù)測(cè)對(duì)象（因變量）所進(jìn)行的數(shù)理統(tǒng)計(jì)分析處理。只有當(dāng)變量與因變量確實(shí)存在某種關(guān)系時(shí)，建立的回歸方程才有意義。2023/10/5201.1回歸分析為什么使用回歸分析：從算法功能上來(lái)看20231.1回歸分析回歸分析分類按照自變量的個(gè)數(shù)：一元回歸和多元回歸分析；按照自變量和因變量之間的關(guān)系類型：線性回歸分析和非線性回歸分析；按照回歸線形狀：線性回歸和非線性回歸等。常見(jiàn)回歸的模型線性回歸邏輯回歸softmax回歸2023/10/5211.1回歸分析回歸分析分類2023/7/30211.2線性回歸回歸分析常用于分析自變量X和因變量Y之間的關(guān)系。比如X＝房子大小和Y＝房?jī)r(jià)之間的關(guān)系、X=(公園人流量，公園門票票價(jià))與Y=(公園收入)之間的關(guān)系等。1.2線性回歸回歸分析常用于分析自變量X和因變量Y之間的關(guān)1.2線性回歸線性回歸的特點(diǎn)因變量是連續(xù)的，自變量（單個(gè)或多個(gè)）可以是連續(xù)的也可以是離散的，回歸線的性質(zhì)是線性的。線性回歸使用最佳的擬合直線（回歸線/回歸模型），建立因變量(Y)和一個(gè)或多個(gè)自變量(X)之間的聯(lián)系。即：Y=a+b*X+e注：a表示截距，b表示直線的傾斜率，e是誤差項(xiàng)。2023/10/5231.2線性回歸線性回歸的特點(diǎn)2023/7/30231.2線性回歸回歸過(guò)程已知N組數(shù)據(jù)，數(shù)據(jù)的特征描述為X，用X1,X2,...,Xj去描述特征值里面分量，假設(shè)這些數(shù)據(jù)分布特點(diǎn)成線性：估計(jì)值：Yi’=a+b*X真實(shí)值：Yi=a+b*X+e誤差項(xiàng)：e=Yi-Yi’=Y-(a+b*X)求得最優(yōu)a、b值，即：使誤差項(xiàng)e的平方和最?。ㄗ钚《朔ǎ?/p>

2023/10/5241.2線性回歸回歸過(guò)程2023/7/30241.2線性回歸誤差誤差平方誤差平方和1.2線性回歸誤差誤差平方誤差平方和1.2線性回歸最小二乘法

—確定回歸系數(shù)誤差平方和=

2023/10/526明確了：Yi’=a+b*X實(shí)現(xiàn)了：可以根據(jù)Xi預(yù)測(cè)Yi可以根據(jù)Yi控制Xi1.2線性回歸最小二乘法—確定回歸系數(shù)2023/7/31.2線性回歸確定相關(guān)系數(shù)r當(dāng)|r|=1時(shí)，表示兩變量為完全線性相關(guān)當(dāng)r=0時(shí)，表示兩變量間無(wú)線性相關(guān)關(guān)系當(dāng)0<|r|<1時(shí)，|r|越接近1，兩變量間線性關(guān)系越密切；|r|越接近于0，兩變量的線性相關(guān)越弱2023/10/5271.2線性回歸確定相關(guān)系數(shù)r2023/7/30271.2線性回歸回歸分析步驟：判斷并構(gòu)造預(yù)測(cè)函數(shù)/回歸模型（Y’）構(gòu)造損失函數(shù)（誤差e）使損失函數(shù)最小，最小二乘法獲得回歸系數(shù)（a,b）分析相關(guān)參數(shù)及結(jié)果（r/分類結(jié)果）利用模型進(jìn)行預(yù)測(cè)2023/10/5281.2線性回歸回歸分析步驟：2023/7/30281.2線性回歸Liner_

regression.example

2023/10/5291.2線性回歸2023/7/30291.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸1.2線性回歸—多元線性回歸擴(kuò)展—非線性回歸

擴(kuò)展—非線性回歸

1.3邏輯回歸邏輯回歸的特點(diǎn)用來(lái)計(jì)算“事件=Success”和“事件=Failure”的概率。當(dāng)因變量的類型屬于二元（1/0，真/假，是/否）變量時(shí)，則使用邏輯回歸。邏輯回歸適用的問(wèn)題事件發(fā)生的概率預(yù)測(cè)、二分類問(wèn)題思考：多分類問(wèn)題是否能采用邏輯回歸？

2023/10/5341.3邏輯回歸邏輯回歸的特點(diǎn)2023/7/30341.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：構(gòu)造預(yù)測(cè)函數(shù)/回歸模型

2023/10/5351.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/30351.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：構(gòu)造預(yù)測(cè)函數(shù)/回歸模型

邊界函數(shù)輸入x分類結(jié)果為類別1和類別0的概率

2023/10/5361.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/30361.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：構(gòu)造損失函數(shù)

2023/10/5371.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/30371.3邏輯回歸2023/10/5381.3邏輯回歸2023/7/30381.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：使損失函數(shù)最小，獲得回歸系數(shù)（按照最小二乘法直接求導(dǎo)思想）2023/10/539為什么無(wú)法求解？1.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/3039為什1.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）梯度：在微積分里面，對(duì)多元函數(shù)的參數(shù)求?偏導(dǎo)數(shù)，把求得的各個(gè)參數(shù)的偏導(dǎo)數(shù)以向量的形式寫出來(lái)，就是梯度。2023/10/5401.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/30401.3邏輯回歸2023/10/5411.3邏輯回歸2023/7/30411.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）2023/10/5421.3邏輯回歸邏輯回歸實(shí)現(xiàn)過(guò)程：2023/7/30421.3邏輯回歸實(shí)現(xiàn)二分類目標(biāo)實(shí)現(xiàn)事件發(fā)生概率預(yù)測(cè)1.3邏輯回歸實(shí)現(xiàn)二分類目標(biāo)實(shí)現(xiàn)事件發(fā)生概率預(yù)測(cè)1.3邏輯回歸–關(guān)鍵問(wèn)題導(dǎo)讀p/y的取值可能在0-1之間，不一定恰好等于0或者1，那怎么劃分類？決策邊界如何進(jìn)行設(shè)置？解決方案：

如果分類器用的是回歸模型，并且已經(jīng)訓(xùn)練好了一個(gè)模型，可以設(shè)置一個(gè)閾值0.5：如果hθ(x)≥0.5，則預(yù)測(cè)y=1,既y屬于正例；如果hθ(x)<0.5，則預(yù)測(cè)y=0,既y屬于負(fù)例；2023/10/5441.3邏輯回歸–關(guān)鍵問(wèn)題導(dǎo)讀p/y的取1.3邏輯回歸--思考邏輯回歸實(shí)現(xiàn)多分類：2023/10/545關(guān)鍵：閾值的設(shè)置1.3邏輯回歸--思考邏輯回歸實(shí)現(xiàn)多分類：2023/71.4softmax回歸

softmax回歸的特點(diǎn)：該模型是邏輯回歸模型在多分類問(wèn)題上的推廣，在多分類問(wèn)題中，類標(biāo)簽y可以取兩個(gè)以上的值，在邏輯回歸中，樣本數(shù)據(jù)的y值為{0，1}，而在softmax回歸中，樣本的y值為{1，k}。softmax回歸適用的問(wèn)題多分類問(wèn)題、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的激活函數(shù)

2023/10/5461.4softmax回歸softmax回歸的特點(diǎn)：2021.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：構(gòu)造預(yù)測(cè)函數(shù)/回歸模型2023/10/5471.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：2021.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：構(gòu)造損失函數(shù)注：2023/10/5481.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：2021.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：使損失函數(shù)最小，獲得回歸系數(shù)（梯度下降法）2023/10/5491.4softmax回歸softmax回歸實(shí)現(xiàn)過(guò)程：202Softmax回歸vsk個(gè)二元分類器

當(dāng)做一個(gè)k分類的應(yīng)用時(shí)，選用Softmax分類還是k個(gè)獨(dú)立的二元分類器?解決方案：取決于類別之間是否互斥例如：對(duì)人聲音樂(lè)、舞曲、影視原聲和流行歌曲分類，這些類別之間并不是互斥的，一首歌曲可以來(lái)源于影視原聲，同時(shí)也包含人聲。這種情況下，使用4個(gè)二分類的logistic回歸分類器更為合適。2023/10/550Softmax回歸vsk個(gè)二元分類器機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非2.1分類分類：監(jiān)督學(xué)習(xí)，將一些新的數(shù)據(jù)項(xiàng)映射到給定類別中的某個(gè)類別中

。

2023/10/552動(dòng)物種類體型翅膀數(shù)量腳的只數(shù)是否產(chǎn)蛋是否有毛類別狗中04否是哺乳動(dòng)物豬大04否是哺乳動(dòng)物牛大04否是哺乳動(dòng)物麻雀小22是是鳥(niǎo)類天鵝中22是是鳥(niǎo)類大雁中22是是鳥(niǎo)類動(dòng)物A大02是無(wú)？動(dòng)物B中22否是？2.1分類分類：監(jiān)督學(xué)習(xí)，將一些新的數(shù)據(jù)項(xiàng)映射到給定類別中2.1分類分類問(wèn)題也是一類很常見(jiàn)的問(wèn)題。比如說(shuō)，怎么判定一個(gè)人是高富帥還是吊絲?2.1分類分類問(wèn)題也是一類很常見(jiàn)的問(wèn)題。比如說(shuō)，怎么判定2.1分類實(shí)現(xiàn)分類步驟將樣本轉(zhuǎn)化為等維的數(shù)據(jù)特征（特征轉(zhuǎn)化）選擇與類別相關(guān)的特征（特征選擇/提?。┙⒎诸惸Ｐ突蚍诸惼鬟M(jìn)行分類（分類）2023/10/5542.1分類實(shí)現(xiàn)分類步驟2023/7/3054特征轉(zhuǎn)化2023/10/555如何轉(zhuǎn)化為機(jī)器識(shí)別的數(shù)據(jù)？特征轉(zhuǎn)化2023/7/3055如何轉(zhuǎn)化為機(jī)器識(shí)別的數(shù)據(jù)？特征轉(zhuǎn)化轉(zhuǎn)化為機(jī)器識(shí)別的數(shù)據(jù)1.Categorical

Integer編碼（二進(jìn)制，十進(jìn)制）概率密度2.數(shù)據(jù)轉(zhuǎn)化為無(wú)綱量數(shù)據(jù)數(shù)據(jù)歸一化:x{0,1}2023/10/556特征轉(zhuǎn)化轉(zhuǎn)化為機(jī)器識(shí)別的數(shù)據(jù)2023/7/3056特征選擇/提取選擇與分類相關(guān)的特征，提升分類效果，提高分類效率：初步觀察法計(jì)算相關(guān)系數(shù)—a、b、r值的計(jì)算計(jì)算互信息—決策樹(shù)中使用降維2023/10/557特征選擇/提取選擇與分類相關(guān)的特征，提升分類效果，提高分類效分類訓(xùn)練集測(cè)試集測(cè)試結(jié)果衡量分類訓(xùn)練集測(cè)試集測(cè)試結(jié)果衡量2.2KNNKNN（k近鄰分類）建模思想已知樣本集中每一數(shù)據(jù)與所屬分類的對(duì)應(yīng)關(guān)系，輸入沒(méi)有標(biāo)簽的新數(shù)據(jù)后，將新數(shù)據(jù)的每個(gè)特征與樣本集中的數(shù)據(jù)對(duì)應(yīng)的特征進(jìn)行比較，提取樣本集中特征最相似的數(shù)據(jù)（最近鄰）的分類標(biāo)簽。一般來(lái)說(shuō)，只選擇樣本集中前k個(gè)最相似的數(shù)據(jù)，再選擇k個(gè)最相似的數(shù)據(jù)中出現(xiàn)次數(shù)最多的分類，作為新數(shù)據(jù)的分類。建模關(guān)鍵訓(xùn)練集、距離或相似性的衡量、k的大小2023/10/5592.2KNNKNN（k近鄰分類）建模思想2023/7/32.2KNN計(jì)算未知樣本點(diǎn)（想要分類的點(diǎn)）到已知的每個(gè)樣本點(diǎn)的距離（相似度）2.2KNN計(jì)算未知樣本點(diǎn)（想要分類的點(diǎn)）到已知的每個(gè)樣本2.2KNN篩選距離最近的k個(gè)鄰居點(diǎn)（假設(shè)k=5）5個(gè)最近鄰居點(diǎn)：4個(gè)屬于w11個(gè)屬于w3xu屬于w1類2.2KNN篩選距離最近的k個(gè)鄰居點(diǎn)（假設(shè)k=5）5個(gè)最近2.2KNN分類步驟：給定一個(gè)要分類的查詢實(shí)例xq算距離：給定測(cè)試對(duì)象，計(jì)算它與訓(xùn)練集中的每個(gè)對(duì)象的距離：找鄰居：圈定距離最近的k個(gè)訓(xùn)練對(duì)象

作為測(cè)試對(duì)象的近鄰做分類：根據(jù)這k個(gè)近鄰歸屬的主要類別，來(lái)對(duì)測(cè)試對(duì)象分類2023/10/5622.2KNN分類步驟：給定一個(gè)要分類的查詢實(shí)例xq202機(jī)器學(xué)習(xí)算法課件2.2KNN

如何選擇K值，對(duì)最終的歸類結(jié)果有很大的影響，根據(jù)實(shí)踐經(jīng)驗(yàn)，k的取值通常不大于20。2023/10/5642.2KNN2023/7/30642.2KNNKNN算法優(yōu)點(diǎn)：1.簡(jiǎn)單，易于理解，易于實(shí)現(xiàn)，無(wú)需估計(jì)參數(shù)，無(wú)需訓(xùn)練；2.適合對(duì)稀有事件進(jìn)行分類；3.特別適合于多分類問(wèn)題KNN算法優(yōu)點(diǎn)：當(dāng)樣本不平衡時(shí)，如一個(gè)類的樣本容量很大，而其他類樣本容量很小時(shí)，有可能導(dǎo)致當(dāng)輸入一個(gè)新樣本時(shí)，該樣本的K個(gè)鄰居中大容量類的樣本占多數(shù)計(jì)算量較大，因?yàn)閷?duì)每一個(gè)待分類的文本都要計(jì)算它到全體已知樣本的距離沒(méi)有具體規(guī)則2.2KNNKNN算法優(yōu)點(diǎn)：2.3BayesBayes（貝葉斯）建模思想：貝葉斯分類器的分類原理是通過(guò)某對(duì)象的先驗(yàn)概率，利用貝葉斯定理計(jì)算出其后驗(yàn)概率，即該對(duì)象屬于某一類的概率，選擇具有最大后驗(yàn)概率的類作為該對(duì)象所屬的類。貝葉斯定理：由于P(X)對(duì)于所有類為常數(shù)，只需要P(X|H)P(H)最大即可

2023/10/5662.3BayesBayes（貝葉斯）建模思想：2023/72.3Bayes2.3Bayes機(jī)器學(xué)習(xí)算法課件2.3Bayes分類步驟：

2023/10/5692.3Bayes分類步驟：2023/7/3069貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)

對(duì)于SNS社區(qū)來(lái)說(shuō)，不真實(shí)賬號(hào)（使用虛假身份或用戶的小號(hào)）是一個(gè)普遍存在的問(wèn)題，作為SNS社區(qū)的運(yùn)營(yíng)商，希望可以檢測(cè)出這些不真實(shí)賬號(hào)，從而在一些運(yùn)營(yíng)分析報(bào)告中避免這些賬號(hào)的干擾，亦可以加強(qiáng)對(duì)SNS社區(qū)的了解與監(jiān)管。

2023/10/570是真是假？貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)1、確定特征屬性及劃分三個(gè)特征屬性：a1：日志數(shù)量/注冊(cè)天數(shù)

a2：好友數(shù)量/注冊(cè)天數(shù)

a3：是否使用真實(shí)頭像類別標(biāo)記：H=0表示真實(shí)賬號(hào)，H=1表示不真實(shí)賬號(hào)在SNS社區(qū)中這三項(xiàng)都是可以直接從數(shù)據(jù)庫(kù)里得到或計(jì)算出來(lái)的，下面給出劃分：a1：{a1<=0.05,0.05<a1<0.2,a1>=0.2}

a2：{a<2=0.1,0.1<a2<0.8,a2>=0.8}

a3：{a3=0（不是）,a3=1（是）}2023/10/571貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)1、確定特征屬性貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)

2、獲取訓(xùn)練樣本使用運(yùn)維人員曾經(jīng)人工檢測(cè)過(guò)的10000個(gè)賬號(hào)作為訓(xùn)練樣本，8900條為真實(shí)賬號(hào)，1100條為不真實(shí)賬號(hào)。

3、計(jì)算訓(xùn)練樣本中每個(gè)類別的頻率P(H=0)=8900/10000=0.89P(H=1)=1100/10000=0.112023/10/572貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)

2、獲取訓(xùn)練貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)4、計(jì)算每個(gè)類別條件下各個(gè)特征屬性劃分的頻率（P(x|H)）P(a1<=0.05|H=0)=0.3P(a1<=0.05|H=1)=0.8P(0.05<a1<0.2|H=0)=0.5P(0.05<a1<0.2|H=1)=0.1P(a1>0.2|H=0)=0.2P(a1>0.2|H=1)=0.1P(a2<=0.1|H=0)=0.1P(a2<=0.1|H=1)=0.7P(0.1<a2<0.8|H=0)=0.7P(0.1<a2<0.8|H=1)=0.2P(a2>0.8|H=0)=0.2P(a2>0.8|H=0)=0.1P(a3=0|H=0)=0.2P(a3=1|H=0)=0.8P(a3=0|H=1)=0.9P(a3=1|H=1)=0.12023/10/573貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)4、計(jì)算每個(gè)類別貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)

5、使用分類器進(jìn)行鑒別待鑒別賬號(hào)屬性如下a1：日志數(shù)量與注冊(cè)天數(shù)的比率為0.1

a2：好友數(shù)與注冊(cè)天數(shù)的比率為0.2

a3：不使用真實(shí)頭像(a=0)

P(H=0)P(x|H=0)=P(H=0)P(0.05<a1<0.2|H=0)P(0.1<a2<0.8|H=0)P(a3=0|H=0)

=0.89*0.5*0.7*0.2=0.0623

P(H=1)P(x|H=1)=P(H=1)P(0.05<a1<0.2|H=1)P(0.1<a2<0.8|H=1)P(a3=0|H=1)

=0.11*0.1*0.2*0.9=0.00198P（真實(shí)賬號(hào)）>P（不真實(shí)賬號(hào)）：該屬性取值下的賬號(hào)為真實(shí)賬號(hào)2023/10/574貝葉斯分類實(shí)例--檢測(cè)SNS社區(qū)中不真實(shí)賬號(hào)

5、使用分類器2.4DecisionTree分類過(guò)程：模型建立(ModelBuilding)模型評(píng)估(ModelEvaluation)使用模型(UseModel)性別年齡婚姻否是否是FemaleMale<35≧35未婚已婚分類規(guī)則IF性別=FemaleAND年齡<35THEN購(gòu)買RV房車=否IF性別=FemaleAND年齡≧35THEN購(gòu)買RV房車=是IF性別=MaleAND婚姻=未婚THEN購(gòu)買RV房車=否IF性別=MaleAND婚姻=已婚THEN購(gòu)買RV房車=是數(shù)據(jù)庫(kù)訓(xùn)練樣本(trainingsamples)建立模型測(cè)試樣本(testingsamples)評(píng)估模型2.4DecisionTree分類過(guò)程：性別年齡婚姻否是樣本實(shí)例訓(xùn)練樣本婚姻年齡家庭

所得否是否是未婚已婚<35≧35低高否小康1.建立模型測(cè)試樣本2.模型評(píng)估X錯(cuò)誤率為66.67%修改模型3.使用模型樣本實(shí)例訓(xùn)練樣本婚姻年齡家庭

所得否是否是未婚已婚<35≧2.4DecisionTree根部節(jié)點(diǎn)(rootnode)中間節(jié)點(diǎn)(non-leafnode)(代表屬性)分支(branches)(代表屬性值/特征值)葉節(jié)點(diǎn)(leafnode)(代表分類后所獲得的分類標(biāo)記)（2）決策樹(shù)結(jié)構(gòu)2.4DecisionTree根部節(jié)點(diǎn)(rootnod2.4DecisionTree決策樹(shù)結(jié)構(gòu)：節(jié)點(diǎn)

特征屬性分支

屬性值根結(jié)點(diǎn)

信息量最大的屬性中間結(jié)點(diǎn)

該結(jié)點(diǎn)為根的子樹(shù)所包含的樣本子集中信息量最大的屬性葉結(jié)點(diǎn)

樣本的類別標(biāo)簽

782.4DecisionTree決策樹(shù)結(jié)構(gòu)：782.4DecisionTree決策樹(shù)建樹(shù)規(guī)則—ID3對(duì)當(dāng)前例子集合，計(jì)算各特征的互信息；選擇互信息最大的特征Ak作為根節(jié)點(diǎn)；把在Ak處取值相同的例子歸于同一子集，Ak取幾個(gè)值就得幾個(gè)子集；對(duì)既含正例又含反例的子集，遞歸調(diào)用建樹(shù)算法；若子集僅含正例或反例，對(duì)應(yīng)分枝標(biāo)上類別。

792.4DecisionTree決策樹(shù)建樹(shù)規(guī)則—ID37980NO.屬性類別天氣A1氣溫A2濕度A3風(fēng)A41晴熱高無(wú)風(fēng)N2晴熱高有風(fēng)N3多云熱高無(wú)風(fēng)P4雨適中高無(wú)風(fēng)P5雨冷正常無(wú)風(fēng)P6雨冷正常有風(fēng)N7多云冷正常有風(fēng)P8晴適中高無(wú)風(fēng)N9晴冷正常無(wú)風(fēng)P10雨適中正常無(wú)風(fēng)P11晴適中正常有風(fēng)P12多云適中高有風(fēng)P13多云熱正常無(wú)風(fēng)P14雨適中高有風(fēng)N4個(gè)屬性：天氣可取值：晴，多云，雨氣溫可取值：冷，適中，熱濕度可取值：高，正常風(fēng)可取值：有風(fēng)，無(wú)風(fēng)類別：類別可取值：N，P80NO.屬性類別天氣A1氣溫A2濕度A3風(fēng)A41晴熱高無(wú)風(fēng)DecisionTree（1）信息熵：每一類別發(fā)生的概率：|S|表示例子集S的總數(shù)，|ui|表示類別ui的例子數(shù)，對(duì)9個(gè)正例和5個(gè)反例有：P（u1）=9/14 P（u2）=5/14H（U）=-（9/14）log（9/14）-（5/14）log（5/14）=0.94bit

81DecisionTree（1）信息熵：81DecisionTree案例（2）條件熵：屬性A1取值vj時(shí)，類別ui的條件概率：A1=天氣取值v1=晴，v2=多云，v3=雨在A1處取值晴的例子5個(gè)，多云的例子4個(gè)，雨的例子5個(gè)，則：P（v1）=5/14P（v2）=4/14P（v3）=5/14取值為晴的5個(gè)例子中有2個(gè)P類、3個(gè)N類，則：P（u1/v1）=2/5，P（u2/v1）=3/5同理有：P（u1/v2）=4/4

，P（u2/v2）=0，P（u1/v3）=2/5，P（u2/v3）=3/5H(U/V)=(5/14)((2/5)log(5/2)+(3/5)log(5/3))+(4/14)((4/4)log(4/4+0)+(5/14)((2/5)log(5/2)+(3/5)log(5/3))=0.694bit82DecisionTree案例（2）條件熵：82DecisionTree案例（3）互信息：信息熵-條件熵對(duì)A1=天氣處有：I（天氣）=H（U）-H（U|V）=0.94-0.694=0.246bit類似可得：I（氣溫）=0.029bitI（濕度）=0.151bitI（風(fēng)）=0.048bit（4）建決策樹(shù)的樹(shù)根和分枝ID3算法將選擇互信息最大的特征天氣作為樹(shù)根，在14個(gè)例子中對(duì)天氣的3個(gè)取值進(jìn)行分枝，3個(gè)分枝對(duì)應(yīng)3個(gè)子集，分別是:F1={1，2，8，9，11}，F(xiàn)2={3，7，12，13}，F(xiàn)3={4，5，6，10，14}其中F2中的例子全屬于P類，因此對(duì)應(yīng)分枝標(biāo)記為P，其余兩個(gè)子集既含有正例又含有反例，將遞歸調(diào)用建樹(shù)算法。83DecisionTree案例（3）互信息：信息熵-條件熵8天氣濕度風(fēng)晴雨多云高正常有風(fēng)無(wú)風(fēng)PNNPP天氣濕度風(fēng)晴雨多云高正常有風(fēng)無(wú)風(fēng)PNNPP2.4DecisionTree（4）決策樹(shù)模型特點(diǎn)：優(yōu)點(diǎn)：不需要任何領(lǐng)域知識(shí)或參數(shù)假設(shè)。適合高維數(shù)據(jù)。短時(shí)間內(nèi)處理大量數(shù)據(jù)，得到可行且效果較好的結(jié)果。缺點(diǎn)：對(duì)于各類別樣本數(shù)量不一致數(shù)據(jù)，信息增益偏向于那些具有更多數(shù)值的特征。忽略屬性之間的相關(guān)性。不支持在線學(xué)習(xí)。2023/10/5852.4DecisionTree（4）決策樹(shù)模型特點(diǎn)：202.4DecisionTree2.4DecisionTree機(jī)器學(xué)習(xí)算法課件2.5SVM線性分類分類線分類平面2.5SVM線性分類分類線分類平面2.5SVM2.5SVM2.5SVM(1)支持向量機(jī)（SVM）基本思想：是二值分類算法：計(jì)算機(jī)隨機(jī)產(chǎn)生一個(gè)分類線/分類面并移動(dòng)它，直到訓(xùn)練集中屬于不同類別的樣本點(diǎn)正好位于該超平面的兩側(cè)。顯然，這種機(jī)理能夠解決線性分類問(wèn)題，但不能夠保證產(chǎn)生分類線/分類面是最優(yōu)的分類模型。支持向量機(jī)建立最優(yōu)分類線/分類面能夠在保證分類精度的同時(shí)，使超平面兩側(cè)的空白區(qū)域最大化，從而實(shí)現(xiàn)對(duì)線性可分問(wèn)題的最優(yōu)分類。672.5SVM(1)支持向量機(jī)（SVM）基本思想：672.5SVM（2）支持向量機(jī)（SVM）關(guān)鍵問(wèn)題：SVM（支持向量機(jī)）主要針對(duì)小樣本數(shù)據(jù)進(jìn)行學(xué)習(xí)、分類的一種方法?！爸С窒蛄俊保簞t是指訓(xùn)練集中的某些訓(xùn)練點(diǎn)，這些點(diǎn)最靠近分類決策面，是最難分類的數(shù)據(jù)點(diǎn)67最優(yōu)分類線/面？2.5SVM（2）支持向量機(jī)（SVM）關(guān)鍵問(wèn)題：67最優(yōu)分2.5SVM分類面：把一個(gè)空間按照類別切分兩部分的平面，在二維空間中，分類面相當(dāng)于一條直線，三維空間中相當(dāng)于一個(gè)平面，高維空間為超平面。線性分類面函數(shù)形式為：

wT,b是分類面函數(shù)參數(shù)，x是輸入的樣本,wT權(quán)向量，b是偏移量2023/10/5922.5SVM分類面：把一個(gè)空間按照類別切分兩部分的平面，在f

xyest表示+1表示-1f(x,w,b)=sign(wx+b)如何分類這些數(shù)據(jù)？wx+b=0wx+b<0wx+b>02.5SVMafxyest表示+1f(x,w,b)=f

xyest表示+1表示-1f(x,w,b)=sign(wx+b)任何一個(gè)分類器（一條線）都有效，但是哪一個(gè)是最好的?a2.5SVMfxyest表示+1f(x,w,b)=fxayest表示+1表示-1f(x,w,b)=sign(wx+b)假設(shè)你的測(cè)試數(shù)據(jù)可能出現(xiàn)在這里2.5SVMfxayest表示+1f(x,w,b)f

xyestMax-marginf

xayest表示+1表示-1f(x,w,b)=sign(wx+b)定義分類器的邊界以改善分類性能.2.5SVMfxyestMax-marginf表示+1表示-1SupportVectors是邊界上的一些樣本點(diǎn)1.這種理論說(shuō)明只有Margin上的樣本點(diǎn)是重要的，其他樣本都不重要2.實(shí)踐證明這種假設(shè)效果非常好.Max-margin2.5SVM表示+1SupportVectors是邊界上的一些樣本w.x++b=+1w.x-+b=-1w.(x+-x-)=2“類標(biāo)號(hào)=+1”的區(qū)域“類標(biāo)號(hào)=-1”的區(qū)域wx+b=1wx+b=0wx+b=-1X-x+M=MarginWidthMax-margin2.5SVMw.x++b=+1“類標(biāo)號(hào)=+1”的區(qū)域98假定訓(xùn)練數(shù)據(jù)線性分類面函數(shù)Max-margin轉(zhuǎn)化成優(yōu)化問(wèn)題2.5SVM假定訓(xùn)練數(shù)據(jù)2.5SVM最優(yōu)分類面求解問(wèn)題表示成約束優(yōu)化問(wèn)題最小化目標(biāo)函數(shù)約束條件拉格朗日函數(shù)2.5SVM最優(yōu)分類面求解問(wèn)題表示成約束優(yōu)化問(wèn)題最小化目標(biāo)函數(shù)2.5SLagrange函數(shù)成立條件2.5SVMLagrange函數(shù)2.5SVM101x1=(0,0)T,y1=+1x2=(1,0)T,y2=+1x3=(2,0)T,y3=-1x4=(0,2)T,y4=-1代入x,y值線性SVM求解實(shí)例x1=(0,0)T,y1=+1代入x,y值線性S求得

1,

2,3,4的值，進(jìn)而求得w和b的值。代入(3/2,0),(0,3/2)點(diǎn)可以知道求得1,2,3,4的值，進(jìn)而求得w和b的值。1032.6Ensemblelearning（1）

集成學(xué)習(xí)（Ensemblelearning）基本思想在機(jī)器學(xué)習(xí)中，直接建立一個(gè)高性能的分類器是很困難的。如果能找到一系列性能相對(duì)較差的個(gè)體分類器（弱分類器），并把它們集成起來(lái)的話，也許就能得到更好的分類器，從而提高整體分類器的泛化能力。所有個(gè)體學(xué)習(xí)器均為決策樹(shù)時(shí)，稱為“決策樹(shù)集成”所有個(gè)體學(xué)習(xí)器均為神經(jīng)網(wǎng)絡(luò)時(shí)，稱為“神經(jīng)網(wǎng)絡(luò)集成”所有個(gè)體學(xué)習(xí)器不全是一個(gè)種類的，………….2023/10/51042.6Ensemblelearning（1）集成學(xué)習(xí)（ClassifierensembleΣαihi(x)hn(x)h2(x)h1(x)InputvectorClassifier1Classifier2……ClassifierNCombineClassifiersOutputxClassifierensembleΣαihi(x)hn(2.6Ensemblelearning（2）

集成學(xué)習(xí)關(guān)鍵內(nèi)容如何構(gòu)建具有差異性的個(gè)體分類器？通過(guò)改變訓(xùn)練集來(lái)構(gòu)造不同的個(gè)體分類器，且個(gè)體學(xué)習(xí)器越精確、差異越大，集成越好；構(gòu)建方法：Bagging；Boosting；RandomForest；如何將這些分類器的結(jié)果進(jìn)行整合（集合策略）？多數(shù)投票法；加權(quán)平均；2023/10/51062.6Ensemblelearning（2）集成學(xué)習(xí)關(guān)2.6Ensemblelearning（3）構(gòu)建個(gè)體分類器方法---Bagging從大小為n的原始數(shù)據(jù)集D中獨(dú)立隨機(jī)地抽取n’個(gè)數(shù)據(jù)(n’<=n)，形成一個(gè)自助數(shù)據(jù)集；重復(fù)上述過(guò)程，產(chǎn)生出多個(gè)獨(dú)立的自助數(shù)據(jù)集；利用每個(gè)自助數(shù)據(jù)集訓(xùn)練出一個(gè)“個(gè)體分類器”；Bagging個(gè)體分類器整合策略：最終的分類結(jié)果由這些“個(gè)體分類器”各自的判別結(jié)果投票決定（投票法）2023/10/51072.6Ensemblelearning（3）構(gòu)建個(gè)體分類2.6Ensemblelearning（4）構(gòu)建個(gè)體分類器方法---BoostingStep1:原始訓(xùn)練集輸入Step2:計(jì)算訓(xùn)練集中各樣本的權(quán)重Step3:采用已知算法訓(xùn)練個(gè)體分類器，并對(duì)每個(gè)樣本進(jìn)行判別Step4:計(jì)算對(duì)此次的個(gè)體分類器的權(quán)重Step5:轉(zhuǎn)到Step2,直到循環(huán)到達(dá)一定次數(shù)或者某度量標(biāo)準(zhǔn)符合要求Boosting個(gè)體分類器集成策略：將弱學(xué)習(xí)機(jī)按其相應(yīng)的權(quán)重加權(quán)組合形成強(qiáng)學(xué)習(xí)機(jī)（加權(quán)平均）2023/10/51082.6Ensemblelearning（4）構(gòu)建個(gè)體分類2.6EnsemblelearningBoosting方法中各樣本的分配權(quán)重：提高分錯(cuò)樣本的權(quán)重沒(méi)有先驗(yàn)知識(shí)的情況下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集如果有N個(gè)樣本，每個(gè)樣本的分布概率為1/N；每次循環(huán)一后提高錯(cuò)誤樣本的分布概率，分錯(cuò)樣本在訓(xùn)練集中所占權(quán)重增大，使得下一次循環(huán)的弱學(xué)習(xí)機(jī)能夠加強(qiáng)對(duì)這些錯(cuò)誤樣本的訓(xùn)練；反映了stronglearner對(duì)樣本的假設(shè)是否正確2023/10/51092.6EnsemblelearningBoosting方2.6Ensemblelearning（5）構(gòu)建個(gè)體分類器方法---RandomForest一種新型分類和預(yù)測(cè)模型，它具有需要調(diào)整的參數(shù)少，不容易過(guò)度擬合，分類速度快，能高效處理大樣本數(shù)據(jù)等特點(diǎn)。Bagging和AdaBoost等方法只是通過(guò)改變樣本的權(quán)重來(lái)獲得不同的弱分類器。隨機(jī)森林（RF）則通過(guò)同時(shí)改變樣本和特征子集來(lái)獲得不同的弱分類器。采用隨機(jī)的方式建立一個(gè)森林，個(gè)體分類器由決策樹(shù)組成，且之間沒(méi)有關(guān)聯(lián)。對(duì)于新的測(cè)試樣本，讓森林中的每一棵決策樹(shù)分別進(jìn)行一下判斷，依據(jù)多數(shù)者投票方法決定樣本的類別。2023/10/51102.6Ensemblelearning（5）構(gòu)建個(gè)體分類2.6Ensemblelearning2023/10/51112.6Ensemblelearning2023/7/302.6Ensemblelearning2023/10/51122.6Ensemblelearning2023/7/302.6Ensemblelearning2023/10/51132.6Ensemblelearning2023/7/302.6Ensemblelearning–關(guān)鍵問(wèn)題導(dǎo)讀（6）既然多個(gè)個(gè)體的集成比單個(gè)個(gè)體更好，那么是不是個(gè)體越多越好?在預(yù)測(cè)時(shí)需要更大的計(jì)算開(kāi)銷，因?yàn)橐?jì)算更多的個(gè)體預(yù)測(cè)更大的存儲(chǔ)開(kāi)銷，因?yàn)橛懈嗟膫€(gè)體需要保存?zhèn)€體的增加將使得個(gè)體間的差異越來(lái)越難以獲得2023/10/51142.6Ensemblelearning–關(guān)鍵問(wèn)題導(dǎo)讀機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非3.1聚類分析聚類：根據(jù)數(shù)據(jù)的“相似性”將數(shù)據(jù)歸納為多類的過(guò)程良好的聚類效果需滿足：同一類中，樣本之間保證高相似性類與類之間，樣本之間要高差異性或不相似相似性衡量標(biāo)準(zhǔn)的選擇，對(duì)于聚類(clustering)十分重要如何評(píng)估樣本之間相似性？相似性的衡量標(biāo)準(zhǔn)？

2023/10/51163.1聚類分析聚類：根據(jù)數(shù)據(jù)的“相似性”將數(shù)據(jù)歸納為多類的

（1）相似性

117

（1）相似性

117（2）相似性衡量方法（1）歐氏距離（2）曼哈頓距離（3）余弦相似度

2023/10/5118（2）相似性衡量方法（1）歐氏距離（3）典型聚類算法K-means：建立數(shù)據(jù)的不同分割，并用歐氏距離等評(píng)價(jià)聚類結(jié)果GMM：對(duì)于每個(gè)類假定一個(gè)分布模型，試圖找到每個(gè)類最好的模型Aprior：從數(shù)據(jù)背后發(fā)現(xiàn)事物之間可能存在的關(guān)聯(lián)或者聯(lián)系2023/10/5119（3）典型聚類算法K-means：建立數(shù)據(jù)的不同分割，并用歐3.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個(gè)對(duì)象分成k個(gè)簇（類）處理過(guò)程1：選擇k個(gè)點(diǎn)作為初始的聚類中心；

2023/10/51203.2K-meansk-means算法也就是k均值算法203.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個(gè)對(duì)象分成k個(gè)簇（類）處理過(guò)程2：剩下的點(diǎn)，根據(jù)其與聚類中心的歐式距離，將其歸入最近的簇

2023/10/51213.2K-meansk-means算法也就是k均值算法203.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個(gè)對(duì)象分成k個(gè)簇（類）處理過(guò)程3：對(duì)每個(gè)簇，計(jì)算所有點(diǎn)的均值

作為新的聚類中心

2023/10/51223.2K-meansk-means算法也就是k均值算法203.2K-meansk-means算法也就是k均值算法k-means算法以k為參數(shù)，把n個(gè)對(duì)象分成k個(gè)簇（類）處理過(guò)程4：重復(fù)(2),(3)步驟，

直到聚類中心不再發(fā)生改變

2023/10/51233.2K-meansk-means算法也就是k均值算法203.2K-means---關(guān)鍵問(wèn)題導(dǎo)讀(1)K值怎么確定？解決方案：根據(jù)實(shí)際的業(yè)務(wù)需求，人工來(lái)指定。(2)關(guān)于初始質(zhì)心的選擇,會(huì)對(duì)分類結(jié)果產(chǎn)生很大影響，可能偏離全局最優(yōu)解或者增加計(jì)算量。解決方案：隨機(jī)多次選擇不同的初始聚類中心，反復(fù)多次進(jìn)行實(shí)驗(yàn)。(3)如何判斷算法是否該停止？解決方法：隨機(jī)選擇質(zhì)心，迭代計(jì)算每個(gè)數(shù)據(jù)到新質(zhì)心的距離，直到新質(zhì)心和原質(zhì)心相等，算法結(jié)束。2023/10/51243.2K-means---關(guān)鍵問(wèn)題導(dǎo)讀(1)K值怎么確定？3.2K-means---實(shí)例Kmeans_user_age.clustering2023/10/51253.2K-means---實(shí)例2023/7/301253.2K-means---局限性屬于“硬聚類”，每個(gè)樣本只能屬于一個(gè)類別。K-means對(duì)異常點(diǎn)的“免疫力”差，異常值對(duì)其聚類中心影響比較大（改進(jìn)：中心不直接取均值，而是找均值最近的樣本點(diǎn)代替--k-medoids算法）。對(duì)于團(tuán)狀的數(shù)據(jù)點(diǎn)集區(qū)分度好，對(duì)于帶狀(環(huán)繞)等“非凸”形狀不太好。2023/10/51263.2K-means---局限性屬于“硬聚類”，每個(gè)樣本只3.3GMM（高斯混合模型）GMM的產(chǎn)生解決了K-means的局限性2023/10/51273.3GMM（高斯混合模型）GMM的產(chǎn)生解決了K-mean3.3GMM（高斯混合模型）（1）GMM是如何解決上述問(wèn)題：求解每個(gè)測(cè)試數(shù)據(jù)屬于某個(gè)類別的概率（軟指標(biāo)）（2）GSM（高斯模型）給定均值和方差，將一個(gè)事物分解為基于高斯概率密度函數(shù)（正態(tài)分布曲線）形成的模型，表示隨機(jī)變量每個(gè)取值有多大的可能性2023/10/51283.3GMM（高斯混合模型）（1）GMM是如何解決上述問(wèn)題3.3GMM（高斯混合模型）（3）GMM（高斯混合模型）K個(gè)GSM混合成一個(gè)GMM，每個(gè)GSM稱為GMM的一個(gè)component，也就是分為K個(gè)類。求和式的各項(xiàng)的結(jié)果就分別代表樣本y屬于各個(gè)類的概率ak：樣本y屬于第k個(gè)類的概率2023/10/51293.3GMM（高斯混合模型）（3）GMM（高斯混合模型）23.3GMM（高斯混合模型）屬于假設(shè)有K個(gè)類,樣本數(shù)量分別為N1,N2,…,Nk且N1+N2+…+Nk=N,即有觀測(cè)數(shù)據(jù)y1,y2,…,yk，第k個(gè)分類的樣本集合表示為S(k)，上式中的三個(gè)參數(shù)可表示為：2023/10/5130

ak指的是第k個(gè)component被選中的概率，rjk需要對(duì)所有的數(shù)據(jù)j進(jìn)行累加3.3GMM（高斯混合模型）屬于假設(shè)有K個(gè)類,樣本數(shù)量分別3.3GMM（高斯混合模型）2023/10/51313.3GMM（高斯混合模型）2023/7/301313.3GMM—GMM與K-means（4）GMM與K-means相同點(diǎn)需要指定K值需要指定初始值，K-means的中心點(diǎn)，GMM的參數(shù)都是含有EM算法思想（5）GMM與K-means不同點(diǎn)優(yōu)化目標(biāo)函數(shù)不同，K-means：最短距離(硬指標(biāo))；GMM：最大化log似然估計(jì)，求解每個(gè)觀測(cè)數(shù)據(jù)屬于每個(gè)component的概率（軟指標(biāo)）2023/10/51323.3GMM—GMM與K-means（4）GMM與K-me

3.4Aprori算法

關(guān)聯(lián)分析是一種在大規(guī)模數(shù)據(jù)集中尋找有趣關(guān)系的任務(wù)這些任務(wù)有兩種形式：頻繁項(xiàng)集和關(guān)聯(lián)規(guī)則頻繁項(xiàng)集：經(jīng)常出現(xiàn)在一塊的物品的集合；關(guān)聯(lián)規(guī)則：兩種物品之間可能存在很強(qiáng)的關(guān)系；關(guān)聯(lián)分析典型方法：Apriori算法2023/10/5133

3.4Aprori算法

關(guān)聯(lián)分析是一種在大規(guī)模數(shù)據(jù)集中尋

3.4Aprori算法

（1）使用Apriori算法來(lái)發(fā)現(xiàn)頻繁項(xiàng)集兩個(gè)輸入?yún)?shù)分別是最小支持度和數(shù)據(jù)集，根據(jù)最小支持度確實(shí)頻繁項(xiàng)集。（2）從頻繁項(xiàng)集中挖掘關(guān)聯(lián)規(guī)則從一個(gè)頻繁項(xiàng)集開(kāi)始，創(chuàng)建一個(gè)規(guī)則列表，首先將規(guī)則的右邊限定為一個(gè)元素，對(duì)這些規(guī)則進(jìn)行測(cè)試，接下來(lái)合并剩下的規(guī)則來(lái)創(chuàng)建一個(gè)新的規(guī)則列表，規(guī)則的右邊限定為兩個(gè)元素，項(xiàng)集中挖掘關(guān)聯(lián)規(guī)則。（3）Apriori原理是說(shuō)如果某個(gè)項(xiàng)集是頻繁的，那么它的所有子集也是頻繁的。2023/10/5134

3.4Aprori算法

（1）使用Apriori算法來(lái)發(fā)支持度與可信度2023/10/5135支持度可信度支持度與可信度2023/7/30135支持度可信度

3.4Aprori算法

頻繁項(xiàng)集：例{尿布，啤酒}支持度：數(shù)據(jù)集中包含指定項(xiàng)集的記錄所占的比例從頻繁項(xiàng)集到關(guān)聯(lián)規(guī)則可信度：support(P|H)/support(P)2023/10/5136交易號(hào)碼商品0豆奶，萵苣1萵苣，尿布，啤酒，甜菜2豆奶，尿布，啤酒，橙汁3萵苣，豆奶，尿布，啤酒4萵苣，豆奶，尿布，橙汁

3.4Aprori算法

2023/7/30136交易號(hào)碼機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非4.1降維（1）降維的過(guò)程降維是指在某些限定條件下，降低隨機(jī)變量個(gè)數(shù)，得到一組“不相關(guān)”主變量的過(guò)程。（2）降維的作用：特征選擇和特征提取特征選擇：假定數(shù)據(jù)中包含大量冗余或無(wú)關(guān)變量（或稱特征、屬性等），旨在從原有變量中找出主要變量。特征提取：將高維數(shù)據(jù)轉(zhuǎn)化為低維數(shù)據(jù)的過(guò)程，可能舍棄原數(shù)據(jù)、構(gòu)造新變量，其代表方法為主成分分析（PCA）。2023/10/51384.1降維（1）降維的過(guò)程2023/7/301384.1降維2023/10/5139當(dāng)科目更多，無(wú)法直接觀察呢？？如果根據(jù)成績(jī)判斷學(xué)習(xí)的情況，直觀上，哪些科目成績(jī)對(duì)判斷結(jié)果可能沒(méi)有影響？？4.1降維2023/7/30139當(dāng)科目更多，無(wú)法直接觀察4.1降維（3）降維后，欲達(dá)到的目標(biāo)減少冗余信息造成的誤差，可提高識(shí)別精度或分類效果尋找數(shù)據(jù)內(nèi)部的本質(zhì)結(jié)構(gòu)特征加速后續(xù)計(jì)算的速度在很多算法中，降維算法成為了數(shù)據(jù)預(yù)處理的一部分，如主成分分析(PCA)。事實(shí)上，有一些算法如果沒(méi)有降維預(yù)處理，其實(shí)是很難得到很好的效果的。2023/10/51404.1降維（3）降維后，欲達(dá)到的目標(biāo)2023/7/30144.2PCA（1）PCA降維PrincipalComponentAnalysis(PCA)是最常用的線性降維方法。它的目標(biāo)是通過(guò)某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中表示，并期望在所投影的維度上數(shù)據(jù)的方差最大，以此使用較少的數(shù)據(jù)維度，同時(shí)保留住較多的原數(shù)據(jù)點(diǎn)的特性。2023/10/51414.2PCA（1）PCA降維2023/7/301414.2PCA（2）降維的過(guò)程（設(shè)有m條n維數(shù)據(jù)）將原始數(shù)據(jù)按列組成n行m列矩陣X數(shù)據(jù)預(yù)處理：將X的每一行（代表一個(gè)屬性字段）進(jìn)行零均值化，即減去這一行的均值求出協(xié)方差矩陣求出協(xié)方差矩陣的特征值及對(duì)應(yīng)的特征向量將特征向量按對(duì)應(yīng)特征值大小從上到下按行排列成矩陣，取前k行組成矩陣P

即為從n維降維到k維后的數(shù)據(jù)2023/10/51424.2PCA（2）降維的過(guò)程（設(shè)有m條n維數(shù)據(jù)）2023/4.2PCA—關(guān)鍵問(wèn)題導(dǎo)讀如何選擇這個(gè)投影方向，才能盡量保留最多的原始信息呢？解決方案：一種直觀的方法是觀察，投影后的投影值盡可能分散2023/10/51434.2PCA—關(guān)鍵問(wèn)題導(dǎo)讀如何選擇這個(gè)投影方向，才能盡4.2PCA–實(shí)例PCA.example2023/10/51444.2PCA–實(shí)例2023/7/301444.3SVD（1）SVD（奇異值分解）與PCA：PCA的實(shí)現(xiàn)一般有兩種，一種是用特征值分解去實(shí)現(xiàn)的，一種是用奇異值分解去實(shí)現(xiàn)的。（2）SVD實(shí)現(xiàn)的原理：

2023/10/51454.3SVD（1）SVD（奇異值分解）與PCA：202機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非監(jiān)督學(xué)習(xí)--降維神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)關(guān)于模型評(píng)價(jià)標(biāo)準(zhǔn)目錄CONTENTS0123456機(jī)器學(xué)習(xí)監(jiān)督學(xué)習(xí)--回歸監(jiān)督學(xué)習(xí)--分類非監(jiān)督學(xué)習(xí)--聚類非5.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，是將許多個(gè)單一“神經(jīng)元”聯(lián)結(jié)在一起，一個(gè)“神經(jīng)元”的輸出就可以是另一個(gè)“神經(jīng)元”的輸入。神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元處理單元可表示不同的對(duì)象，例如特征、字母、概念，或者一些有意義的抽象模式。網(wǎng)絡(luò)中處理單元的類型分為三類：輸入單元、輸出單元和隱單元。輸入單元接受外部的信號(hào)與數(shù)據(jù)；輸出單元實(shí)現(xiàn)系統(tǒng)處理結(jié)果的輸出；隱單元是處在輸入和輸出單元之間，神經(jīng)元間的連接權(quán)值反映了單元間的連接強(qiáng)度，信息的表示和處理體現(xiàn)在網(wǎng)絡(luò)處理單元的連接關(guān)系中。2023/10/51475.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，是將許多個(gè)單一“神經(jīng)元”5.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)下圖是一個(gè)包含三個(gè)層次的神經(jīng)網(wǎng)絡(luò)。紅色的是輸入層，綠色的是輸出層，紫色的是中間層（也叫隱藏層）。輸入層有3個(gè)輸入單元，隱藏層有4個(gè)單元，輸出層有2個(gè)單元。2023/10/51485.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)下圖是一個(gè)包含三個(gè)層次的神經(jīng)網(wǎng)絡(luò)。5.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)抽象為數(shù)學(xué)模型2023/10/51495.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)抽象為數(shù)學(xué)模型2023/7/5.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的研究，含多個(gè)隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。2023/10/51505.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)是基于人工神經(jīng)網(wǎng)絡(luò)的研究，含5.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)分解為多個(gè)簡(jiǎn)單的網(wǎng)絡(luò)2023/10/51515.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)分解為多個(gè)簡(jiǎn)單的網(wǎng)絡(luò)20235.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系與分類2023/10/51525.1神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系與分類2025.2ANN人工神經(jīng)網(wǎng)絡(luò)（ArtificalNeuralNetwork，ANN）結(jié)構(gòu)

2023/10/5153神經(jīng)元的n個(gè)輸入對(duì)應(yīng)的連接權(quán)值net=閾值輸出激活函數(shù)5.2ANN人工神經(jīng)網(wǎng)絡(luò)（ArtificalNeural5.2ANN數(shù)學(xué)建模：2023/10/5154其中，?j是閾值；wj0=-?j；x0=1；5.2ANN數(shù)學(xué)建模：2023/7/30154其中，?j5.2ANN訓(xùn)練（學(xué)習(xí)）過(guò)程Step1設(shè)置連接權(quán)W的初值。對(duì)權(quán)系數(shù)W=（wji）的各個(gè)元素置一個(gè)較小的隨機(jī)值。Step2輸入樣本X=（x1，x2

，…，xn），以及它的期望輸出Y=（y1，y2

，…，yn）。Step3計(jì)算感知器的實(shí)際輸出值

Step4根據(jù)實(shí)際輸出求誤差2023/10/51555.2ANN訓(xùn)練（學(xué)習(xí)）過(guò)程2023/7/301555.2ANN訓(xùn)練（學(xué)習(xí)）過(guò)程Step5用誤差ej去調(diào)整權(quán)值Wji（n）是第n次調(diào)整連接權(quán)值；η稱為學(xué)習(xí)效率，且0＜η≤1，用于調(diào)整權(quán)值的調(diào)整速度。通常，η的取值不能太大，如果η的取值太大，則會(huì)影響Wji(n)的穩(wěn)定，η的取值太小則會(huì)使Wji(n)得收斂速度太慢。當(dāng)實(shí)際輸出和期望值y相同時(shí)，有Wji(n+1)=Wji(n)。Step6轉(zhuǎn)到step2，一直執(zhí)行到一切樣本均穩(wěn)定為止。2023/10/51565.2ANN訓(xùn)練（學(xué)習(xí)）過(guò)程2023/7/301565.3BP神經(jīng)網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)模型—BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（BackPropagationNeuralNetwork），即誤差后向傳播神經(jīng)網(wǎng)絡(luò)，是一種按誤差逆向傳播算法訓(xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的網(wǎng)絡(luò)模型之一。2023/10/51575.3BP神經(jīng)網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)模型—BP神經(jīng)網(wǎng)絡(luò)2023/7/5.3BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程初始化連接權(quán)值vki

和wjk；初始化精度控制系數(shù)?；E=?+1；whileE＞?doE.1E=0E.2對(duì)S中的每一個(gè)樣本（Xp，Yp）E.2.1計(jì)算出Xp，對(duì)應(yīng)的實(shí)際輸出op；

E.2.2計(jì)算出Ep；

E.2.3E=E+Ep；E.2.4根據(jù)調(diào)整輸出層的權(quán)值wjk（n）；

E.2.4根據(jù)調(diào)整輸出層的權(quán)值vki（n）；E.3E=E/2.02023/10/51585.3BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程2023/7/3015.4

CNN卷積神經(jīng)網(wǎng)絡(luò)（CNN）是神經(jīng)網(wǎng)絡(luò)的一種，專門用來(lái)處理矩陣輸入的任務(wù)，能夠?qū)⒕仃囆问降妮斎刖幋a為較低維度的一維向量，而保留大多數(shù)有用信息。應(yīng)用領(lǐng)域：圖像分類，目標(biāo)檢測(cè)，目標(biāo)識(shí)別，目標(biāo)跟蹤，文本檢測(cè)和識(shí)別以及位置估計(jì)很少應(yīng)用于數(shù)據(jù)分類領(lǐng)域2023/10/51595.4CNN卷積神經(jīng)網(wǎng)絡(luò)（CNN）2023/7/301595.4

CNNCNN模型結(jié)構(gòu)C層為特征提取層；S層是特征映射層，特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)。2023/10/51605.4CNNCNN模型結(jié)構(gòu)2023/7/301605.4

CNN2023/10/5161

根據(jù)損失函數(shù)進(jìn)行反向傳播(backpropagation)，計(jì)算出所以參數(shù)梯度根據(jù)參數(shù)梯度進(jìn)行梯度下降算法，求取最后模型參數(shù)5.4CNN2023/7/30161

根據(jù)損失函數(shù)進(jìn)行5.4

CNNCNN優(yōu)點(diǎn)：避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)同一特征映射面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)布局更接近于實(shí)際的生物神經(jīng)網(wǎng)絡(luò)，權(quán)值共享降低了網(wǎng)絡(luò)的復(fù)雜性，避免了特征提取和分類過(guò)程中數(shù)據(jù)重建的復(fù)雜度2023/10/51625.4CNNCNN優(yōu)點(diǎn)：2023/7/301625.5RNN遞歸神經(jīng)網(wǎng)絡(luò)作用跟卷積神經(jīng)網(wǎng)絡(luò)是一樣的，將矩陣形式的輸入編碼為較低維度的一維向量，而保留大多數(shù)有用信息。跟卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)更注重全局的模糊感知，而RNNs則是注重鄰近位置的重構(gòu)應(yīng)用領(lǐng)域：自然語(yǔ)言處理2023/10/51635.5RNN遞歸神經(jīng)網(wǎng)絡(luò)2023/7/301635.6DBNDBN結(jié)構(gòu)

2023/10/51645.6DBNDBN結(jié)構(gòu)2023/7/301645.6DBNDBN網(wǎng)絡(luò)中存在的問(wèn)題：需要為訓(xùn)練提供一個(gè)有標(biāo)簽的樣本集；學(xué)習(xí)過(guò)程較慢；不適當(dāng)?shù)膮?shù)選擇會(huì)導(dǎo)致學(xué)習(xí)收斂于局部最優(yōu)解