《Python機器學(xué)習(xí)與項目實踐》全套教學(xué)課件

《Python機器學(xué)習(xí)與項目實踐》《Python機器學(xué)習(xí)與項目實踐》chap1-緒論chap2-機器學(xué)習(xí)基礎(chǔ)概念chap3-線性模型chap4-前饋神經(jīng)網(wǎng)絡(luò)chap5-卷積神經(jīng)網(wǎng)絡(luò)chap6-循環(huán)神經(jīng)網(wǎng)絡(luò)chap7-圖神經(jīng)網(wǎng)絡(luò)chap8-案例全套可編輯PPT課件

本課件是可編輯的正常PPT課件第1章緒論《Python機器學(xué)習(xí)與項目實踐》本課件是可編輯的正常PPT課件更詳細的課程概括本課件是可編輯的正常PPT課件1.緒論2.機器學(xué)習(xí)基礎(chǔ)概述3.經(jīng)典線性模型4.前饋神經(jīng)網(wǎng)絡(luò)5.卷積神經(jīng)網(wǎng)絡(luò)6.循環(huán)神經(jīng)網(wǎng)絡(luò)7.圖神經(jīng)網(wǎng)絡(luò)8.機器學(xué)習(xí)模型的應(yīng)用課程大綱本課件是可編輯的正常PPT課件預(yù)備知識線性代數(shù)微積分數(shù)學(xué)優(yōu)化概率論信息論本課件是可編輯的正常PPT課件1.1引言人工智能（artificialintelligence，AI）就是讓機器具有人類的智能?！坝嬎銠C控制”+“智能行為”人工智能這個學(xué)科的誕生有著明確的標志性事件，就是1956年的達特茅斯（Dartmouth）會議。在這次會議上，“人工智能”被提出并作為本研究領(lǐng)域的名稱。人工智能就是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣。JohnMcCarthy（1927-2011）本課件是可編輯的正常PPT課件1.1引言人工智能的一個子領(lǐng)域機器學(xué)習(xí)：是一種通過數(shù)學(xué)模型和算法從觀測數(shù)據(jù)中學(xué)習(xí)規(guī)律的方法。神經(jīng)網(wǎng)絡(luò)：是一種以（人工）神經(jīng)元為基本單元的模型深度學(xué)習(xí)：是一類機器學(xué)習(xí)問題，主要解決貢獻度分配問題。本課件是可編輯的正常PPT課件圖靈測試AlanTuring“一個人在不接觸對方的情況下，通過一種特殊的方式，和對方進行一系列的問答。如果在相當長時間內(nèi)，他無法根據(jù)這些問題判斷對方是人還是計算機，那么就可以認為這個計算機是智能的”。---AlanTuring[1950]《ComputingMachineryandIntelligence》本課件是可編輯的正常PPT課件人工智能的研究領(lǐng)域讓機器具有人類的智能機器感知（計算機視覺、語音信息處理）學(xué)習(xí)（模式識別、機器學(xué)習(xí)、強化學(xué)習(xí)）語言（自然語言處理）記憶（知識表示）決策（規(guī)劃、數(shù)據(jù)挖掘）本課件是可編輯的正常PPT課件發(fā)展歷史本課件是可編輯的正常PPT課件如何開發(fā)一個人工智能系統(tǒng)？開發(fā)人工智能系統(tǒng)的過程通常包括以下步驟：確定目標、收集和準備數(shù)據(jù)、選擇和訓(xùn)練模型、測試和調(diào)整模odel、部署和監(jiān)控。確定AI系統(tǒng)的目標是一個至關(guān)重要的步驟，因為它直接影響到系統(tǒng)設(shè)計和實施的方法。數(shù)據(jù)是訓(xùn)練AI系統(tǒng)的基礎(chǔ)。你需要收集大量的數(shù)據(jù)，這些數(shù)據(jù)能夠反映出你希望系統(tǒng)學(xué)習(xí)的模式和關(guān)系。數(shù)據(jù)的質(zhì)量和數(shù)量直接影響到AI系統(tǒng)的性能。在收集和準備了數(shù)據(jù)之后，你需要選擇一個適合你的任務(wù)的AI模型，并用你的數(shù)據(jù)來訓(xùn)練它。AI模型的選擇取決于你的任務(wù)類型，例如，如果你的任務(wù)是圖像識別，你可能會選擇卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型；如果你的任務(wù)是文本處理，你可能會選擇循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）模型在模型訓(xùn)練完成后，你需要在測試集上測試模型的性能，看看模型是否能夠很好地泛化到未見過的數(shù)據(jù)。你可能需要調(diào)整模型的參數(shù)，或者嘗試不同的模型，以達到最佳的性能。最后，你需要將訓(xùn)練好的AI系統(tǒng)部署到實際的環(huán)境中，看看它在實際的任務(wù)中是否能夠達到預(yù)期的效果。你需要對系統(tǒng)的性能進行持續(xù)的監(jiān)控和調(diào)整，以確保系統(tǒng)的穩(wěn)定性和效果。本課件是可編輯的正常PPT課件規(guī)則?機器學(xué)習(xí)本課件是可編輯的正常PPT課件機器學(xué)習(xí)≈構(gòu)建一個映射函數(shù)語音識別圖像識別圍棋機器翻譯“9”“你好”“6-5”“Hello!”“你好！”(落子位置)本課件是可編輯的正常PPT課件芒果解釋機器學(xué)習(xí)如果判斷芒果是否甜蜜？某天你去買芒果。你挑選后，小販會稱重，你需要根據(jù)根據(jù)重量乘以標記的固定單價來付錢。毋庸置疑，你會選擇那些最甜、最熟的芒果（因為是按重量計費而不是按質(zhì)量）。那么你要怎么挑選呢？你依稀記得，外婆告訴你，那些有光澤的黃芒果會比沒光澤的黃芒果更甜。所以你就定下了一個挑選標準：只在那些有光澤的黃芒果里挑選。然后，你仔細觀察了芒果的顏色，然后從中選出了那些有光澤的黃芒果，給錢，回家！然后，幸福和快樂是結(jié)局？本課件是可編輯的正常PPT課件芒果機器學(xué)習(xí)從市場上隨機選取的芒果樣本（訓(xùn)練數(shù)據(jù)），列出每個芒果的所有特征：如顏色，大小，形狀，產(chǎn)地，品牌以及芒果質(zhì)量（輸出變量）：甜蜜，多汁，成熟度。設(shè)計一個學(xué)習(xí)算法來學(xué)習(xí)芒果的特征與輸出變量之間的相關(guān)性模型。下次從市場上買芒果時，可以根據(jù)芒果（測試數(shù)據(jù)）的特征，使用前面計算的模型來預(yù)測芒果的質(zhì)量。本課件是可編輯的正常PPT課件知識知道怎么做專家系統(tǒng)…不知道怎么做容易做機器學(xué)習(xí)圖像識別自然語言處理語音識別不容易做強化學(xué)習(xí)圍棋如何開發(fā)一個人工智能系統(tǒng)？規(guī)則本課件是可編輯的正常PPT課件標記、特征及樣本標記（Label）是我們要預(yù)測的內(nèi)容。特征（Feature）是與其他事物明顯區(qū)分的顯著特點，也就是機器學(xué)習(xí)模型的輸入變量。樣本（Sample）是特定事物數(shù)據(jù)的實例。本課件是可編輯的正常PPT課件數(shù)據(jù)集一組樣本構(gòu)成的集合被稱為數(shù)據(jù)集（DataSet）數(shù)據(jù)集通常被分為兩個部分：訓(xùn)練集和測試集。訓(xùn)練集（TrainingSet）包含用于模型訓(xùn)練的數(shù)據(jù)樣本，也被稱為訓(xùn)練樣本（TrainingSample）。測試集（TestSet）用于評估最終模型的性能好壞，也被稱為測試樣本（TestSample）。本課件是可編輯的正常PPT課件模型

本課件是可編輯的正常PPT課件4.向量在數(shù)學(xué)中，向量（也稱為歐幾里得向量、幾何向量），指具有大小（magnitude）和方向的量。。在機器學(xué)習(xí)中，向量常用于表示數(shù)據(jù)樣本和特征。向量在機器學(xué)習(xí)中扮演著重要的角色，它們提供了一種有效的數(shù)據(jù)表示形式，使得機器學(xué)習(xí)算法能夠?qū)?shù)據(jù)進行建模和分析。本課件是可編輯的正常PPT課件4.向量在數(shù)學(xué)中，向量（也稱為歐幾里得向量、幾何向量），指具有大?。╩agnitude）和方向的量。。在機器學(xué)習(xí)中，向量常用于表示數(shù)據(jù)樣本和特征。向量在機器學(xué)習(xí)中扮演著重要的角色，它們提供了一種有效的數(shù)據(jù)表示形式，使得機器學(xué)習(xí)算法能夠?qū)?shù)據(jù)進行建模和分析。本課件是可編輯的正常PPT課件一個生活中的例子：顏色本課件是可編輯的正常PPT課件1.2概念本課件是可編輯的正常PPT課件機器學(xué)習(xí)機器學(xué)習(xí)是一種通過數(shù)學(xué)模型和算法從觀測數(shù)據(jù)中學(xué)習(xí)規(guī)律的方法。當我們用機器學(xué)習(xí)來解決一些模式識別任務(wù)時，一般的流程包含以下幾個步驟：機器學(xué)習(xí)的基本思路本課件是可編輯的正常PPT課件機器學(xué)習(xí)的流程機器學(xué)習(xí)解決問題的通用流程包括問題建模、特征處理（工程）、模型選擇和模型融合。當我們用機器學(xué)習(xí)來解決一些模式識別任務(wù)時，一般的流程包含以下幾個步驟：機器學(xué)習(xí)的流程圖本課件是可編輯的正常PPT課件機器學(xué)習(xí)模型的分類機器學(xué)習(xí)模型分成4類：監(jiān)督學(xué)習(xí)（SupervisedLearning）模型無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）模型半監(jiān)督學(xué)習(xí)（Semi-SupervisedLearning）模型強化學(xué)習(xí)（ReinforcementLearning）模型。本課件是可編輯的正常PPT課件機器學(xué)習(xí)應(yīng)用領(lǐng)域介紹AlphaGo是由GoogleDeepMind公司開發(fā)的人工智能圍棋程序。自動駕駛智能制造業(yè)智慧醫(yī)療與健康金融服務(wù)媒體和娛樂本課件是可編輯的正常PPT課件1.3常用術(shù)語本課件是可編輯的正常PPT課件假設(shè)函數(shù)和損失函數(shù)假設(shè)函數(shù)：損失函數(shù)損失函數(shù)（LossFunction）又叫目標函數(shù)本課件是可編輯的正常PPT課件擬合、過擬合和欠擬合模型對訓(xùn)練數(shù)據(jù)的預(yù)測誤差稱為訓(xùn)練誤差，也稱為經(jīng)驗誤差。對測試數(shù)據(jù)的預(yù)測誤差稱為測試誤差，也稱為泛化誤差。過擬合和欠擬合圖解本課件是可編輯的正常PPT課件1.4機器學(xué)習(xí)環(huán)境構(gòu)建和常用工具本課件是可編輯的正常PPT課件機器學(xué)習(xí)環(huán)境構(gòu)建和常用工具PythonAnaconda+JupyterNotebookNumPyMatplotlibPandasScikit-learnPyTorch

…本課件是可編輯的正常PPT課件推薦其他教材邱錫鵬,神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí),機械工業(yè)出版社,2020，ISBN9787111649687https://nndl.github.io/提供配套練習(xí)阿斯頓·張等,動手學(xué)深度學(xué)習(xí),ISBN:9787115505835https://d2l.ai/有PyTorch版Bishop,C.M.(2006).PatternrecognitionandMachineLearning.Springer.ISBN9780387310732.網(wǎng)上有中文版by馬春鵬本課件是可編輯的正常PPT課件推薦教材Wright,S.,&Nocedal,J.(1999).Numericaloptimization.SpringerScience,35(67-68),7.Boyd,S.,&Vandenberghe,L.(2004).Convexoptimization.Cambridgeuniversitypress.本課件是可編輯的正常PPT課件推薦課程斯坦福大學(xué)CS224n:DeepLearningforNaturalLanguageProcessing/class/archive/cs/cs224n/cs224n.1194/ChrisManning主要講解自然語言處理領(lǐng)域的各種深度學(xué)習(xí)模型斯坦福大學(xué)CS231n:ConvolutionalNeuralNetworksforVisualRecognition/Fei-FeiLiAndrejKarpathy主要講解CNN、RNN在圖像領(lǐng)域的應(yīng)用加州大學(xué)伯克利分校CS294:DeepReinforcementLearning/deeprlcourse/本課件是可編輯的正常PPT課件推薦材料林軒田“機器學(xué)習(xí)基石”“機器學(xué)習(xí)技法”.tw/~htlin/mooc/李宏毅

“1天搞懂深度學(xué)習(xí)”.tw/~tlkagk/slide/Tutorial_HYLee_Deep.pptx李宏毅“機器學(xué)習(xí)2020”/video/av94519857/本課件是可編輯的正常PPT課件人工智能頂會論文NeurIPS、ICLR、ICML、AAAI、IJCAIACL、EMNLPCVPR、ICCV…本課件是可編輯的正常PPT課件機器學(xué)習(xí)基礎(chǔ)概述《Python機器學(xué)習(xí)與項目實踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容機器學(xué)習(xí)概念原理線性回歸定義經(jīng)驗風(fēng)險最小化最小均方誤差結(jié)構(gòu)風(fēng)險最小化最大似然估計最大后驗估計機器學(xué)習(xí)的幾個關(guān)鍵點本課件是可編輯的正常PPT課件數(shù)據(jù)特征表示“狗”“大家好”“X-Y”“我有什么可以幫你嗎”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)特征是被觀測對象的一個獨立可觀測的屬性或特點。本課件是可編輯的正常PPT課件特征工程和特征學(xué)習(xí)特征學(xué)習(xí)（或表征學(xué)習(xí)）是一種將原始數(shù)據(jù)轉(zhuǎn)換為能夠被機器學(xué)習(xí)并有效開發(fā)的數(shù)據(jù)的一種技術(shù)，即如何讓機器自動地學(xué)習(xí)出有效的特征。特征工程利用領(lǐng)域知識和現(xiàn)有樣本數(shù)據(jù)，創(chuàng)造出新的特征。主要包括特征選擇（FeatureSelection）、特征提取（FeatureExtraction）和特征構(gòu)建（FeatureConstruction）。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：準確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：準確率（Accuracy）、準確率的定義是預(yù)測正確的結(jié)果占總樣本的百分比，真正例（TruePositive，TP）：被模型預(yù)測為正的正樣本；假正例（FalsePositive，F(xiàn)P）：被模型預(yù)測為正的負樣本；假負例（FalseNegative，F(xiàn)N）：被模型預(yù)測為負的正樣本；真負例（TrueNegative，TN）：被模型預(yù)測為負的負樣本。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：精確率（Precision）、本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：召回率（Recall）、本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：P-R曲線（Precision-RecallCurve）、P-R曲線是描述精確率/召回率變化的曲線。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：F1-Score是精確率和召回率的加權(quán)調(diào)和平均。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：ROC、ROC曲線圖本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：AUC、AUC曲線圖本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：混淆矩陣（ConfuseMatrix）：混淆矩陣又稱為錯誤矩陣，它可以直觀地反映算法的效果?；煜仃嚳梢晥D本課件是可編輯的正常PPT課件損失函數(shù)本課件是可編輯的正常PPT課件損失函數(shù)常見損失函數(shù)，曲線圖如圖0-1損失函數(shù)（0-1LossFunction）平方損失函數(shù)（QuadraticLossFunction）指數(shù)損失函數(shù)（Exp-LossFunction）交叉熵損失函數(shù)（Cross-EntropyLossFunction）Hinge損失函數(shù)（HingeLossFunction）本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學(xué)習(xí)分類任務(wù)的常用評價指標：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件機器學(xué)習(xí)≈構(gòu)建一個映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)本課件是可編輯的正常PPT課件現(xiàn)實世界的問題都比較復(fù)雜很難通過規(guī)則來手工實現(xiàn)為什么要“機器學(xué)習(xí)”？本課件是可編輯的正常PPT課件什么是機器學(xué)習(xí)？機器學(xué)習(xí)：通過算法使得機器能從大量數(shù)據(jù)中學(xué)習(xí)規(guī)律從而對新的樣本做決策。規(guī)律：決策（預(yù)測）函數(shù)獨立同分布p(x,y)本課件是可編輯的正常PPT課件機器學(xué)習(xí)的三要素

本課件是可編輯的正常PPT課件常見的機器學(xué)習(xí)問題分類聚類回歸本課件是可編輯的正常PPT課件模型以線性回歸（LinearRegression）為例模型：本課件是可編輯的正常PPT課件學(xué)習(xí)準則損失函數(shù)0-1損失函數(shù)平方損失函數(shù)本課件是可編輯的正常PPT課件學(xué)習(xí)準則

本課件是可編輯的正常PPT課件最優(yōu)化問題機器學(xué)習(xí)問題轉(zhuǎn)化成為一個最優(yōu)化問題本課件是可編輯的正常PPT課件梯度下降法（GradientDescent）搜索步長α中也叫作學(xué)習(xí)率（LearningRate）本課件是可編輯的正常PPT課件學(xué)習(xí)率是十分重要的超參數(shù)！本課件是可編輯的正常PPT課件隨機梯度下降法隨機梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每個樣本都進行更新小批量（Mini-Batch）隨機梯度下降法本課件是可編輯的正常PPT課件隨機梯度下降法Why?本課件是可編輯的正常PPT課件機器學(xué)習(xí)=優(yōu)化？機器學(xué)習(xí)=優(yōu)化？過擬合：經(jīng)驗風(fēng)險最小化原則很容易導(dǎo)致模型在訓(xùn)練集上錯誤率很低，但是在未知數(shù)據(jù)上錯誤率很高。過擬合問題往往是由于訓(xùn)練數(shù)據(jù)少和噪聲等原因造成的。NO！本課件是可編輯的正常PPT課件泛化錯誤期望風(fēng)險經(jīng)驗風(fēng)險泛化錯誤

本課件是可編輯的正常PPT課件如何減少泛化錯誤？正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗風(fēng)險最小本課件是可編輯的正常PPT課件正則化（regularization）L1/L2約束、數(shù)據(jù)增強權(quán)重衰減、隨機梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程本課件是可編輯的正常PPT課件提前停止我們使用一個驗證集（ValidationDataset）來測試每一次迭代的參數(shù)在驗證集上是否最優(yōu)。如果在驗證集上的錯誤率不再下降，就停止迭代。本課件是可編輯的正常PPT課件線性回歸本課件是可編輯的正常PPT課件線性回歸（LinearRegression）模型：增廣權(quán)重向量和增廣特征向量本課件是可編輯的正常PPT課件優(yōu)化方法經(jīng)驗風(fēng)險最小化（最小二乘法）結(jié)構(gòu)風(fēng)險最小化（嶺回歸）最大似然估計最大后驗估計本課件是可編輯的正常PPT課件經(jīng)驗風(fēng)險最小化本課件是可編輯的正常PPT課件矩陣微積分標量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)本課件是可編輯的正常PPT課件經(jīng)驗風(fēng)險最小化模型學(xué)習(xí)準則本課件是可編輯的正常PPT課件經(jīng)驗風(fēng)險最小化優(yōu)化本課件是可編輯的正常PPT課件結(jié)構(gòu)風(fēng)險最小化結(jié)構(gòu)風(fēng)險最小化準則得到嶺回歸（RidgeRegression）本課件是可編輯的正常PPT課件最大似然估計本課件是可編輯的正常PPT課件關(guān)于概率的一些基本概念概率（Probability）一個隨機事件發(fā)生的可能性大小，為0到1之間的實數(shù)。隨機變量（RandomVariable）比如隨機擲一個骰子，得到的點數(shù)就可以看成一個隨機變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個隨機變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項式系數(shù)，表示從n個元素中取出k個元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對于離散隨機向量(X,Y)，已知X=x的條件下，隨機變量Y=y的條件概率為：貝葉斯公式兩個條件概率p(y|x)和p(x|y)之間的關(guān)系本課件是可編輯的正常PPT課件例子性別\行業(yè)計算機教育男0.40.10.5女0.10.40.50.60.4p(男|計算機)=MarginalProbabilityMarginalProbability本課件是可編輯的正常PPT課件似然（Likelihood）

似然likelihood先驗prior后驗posterior貝葉斯公式：本課件是可編輯的正常PPT課件從概率角度來看線性回歸

本課件是可編輯的正常PPT課件線性回歸中的似然函數(shù)參數(shù)w在訓(xùn)練集D上的似然函數(shù)（Likelihood）為本課件是可編輯的正常PPT課件最大似然估計最大似然估計（MaximumLikelihoodEstimate，MLE）是指找到一組參數(shù)w使得似然函數(shù)p(y|X;w,σ)最大本課件是可編輯的正常PPT課件最大后驗估計本課件是可編輯的正常PPT課件最大后驗估計似然likelihood先驗prior后驗posterior正則化系數(shù)本課件是可編輯的正常PPT課件總結(jié)無先驗引入先驗平方誤差經(jīng)驗風(fēng)險最小化結(jié)構(gòu)風(fēng)險最小化概率最大似然估計最大后驗估計本課件是可編輯的正常PPT課件多項式回歸本課件是可編輯的正常PPT課件一個例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型損失函數(shù)本課件是可編輯的正常PPT課件WhichDegreeofPolynomial?AmodelselectionproblemM=9→E(w)=0:Thisisoverfitting本課件是可編輯的正常PPT課件ControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!對大的系數(shù)進行懲罰本課件是可編輯的正常PPT課件ControllingOverfitting:Regularization本課件是可編輯的正常PPT課件ControllingOverfitting:Datasetsize本課件是可編輯的正常PPT課件機器學(xué)習(xí)的幾個關(guān)鍵點本課件是可編輯的正常PPT課件常見的機器學(xué)習(xí)類型本課件是可編輯的正常PPT課件如何選擇一個合適的模型？模型選擇擬合能力強的模型一般復(fù)雜度會比較高，容易過擬合。如果限制模型復(fù)雜度，降低擬合能力，可能會欠擬合。偏差與方差分解期望錯誤可以分解為本課件是可編輯的正常PPT課件模型選擇：偏差與方差集成模型：有效的降低方差的方法本課件是可編輯的正常PPT課件線性模型《Python機器學(xué)習(xí)與項目實踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容線性回歸模型、邏輯回歸模型、樸素貝葉斯模型、決策樹模型、支持向量機模型、KNN模型隨機森林模型。本課件是可編輯的正常PPT課件矩陣微積分標量關(guān)于向量的偏導(dǎo)數(shù)向量關(guān)于向量的偏導(dǎo)數(shù)向量函數(shù)及其導(dǎo)數(shù)本課件是可編輯的正常PPT課件關(guān)于概率的一些基本概念概率（Probability）一個隨機事件發(fā)生的可能性大小，為0到1之間的實數(shù)。隨機變量（RandomVariable）比如隨機擲一個骰子，得到的點數(shù)就可以看成一個隨機變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個隨機變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應(yīng)的分布為二項分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應(yīng)的分布二項式系數(shù)，表示從n個元素中取出k個元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對于離散隨機向量(X,Y)，已知X=x的條件下，隨機變量Y=y的條件概率為：貝葉斯公式兩個條件概率p(y|x)和p(x|y)之間的關(guān)系本課件是可編輯的正常PPT課件線性回歸模型本課件是可編輯的正常PPT課件模型：增廣權(quán)重向量和增廣特征向量線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第1步，我們需要導(dǎo)入所需的包。增廣權(quán)重向量和增廣特征向量1．from

sklearn

import

datasets

#導(dǎo)入sklearn

中的數(shù)據(jù)集

2．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分模塊

3．from

sklearn.linear_model

import

LinearRegression

#導(dǎo)入線性回歸模型

4．from

sklearn.metrics

import

mean_squared_error

#導(dǎo)入均方差評價指標

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第2步，首先加載數(shù)據(jù)集增廣權(quán)重向量和增廣特征向量1．#加載波士頓房價數(shù)據(jù)集

2．boston_data=datasets.load_boston()

3．#獲取波士頓房價數(shù)據(jù)集的特征集

4．bonston_x=boston_data.data

5．#獲取波士頓房價數(shù)據(jù)集的目標值

6．bonston_y=boston_data.target

7．#查看數(shù)據(jù)集鍵值對

8．print(boston_data.keys())

9．#查看數(shù)據(jù)集描述

10．print(boston_data.DESCR)

11．#查看數(shù)據(jù)集特征值形狀，可以看出有506個樣本，每個樣本有13個特征

12．print(bonston_x.shape)

13．#查看數(shù)據(jù)集目標值形狀，有506個目標值。可以發(fā)現(xiàn)沒有缺失值

14．print(bonston_y.shape)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件通過結(jié)果可以知道共有506個樣本，特征向量維度為13，也就是說房價有13個影響因素。增廣權(quán)重向量和增廣特征向量

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第3步，劃分訓(xùn)練集和測試集，其中測試集占數(shù)據(jù)集的20%。1．#對數(shù)據(jù)集進行劃分，其中測試集占數(shù)據(jù)集的20%

2．features_train,features_test,target_train,target_test

=train_test_split(bonston_x,bonston_y,test_size=0.2)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第4步，實例化模型并進行訓(xùn)練。1．#實例化模型

2．model

=LinearRegression()

3．#進行模型訓(xùn)練

4．model.fit(features_train,target_train)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第5步，對測試集進行預(yù)測，并輸出預(yù)測目標值和真實目標值，從而直觀地感受預(yù)測目標值與真實值目標的差距。1．#進行預(yù)測

2．target_test_predict=model.predict(features_test)

3．#查看預(yù)測目標值4．print(target_test_predict)

5．#查看真實目標值

6．print(target_test)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第6步，對模型進行評價，采用的是均方差評價函數(shù)：1．#

對模型效果進行評價

2．error=mean_squared_error(target_test,target_test_predict)

3．print('測試數(shù)據(jù)的誤差：',error)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件邏輯回歸模型本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的邏輯回歸模型

7．from

sklearn.linear_model

import

LogisticRegression

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據(jù)集，查看數(shù)據(jù)集鍵值對，查看數(shù)據(jù)集描述，查看特征集形狀。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

3．#查看鳶尾花數(shù)據(jù)集的鍵值對

4．print(iris_data.keys())

5．#查看鳶尾花數(shù)據(jù)集的描述

6．print(iris_data.DESCR)

7．#查看鳶尾花特征集的形狀

8．print(iris_data.data.shape)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件接下來劃分數(shù)據(jù)集。1．#將數(shù)據(jù)集劃分為測試集和訓(xùn)練集，使用默認劃分比例，測試集占數(shù)據(jù)集的25%，查看劃分后訓(xùn)練集的形狀

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

3．print(features_train.shape)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化模型，訓(xùn)練模型，對測試集進行預(yù)測，并輸出預(yù)測結(jié)果和真實結(jié)果，簡單直觀地觀察模型性能。1．#實例化模型，默認迭代次數(shù)為1000，這里我們設(shè)置為2500，迭代次數(shù)就是尋找損失函數(shù)最小值所迭代的次數(shù)

2．logstic_model=LogisticRegression(max_iter=2500)

3．#訓(xùn)練模型

4．logstic_model.fit(features_train,target_train)

5．#對測試集進行預(yù)測，打印預(yù)測結(jié)果，打印真實結(jié)果，直觀感受模型性能

6．target_pre=logstic_model.predict(features_test)

7．print(target_pre)

8．print(target_test)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后對模型進行評價，并輸出其結(jié)果。1．#對模型進行評價，使用自帶的性能評價器評價其準確率

2．score=logstic_model.score(features_test,target_test)

3．print(score)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件經(jīng)驗風(fēng)險最小化本課件是可編輯的正常PPT課件樸素貝葉斯是一種有監(jiān)督學(xué)習(xí)的分類算法。

樸素貝葉斯（NaiveBayesianAlgorithm）面

貌舉

止聲

音穿

著是否有好感好看優(yōu)雅好聽得體有好看粗魯不好聽得體沒有不好看優(yōu)雅好聽得體有不好看優(yōu)雅不好聽不得體沒有好看優(yōu)雅好聽不得體有不好看粗魯不好聽不得體沒有好看粗魯好聽得體有不好看粗魯好聽不得體沒有

本課件是可編輯的正常PPT課件首先導(dǎo)入需要使用的包1．#導(dǎo)入需要使用的包

2．#導(dǎo)入劃分訓(xùn)練集、測試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導(dǎo)入鳶尾花數(shù)據(jù)集

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入sklearn中的樸素貝葉斯模型，使用的是高斯分類器

7．from

sklearn.naive_bayes

import

GaussianNB

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據(jù)集。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data=load_iris()

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據(jù)集為測試集和訓(xùn)練集。1．#將數(shù)據(jù)集劃分為測試集和訓(xùn)練集，使用默認劃分比例，測試集占數(shù)據(jù)集的25%

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件接下來實例化一個樸素貝葉斯模型并進行訓(xùn)練。1．#實例化一個樸素貝葉斯模型

2．naive_bayes_model=GaussianNB()

3．#訓(xùn)練模型

4．naive_bayes_model.fit(features_train,target_train)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預(yù)測，并查看預(yù)測結(jié)果和真實結(jié)果。1．#對測試集進行預(yù)測，打印預(yù)測結(jié)果，打印真實結(jié)果，直觀感受模型效果

2．target_pre=naive_bayes_model.predict(features_test)3．#打印預(yù)測結(jié)果

4．print(target_pre)5．#打印真實結(jié)果6．print(target_test)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后評價模型，打印模型分數(shù)（準確率）。1．#對模型進行評估

2．score=naive_bayes_model.score(features_test,target_test)

3．#打印模型分數(shù)

4．print(score)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件決策樹模型本課件是可編輯的正常PPT課件決策樹算法是指一類算法，它以樹形結(jié)構(gòu)呈現(xiàn)邏輯模型。決策樹模型本課件是可編輯的正常PPT課件導(dǎo)入需要的庫1．#導(dǎo)入需要使用的包

2．from

sklearn.datasets

import

load_wine

#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分工具

4．from

sklearn.tree

import

DecisionTreeClassifier

#導(dǎo)入決策樹模型

5．import

numpy

as

np

#導(dǎo)入NumPy

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載紅酒數(shù)據(jù)集，并查看數(shù)據(jù)集形狀、描述和鍵值對1．#加載紅酒數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件將數(shù)據(jù)集劃分為訓(xùn)練集和測試集1．#將數(shù)據(jù)集劃分為測試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化決策樹模型，并進行訓(xùn)練。1．#實例化一個ID3決策樹模型

2．DecisionTree_Model=DecisionTreeClassifier(criterion='entropy')

3．#進行模型訓(xùn)練

4．DecisionTree_Model.fit(features_train,target_train)

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件評價指標為準確率，輸出評價分數(shù)。1．#對模型進行評價

2．print(DecisionTree_Model.score(features_test,target_test))

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件支持向量機模型本課件是可編輯的正常PPT課件支持向量機是有監(jiān)督學(xué)習(xí)算法中最有影響力的機器學(xué)習(xí)算法之一。支持向量機的概念本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包。1．from

sklearn

import

svm

#導(dǎo)入支持向量機模型

2．from

sklearn.datasets

import

load_iris

#導(dǎo)入鳶尾花數(shù)據(jù)集

3．from

sklearn.model_selection

import

train_test_split

#導(dǎo)入數(shù)據(jù)集劃分需要使用的包

4．from

sklearn.metrics

import

confusion_matrix

#導(dǎo)入混淆矩陣評價指標

5．from

sklearn.metrics

import

accuracy_score

#導(dǎo)入準確率評

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載鳶尾花數(shù)據(jù)集，并查看其形狀。1．#加載鳶尾花數(shù)據(jù)集，其結(jié)果是個字典

2．iris=load_iris()

3．#查看數(shù)據(jù)集的形狀，有多少個樣本，每個樣本有多少個特征

4．print(iris.data.shape)

輸出結(jié)果如下，總共有150個樣本，每個樣本有4個特征。(150,4)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據(jù)集。1．#劃分訓(xùn)練集和測試集，將隨機數(shù)種子設(shè)置為1，便于復(fù)現(xiàn)模型，訓(xùn)練集占數(shù)據(jù)集的70%，剩下的為測試集

2．train_data,test_data=train_test_split(iris.data,random_state=1,train_size=0.7,test_size=0.3)

3．train_label,test_label=train_test_split(iris.target,random_state=1,train_size=0.7,test_size=0.3)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化模型并進行訓(xùn)練。1．#實例化模型，C是正則化程度，C的數(shù)值越大，懲罰力度越小，默認為1，使用rbf核函數(shù)

2．model=svm.SVC(C=2.0,kernel='rbf',gamma=10,decision_function_shape='ovr')3．#訓(xùn)練模型，ravel將維度變?yōu)橐痪S

4．model.fit(train_data,train_label.ravel())

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件進行預(yù)測，并評價，采用混淆矩陣和準確率進行評價。1．#模型預(yù)測

2．pre_test=model.predict(test_data)

3．#準確率評價

4．score=accuracy_score(test_label,pre_test)

5．print(score)

6．#混淆矩陣評價

7．cm=confusion_matrix(test_label,pre_test)

8．print(cm)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件KNN模型本課件是可編輯的正常PPT課件機器學(xué)習(xí)分類算法——K最近鄰算法，簡稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個原則就好了。第1個原則是“少數(shù)服從多數(shù)”；第2個原則是“資格”，就是是否有資格進行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件機器學(xué)習(xí)分類算法——K最近鄰算法，簡稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學(xué)習(xí)分類算法的一種。在學(xué)習(xí)KNN算法的過程中，只需要把握兩個原則就好了。第1個原則是“少數(shù)服從多數(shù)”；第2個原則是“資格”，就是是否有資格進行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件KNN算法主要包括4個步驟，（1）準備數(shù)據(jù)，對數(shù)據(jù)進行預(yù)處理。（2）計算測試樣本點（也就是待分類點）到其他每個樣本點的距離（選定度量距離的方法）。（3）對每個距離進行排序，選出距離最小的K個點。（4）對K個點所屬的類進行比較，按照“少數(shù)服從多數(shù)”的原則（多數(shù)表決思想），將測試樣本點歸入K個點中占比最高的一類中。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件導(dǎo)入需要使用的包，這里以紅酒數(shù)據(jù)集為例。1．#導(dǎo)入需要使用的包

2．#導(dǎo)入NumPy

3．import

numpy

as

np

4．#導(dǎo)入紅酒數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_wine

6．#導(dǎo)入劃分數(shù)據(jù)集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

8．#導(dǎo)入KNN算法需要使用的包

9．from

sklearn.neighbors

import

KNeighborsClassifier

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據(jù)集并查看數(shù)據(jù)集形狀、數(shù)據(jù)集鍵值對、數(shù)據(jù)集描述。1．#加載數(shù)據(jù)集

2．RedWine_data=load_wine()

3．#查看數(shù)據(jù)集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據(jù)集鍵值對

6．print(RedWine_data.keys())

7．#查看數(shù)據(jù)集描述

8．print(RedWine_data.DESCR)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據(jù)集為測試集和訓(xùn)練集，使用默認的劃分比例，也就是數(shù)據(jù)集的25%為測試集。1．#將數(shù)據(jù)集劃分為測試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化KNN模型，并進行訓(xùn)練。這里使用的K值為5，讀者可以試試其他不同的K值對模型的影響。1．#實例化一個KNN模型，n_neighbors為超參數(shù)，就是K值

2．KNN_Classifier_Model=KNeighborsClassifier(n_neighbors=5)

3．#進行訓(xùn)練

4．KNN_Classifier_Model.fit(features_train,target_train)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預(yù)測，并打印預(yù)測結(jié)果和真實結(jié)果。1．#對測試集進行預(yù)測

2．target_pre=KNN_Classifier_Model.predict(features_test)

3．#打印預(yù)測結(jié)果

4．print(target_pre)

5．#打印真實結(jié)果

6．print(target_test)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后對模型進行評價。1．#對模型進行評價

2．KNN_Classifier_Model_score=KNN_Classifier_Model.score(features_test,target_test)

3．print(KNN_Classifier_Model_score)

輸出結(jié)果如下。0.7777777777777778

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件隨機森林模型本課件是可編輯的正常PPT課件隨機森林，顧名思義，即使用隨機的方式建立一個森林，這個森林由很多的決策樹組成，并且每一棵決策樹之間是相互獨立的。如果訓(xùn)練集有M個樣本，則對于每棵決策樹而言，以隨機且有放回的方式從訓(xùn)練集中抽取N個訓(xùn)練樣本（N<M），作為該決策樹的訓(xùn)練集。除采用樣本隨機外，隨機森林還采用了特征隨機。假設(shè)每個樣本有K個特征，從所有特征中隨機選取k個特征（k≤K），選擇最佳分割特征作為節(jié)點建立CART決策樹，重復(fù)該步驟，建立m棵CART決策樹。這些樹就組成了森林，這便是隨機森林名字的由來。

隨機森林算法（RandomForestAlgorithm)本課件是可編輯的正常PPT課件導(dǎo)入需要使用的庫。1．#導(dǎo)入需要使用的庫

2．#導(dǎo)入隨機森林算法

3．from

sklearn.ensemble

import

RandomForestClassifier

4．#導(dǎo)入鳶尾花數(shù)據(jù)集需要使用的包

5．from

sklearn.datasets

import

load_iris

6．#導(dǎo)入劃分數(shù)據(jù)集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據(jù)集，查看數(shù)據(jù)集的鍵值對、形狀，數(shù)據(jù)集的描述在前面的內(nèi)容中已經(jīng)查看過了，為節(jié)約篇幅，此處就不再進行查看。1．#加載鳶尾花數(shù)據(jù)集

2．iris_data

=load_iris()

3．#查看數(shù)據(jù)集的鍵值對

4．print(iris_data.keys())

5．#查看數(shù)據(jù)集的形狀，數(shù)據(jù)集的描述部分在前面的內(nèi)容中已經(jīng)查看過了，這里就不再查看

6．print(iris_data.data.shape)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據(jù)集。1．#將數(shù)據(jù)集劃分為測試集和訓(xùn)練集

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化隨機森林模型，使用默認的基尼指數(shù)，并進行訓(xùn)練。1．#實例化隨機森林模型，使用默認的基尼指數(shù)

2．random_forest_cls_model=RandomForestClassifier()

3．#對模型進行訓(xùn)練

4．random_forest_cls_model.fit(features_train,target_train)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預(yù)測，打印預(yù)測結(jié)果和真實結(jié)果。1．#對測試集進行預(yù)測

2．iris_pre=random_forest_cls_model.predict(features_test)

3．#打印預(yù)測結(jié)果

4．print(iris_pre)

5．#打印真實結(jié)果

6．print(target_test)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對模型進行評價，打印模型分數(shù)。1．#對模型進行評價

2．score=random_forest_cls_model.score(features_test,target_test)

3．#打印模型分數(shù)

4．print(score)

輸出結(jié)果如下。0.9736842105263158

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件機器學(xué)習(xí)的幾個關(guān)鍵點本課件是可編輯的正常PPT課件常見的機器學(xué)習(xí)類型本課件是可編輯的正常PPT課件前饋神經(jīng)網(wǎng)絡(luò)《Python機器學(xué)習(xí)與項目實踐》

本課件是可編輯的正常PPT課件教學(xué)內(nèi)容概念基本特征網(wǎng)絡(luò)模型應(yīng)用分析本課件是可編輯的正常PPT課件機器學(xué)習(xí)≈構(gòu)建一個映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)本課件是可編輯的正常PPT課件神經(jīng)元與感知機一個生物的神經(jīng)元的結(jié)構(gòu)分為細胞體和突起兩部分，具有聯(lián)絡(luò)和整合輸入信息并輸出信息的作用。突起包含樹突和軸突，樹突用來接收其他的神經(jīng)元傳遞過來的信號，其一端連接軸突用來給其他的神經(jīng)元傳遞信號，軸突的末端連接到其他神經(jīng)元的樹突或軸突上。神經(jīng)元結(jié)構(gòu)圖感知機的工作原理本課件是可編輯的正常PPT課件激活函數(shù)激活函數(shù)（ActivationFunction）是在神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元上運行的函數(shù)，負責(zé)將神經(jīng)元的輸入映射到輸出端。激活函數(shù)在神經(jīng)元中是非常重要的。為了增強神經(jīng)網(wǎng)絡(luò)的表示能力和學(xué)習(xí)能力，激活函數(shù)需要具備以下幾點性質(zhì)。（1）連續(xù)可導(dǎo)（允許少數(shù)點上不可導(dǎo)）的非線性函數(shù)?？蓪?dǎo)的激活函數(shù)可以直接利用數(shù)值優(yōu)化的方法來學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。（2）激活函數(shù)及其導(dǎo)數(shù)要盡可能的簡單，這樣有利于提高網(wǎng)絡(luò)計算效率。（3）激活函數(shù)的導(dǎo)數(shù)的值域要在一個合適的區(qū)間內(nèi)，不能太大也不能太小，否則會影響訓(xùn)練的效率和穩(wěn)定性。本課件是可編輯的正常PPT課件Sigmoid函數(shù)Sigmoid函數(shù)連續(xù)且光滑，嚴格單調(diào)，關(guān)于(0,0.5)中心對稱，可以將變量映射到(0,1)之間，是一個非常良好的閾值函數(shù)。Sigmoid函數(shù)作為激活函數(shù)有以下優(yōu)缺點。優(yōu)點：平滑、易于求導(dǎo)。缺點：①Sigmoid函數(shù)極容易導(dǎo)致梯度消失問題。假設(shè)神經(jīng)元輸入Sigmoid函數(shù)的值特別大或特別小，那么對應(yīng)的梯度約等于0，即使從上一步傳導(dǎo)來的梯度較大，該神經(jīng)元權(quán)重和偏置的梯度也會趨近0，導(dǎo)致參數(shù)無法得到有效更新。②計算費時。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，常常要計算Sigmoid函數(shù)的值，進行冪計算會導(dǎo)致耗時增加。③Sigmoid函數(shù)不是關(guān)于原點中心對稱的（Zero-centered)。

本課件是可編輯的正常PPT課件Tanh函數(shù)Tanh函數(shù)作為激活函數(shù)有以下優(yōu)缺點。優(yōu)點：①平滑、易于求導(dǎo)。②解決了Sigmoid函數(shù)收斂變慢的問題，相對于Sigmoid函數(shù)提高了收斂速度。缺點：①梯度消失問題依然存在。②函數(shù)值的計算復(fù)雜度高，是指數(shù)級的。本課件是可編輯的正常PPT課件ReLU函數(shù)優(yōu)點：①相比于Sigmoid函數(shù)的兩端飽和，ReLU函數(shù)為左飽和函數(shù)，且在x>0時導(dǎo)數(shù)為1，這在一定程度上緩解了神經(jīng)網(wǎng)絡(luò)的梯度消失問題。②沒有復(fù)雜的指數(shù)運算，計算簡單、效率提高。③收斂速度較快，比Sigmoid函數(shù)和Tanh函數(shù)快很多。④單側(cè)抑制、寬興奮邊界使得ReLU函數(shù)比Sigmoid函數(shù)更符合生物學(xué)神經(jīng)激活機制。缺點：①輸出是非零中心化的，給后一層的神經(jīng)網(wǎng)絡(luò)引入偏置偏移，會影響梯度下降的效率。②ReLU神經(jīng)元在訓(xùn)練時比較容易“死亡”。本課件是可編輯的正常PPT課件Swish函數(shù)Swish函數(shù)的主要優(yōu)點如下。（1）Swish函數(shù)的無界性有助于防止在慢速訓(xùn)練期間梯度逐漸接近0并導(dǎo)致飽和。（2）Swish函數(shù)的平滑度在優(yōu)化和泛化中起了重要作用。本課件是可編輯的正常PPT課件Softmax函數(shù)Softmax函數(shù)常在神經(jīng)網(wǎng)絡(luò)輸出層中充當激活函數(shù)，將輸出層的值通過激活函數(shù)映射到(0,1)區(qū)間，當前輸出可以看作屬于各個分類的概率，從而用來進行多分類。Softmax函數(shù)的映射值越大，則真實類別的可能性越大。本課件是可編輯的正常PPT課件4.3前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)前饋神經(jīng)網(wǎng)絡(luò)也經(jīng)常稱為多層感知機（Multi-LayerPerceptron，MLP），但多層感知機的叫法并不十分合理。因為前饋神經(jīng)網(wǎng)絡(luò)其實是由多層的邏輯回歸模型（連續(xù)的非線性函數(shù)）組成的，而不是由多層的感知機（不連續(xù)的非線性函數(shù)）組成的。前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)本課件是可編輯的正常PPT課件4.3.1通用近似定理神經(jīng)網(wǎng)絡(luò)最有價值的地方可能在于，它可以在理論上證明：一個包含足夠多隱藏層神經(jīng)元的多層前饋神經(jīng)網(wǎng)絡(luò)，能以任意精度逼近任意預(yù)定的連續(xù)函數(shù)。這個定理即通用近似定理（UniversalApproximationTheorem）。這里的Universal也有人將其翻譯成“萬能的”。本課件是可編輯的正常PPT課件4.3.2應(yīng)用到機器學(xué)習(xí)根據(jù)通用近似定理，神經(jīng)網(wǎng)絡(luò)在某種程度上可以作為一個“萬能”函數(shù)來使用，可以用來進行復(fù)雜的特征轉(zhuǎn)換，或者近似一個復(fù)雜的條件分布。在機器學(xué)習(xí)中，輸入樣本的特征對分類器的影響很大。以監(jiān)督學(xué)習(xí)為例，好的特征可以極大提高分類器的性能。本課件是可編輯的正常PPT課件4.3.3參數(shù)學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，需要尋找最優(yōu)參數(shù)（權(quán)重和偏置），即尋找使損失函數(shù)的值盡可能小的參數(shù)。為了找到使損失函數(shù)的值盡可能小的參數(shù)，首先需要計算參數(shù)的梯度（導(dǎo)數(shù)），然后以這個導(dǎo)數(shù)為指引，逐步更新參數(shù)的值。本課件是可編輯的正常PPT課件4.4反向傳播算法反向傳播（BackPropagation，BP）算法是目前用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)的常用且有效的算法。反向傳播算法的主要思想是：將訓(xùn)練集數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過隱藏層，最后到達輸出層并輸出結(jié)果，這是神經(jīng)網(wǎng)絡(luò)的前向傳播過程。本課件是可編輯的正常PPT課件4.5梯度計算前面已經(jīng)介紹了神經(jīng)網(wǎng)絡(luò)的最終目標，即使所定義的損失函數(shù)的值達到最小。為了使損失函數(shù)的值最小，常使用的核心方法是“梯度法”。復(fù)合函數(shù)的計算圖

本課件是可編輯的正常PPT課件4.5梯度計算本課件是可編輯的正常PPT課件4.6網(wǎng)絡(luò)優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)比線性模型更加困難，當前神經(jīng)網(wǎng)絡(luò)模型的難點主要如下。（1）優(yōu)化問題。神經(jīng)網(wǎng)絡(luò)模型是一個非凸函數(shù)，再加上在深度神經(jīng)網(wǎng)絡(luò)中的梯度消失問題，很難進行優(yōu)化。另外，深層神經(jīng)網(wǎng)絡(luò)一般參數(shù)比較多，訓(xùn)練數(shù)據(jù)也比較多，這會導(dǎo)致訓(xùn)練的效率比較低。（2）泛化問題。因為神經(jīng)網(wǎng)絡(luò)的擬合能力強，反而容易在訓(xùn)練集上產(chǎn)生過擬合。因此在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時，需要通過一定的正則化方法來改善網(wǎng)絡(luò)的泛化能力。本課件是可編輯的正常PPT課件優(yōu)化算法1．批量梯度下降（BatchGradientDescent，BGD）2．隨機梯度下降（SGD）3．小批量梯度下降本課件是可編輯的正常PPT課件4.7應(yīng)用實例向讀者介紹前饋神經(jīng)網(wǎng)絡(luò)模型在PyTorch中的簡單構(gòu)建。關(guān)于數(shù)據(jù)集的準備，本節(jié)的示例中使用手寫數(shù)字的MINIST數(shù)據(jù)集。該數(shù)據(jù)集包含60000個用于訓(xùn)練的示例和10000個用于測試的示例。這些數(shù)字已經(jīng)過尺寸標準化并位于圖像中心，圖像是固定大小的（28像素×28像素），其值為0～10。為簡單起見，每個圖像都被展平并轉(zhuǎn)換為784（28×28）個特征的一維NumPy數(shù)組本課件是可編輯的正常PPT課件4.7應(yīng)用實例代碼實現(xiàn)如下。1．import

torch

2．import

torch.nn

as

nn

3．import

torchvision

4．import

torchvision.transforms

as

transforms

5．#

配置

6．device=torch.device('cuda'

if

torch.cuda.is_available()

else

'cpu')

7．#

超參數(shù)

8．input_size=784

9．hidden_size=500

10．num_classes=10

11．num_epochs=5

12．batch_size=100

13．learning_rate=0.001

14．

15．#

數(shù)據(jù)集

16．train_dataset=torchvision.datasets.MNIST(root='../../data',

17．

train=True,

18．

transform=transforms.ToTensor(),

19．

download=True)

20．

21．test_dataset=torchvision.datasets.MNIST(root='../../data',

本課件是可編輯的正常PPT課件4.7應(yīng)用實例22．

train=False,

23．

transform=transforms.ToTensor())

24．

25．#

引入數(shù)據(jù)集26．train_loader=torch.utils.data.DataLoader(dataset=train_dataset,

27．

batch_size=batch_size,

28．

shuffle=True)

29．

30．test_loader=torch.utils.data.DataLoader(dataset=test_dataset,

31．

batch_size=batch_size,

32．

shuffle=False)

33．

34．#

全連接層35．class

NeuralNet(nn.Module):

36．

def

__init__(self,input_size,hidden_size,num_classes):

37．

super(NeuralNet,self).__init__()

38．

self.fc1=nn.Linear(input_size,hidden_size)

39．

self.relu=nn.ReLU()

40．

self.fc2=nn.Linear(hidden_size,num_classes)

本課件是可編輯的正常PPT課件4.7應(yīng)