《Python機器學習與項目實踐》全套教學課件

《Python機器學習與項目實踐》《Python機器學習與項目實踐》chap1-緒論chap2-機器學習基礎概念chap3-線性模型chap4-前饋神經網絡chap5-卷積神經網絡chap6-循環(huán)神經網絡chap7-圖神經網絡chap8-案例全套可編輯PPT課件

本課件是可編輯的正常PPT課件第1章緒論《Python機器學習與項目實踐》本課件是可編輯的正常PPT課件更詳細的課程概括本課件是可編輯的正常PPT課件1.緒論2.機器學習基礎概述3.經典線性模型4.前饋神經網絡5.卷積神經網絡6.循環(huán)神經網絡7.圖神經網絡8.機器學習模型的應用課程大綱本課件是可編輯的正常PPT課件預備知識線性代數(shù)微積分數(shù)學優(yōu)化概率論信息論本課件是可編輯的正常PPT課件1.1引言人工智能（artificialintelligence，AI）就是讓機器具有人類的智能?！坝嬎銠C控制”+“智能行為”人工智能這個學科的誕生有著明確的標志性事件，就是1956年的達特茅斯（Dartmouth）會議。在這次會議上，“人工智能”被提出并作為本研究領域的名稱。人工智能就是要讓機器的行為看起來就像是人所表現(xiàn)出的智能行為一樣。JohnMcCarthy（1927-2011）本課件是可編輯的正常PPT課件1.1引言人工智能的一個子領域機器學習：是一種通過數(shù)學模型和算法從觀測數(shù)據中學習規(guī)律的方法。神經網絡：是一種以（人工）神經元為基本單元的模型深度學習：是一類機器學習問題，主要解決貢獻度分配問題。本課件是可編輯的正常PPT課件圖靈測試AlanTuring“一個人在不接觸對方的情況下，通過一種特殊的方式，和對方進行一系列的問答。如果在相當長時間內，他無法根據這些問題判斷對方是人還是計算機，那么就可以認為這個計算機是智能的”。---AlanTuring[1950]《ComputingMachineryandIntelligence》本課件是可編輯的正常PPT課件人工智能的研究領域讓機器具有人類的智能機器感知（計算機視覺、語音信息處理）學習（模式識別、機器學習、強化學習）語言（自然語言處理）記憶（知識表示）決策（規(guī)劃、數(shù)據挖掘）本課件是可編輯的正常PPT課件發(fā)展歷史本課件是可編輯的正常PPT課件如何開發(fā)一個人工智能系統(tǒng)？開發(fā)人工智能系統(tǒng)的過程通常包括以下步驟：確定目標、收集和準備數(shù)據、選擇和訓練模型、測試和調整模odel、部署和監(jiān)控。確定AI系統(tǒng)的目標是一個至關重要的步驟，因為它直接影響到系統(tǒng)設計和實施的方法。數(shù)據是訓練AI系統(tǒng)的基礎。你需要收集大量的數(shù)據，這些數(shù)據能夠反映出你希望系統(tǒng)學習的模式和關系。數(shù)據的質量和數(shù)量直接影響到AI系統(tǒng)的性能。在收集和準備了數(shù)據之后，你需要選擇一個適合你的任務的AI模型，并用你的數(shù)據來訓練它。AI模型的選擇取決于你的任務類型，例如，如果你的任務是圖像識別，你可能會選擇卷積神經網絡（CNN）模型；如果你的任務是文本處理，你可能會選擇循環(huán)神經網絡（RNN）模型在模型訓練完成后，你需要在測試集上測試模型的性能，看看模型是否能夠很好地泛化到未見過的數(shù)據。你可能需要調整模型的參數(shù)，或者嘗試不同的模型，以達到最佳的性能。最后，你需要將訓練好的AI系統(tǒng)部署到實際的環(huán)境中，看看它在實際的任務中是否能夠達到預期的效果。你需要對系統(tǒng)的性能進行持續(xù)的監(jiān)控和調整，以確保系統(tǒng)的穩(wěn)定性和效果。本課件是可編輯的正常PPT課件規(guī)則?機器學習本課件是可編輯的正常PPT課件機器學習≈構建一個映射函數(shù)語音識別圖像識別圍棋機器翻譯“9”“你好”“6-5”“Hello!”“你好！”(落子位置)本課件是可編輯的正常PPT課件芒果解釋機器學習如果判斷芒果是否甜蜜？某天你去買芒果。你挑選后，小販會稱重，你需要根據根據重量乘以標記的固定單價來付錢。毋庸置疑，你會選擇那些最甜、最熟的芒果（因為是按重量計費而不是按質量）。那么你要怎么挑選呢？你依稀記得，外婆告訴你，那些有光澤的黃芒果會比沒光澤的黃芒果更甜。所以你就定下了一個挑選標準：只在那些有光澤的黃芒果里挑選。然后，你仔細觀察了芒果的顏色，然后從中選出了那些有光澤的黃芒果，給錢，回家！然后，幸福和快樂是結局？本課件是可編輯的正常PPT課件芒果機器學習從市場上隨機選取的芒果樣本（訓練數(shù)據），列出每個芒果的所有特征：如顏色，大小，形狀，產地，品牌以及芒果質量（輸出變量）：甜蜜，多汁，成熟度。設計一個學習算法來學習芒果的特征與輸出變量之間的相關性模型。下次從市場上買芒果時，可以根據芒果（測試數(shù)據）的特征，使用前面計算的模型來預測芒果的質量。本課件是可編輯的正常PPT課件知識知道怎么做專家系統(tǒng)…不知道怎么做容易做機器學習圖像識別自然語言處理語音識別不容易做強化學習圍棋如何開發(fā)一個人工智能系統(tǒng)？規(guī)則本課件是可編輯的正常PPT課件標記、特征及樣本標記（Label）是我們要預測的內容。特征（Feature）是與其他事物明顯區(qū)分的顯著特點，也就是機器學習模型的輸入變量。樣本（Sample）是特定事物數(shù)據的實例。本課件是可編輯的正常PPT課件數(shù)據集一組樣本構成的集合被稱為數(shù)據集（DataSet）數(shù)據集通常被分為兩個部分：訓練集和測試集。訓練集（TrainingSet）包含用于模型訓練的數(shù)據樣本，也被稱為訓練樣本（TrainingSample）。測試集（TestSet）用于評估最終模型的性能好壞，也被稱為測試樣本（TestSample）。本課件是可編輯的正常PPT課件模型

本課件是可編輯的正常PPT課件4.向量在數(shù)學中，向量（也稱為歐幾里得向量、幾何向量），指具有大?。╩agnitude）和方向的量。。在機器學習中，向量常用于表示數(shù)據樣本和特征。向量在機器學習中扮演著重要的角色，它們提供了一種有效的數(shù)據表示形式，使得機器學習算法能夠對數(shù)據進行建模和分析。本課件是可編輯的正常PPT課件4.向量在數(shù)學中，向量（也稱為歐幾里得向量、幾何向量），指具有大小（magnitude）和方向的量。。在機器學習中，向量常用于表示數(shù)據樣本和特征。向量在機器學習中扮演著重要的角色，它們提供了一種有效的數(shù)據表示形式，使得機器學習算法能夠對數(shù)據進行建模和分析。本課件是可編輯的正常PPT課件一個生活中的例子：顏色本課件是可編輯的正常PPT課件1.2概念本課件是可編輯的正常PPT課件機器學習機器學習是一種通過數(shù)學模型和算法從觀測數(shù)據中學習規(guī)律的方法。當我們用機器學習來解決一些模式識別任務時，一般的流程包含以下幾個步驟：機器學習的基本思路本課件是可編輯的正常PPT課件機器學習的流程機器學習解決問題的通用流程包括問題建模、特征處理（工程）、模型選擇和模型融合。當我們用機器學習來解決一些模式識別任務時，一般的流程包含以下幾個步驟：機器學習的流程圖本課件是可編輯的正常PPT課件機器學習模型的分類機器學習模型分成4類：監(jiān)督學習（SupervisedLearning）模型無監(jiān)督學習（UnsupervisedLearning）模型半監(jiān)督學習（Semi-SupervisedLearning）模型強化學習（ReinforcementLearning）模型。本課件是可編輯的正常PPT課件機器學習應用領域介紹AlphaGo是由GoogleDeepMind公司開發(fā)的人工智能圍棋程序。自動駕駛智能制造業(yè)智慧醫(yī)療與健康金融服務媒體和娛樂本課件是可編輯的正常PPT課件1.3常用術語本課件是可編輯的正常PPT課件假設函數(shù)和損失函數(shù)假設函數(shù)：損失函數(shù)損失函數(shù)（LossFunction）又叫目標函數(shù)本課件是可編輯的正常PPT課件擬合、過擬合和欠擬合模型對訓練數(shù)據的預測誤差稱為訓練誤差，也稱為經驗誤差。對測試數(shù)據的預測誤差稱為測試誤差，也稱為泛化誤差。過擬合和欠擬合圖解本課件是可編輯的正常PPT課件1.4機器學習環(huán)境構建和常用工具本課件是可編輯的正常PPT課件機器學習環(huán)境構建和常用工具PythonAnaconda+JupyterNotebookNumPyMatplotlibPandasScikit-learnPyTorch

…本課件是可編輯的正常PPT課件推薦其他教材邱錫鵬,神經網絡與深度學習,機械工業(yè)出版社,2020，ISBN9787111649687https://nndl.github.io/提供配套練習阿斯頓·張等,動手學深度學習,ISBN:9787115505835https://d2l.ai/有PyTorch版Bishop,C.M.(2006).PatternrecognitionandMachineLearning.Springer.ISBN9780387310732.網上有中文版by馬春鵬本課件是可編輯的正常PPT課件推薦教材Wright,S.,&Nocedal,J.(1999).Numericaloptimization.SpringerScience,35(67-68),7.Boyd,S.,&Vandenberghe,L.(2004).Convexoptimization.Cambridgeuniversitypress.本課件是可編輯的正常PPT課件推薦課程斯坦福大學CS224n:DeepLearningforNaturalLanguageProcessing/class/archive/cs/cs224n/cs224n.1194/ChrisManning主要講解自然語言處理領域的各種深度學習模型斯坦福大學CS231n:ConvolutionalNeuralNetworksforVisualRecognition/Fei-FeiLiAndrejKarpathy主要講解CNN、RNN在圖像領域的應用加州大學伯克利分校CS294:DeepReinforcementLearning/deeprlcourse/本課件是可編輯的正常PPT課件推薦材料林軒田“機器學習基石”“機器學習技法”.tw/~htlin/mooc/李宏毅

“1天搞懂深度學習”.tw/~tlkagk/slide/Tutorial_HYLee_Deep.pptx李宏毅“機器學習2020”/video/av94519857/本課件是可編輯的正常PPT課件人工智能頂會論文NeurIPS、ICLR、ICML、AAAI、IJCAIACL、EMNLPCVPR、ICCV…本課件是可編輯的正常PPT課件機器學習基礎概述《Python機器學習與項目實踐》

本課件是可編輯的正常PPT課件教學內容機器學習概念原理線性回歸定義經驗風險最小化最小均方誤差結構風險最小化最大似然估計最大后驗估計機器學習的幾個關鍵點本課件是可編輯的正常PPT課件數(shù)據特征表示“狗”“大家好”“X-Y”“我有什么可以幫你嗎”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)特征是被觀測對象的一個獨立可觀測的屬性或特點。本課件是可編輯的正常PPT課件特征工程和特征學習特征學習（或表征學習）是一種將原始數(shù)據轉換為能夠被機器學習并有效開發(fā)的數(shù)據的一種技術，即如何讓機器自動地學習出有效的特征。特征工程利用領域知識和現(xiàn)有樣本數(shù)據，創(chuàng)造出新的特征。主要包括特征選擇（FeatureSelection）、特征提?。‵eatureExtraction）和特征構建（FeatureConstruction）。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：準確率（Accuracy）、精確率（Precision）、召回率（Recall）、P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：準確率（Accuracy）、準確率的定義是預測正確的結果占總樣本的百分比，真正例（TruePositive，TP）：被模型預測為正的正樣本；假正例（FalsePositive，F(xiàn)P）：被模型預測為正的負樣本；假負例（FalseNegative，F(xiàn)N）：被模型預測為負的正樣本；真負例（TrueNegative，TN）：被模型預測為負的負樣本。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：精確率（Precision）、本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：召回率（Recall）、本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：P-R曲線（Precision-RecallCurve）、P-R曲線是描述精確率/召回率變化的曲線。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：F1-Score是精確率和召回率的加權調和平均。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：ROC、ROC曲線圖本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：AUC、AUC曲線圖本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：混淆矩陣（ConfuseMatrix）：混淆矩陣又稱為錯誤矩陣，它可以直觀地反映算法的效果?；煜仃嚳梢晥D本課件是可編輯的正常PPT課件損失函數(shù)本課件是可編輯的正常PPT課件損失函數(shù)常見損失函數(shù)，曲線圖如圖0-1損失函數(shù)（0-1LossFunction）平方損失函數(shù)（QuadraticLossFunction）指數(shù)損失函數(shù)（Exp-LossFunction）交叉熵損失函數(shù)（Cross-EntropyLossFunction）Hinge損失函數(shù)（HingeLossFunction）本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件評價指標機器學習分類任務的常用評價指標：P-R曲線（Precision-RecallCurve）、F1-Score、ROC、AUC、混淆矩陣（ConfuseMatrix）。本課件是可編輯的正常PPT課件機器學習≈構建一個映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)本課件是可編輯的正常PPT課件現(xiàn)實世界的問題都比較復雜很難通過規(guī)則來手工實現(xiàn)為什么要“機器學習”？本課件是可編輯的正常PPT課件什么是機器學習？機器學習：通過算法使得機器能從大量數(shù)據中學習規(guī)律從而對新的樣本做決策。規(guī)律：決策（預測）函數(shù)獨立同分布p(x,y)本課件是可編輯的正常PPT課件機器學習的三要素

本課件是可編輯的正常PPT課件常見的機器學習問題分類聚類回歸本課件是可編輯的正常PPT課件模型以線性回歸（LinearRegression）為例模型：本課件是可編輯的正常PPT課件學習準則損失函數(shù)0-1損失函數(shù)平方損失函數(shù)本課件是可編輯的正常PPT課件學習準則

本課件是可編輯的正常PPT課件最優(yōu)化問題機器學習問題轉化成為一個最優(yōu)化問題本課件是可編輯的正常PPT課件梯度下降法（GradientDescent）搜索步長α中也叫作學習率（LearningRate）本課件是可編輯的正常PPT課件學習率是十分重要的超參數(shù)！本課件是可編輯的正常PPT課件隨機梯度下降法隨機梯度下降法（StochasticGradientDescent，SGD）也叫增量梯度下降，每個樣本都進行更新小批量（Mini-Batch）隨機梯度下降法本課件是可編輯的正常PPT課件隨機梯度下降法Why?本課件是可編輯的正常PPT課件機器學習=優(yōu)化？機器學習=優(yōu)化？過擬合：經驗風險最小化原則很容易導致模型在訓練集上錯誤率很低，但是在未知數(shù)據上錯誤率很高。過擬合問題往往是由于訓練數(shù)據少和噪聲等原因造成的。NO！本課件是可編輯的正常PPT課件泛化錯誤期望風險經驗風險泛化錯誤

本課件是可編輯的正常PPT課件如何減少泛化錯誤？正則化優(yōu)化降低模型復雜度經驗風險最小本課件是可編輯的正常PPT課件正則化（regularization）L1/L2約束、數(shù)據增強權重衰減、隨機梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程本課件是可編輯的正常PPT課件提前停止我們使用一個驗證集（ValidationDataset）來測試每一次迭代的參數(shù)在驗證集上是否最優(yōu)。如果在驗證集上的錯誤率不再下降，就停止迭代。本課件是可編輯的正常PPT課件線性回歸本課件是可編輯的正常PPT課件線性回歸（LinearRegression）模型：增廣權重向量和增廣特征向量本課件是可編輯的正常PPT課件優(yōu)化方法經驗風險最小化（最小二乘法）結構風險最小化（嶺回歸）最大似然估計最大后驗估計本課件是可編輯的正常PPT課件經驗風險最小化本課件是可編輯的正常PPT課件矩陣微積分標量關于向量的偏導數(shù)向量關于向量的偏導數(shù)向量函數(shù)及其導數(shù)本課件是可編輯的正常PPT課件經驗風險最小化模型學習準則本課件是可編輯的正常PPT課件經驗風險最小化優(yōu)化本課件是可編輯的正常PPT課件結構風險最小化結構風險最小化準則得到嶺回歸（RidgeRegression）本課件是可編輯的正常PPT課件最大似然估計本課件是可編輯的正常PPT課件關于概率的一些基本概念概率（Probability）一個隨機事件發(fā)生的可能性大小，為0到1之間的實數(shù)。隨機變量（RandomVariable）比如隨機擲一個骰子，得到的點數(shù)就可以看成一個隨機變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個隨機變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應的分布為二項分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應的分布二項式系數(shù)，表示從n個元素中取出k個元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對于離散隨機向量(X,Y)，已知X=x的條件下，隨機變量Y=y的條件概率為：貝葉斯公式兩個條件概率p(y|x)和p(x|y)之間的關系本課件是可編輯的正常PPT課件例子性別\行業(yè)計算機教育男0.40.10.5女0.10.40.50.60.4p(男|計算機)=MarginalProbabilityMarginalProbability本課件是可編輯的正常PPT課件似然（Likelihood）

似然likelihood先驗prior后驗posterior貝葉斯公式：本課件是可編輯的正常PPT課件從概率角度來看線性回歸

本課件是可編輯的正常PPT課件線性回歸中的似然函數(shù)參數(shù)w在訓練集D上的似然函數(shù)（Likelihood）為本課件是可編輯的正常PPT課件最大似然估計最大似然估計（MaximumLikelihoodEstimate，MLE）是指找到一組參數(shù)w使得似然函數(shù)p(y|X;w,σ)最大本課件是可編輯的正常PPT課件最大后驗估計本課件是可編輯的正常PPT課件最大后驗估計似然likelihood先驗prior后驗posterior正則化系數(shù)本課件是可編輯的正常PPT課件總結無先驗引入先驗平方誤差經驗風險最小化結構風險最小化概率最大似然估計最大后驗估計本課件是可編輯的正常PPT課件多項式回歸本課件是可編輯的正常PPT課件一個例子：PolynomialCurveFittingFromchapter1ofBishop’sPRML.模型損失函數(shù)本課件是可編輯的正常PPT課件WhichDegreeofPolynomial?AmodelselectionproblemM=9→E(w)=0:Thisisoverfitting本課件是可編輯的正常PPT課件ControllingOverfitting:RegularizationAsorderofpolynomialMincreases,sodocoefficientmagnitudes!對大的系數(shù)進行懲罰本課件是可編輯的正常PPT課件ControllingOverfitting:Regularization本課件是可編輯的正常PPT課件ControllingOverfitting:Datasetsize本課件是可編輯的正常PPT課件機器學習的幾個關鍵點本課件是可編輯的正常PPT課件常見的機器學習類型本課件是可編輯的正常PPT課件如何選擇一個合適的模型？模型選擇擬合能力強的模型一般復雜度會比較高，容易過擬合。如果限制模型復雜度，降低擬合能力，可能會欠擬合。偏差與方差分解期望錯誤可以分解為本課件是可編輯的正常PPT課件模型選擇：偏差與方差集成模型：有效的降低方差的方法本課件是可編輯的正常PPT課件線性模型《Python機器學習與項目實踐》

本課件是可編輯的正常PPT課件教學內容線性回歸模型、邏輯回歸模型、樸素貝葉斯模型、決策樹模型、支持向量機模型、KNN模型隨機森林模型。本課件是可編輯的正常PPT課件矩陣微積分標量關于向量的偏導數(shù)向量關于向量的偏導數(shù)向量函數(shù)及其導數(shù)本課件是可編輯的正常PPT課件關于概率的一些基本概念概率（Probability）一個隨機事件發(fā)生的可能性大小，為0到1之間的實數(shù)。隨機變量（RandomVariable）比如隨機擲一個骰子，得到的點數(shù)就可以看成一個隨機變量X，其取值為{1,2,3,4,5,6}。概率分布（ProbabilityDistribution）一個隨機變量X取每種可能值的概率并滿足本課件是可編輯的正常PPT課件概率的一些基本概念伯努利分布（BernoulliDistribution）在一次試驗中，事件A出現(xiàn)的概率為μ，不出現(xiàn)的概率為1?μ。若用變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為0和1，其相應的分布為二項分布（BinomialDistribution）在n次伯努利分布中，若以變量X表示事件A出現(xiàn)的次數(shù)，則X的取值為{0,…,n}，其相應的分布二項式系數(shù)，表示從n個元素中取出k個元素而不考慮其順序的組合的總數(shù)。本課件是可編輯的正常PPT課件概率的一些基本概念

本課件是可編輯的正常PPT課件概率的一些基本概念條件概率（ConditionalProbability）對于離散隨機向量(X,Y)，已知X=x的條件下，隨機變量Y=y的條件概率為：貝葉斯公式兩個條件概率p(y|x)和p(x|y)之間的關系本課件是可編輯的正常PPT課件線性回歸模型本課件是可編輯的正常PPT課件模型：增廣權重向量和增廣特征向量線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第1步，我們需要導入所需的包。增廣權重向量和增廣特征向量1．from

sklearn

import

datasets

#導入sklearn

中的數(shù)據集

2．from

sklearn.model_selection

import

train_test_split

#導入數(shù)據集劃分模塊

3．from

sklearn.linear_model

import

LinearRegression

#導入線性回歸模型

4．from

sklearn.metrics

import

mean_squared_error

#導入均方差評價指標

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第2步，首先加載數(shù)據集增廣權重向量和增廣特征向量1．#加載波士頓房價數(shù)據集

2．boston_data=datasets.load_boston()

3．#獲取波士頓房價數(shù)據集的特征集

4．bonston_x=boston_data.data

5．#獲取波士頓房價數(shù)據集的目標值

6．bonston_y=boston_data.target

7．#查看數(shù)據集鍵值對

8．print(boston_data.keys())

9．#查看數(shù)據集描述

10．print(boston_data.DESCR)

11．#查看數(shù)據集特征值形狀，可以看出有506個樣本，每個樣本有13個特征

12．print(bonston_x.shape)

13．#查看數(shù)據集目標值形狀，有506個目標值?？梢园l(fā)現(xiàn)沒有缺失值

14．print(bonston_y.shape)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件通過結果可以知道共有506個樣本，特征向量維度為13，也就是說房價有13個影響因素。增廣權重向量和增廣特征向量

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第3步，劃分訓練集和測試集，其中測試集占數(shù)據集的20%。1．#對數(shù)據集進行劃分，其中測試集占數(shù)據集的20%

2．features_train,features_test,target_train,target_test

=train_test_split(bonston_x,bonston_y,test_size=0.2)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第4步，實例化模型并進行訓練。1．#實例化模型

2．model

=LinearRegression()

3．#進行模型訓練

4．model.fit(features_train,target_train)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第5步，對測試集進行預測，并輸出預測目標值和真實目標值，從而直觀地感受預測目標值與真實值目標的差距。1．#進行預測

2．target_test_predict=model.predict(features_test)

3．#查看預測目標值4．print(target_test_predict)

5．#查看真實目標值

6．print(target_test)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件第6步，對模型進行評價，采用的是均方差評價函數(shù)：1．#

對模型效果進行評價

2．error=mean_squared_error(target_test,target_test_predict)

3．print('測試數(shù)據的誤差：',error)

線性回歸（LinearRegression）本課件是可編輯的正常PPT課件邏輯回歸模型本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件

邏輯回歸（LogisticRegression）本課件是可編輯的正常PPT課件導入需要使用的包。1．#導入需要使用的包

2．#導入劃分訓練集、測試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導入鳶尾花數(shù)據集

5．from

sklearn.datasets

import

load_iris

6．#導入sklearn中的邏輯回歸模型

7．from

sklearn.linear_model

import

LogisticRegression

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據集，查看數(shù)據集鍵值對，查看數(shù)據集描述，查看特征集形狀。1．#加載鳶尾花數(shù)據集

2．iris_data=load_iris()

3．#查看鳶尾花數(shù)據集的鍵值對

4．print(iris_data.keys())

5．#查看鳶尾花數(shù)據集的描述

6．print(iris_data.DESCR)

7．#查看鳶尾花特征集的形狀

8．print(iris_data.data.shape)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件接下來劃分數(shù)據集。1．#將數(shù)據集劃分為測試集和訓練集，使用默認劃分比例，測試集占數(shù)據集的25%，查看劃分后訓練集的形狀

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

3．print(features_train.shape)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化模型，訓練模型，對測試集進行預測，并輸出預測結果和真實結果，簡單直觀地觀察模型性能。1．#實例化模型，默認迭代次數(shù)為1000，這里我們設置為2500，迭代次數(shù)就是尋找損失函數(shù)最小值所迭代的次數(shù)

2．logstic_model=LogisticRegression(max_iter=2500)

3．#訓練模型

4．logstic_model.fit(features_train,target_train)

5．#對測試集進行預測，打印預測結果，打印真實結果，直觀感受模型性能

6．target_pre=logstic_model.predict(features_test)

7．print(target_pre)

8．print(target_test)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后對模型進行評價，并輸出其結果。1．#對模型進行評價，使用自帶的性能評價器評價其準確率

2．score=logstic_model.score(features_test,target_test)

3．print(score)

邏輯回歸模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件經驗風險最小化本課件是可編輯的正常PPT課件樸素貝葉斯是一種有監(jiān)督學習的分類算法。

樸素貝葉斯（NaiveBayesianAlgorithm）面

貌舉

止聲

音穿

著是否有好感好看優(yōu)雅好聽得體有好看粗魯不好聽得體沒有不好看優(yōu)雅好聽得體有不好看優(yōu)雅不好聽不得體沒有好看優(yōu)雅好聽不得體有不好看粗魯不好聽不得體沒有好看粗魯好聽得體有不好看粗魯好聽不得體沒有

本課件是可編輯的正常PPT課件首先導入需要使用的包1．#導入需要使用的包

2．#導入劃分訓練集、測試集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

4．#導入鳶尾花數(shù)據集

5．from

sklearn.datasets

import

load_iris

6．#導入sklearn中的樸素貝葉斯模型，使用的是高斯分類器

7．from

sklearn.naive_bayes

import

GaussianNB

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件然后加載鳶尾花數(shù)據集。1．#加載鳶尾花數(shù)據集

2．iris_data=load_iris()

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據集為測試集和訓練集。1．#將數(shù)據集劃分為測試集和訓練集，使用默認劃分比例，測試集占數(shù)據集的25%

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件接下來實例化一個樸素貝葉斯模型并進行訓練。1．#實例化一個樸素貝葉斯模型

2．naive_bayes_model=GaussianNB()

3．#訓練模型

4．naive_bayes_model.fit(features_train,target_train)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預測，并查看預測結果和真實結果。1．#對測試集進行預測，打印預測結果，打印真實結果，直觀感受模型效果

2．target_pre=naive_bayes_model.predict(features_test)3．#打印預測結果

4．print(target_pre)5．#打印真實結果6．print(target_test)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后評價模型，打印模型分數(shù)（準確率）。1．#對模型進行評估

2．score=naive_bayes_model.score(features_test,target_test)

3．#打印模型分數(shù)

4．print(score)

樸素貝葉斯模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件決策樹模型本課件是可編輯的正常PPT課件決策樹算法是指一類算法，它以樹形結構呈現(xiàn)邏輯模型。決策樹模型本課件是可編輯的正常PPT課件導入需要的庫1．#導入需要使用的包

2．from

sklearn.datasets

import

load_wine

#導入紅酒數(shù)據集需要使用的包

3．from

sklearn.model_selection

import

train_test_split

#導入數(shù)據集劃分工具

4．from

sklearn.tree

import

DecisionTreeClassifier

#導入決策樹模型

5．import

numpy

as

np

#導入NumPy

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載紅酒數(shù)據集，并查看數(shù)據集形狀、描述和鍵值對1．#加載紅酒數(shù)據集

2．RedWine_data=load_wine()

3．#查看數(shù)據集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據集鍵值對

6．print(RedWine_data.keys())

7．#查看數(shù)據集描述

8．print(RedWine_data.DESCR)

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件將數(shù)據集劃分為訓練集和測試集1．#將數(shù)據集劃分為測試集和訓練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化決策樹模型，并進行訓練。1．#實例化一個ID3決策樹模型

2．DecisionTree_Model=DecisionTreeClassifier(criterion='entropy')

3．#進行模型訓練

4．DecisionTree_Model.fit(features_train,target_train)

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件評價指標為準確率，輸出評價分數(shù)。1．#對模型進行評價

2．print(DecisionTree_Model.score(features_test,target_test))

決策樹模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件支持向量機模型本課件是可編輯的正常PPT課件支持向量機是有監(jiān)督學習算法中最有影響力的機器學習算法之一。支持向量機的概念本課件是可編輯的正常PPT課件導入需要使用的包。1．from

sklearn

import

svm

#導入支持向量機模型

2．from

sklearn.datasets

import

load_iris

#導入鳶尾花數(shù)據集

3．from

sklearn.model_selection

import

train_test_split

#導入數(shù)據集劃分需要使用的包

4．from

sklearn.metrics

import

confusion_matrix

#導入混淆矩陣評價指標

5．from

sklearn.metrics

import

accuracy_score

#導入準確率評

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載鳶尾花數(shù)據集，并查看其形狀。1．#加載鳶尾花數(shù)據集，其結果是個字典

2．iris=load_iris()

3．#查看數(shù)據集的形狀，有多少個樣本，每個樣本有多少個特征

4．print(iris.data.shape)

輸出結果如下，總共有150個樣本，每個樣本有4個特征。(150,4)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據集。1．#劃分訓練集和測試集，將隨機數(shù)種子設置為1，便于復現(xiàn)模型，訓練集占數(shù)據集的70%，剩下的為測試集

2．train_data,test_data=train_test_split(iris.data,random_state=1,train_size=0.7,test_size=0.3)

3．train_label,test_label=train_test_split(iris.target,random_state=1,train_size=0.7,test_size=0.3)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化模型并進行訓練。1．#實例化模型，C是正則化程度，C的數(shù)值越大，懲罰力度越小，默認為1，使用rbf核函數(shù)

2．model=svm.SVC(C=2.0,kernel='rbf',gamma=10,decision_function_shape='ovr')3．#訓練模型，ravel將維度變?yōu)橐痪S

4．model.fit(train_data,train_label.ravel())

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件進行預測，并評價，采用混淆矩陣和準確率進行評價。1．#模型預測

2．pre_test=model.predict(test_data)

3．#準確率評價

4．score=accuracy_score(test_label,pre_test)

5．print(score)

6．#混淆矩陣評價

7．cm=confusion_matrix(test_label,pre_test)

8．print(cm)

支持向量機模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件KNN模型本課件是可編輯的正常PPT課件機器學習分類算法——K最近鄰算法，簡稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學習分類算法的一種。在學習KNN算法的過程中，只需要把握兩個原則就好了。第1個原則是“少數(shù)服從多數(shù)”；第2個原則是“資格”，就是是否有資格進行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件機器學習分類算法——K最近鄰算法，簡稱KNN（K-Nearest-Neighbor）算法。它是有監(jiān)督學習分類算法的一種。在學習KNN算法的過程中，只需要把握兩個原則就好了。第1個原則是“少數(shù)服從多數(shù)”；第2個原則是“資格”，就是是否有資格進行投票。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件KNN算法主要包括4個步驟，（1）準備數(shù)據，對數(shù)據進行預處理。（2）計算測試樣本點（也就是待分類點）到其他每個樣本點的距離（選定度量距離的方法）。（3）對每個距離進行排序，選出距離最小的K個點。（4）對K個點所屬的類進行比較，按照“少數(shù)服從多數(shù)”的原則（多數(shù)表決思想），將測試樣本點歸入K個點中占比最高的一類中。

KNN（K-Nearest-Neighbor）本課件是可編輯的正常PPT課件導入需要使用的包，這里以紅酒數(shù)據集為例。1．#導入需要使用的包

2．#導入NumPy

3．import

numpy

as

np

4．#導入紅酒數(shù)據集需要使用的包

5．from

sklearn.datasets

import

load_wine

6．#導入劃分數(shù)據集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

8．#導入KNN算法需要使用的包

9．from

sklearn.neighbors

import

KNeighborsClassifier

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據集并查看數(shù)據集形狀、數(shù)據集鍵值對、數(shù)據集描述。1．#加載數(shù)據集

2．RedWine_data=load_wine()

3．#查看數(shù)據集形狀

4．print(RedWine_data.data.shape)

5．#查看數(shù)據集鍵值對

6．print(RedWine_data.keys())

7．#查看數(shù)據集描述

8．print(RedWine_data.DESCR)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據集為測試集和訓練集，使用默認的劃分比例，也就是數(shù)據集的25%為測試集。1．#將數(shù)據集劃分為測試集和訓練集

2．features_train,features_test,target_train,target_test=train_test_split(RedWine_data.data,RedWine_data.target)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化KNN模型，并進行訓練。這里使用的K值為5，讀者可以試試其他不同的K值對模型的影響。1．#實例化一個KNN模型，n_neighbors為超參數(shù)，就是K值

2．KNN_Classifier_Model=KNeighborsClassifier(n_neighbors=5)

3．#進行訓練

4．KNN_Classifier_Model.fit(features_train,target_train)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預測，并打印預測結果和真實結果。1．#對測試集進行預測

2．target_pre=KNN_Classifier_Model.predict(features_test)

3．#打印預測結果

4．print(target_pre)

5．#打印真實結果

6．print(target_test)

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件最后對模型進行評價。1．#對模型進行評價

2．KNN_Classifier_Model_score=KNN_Classifier_Model.score(features_test,target_test)

3．print(KNN_Classifier_Model_score)

輸出結果如下。0.7777777777777778

KNN的代碼實現(xiàn)本課件是可編輯的正常PPT課件隨機森林模型本課件是可編輯的正常PPT課件隨機森林，顧名思義，即使用隨機的方式建立一個森林，這個森林由很多的決策樹組成，并且每一棵決策樹之間是相互獨立的。如果訓練集有M個樣本，則對于每棵決策樹而言，以隨機且有放回的方式從訓練集中抽取N個訓練樣本（N<M），作為該決策樹的訓練集。除采用樣本隨機外，隨機森林還采用了特征隨機。假設每個樣本有K個特征，從所有特征中隨機選取k個特征（k≤K），選擇最佳分割特征作為節(jié)點建立CART決策樹，重復該步驟，建立m棵CART決策樹。這些樹就組成了森林，這便是隨機森林名字的由來。

隨機森林算法（RandomForestAlgorithm)本課件是可編輯的正常PPT課件導入需要使用的庫。1．#導入需要使用的庫

2．#導入隨機森林算法

3．from

sklearn.ensemble

import

RandomForestClassifier

4．#導入鳶尾花數(shù)據集需要使用的包

5．from

sklearn.datasets

import

load_iris

6．#導入劃分數(shù)據集需要使用的包

7．from

sklearn.model_selection

import

train_test_split

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件加載數(shù)據集，查看數(shù)據集的鍵值對、形狀，數(shù)據集的描述在前面的內容中已經查看過了，為節(jié)約篇幅，此處就不再進行查看。1．#加載鳶尾花數(shù)據集

2．iris_data

=load_iris()

3．#查看數(shù)據集的鍵值對

4．print(iris_data.keys())

5．#查看數(shù)據集的形狀，數(shù)據集的描述部分在前面的內容中已經查看過了，這里就不再查看

6．print(iris_data.data.shape)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件劃分數(shù)據集。1．#將數(shù)據集劃分為測試集和訓練集

2．features_train,features_test,target_train,target_test=train_test_split(iris_data.data,iris_data.target)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件實例化隨機森林模型，使用默認的基尼指數(shù)，并進行訓練。1．#實例化隨機森林模型，使用默認的基尼指數(shù)

2．random_forest_cls_model=RandomForestClassifier()

3．#對模型進行訓練

4．random_forest_cls_model.fit(features_train,target_train)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對測試集進行預測，打印預測結果和真實結果。1．#對測試集進行預測

2．iris_pre=random_forest_cls_model.predict(features_test)

3．#打印預測結果

4．print(iris_pre)

5．#打印真實結果

6．print(target_test)

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件對模型進行評價，打印模型分數(shù)。1．#對模型進行評價

2．score=random_forest_cls_model.score(features_test,target_test)

3．#打印模型分數(shù)

4．print(score)

輸出結果如下。0.9736842105263158

隨機森林模型的代碼實現(xiàn)本課件是可編輯的正常PPT課件機器學習的幾個關鍵點本課件是可編輯的正常PPT課件常見的機器學習類型本課件是可編輯的正常PPT課件前饋神經網絡《Python機器學習與項目實踐》

本課件是可編輯的正常PPT課件教學內容概念基本特征網絡模型應用分析本課件是可編輯的正常PPT課件機器學習≈構建一個映射函數(shù)“貓”“你好”“5-5”“今天天氣真不錯”“你好”用戶輸入機器(落子位置)語音識別圖像識別圍棋對話系統(tǒng)本課件是可編輯的正常PPT課件神經元與感知機一個生物的神經元的結構分為細胞體和突起兩部分，具有聯(lián)絡和整合輸入信息并輸出信息的作用。突起包含樹突和軸突，樹突用來接收其他的神經元傳遞過來的信號，其一端連接軸突用來給其他的神經元傳遞信號，軸突的末端連接到其他神經元的樹突或軸突上。神經元結構圖感知機的工作原理本課件是可編輯的正常PPT課件激活函數(shù)激活函數(shù)（ActivationFunction）是在神經網絡中的神經元上運行的函數(shù)，負責將神經元的輸入映射到輸出端。激活函數(shù)在神經元中是非常重要的。為了增強神經網絡的表示能力和學習能力，激活函數(shù)需要具備以下幾點性質。（1）連續(xù)可導（允許少數(shù)點上不可導）的非線性函數(shù)?？蓪У募せ詈瘮?shù)可以直接利用數(shù)值優(yōu)化的方法來學習網絡參數(shù)。（2）激活函數(shù)及其導數(shù)要盡可能的簡單，這樣有利于提高網絡計算效率。（3）激活函數(shù)的導數(shù)的值域要在一個合適的區(qū)間內，不能太大也不能太小，否則會影響訓練的效率和穩(wěn)定性。本課件是可編輯的正常PPT課件Sigmoid函數(shù)Sigmoid函數(shù)連續(xù)且光滑，嚴格單調，關于(0,0.5)中心對稱，可以將變量映射到(0,1)之間，是一個非常良好的閾值函數(shù)。Sigmoid函數(shù)作為激活函數(shù)有以下優(yōu)缺點。優(yōu)點：平滑、易于求導。缺點：①Sigmoid函數(shù)極容易導致梯度消失問題。假設神經元輸入Sigmoid函數(shù)的值特別大或特別小，那么對應的梯度約等于0，即使從上一步傳導來的梯度較大，該神經元權重和偏置的梯度也會趨近0，導致參數(shù)無法得到有效更新。②計算費時。在神經網絡訓練中，常常要計算Sigmoid函數(shù)的值，進行冪計算會導致耗時增加。③Sigmoid函數(shù)不是關于原點中心對稱的（Zero-centered)。

本課件是可編輯的正常PPT課件Tanh函數(shù)Tanh函數(shù)作為激活函數(shù)有以下優(yōu)缺點。優(yōu)點：①平滑、易于求導。②解決了Sigmoid函數(shù)收斂變慢的問題，相對于Sigmoid函數(shù)提高了收斂速度。缺點：①梯度消失問題依然存在。②函數(shù)值的計算復雜度高，是指數(shù)級的。本課件是可編輯的正常PPT課件ReLU函數(shù)優(yōu)點：①相比于Sigmoid函數(shù)的兩端飽和，ReLU函數(shù)為左飽和函數(shù)，且在x>0時導數(shù)為1，這在一定程度上緩解了神經網絡的梯度消失問題。②沒有復雜的指數(shù)運算，計算簡單、效率提高。③收斂速度較快，比Sigmoid函數(shù)和Tanh函數(shù)快很多。④單側抑制、寬興奮邊界使得ReLU函數(shù)比Sigmoid函數(shù)更符合生物學神經激活機制。缺點：①輸出是非零中心化的，給后一層的神經網絡引入偏置偏移，會影響梯度下降的效率。②ReLU神經元在訓練時比較容易“死亡”。本課件是可編輯的正常PPT課件Swish函數(shù)Swish函數(shù)的主要優(yōu)點如下。（1）Swish函數(shù)的無界性有助于防止在慢速訓練期間梯度逐漸接近0并導致飽和。（2）Swish函數(shù)的平滑度在優(yōu)化和泛化中起了重要作用。本課件是可編輯的正常PPT課件Softmax函數(shù)Softmax函數(shù)常在神經網絡輸出層中充當激活函數(shù)，將輸出層的值通過激活函數(shù)映射到(0,1)區(qū)間，當前輸出可以看作屬于各個分類的概率，從而用來進行多分類。Softmax函數(shù)的映射值越大，則真實類別的可能性越大。本課件是可編輯的正常PPT課件4.3前饋神經網絡結構前饋神經網絡也經常稱為多層感知機（Multi-LayerPerceptron，MLP），但多層感知機的叫法并不十分合理。因為前饋神經網絡其實是由多層的邏輯回歸模型（連續(xù)的非線性函數(shù)）組成的，而不是由多層的感知機（不連續(xù)的非線性函數(shù)）組成的。前饋神經網絡的結構本課件是可編輯的正常PPT課件4.3.1通用近似定理神經網絡最有價值的地方可能在于，它可以在理論上證明：一個包含足夠多隱藏層神經元的多層前饋神經網絡，能以任意精度逼近任意預定的連續(xù)函數(shù)。這個定理即通用近似定理（UniversalApproximationTheorem）。這里的Universal也有人將其翻譯成“萬能的”。本課件是可編輯的正常PPT課件4.3.2應用到機器學習根據通用近似定理，神經網絡在某種程度上可以作為一個“萬能”函數(shù)來使用，可以用來進行復雜的特征轉換，或者近似一個復雜的條件分布。在機器學習中，輸入樣本的特征對分類器的影響很大。以監(jiān)督學習為例，好的特征可以極大提高分類器的性能。本課件是可編輯的正常PPT課件4.3.3參數(shù)學習在神經網絡的學習中，需要尋找最優(yōu)參數(shù)（權重和偏置），即尋找使損失函數(shù)的值盡可能小的參數(shù)。為了找到使損失函數(shù)的值盡可能小的參數(shù)，首先需要計算參數(shù)的梯度（導數(shù)），然后以這個導數(shù)為指引，逐步更新參數(shù)的值。本課件是可編輯的正常PPT課件4.4反向傳播算法反向傳播（BackPropagation，BP）算法是目前用來訓練神經網絡的常用且有效的算法。反向傳播算法的主要思想是：將訓練集數(shù)據輸入神經網絡的輸入層，經過隱藏層，最后到達輸出層并輸出結果，這是神經網絡的前向傳播過程。本課件是可編輯的正常PPT課件4.5梯度計算前面已經介紹了神經網絡的最終目標，即使所定義的損失函數(shù)的值達到最小。為了使損失函數(shù)的值最小，常使用的核心方法是“梯度法”。復合函數(shù)的計算圖

本課件是可編輯的正常PPT課件4.5梯度計算本課件是可編輯的正常PPT課件4.6網絡優(yōu)化神經網絡的參數(shù)學習比線性模型更加困難，當前神經網絡模型的難點主要如下。（1）優(yōu)化問題。神經網絡模型是一個非凸函數(shù)，再加上在深度神經網絡中的梯度消失問題，很難進行優(yōu)化。另外，深層神經網絡一般參數(shù)比較多，訓練數(shù)據也比較多，這會導致訓練的效率比較低。（2）泛化問題。因為神經網絡的擬合能力強，反而容易在訓練集上產生過擬合。因此在訓練深層神經網絡時，需要通過一定的正則化方法來改善網絡的泛化能力。本課件是可編輯的正常PPT課件優(yōu)化算法1．批量梯度下降（BatchGradientDescent，BGD）2．隨機梯度下降（SGD）3．小批量梯度下降本課件是可編輯的正常PPT課件4.7應用實例向讀者介紹前饋神經網絡模型在PyTorch中的簡單構建。關于數(shù)據集的準備，本節(jié)的示例中使用手寫數(shù)字的MINIST數(shù)據集。該數(shù)據集包含60000個用于訓練的示例和10000個用于測試的示例。這些數(shù)字已經過尺寸標準化并位于圖像中心，圖像是固定大小的（28像素×28像素），其值為0～10。為簡單起見，每個圖像都被展平并轉換為784（28×28）個特征的一維NumPy數(shù)組本課件是可編輯的正常PPT課件4.7應用實例代碼實現(xiàn)如下。1．import

torch

2．import

torch.nn

as

nn

3．import

torchvision

4．import

torchvision.transforms

as

transforms

5．#

配置

6．device=torch.device('cuda'

if

torch.cuda.is_available()

else

'cpu')

7．#

超參數(shù)

8．input_size=784

9．hidden_size=500

10．num_classes=10

11．num_epochs=5

12．batch_size=100

13．learning_rate=0.001

14．

15．#

數(shù)據集

16．train_dataset=torchvision.datasets.MNIST(root='../../data',

17．

train=True,

18．

transform=transforms.ToTensor(),

19．

download=True)

20．

21．test_dataset=torchvision.datasets.MNIST(root='../../data',

本課件是可編輯的正常PPT課件4.7應用實例22．

train=False,

23．

transform=transforms.ToTensor())

24．

25．#

引入數(shù)據集26．train_loader=torch.utils.data.DataLoader(dataset=train_dataset,

27．

batch_size=batch_size,

28．

shuffle=True)

29．

30．test_loader=torch.utils.data.DataLoader(dataset=test_dataset,

31．

batch_size=batch_size,

32．

shuffle=False)

33．

34．#

全連接層35．class

NeuralNet(nn.Module):

36．

def

__init__(self,input_size,hidden_size,num_classes):

37．

super(NeuralNet,self).__init__()

38．

self.fc1=nn.Linear(input_size,hidden_size)

39．

self.relu=nn.ReLU()

40．

self.fc2=nn.Linear(hidden_size,num_classes)

本課件是可編輯的正常PPT課件4.7應