2025神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)線性模型

線性模型《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》2025大綱分類問題示例線性分類模型LogisticRegressionSoftmaxRegressionPerceptronSVM分類示例示例：圖像分類數(shù)據(jù)集：CIFAR-1060000張32x32色彩圖像，共10類每類6000張圖像示例：圖像分類數(shù)據(jù)集：ImageNet14,197,122images,21841synsets示例：圖像分類示例：圖像分類、目標檢測、實例分割/zylapp/review-of-deep-learning-algorithms-for-object-detection-c1f3d437b852示例：垃圾郵件過濾示例：文檔歸類/automated-text-classification-using-machine-learning-3df4f4f9570b示例：情感分類示例：文本分類將樣本x從文本形式轉(zhuǎn)為向量形式詞袋模型（Bag-of-Words，BoW）模型示例：文本情感分類根據(jù)文本內(nèi)容來判斷文本的相應(yīng)類別+-線性分類模型線性模型線性模型Logistic回歸Softmax回歸感知器支持向量機LogisticRegressionLogisticRegression模型損失函數(shù)？分類問題

如何構(gòu)建函數(shù)g？Logistic函數(shù)與回歸Logistic函數(shù)Logistic回歸

學(xué)習(xí)準則

如何衡量兩個條件分布的差異？

熵（Entropy）在信息論中，熵用來衡量一個隨機事件的不確定性。自信息（SelfInformation）熵熵越高，則隨機變量的信息越多；熵越低，則隨機變量的信息越少.在對分布??(??)的符號進行編碼時，熵??(??)也是理論上最優(yōu)的平均編碼長度，這種編碼方式稱為熵編碼（EntropyEncoding）

交叉熵（CrossEntropy）交叉熵是按照概率分布q的最優(yōu)編碼對真實分布為p的信息進行編碼的長度。在給定??的情況下，如果p和??越接近，交叉熵越??；如果p和??越遠，交叉熵就越大.KL散度（Kullback-LeiblerDivergence）KL散度是用概率分布q來近似p時所造成的信息損失量。KL散度是按照概率分布q的最優(yōu)編碼對真實分布為p的信息進行編碼，其平均編碼長度（即交叉熵）H(p,q)和p的最優(yōu)平均編碼長度（即熵）H(p)之間的差異。交叉熵損失

交叉熵損失

負對數(shù)似然KL散度

梯度下降交叉熵損失函數(shù)，模型在訓(xùn)練集的風險函數(shù)為梯度為推導(dǎo)過程Logistic回歸多分類（Multi-classClassification）Softmax回歸多分類問題Softmax函數(shù)Softmax回歸利用softmax函數(shù)，目標類別y=c的條件概率為：交叉熵損失KL散度

交叉熵損失

負對數(shù)似然

參數(shù)學(xué)習(xí)模型：Softmax回歸學(xué)習(xí)準則：交叉熵優(yōu)化：梯度下降交叉熵損失函數(shù)負對數(shù)似然損失函數(shù)對于一個三類分類問題，類別為[0,0,1]，預(yù)測類別概率為[0.3,0.3,0.4]，則交叉熵損失

感知器感知器感知器模擬生物神經(jīng)元行為的機器，有與生物神經(jīng)元相對應(yīng)的部件，如權(quán)重（突觸）、偏置（閾值）及激活函數(shù)（細胞體），輸出為+1或-1。+1/-1感知器

感知器的學(xué)習(xí)過程表示分錯對比Logistic回歸的更新方式：感知器參數(shù)學(xué)習(xí)的更新過程收斂性證明過程感知器的權(quán)重向量的更新方式為在第??次更新時感知器的權(quán)重向量為的上界

的下界支持向量機（SupportVectorMachine，SVM）紅色點稱為“支持向量”總結(jié)線性分類模型小結(jié)不同損失函數(shù)的對比XOR問