人工智能數(shù)學(xué)基礎(chǔ) 課件 chap7-2 交叉熵、損失函數(shù)、KL散度

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動(dòng)啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：本次課特別聚焦在機(jī)器學(xué)習(xí)框架下，理解交叉熵、損失函數(shù)、KL散度等概念。目標(biāo)：本次課主要介紹交叉熵、損失函數(shù)、KL散度。4提綱：

交叉熵?fù)p失函數(shù)KL散度交叉熵：定義

交叉熵：定義

X0.30.20.30.20.10.40.10.4交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)

交叉熵：性質(zhì)概率分布推斷

交叉熵：概率分布推斷函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

損失函數(shù)：交叉熵?fù)p失函數(shù)

KL散度：定義

KL散度：定義

X0.30.20.30.20.10.40.10.4KL散度：定義

KL散度：定義

KL散度：定義

KL散度：熵編碼視角

KL散度：熵編碼視角

KL散度：物理意義

KL散度：性質(zhì)

KL散度：性質(zhì)

KL散度：應(yīng)用

7.3.4KL散度在機(jī)器學(xué)習(xí)中的應(yīng)用這里我們介紹一個(gè)機(jī)器學(xué)習(xí)中的經(jīng)典模型---變分自編碼器（VariationalAuto-Encoding，VAE）。VAE是一種生成式模型，其目的是將輸入編碼到低維潛在空間，然后再解碼回來(lái)，一個(gè)常見(jiàn)的應(yīng)用是圖片的生成。經(jīng)典的自編碼器是通過(guò)一個(gè)編碼器將圖片壓縮或映射到一個(gè)潛在的隱變量空間，然后再通過(guò)一個(gè)解碼器將圖片重構(gòu)出來(lái)，如下圖所示圖7.3自編碼器示意圖KL散度：應(yīng)用

自編碼器是將原始圖片進(jìn)行壓縮編碼，VAE不是將原始圖片壓縮成潛在空間中的固定編碼，而是學(xué)習(xí)原始圖片數(shù)據(jù)特征的概率分布，將原來(lái)圖片轉(zhuǎn)換為統(tǒng)計(jì)分布的參數(shù)，比如平均值和方差。然后，VAE使用學(xué)習(xí)到的平均值和方差這兩個(gè)參數(shù)來(lái)從分布中隨機(jī)采樣一個(gè)樣本點(diǎn)，并將這個(gè)樣本點(diǎn)解碼到原始輸入數(shù)據(jù)空間，從而達(dá)到生成圖片的目標(biāo)，這一過(guò)程如下圖所示圖7.4VAE示意圖KL散度：應(yīng)用

KL散度：應(yīng)用

KL散度：應(yīng)用

本章參考文獻(xiàn)[1]唐宇迪，李琳，侯惠芳，王社偉.《人工智能數(shù)學(xué)基礎(chǔ)》[M]。北京：北京大學(xué)出版社，2020.[2]Python實(shí)現(xiàn)決策樹(shù)---以對(duì)天氣是否適合打網(wǎng)球做出預(yù)測(cè)的簡(jiǎn)單樣例實(shí)現(xiàn).[DB/OL].[2019-05-15]./qq_36318271/article/details/89448176[3]雷明.《機(jī)器學(xué)習(xí)的數(shù)學(xué)》[M].北京：人民郵電出版社，2021.[4]邱錫鵬.《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》[M].北京：機(jī)械工業(yè)出版社，2020.[5]人工智能python實(shí)現(xiàn)---用變分自編碼器生成圖像.[DB/OL].[2012-09-16]./python-ai-8-4-generate-image.html[6]DiederikP.Kingma，MaxWelling.Auto-EncodingVariationalBayes.[DB/OL].[2022-12-10]./pdf/1312.6114.pdf[7]bo