人工智能數(shù)學(xué)基礎(chǔ) 課件 chap6-2 隨機(jī)變量的數(shù)字特征

人工只智能數(shù)學(xué)基礎(chǔ)

MathematicalBasisofArtificialIntelligence互動啟迪智慧Communicationenlightenswisdom參考材料：廖盛斌,人工智能數(shù)學(xué)基礎(chǔ).電子工業(yè)出版社,2023.

3思路：概率論是研究隨機(jī)現(xiàn)象統(tǒng)計(jì)規(guī)律性的一門學(xué)科，數(shù)理統(tǒng)計(jì)是利用概率論及相關(guān)知識研究和分析數(shù)據(jù)的總體和數(shù)量特征的學(xué)科。本章更強(qiáng)調(diào)概率論和統(tǒng)計(jì)學(xué)基礎(chǔ)知識在機(jī)器學(xué)習(xí)中的應(yīng)用。目標(biāo)：本章主要介紹人概率論和數(shù)理統(tǒng)計(jì)基本概念、概率監(jiān)督模型的基本思想。4提綱：

隨機(jī)變量及其分布隨機(jī)變量的數(shù)字特征極限理論機(jī)器學(xué)習(xí)中的參數(shù)估計(jì)6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

為什么需要隨機(jī)變量的數(shù)字特征？概率分布或概率密度函數(shù)很好地刻畫了隨機(jī)變量的變化規(guī)律或統(tǒng)計(jì)特性，可以說它們完全決定了隨機(jī)變量的特性或變化規(guī)律，但是它們往往在實(shí)際應(yīng)用中很難得到。這樣，我們希望能獲由隨機(jī)變量概率分布決定的、能刻畫隨機(jī)變量某一特征的常數(shù)，這些量統(tǒng)稱為隨機(jī)變量的數(shù)字特征。下面主要介紹隨機(jī)變量的數(shù)學(xué)期望、方差與標(biāo)準(zhǔn)差、相關(guān)系數(shù)，以及它們在機(jī)器學(xué)習(xí)和人工智能中的一些應(yīng)用。6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：數(shù)學(xué)期望

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：方差

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：協(xié)方差與相關(guān)系數(shù)

6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

主成分分析（PrincipalComponentAnalysis，PCA）就是對包含有冗余信息的原始數(shù)據(jù)進(jìn)行線性變換，在損失比較少的信息前提下，使得變換后的數(shù)據(jù)維度降低了，同時各個維度數(shù)據(jù)互不相關(guān)。通常把線性變換之后生成的各個維度數(shù)據(jù)稱為主成分，其中每個主成分都是原始數(shù)據(jù)各個維度的線性組合。原始數(shù)據(jù)可以由原始數(shù)據(jù)空間的基向量線性組合表示，而PCA的各個主成分是原始數(shù)據(jù)各個維度的線性組合，這樣PCA的本質(zhì)就是，獲取一組變換后數(shù)據(jù)的基向量，它們是原始數(shù)據(jù)空間基向量的線性組合。PCA是一種常用的數(shù)據(jù)降維方法，由于各個主成分?jǐn)?shù)據(jù)之間互不相關(guān)，使得主成分比原始數(shù)據(jù)具有某些更優(yōu)越的性能。這樣在研究復(fù)雜問題時可以只考慮少數(shù)幾個主成分而不至于損失太多信息，但更容易抓住主要矛盾，揭示事物的內(nèi)在規(guī)律性，同時使問題得到簡化，提高分析和挖掘效率。既然PCA是一種數(shù)據(jù)降維方法，那么怎么評估降維之后的效果自然是我們關(guān)心的問題。下面通過一個簡單的可視化例子來說明這個問題。6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

如果我們有如下圖6.10所示的二維數(shù)據(jù)，現(xiàn)在想通過降維的方法，將它們變換為一維數(shù)據(jù)。這里假定這些數(shù)據(jù)點(diǎn)的樣本均值為零，否則的話，可以通過平移變換使得它們的均值為零。由于是采用降維的方法，由二維空間數(shù)據(jù)降維到一維空間數(shù)據(jù)后，自然有一些信息的損失，自然地我們希望丟失是冗余信息。因此，下面分析的核心是使得變換后的冗余信息最小化。也就是說，我們希望通過這個可視化例子來說明，PCA方法背后的第一個數(shù)學(xué)原理，即方差最大化。同時，我們希望變換后的各個主成分是不相關(guān)的，不相關(guān)性剛好可以用各個主成分之間的協(xié)方差來度量，當(dāng)它們之間的協(xié)方差為零時，各個主成分之間是正交的，即它們之間線性無關(guān)。協(xié)方差為零是PCA方法背后的第二個數(shù)學(xué)原理。圖6.10二維原始數(shù)據(jù)6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

對于圖6.10中的二維數(shù)據(jù)，要降為一維數(shù)據(jù)，就是要在二維平面內(nèi)選擇一條直線，然后將圖6.10中的數(shù)據(jù)點(diǎn)投影到選擇的直線上，投影點(diǎn)對應(yīng)的一維坐標(biāo)值就是二維數(shù)據(jù)變換后的坐標(biāo)值。由于在二維平面內(nèi)選擇一條直線有多種方式，那么怎樣選擇投影直線是我們關(guān)心的問題。針對圖6.10中的二維數(shù)據(jù)，下圖6.11中有一條紅色直線和一條綠色直線，選擇它們中的哪一條作為投影直線更好？圖6.11投影直線示意圖6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

為了判斷我們應(yīng)該選擇圖6.11中的紅色直線作為投影直線，還是綠色直線作為投影直線，首先我們將二維數(shù)據(jù)點(diǎn)分別投影到這兩條直線上，得到如下圖6.12所示結(jié)果。從圖6.12可以直觀地看出，數(shù)據(jù)點(diǎn)投影到左邊紅色直線上后，投影點(diǎn)比較分散，冗余信息較少；相比較而言，數(shù)據(jù)點(diǎn)投影到右邊綠色直線上后，投影點(diǎn)比較集中，依然存在一定的冗余信息?；蛘哒f，從直觀上看，我們應(yīng)該選擇圖6.12中的紅色直線，那么應(yīng)該怎樣將這種變換后冗余信息最小化泛化為一般的情形？圖6.12中各個投影點(diǎn)之間的分散程度可以用它們之間的距離來刻畫，而我們假定了數(shù)據(jù)點(diǎn)的樣本均值為零，那么圖6.12中各個投影點(diǎn)的分散程度可以用它們的方差來度量，我們希望投影后投影點(diǎn)方差最大化。6.2隨機(jī)變量的數(shù)字特征：方差和協(xié)方差在PCA中的應(yīng)用舉例

上面是通過將二維數(shù)據(jù)降為一維數(shù)據(jù)圖形化地解釋了，最大化減少冗余信息等價于方差最大化，即只需要找到使得投影方差最大的直線就可以了。但對于高維數(shù)據(jù)，我們希望變換獲得的主成分之間是線性無關(guān)的，即它們之間是正交的。下面通過將一組三維數(shù)據(jù)降為二維數(shù)據(jù)來說明，這等價于降維后的兩個主成分之間的協(xié)方差為零。如下圖6.13所示，我們要將圖中藍(lán)色的數(shù)據(jù)點(diǎn)降維為二維的數(shù)據(jù)點(diǎn)。首先，可以通過方差最大化，找到一個使得投影點(diǎn)方差最大化的方向；然后在此基礎(chǔ)上，找到和這個方