不等式專題培訓(xùn)市公開課金獎(jiǎng)市賽課一等獎(jiǎng)?wù)n件

第四章：不等式不等式有些量很難計(jì)算，不等式能夠?qū)@些量給出一個(gè)界不等式也是下一章討論收斂理論基礎(chǔ)關(guān)于概率不等式Markov不等式Chebyshev不等式Hoeffding不等式關(guān)于盼望不等式Cauchy-Schwarze不等式Jensen不等式1第1頁(yè)第1頁(yè)Markov不等式4.1定理（Markov不等式）：令X為非負(fù)隨機(jī)變量且假設(shè)存在，則對(duì)任意，有當(dāng)，當(dāng)k>1時(shí)，表示隨機(jī)變量取值離不會(huì)盼望不會(huì)太遠(yuǎn)（離盼望較遠(yuǎn)概率很小，小于）

當(dāng)

時(shí)，，上式總是成立表示（）2第2頁(yè)第2頁(yè)3第3頁(yè)第3頁(yè)Markov不等式將X換成滿足條件r(X)，上述結(jié)論也成立！當(dāng)？Chebyshev不等式：Markov不等式應(yīng)用4第4頁(yè)第4頁(yè)Chebyshev不等式4.2定理（Chebyshev不等式）：令則其中

X在其盼望附近（t鄰域）概率與方差相關(guān)越大，隨機(jī)變量遠(yuǎn)離盼望概率越大（方差用于度量隨機(jī)變量圍繞均值散布程度）越小，隨機(jī)變量在盼望附近，遠(yuǎn)離盼望概率越小可用來(lái)證實(shí)樣本均值會(huì)在其盼望附件（樣本數(shù)越多越靠近，由于樣本方差隨n增大而減小）5第5頁(yè)第5頁(yè)6第6頁(yè)第6頁(yè)Chebyshev不等式X在其盼望附近（t鄰域）概率與方差相關(guān)另外一個(gè)變形：k=2？k=3？高斯分布為0.9997這個(gè)界很松，由于Chebyshev不等式?jīng)]有限定分布形式，因此應(yīng)用廣泛對(duì)一些詳細(xì)分布來(lái)說(shuō)，能夠得到更緊致界，如高斯分布Mill’sinequality7第7頁(yè)第7頁(yè)Chebyshev不等式4.3例：假設(shè)我們?cè)谝粋€(gè)有n個(gè)測(cè)試樣本測(cè)試集上測(cè)試一個(gè)預(yù)測(cè)辦法（以神經(jīng)網(wǎng)絡(luò)為例）。若預(yù)測(cè)錯(cuò)誤置預(yù)測(cè)正確則置。則為觀測(cè)到錯(cuò)誤率。每個(gè)可視為有未知均值pBernoulli分布。我們想知道真正錯(cuò)誤率p。直觀地，我們希望靠近p。但有多大也許不在pε鄰域內(nèi)？

由于對(duì)任意p有，因此當(dāng)時(shí)，邊界為0.0625。8第8頁(yè)第8頁(yè)Hoeffding不等式作用與Chebyshev不等式類似，但區(qū)間更緊致（增長(zhǎng)了獨(dú)立性約束）4.4定理（Hoeffding不等式）：設(shè)互相獨(dú)立，且。令，則對(duì)任意4.5定理（Hoeffding不等式）：令則對(duì)任意，有其中9第9頁(yè)第9頁(yè)10第10頁(yè)第10頁(yè)Hoeffding不等式4.6例：令則依據(jù)Chebyshev不等式，有依據(jù)Hoeffding不等式，有結(jié)果遠(yuǎn)遠(yuǎn)小于0.0625。11第11頁(yè)第11頁(yè)Hoeffding不等式可用來(lái)計(jì)算二項(xiàng)分布中參數(shù)p置信區(qū)間對(duì)給定，令則依據(jù)Hoeffding不等式令，則則。稱C為置信區(qū)間。12第12頁(yè)第12頁(yè)Cauchy-Schwarze不等式4.8定理（Cauchy-Schwarze不等式）：若X、Y是有限方差，則例：協(xié)方差不等式13第13頁(yè)第13頁(yè)Jensen不等式4.9定理（Jensen不等式）：假如g是凸，則假如g是凹，則

14第14頁(yè)第14頁(yè)15第15頁(yè)第15頁(yè)凸函數(shù)假如對(duì)所有，滿足則函數(shù)為凸函數(shù)（convex），為凹函數(shù)（concave）凸：裝水，如凹：溢出水，如16第16頁(yè)第16頁(yè)凸函數(shù)幾何意義連接(a,g(a)),(b,g(b))兩點(diǎn)弦，永遠(yuǎn)在y=g(x)之上凸光滑函數(shù)上任一點(diǎn)切線在曲線下方x17第17頁(yè)第17頁(yè)下節(jié)課內(nèi)容：隨機(jī)變量序列收斂性隨機(jī)樣本：IID樣本，