《概率論》1-13章筆記

《概率論》1-13章筆記第一章概率論簡介1.1概率論的歷史和發(fā)展概率論作為數(shù)學的一個分支，其歷史可以追溯到17世紀。早期的概率論研究主要圍繞賭博問題展開。法國數(shù)學家布萊斯·帕斯卡（BlaisePascal）和皮埃爾·德·費馬（PierredeFermat）之間的通信被認為是現(xiàn)代概率論的開端。他們探討了如何公平分配賭注的問題，從而引出了概率論的一些基本概念。隨著數(shù)學的發(fā)展，概率論逐漸成為一門嚴謹?shù)目茖W，并廣泛應用于自然科學、社會科學、工程技術和金融等多個領域。1.2概率論的應用領域概率論的應用非常廣泛，包括但不限于以下幾個方面：自然科學：物理學、化學、生物學等學科中用來描述不確定性現(xiàn)象。工程技術：可靠性分析、質量控制等領域利用概率模型進行預測和優(yōu)化。醫(yī)學與公共衛(wèi)生：疾病傳播模型、藥物效果評估等。經濟學與金融學：風險管理、投資組合優(yōu)化等。社會科學：民意調查、市場預測等。信息技術：數(shù)據(jù)挖掘、機器學習算法中大量使用概率方法。1.3基本概念1.3.1隨機試驗定義：隨機試驗是指在同一條件下可以重復進行，并且每次試驗的結果事先無法確定，但所有可能結果已知的試驗。例如：擲一枚硬幣、拋擲骰子等。1.3.2樣本空間定義：樣本空間是隨機試驗的所有可能結果組成的集合，通常用SS表示。例如：如果隨機試驗為擲一枚均勻硬幣，則樣本空間S={正面,反面}S={正面,反面}。1.3.3事件定義：事件是指樣本空間的一個子集，即一次隨機試驗中可能發(fā)生的一種情況或一組情況。例如：在擲骰子的例子中，“出現(xiàn)偶數(shù)點”就是一個事件，可以用集合表示為{2,4,6}{2,4,6}。表1-1不同隨機試驗的樣本空間與事件示例隨機試驗樣本空間

SS事件示例擲一枚硬幣{正面,反面}出現(xiàn)正面拋擲一顆六面骰子{1,2,3,4,5,6}出現(xiàn)奇數(shù)點從一副撲克牌中抽取一張{A,2,...,K}x{?,?,?,?}抽到紅心牌1.4概率的定義和性質1.4.1概率的定義古典定義：對于有限樣本空間中的等可能性事件，某一事件AA的概率定義為該事件所包含的基本事件數(shù)目除以樣本空間中全部基本事件的數(shù)目。即P(A)=n(A)n(S)P(A)=n(S)n(A)?。頻率定義：當一個試驗重復進行很多次時，事件AA發(fā)生的次數(shù)與總試驗次數(shù)之比趨向穩(wěn)定值，這個穩(wěn)定值就是事件AA的概率。公理化定義：柯爾莫哥洛夫提出的概率公理體系，包括非負性、規(guī)范性和可加性三條公理。1.4.2概率的基本性質非負性：對于任意事件AA，有P(A)≥0P(A)≥0。規(guī)范性：樣本空間SS的概率等于1，即P(S)=1P(S)=1。可加性：如果A1,A2,…,AnA1?,A2?,…,An?是兩兩互斥的事件，則這些事件并集的概率等于各事件概率之和，即P(A1∪A2∪…∪An)=P(A1)+P(A2)+…+P(An)P(A1?∪A2?∪…∪An?)=P(A1?)+P(A2?)+…+P(An?)。第二章古典概型與幾何概型2.1古典概型2.1.1定義古典概型適用于那些樣本空間由有限個等可能結果組成的情況。在這種情況下，每個基本事件發(fā)生的概率相等。如果某個事件AA包含mm個這樣的基本事件，則事件AA的概率為P(A)=mNP(A)=Nm?，其中NN是樣本空間中所有基本事件的數(shù)量。2.1.2計數(shù)原理加法原理：如果有兩類不同的選擇，第一類中有mm種方式，第二類中有nn種方式，則總共有m+nm+n種方式。乘法原理：如果有兩個相繼的選擇步驟，第一步有mm種選擇，每種選擇下第二步有nn種選擇，則總共的選擇方案數(shù)為m×nm×n。2.1.3排列與組合排列：從nn個不同元素中取出rr個元素按一定順序排列的方式數(shù)量稱為排列數(shù)，記作P(n,r)=n!(n?r)!P(n,r)=(n?r)!n!?。組合：從nn個不同元素中取出rr個元素不考慮順序的方式數(shù)量稱為組合數(shù)，記作C(n,r)=n!r!(n?r)!C(n,r)=r!(n?r)!n!?。2.2幾何概型2.2.1定義幾何概型適用于那些樣本空間由無限多個等可能的結果構成的情況。在幾何概型中，事件的概率通常通過測量相應區(qū)域的長度、面積或體積來決定。如果某個事件AA對應于樣本空間中某區(qū)域RARA?，則事件AA的概率為P(A)=測度(RA)測度(S)P(A)=測度(S)測度(RA?)?。2.2.2應用實例長度比例：如果樣本空間是一條線段，那么事件的概率可以通過計算事件對應的線段長度占整個線段長度的比例得到。面積比例：當樣本空間是一個平面圖形時，事件的概率則是該事件對應的圖形面積與樣本空間總面積的比例。體積比例：對于三維空間內的樣本空間，事件的概率則由事件對應體積與總體積的比例給出。第三章條件概率與獨立性3.1條件概率的概念3.1.1定義條件概率指的是在給定另一個事件已經發(fā)生的情況下，某個事件發(fā)生的概率。如果事件BB已經發(fā)生，那么事件AA發(fā)生的條件概率表示為P(A∣B)P(A∣B)，其定義如下：P(A∣B)=P(A∩B)P(B),當??P(B)>0P(A∣B)=P(B)P(A∩B)?,當P(B)>0這里P(A∩B)P(A∩B)表示事件AA和事件BB同時發(fā)生的概率。3.1.2計算示例假設我們有一個裝有3個紅球和2個藍球的袋子。如果我們從中隨機抽出一個球，然后在不放回的情況下再抽第二個球，那么第一次抽到紅球且第二次也抽到紅球的概率是多少？第一次抽到紅球的概率是3553?。給定第一次抽到紅球后，袋子里剩下2個紅球和2個藍球，因此第二次抽到紅球的條件概率是24=1242?=21?。因此，兩次都抽到紅球的概率是35×12=31053?×21?=103?。3.2乘法法則3.2.1定義乘法法則用于計算兩個或多個事件同時發(fā)生的概率。根據(jù)條件概率的定義，可以得出以下公式：P(A∩B)=P(A∣B)?P(B)P(A∩B)=P(A∣B)?P(B)同樣地，P(A∩B)=P(B∣A)?P(A)P(A∩B)=P(B∣A)?P(A)這兩個公式表明，事件AA和事件BB同時發(fā)生的概率等于其中一個事件的條件概率乘以其先決事件的概率。3.2.2擴展到多事件對于三個事件A,B,CA,B,C同時發(fā)生的概率，可以進一步擴展乘法法則：P(A∩B∩C)=P(A∣B∩C)?P(B∣C)?P(C)P(A∩B∩C)=P(A∣B∩C)?P(B∣C)?P(C)3.3全概率公式3.3.1定義全概率公式用來計算一個事件的概率，它通過將樣本空間分割成若干個互斥事件，并利用這些事件來表達目標事件的概率。設B1,B2,…,BnB1?,B2?,…,Bn?是樣本空間SS的一個劃分，即它們互斥且聯(lián)合覆蓋了整個樣本空間，則對于任意事件AA，全概率公式為：P(A)=∑i=1nP(A∣Bi)?P(Bi)P(A)=∑i=1n?P(A∣Bi?)?P(Bi?)3.3.2應用實例考慮一個簡單的醫(yī)療測試例子，某種疾病的患病率為1%，即P(D)=0.01P(D)=0.01。該疾病有一種檢測方法，其準確率為99%，即如果一個人確實患有這種病，測試呈陽性的概率是99%；如果一個人沒有患這種病，測試呈陰性的概率也是99%。求一個人測試呈陽性時實際患病的概率。設DD表示患病，DˉDˉ表示未患病，T+T+表示測試陽性。根據(jù)題意，P(T+∣D)=0.99,P(T?∣Dˉ)=0.99P(T+∣D)=0.99,P(T?∣Dˉ)=0.99。使用全概率公式，P(T+)=P(T+∣D)P(D)+P(T+∣Dˉ)P(Dˉ)=0.99×0.01+0.01×0.99=?%P(T+)=P(T+∣D)P(D)+P(T+∣Dˉ)P(Dˉ)=0.99×0.01+0.01×0.99=?%。利用貝葉斯定理，可以求得P(D∣T+)P(D∣T+)。3.4貝葉斯定理3.4.1定義貝葉斯定理是條件概率的一個重要推論，用于更新基于新證據(jù)的先驗概率。對于事件AA和BB，貝葉斯定理表述為：P(A∣B)=P(B∣A)P(A)P(B)P(A∣B)=P(B)P(B∣A)P(A)?其中P(A)P(A)被稱為先驗概率，P(A∣B)P(A∣B)是后驗概率，而P(B)P(B)可以通過全概率公式來計算。3.4.2應用實例回到前面提到的醫(yī)療測試例子中，我們已經知道P(T+∣D)=0.99P(T+∣D)=0.99，P(D)=0.01P(D)=0.01，并且通過全概率公式得到了P(T+)P(T+)?，F(xiàn)在我們可以用貝葉斯定理來計算P(D∣T+)P(D∣T+)：P(D∣T+)=P(T+∣D)P(D)P(T+)=0.99×0.010.0198≈0.5025P(D∣T+)=P(T+)P(T+∣D)P(D)?=0.01980.99×0.01?≈0.5025這意味著即使測試結果為陽性，患者真正患病的概率也只有約50.25%。3.5事件獨立性3.5.1定義兩個事件AA和BB是獨立的，如果其中一個事件的發(fā)生不會影響另一個事件發(fā)生的概率，即：P(A∣B)=P(A)或P(B∣A)=P(B)P(A∣B)=P(A)或P(B∣A)=P(B)等價地說，事件AA和BB獨立當且僅當P(A∩B)=P(A)?P(B)P(A∩B)=P(A)?P(B)。3.5.2性質如果AA和BB是獨立的，那么AA與BˉBˉ，AˉAˉ與BB，以及AˉAˉ與BˉBˉ也都是獨立的。多個事件相互獨立的定義類似，即任意選取的事件集合中任一事件發(fā)生的概率都不受其他事件是否發(fā)生的影響。第四章隨機變量4.1隨機變量的定義4.1.1定義隨機變量是一種將隨機實驗的結果映射到實數(shù)上的函數(shù)。它可以是離散的，也可以是連續(xù)的，分別對應著離散型隨機變量和連續(xù)型隨機變量。隨機變量的引入使得我們可以用數(shù)學工具處理隨機現(xiàn)象，并對其進行量化分析。4.1.2分類離散型隨機變量：取值為有限個或可數(shù)無窮多個的隨機變量。例如，擲骰子的結果。連續(xù)型隨機變量：取值范圍是連續(xù)區(qū)間的隨機變量。例如，測量溫度或人的身高。4.2分布函數(shù)4.2.1定義對于任意隨機變量XX，其累積分布函數(shù)（CumulativeDistributionFunction,CDF），記作FX(x)FX?(x)，定義為：FX(x)=P(X≤x)FX?(x)=P(X≤x)CDF提供了隨機變量小于或等于某個值的概率。4.2.2性質FX(x)FX?(x)是非遞減函數(shù)。lim?x→?∞FX(x)=0limx→?∞?FX?(x)=0

和

lim?x→+∞FX(x)=1limx→+∞?FX?(x)=1。FX(x)FX?(x)是右連續(xù)的。表4-1不同類型隨機變量的分布函數(shù)示例隨機變量類型分布函數(shù)

FX(x)FX?(x)離散型FX(x)=∑k≤xp(k)FX?(x)=∑k≤x?p(k),其中p(k)p(k)是X=kX=k的概率連續(xù)型FX(x)=∫?∞xfX(t)dtFX?(x)=∫?∞x?fX?(t)dt,其中fX(t)fX?(t)是概率密度函數(shù)4.3概率質量函數(shù)與概率密度函數(shù)4.3.1概率質量函數(shù)(PMF)對于離散型隨機變量XX，其概率質量函數(shù)pX(x)pX?(x)定義為：pX(x)=P(X=x)pX?(x)=P(X=x)PMF給出了隨機變量取特定值的概率。4.3.2概率密度函數(shù)(PDF)對于連續(xù)型隨機變量XX，其概率密度函數(shù)fX(x)fX?(x)滿足：FX(x)=∫?∞xfX(t)dtFX?(x)=∫?∞x?fX?(t)dtPDF并不直接給出概率，而是概率的“密度”。對于連續(xù)型隨機變量，XX落在某一小鄰域[a,b][a,b]內的概率可以通過積分計算得到：P(a≤X≤b)=∫abfX(x)dxP(a≤X≤b)=∫ab?fX?(x)dx4.4常見離散型隨機變量及其分布4.4.1伯努利分布定義：伯努利試驗是一個只有兩種可能結果的試驗，如成功或失敗。伯努利隨機變量XX只取兩個值，0（失敗）或1（成功），其PMF為：

pX(1)=p,pX(0)=1?ppX?(1)=p,pX?(0)=1?p

其中pp是成功的概率。4.4.2二項分布定義：若進行nn次獨立的伯努利試驗，每次成功的概率為pp，則成功的次數(shù)XX服從二項分布，記作X～Binomial(n,p)X～Binomial(n,p)。其PMF為：

pX(k)=(nk)pk(1?p)n?k,k=0,1,2,…,npX?(k)=(kn?)pk(1?p)n?k,k=0,1,2,…,n4.4.3泊松分布定義：泊松分布用于描述單位時間內隨機事件發(fā)生次數(shù)的概率分布，適用于事件發(fā)生具有獨立性且均勻分布的情形。若隨機變量XX服從參數(shù)為λλ的泊松分布，記作X～Poisson(λ)X～Poisson(λ)，其PMF為：

pX(k)=λke?λk!,k=0,1,2,…pX?(k)=k!λke?λ?,k=0,1,2,…第五章期望值與方差5.1期望值的定義及性質5.1.1定義對于離散型隨機變量XX，其期望值（ExpectedValue）或均值定義為：E[X]=∑xx?pX(x)E[X]=∑x?x?pX?(x)對于連續(xù)型隨機變量XX，其期望值定義為：E[X]=∫?∞+∞x?fX(x)dxE[X]=∫?∞+∞?x?fX?(x)dx5.1.2性質線性性質：對于任意常數(shù)a,ba,b，有E[aX+b]=aE[X]+bE[aX+b]=aE[X]+b。單調性：如果X≤YX≤Y幾乎處處成立，則E[X]≤E[Y]E[X]≤E[Y]。非負性：如果X≥0X≥0幾乎處處成立，則E[X]≥0E[X]≥0。5.2方差與標準差5.2.1定義方差（Variance）是衡量隨機變量與其期望值偏離程度的量度。對于隨機變量XX，其方差定義為：Var(X)=E[(X?E[X])2]Var(X)=E[(X?E[X])2]方差的平方根稱為標準差（StandardDeviation）：σX=Var(X)σX?=Var(X)?5.2.2性質方差總是非負的。對于任意常數(shù)a,ba,b，有Var(aX+b)=a2Var(X)Var(aX+b)=a2Var(X)。如果XX和YY是獨立隨機變量，則Var(X+Y)=Var(X)+Var(Y)Var(X+Y)=Var(X)+Var(Y)。5.3期望值與方差的計算5.3.1離散型隨機變量期望值：

E[X]=∑xx?pX(x)E[X]=∑x?x?pX?(x)方差：

Var(X)=∑x(x?E[X])2?pX(x)Var(X)=∑x?(x?E[X])2?pX?(x)5.3.2連續(xù)型隨機變量期望值：

E[X]=∫?∞+∞x?fX(x)dxE[X]=∫?∞+∞?x?fX?(x)dx方差：

Var(X)=∫?∞+∞(x?E[X])2?fX(x)dxVar(X)=∫?∞+∞?(x?E[X])2?fX?(x)dx5.4切比雪夫不等式5.4.1定義切比雪夫不等式提供了一個關于隨機變量與其均值偏離程度的上界估計。對于任意隨機變量XX和任意正實數(shù)??，有：P(∣X?E[X]∣≥?)≤Var(X)?2P(∣X?E[X]∣≥?)≤?2Var(X)?5.4.2應用切比雪夫不等式可用于估計隨機變量偏離其均值的概率上限。在不知道隨機變量具體分布的情況下，仍然可以使用切比雪夫不等式來獲得一些有用的概率估計。第六章特殊分布6.1二項分布6.1.1定義二項分布描述了nn次獨立伯努利試驗中成功次數(shù)XX的分布。若每次試驗成功的概率為pp，則XX的PMF為：pX(k)=(nk)pk(1?p)n?k,k=0,1,2,…,npX?(k)=(kn?)pk(1?p)n?k,k=0,1,2,…,n6.1.2期望值與方差期望值：

E[X]=npE[X]=np方差：

Var(X)=np(1?p)Var(X)=np(1?p)6.2泊松分布6.2.1定義泊松分布用于描述單位時間內隨機事件發(fā)生次數(shù)的概率分布。若隨機變量XX服從參數(shù)為λλ的泊松分布，則其PMF為：pX(k)=λke?λk!,k=0,1,2,…pX?(k)=k!λke?λ?,k=0,1,2,…6.2.2期望值與方差期望值：

E[X]=λE[X]=λ方差：

Var(X)=λVar(X)=λ6.3正態(tài)分布6.3.1定義正態(tài)分布（NormalDistribution），也稱為高斯分布，是連續(xù)型隨機變量的一種常見分布。若隨機變量XX服從均值為μμ，方差為σ2σ2的正態(tài)分布，則其PDF為：fX(x)=1σ2πe?(x?μ)22σ2,?∞<x<+∞fX?(x)=σ2π?1?e?2σ2(x?μ)2?,?∞<x<+∞6.3.2標準正態(tài)分布定義：當μ=0μ=0且σ=1σ=1時，稱XX服從標準正態(tài)分布，記作X～N(0,1)X～N(0,1)。性質：標準正態(tài)分布的PDF簡化為：

fX(x)=12πe?x22fX?(x)=2π?1?e?2x2?6.3.3期望值與方差期望值：

E[X]=μE[X]=μ方差：

Var(X)=σ2Var(X)=σ26.4指數(shù)分布6.4.1定義指數(shù)分布通常用來描述事件之間的時間間隔，比如設備故障時間、電話呼叫到達間隔等。若隨機變量XX服從參數(shù)為λλ的指數(shù)分布，則其PDF為：fX(x)=λe?λx,x≥0fX?(x)=λe?λx,x≥06.4.2期望值與方差期望值：

E[X]=1λE[X]=λ1?方差：

Var(X)=1λ2Var(X)=λ21?6.5卡方分布6.5.1定義卡方分布（Chi-SquaredDistribution）是kk個獨立標準正態(tài)隨機變量平方和的分布。若隨機變量XX服從自由度為kk的卡方分布，則其PDF為：fX(x)=12k/2Γ(k/2)xk/2?1e?x/2,x>0fX?(x)=2k/2Γ(k/2)1?xk/2?1e?x/2,x>0其中Γ(?)Γ(?)是伽瑪函數(shù)。6.5.2期望值與方差期望值：

E[X]=kE[X]=k方差：

Var(X)=2kVar(X)=2k6.6t分布6.6.1定義t分布（Student'st-Distribution）是在樣本量較小且總體方差未知時使用的分布。若隨機變量XX服從自由度為nn的t分布，則其PDF為：fX(x)=Γ(n+12)nπ?Γ(n2)(1+x2n)?n+12,?∞<x<+∞fX?(x)=nπ?Γ(2n?)Γ(2n+1?)?(1+nx2?)?2n+1?,?∞<x<+∞6.6.2期望值與方差期望值：

E[X]=0,當??n>1E[X]=0,當n>1方差：

Var(X)=nn?2,當??n>2Var(X)=n?2n?,當n>26.7F分布6.7.1定義F分布（F-Distribution）是兩個獨立卡方分布變量之比的分布。若隨機變量XX服從自由度為d1d1?和d2d2?的F分布，則其PDF為：fX(x)=(d1x)d1d2d2(d1x+d2)d1+d2xB(d12,d22),x>0fX?(x)=xB(2d1??,2d2??)(d1?x+d2?)d1?+d2?(d1?x)d1?d2d2?????,x>0其中B(?,?)B(?,?)是貝塔函數(shù)。6.7.2期望值與方差期望值：

E[X]=d2d2?2,當??d2>2E[X]=d2??2d2??,當d2?>2方差：

Var(X)=2d22(d1+d2?2)d1(d2?2)2(d2?4),當??d2>4Var(X)=d1?(d2??2)2(d2??4)2d22?(d1?+d2??2)?,當d2?>4第七章多維隨機變量7.1聯(lián)合分布與邊際分布7.1.1聯(lián)合分布定義：當考慮多個隨機變量時，它們共同的分布稱為聯(lián)合分布。對于兩個隨機變量XX和YY，其聯(lián)合分布描述了這兩個隨機變量同時取某些值的概率。離散型：對于離散型隨機變量XX和YY，其聯(lián)合概率質量函數(shù)（JointPMF）pX,Y(x,y)pX,Y?(x,y)定義為：

pX,Y(x,y)=P(X=x,Y=y)pX,Y?(x,y)=P(X=x,Y=y)連續(xù)型：對于連續(xù)型隨機變量XX和YY，其聯(lián)合概率密度函數(shù)（JointPDF）fX,Y(x,y)fX,Y?(x,y)滿足：

FX,Y(x,y)=∫?∞x∫?∞yfX,Y(u,v)?dv?duFX,Y?(x,y)=∫?∞x?∫?∞y?fX,Y?(u,v)dvdu

其中FX,Y(x,y)FX,Y?(x,y)是聯(lián)合累積分布函數(shù)（JointCDF）。表7-1不同類型隨機變量的聯(lián)合分布示例隨機變量類型聯(lián)合分布函數(shù)離散型pX,Y(x,y)=P(X=x,Y=y)pX,Y?(x,y)=P(X=x,Y=y)連續(xù)型fX,Y(x,y)fX,Y?(x,y)滿足∫?∞x∫?∞yfX,Y(u,v)?dv?du=FX,Y(x,y)∫?∞x?∫?∞y?fX,Y?(u,v)dvdu=FX,Y?(x,y)7.1.2邊際分布定義：邊際分布是從聯(lián)合分布中提取出單個隨機變量的分布。對于兩個隨機變量XX和YY，XX的邊際分布描述了XX的單獨行為，而忽略了YY。離散型：XX的邊際概率質量函數(shù)（MarginalPMF）pX(x)pX?(x)為：

pX(x)=∑ypX,Y(x,y)pX?(x)=∑y?pX,Y?(x,y)連續(xù)型：XX的邊際概率密度函數(shù)（MarginalPDF）fX(x)fX?(x)為：

fX(x)=∫?∞+∞fX,Y(x,y)?dyfX?(x)=∫?∞+∞?fX,Y?(x,y)dy7.2條件分布7.2.1定義定義：條件分布描述了在已知另一個隨機變量取值的情況下，某個隨機變量的分布。離散型：給定Y=yY=y，XX的條件概率質量函數(shù)（ConditionalPMF）pX∣Y(x∣y)pX∣Y?(x∣y)為：

pX∣Y(x∣y)=pX,Y(x,y)pY(y)pX∣Y?(x∣y)=pY?(y)pX,Y?(x,y)?連續(xù)型：給定Y=yY=y，XX的條件概率密度函數(shù)（ConditionalPDF）fX∣Y(x∣y)fX∣Y?(x∣y)為：

fX∣Y(x∣y)=fX,Y(x,y)fY(y)fX∣Y?(x∣y)=fY?(y)fX,Y?(x,y)?7.2.2條件期望定義：條件期望是對給定另一個隨機變量取值時，某個隨機變量的期望值。對于離散型隨機變量，給定Y=yY=y，XX的條件期望E[X∣Y=y]E[X∣Y=y]為：

E[X∣Y=y]=∑xx?pX∣Y(x∣y)E[X∣Y=y]=∑x?x?pX∣Y?(x∣y)對于連續(xù)型隨機變量，給定Y=yY=y，XX的條件期望E[X∣Y=y]E[X∣Y=y]為：

E[X∣Y=y]=∫?∞+∞x?fX∣Y(x∣y)?dxE[X∣Y=y]=∫?∞+∞?x?fX∣Y?(x∣y)dx7.3多維隨機變量的獨立性7.3.1定義定義：兩個隨機變量XX和YY是獨立的，如果它們的聯(lián)合分布可以分解為其各自邊際分布的乘積。對于離散型隨機變量，XX和YY獨立當且僅當：

pX,Y(x,y)=pX(x)?pY(y)pX,Y?(x,y)=pX?(x)?pY?(y)對于連續(xù)型隨機變量，XX和YY獨立當且僅當：

fX,Y(x,y)=fX(x)?fY(y)fX,Y?(x,y)=fX?(x)?fY?(y)7.3.2獨立性的性質期望值：如果XX和YY是獨立的，那么E[XY]=E[X]?E[Y]E[XY]=E[X]?E[Y]。方差：如果XX和YY是獨立的，那么Var(X+Y)=Var(X)+Var(Y)Var(X+Y)=Var(X)+Var(Y)。條件分布：如果XX和YY是獨立的，那么XX的條件分布fX∣Y(x∣y)fX∣Y?(x∣y)實際上等于XX的邊際分布fX(x)fX?(x)。第八章極限定理8.1大數(shù)定律8.1.1弱大數(shù)定律定義：弱大數(shù)定律指出，對于一系列獨立同分布（IID）的隨機變量X1,X2,…,XnX1?,X2?,…,Xn?，其樣本均值Xˉn=1n∑i=1nXiXˉn?=n1?∑i=1n?Xi?依概率收斂于這些隨機變量的期望值E[Xi]E[Xi?]。即：

lim?n→∞P(∣Xˉn?E[Xi]∣≥?)=0limn→∞?P(?Xˉn??E[Xi?]?≥?)=0

對于任意?>0?>0。8.1.2強大數(shù)定律定義：強大數(shù)定律是弱大數(shù)定律的加強版，指出對于一系列獨立同分布（IID）的隨機變量X1,X2,…,XnX1?,X2?,…,Xn?，其樣本均值XˉnXˉn?幾乎必然收斂于這些隨機變量的期望值E[Xi]E[Xi?]。即：

P(lim?n→∞Xˉn=E[Xi])=1P(limn→∞?Xˉn?=E[Xi?])=18.2中心極限定理8.2.1定義定義：中心極限定理指出，對于一系列獨立同分布（IID）的隨機變量X1,X2,…,XnX1?,X2?,…,Xn?，其標準化后的樣本均值Xˉn?μσ/nσ/n?Xˉn??μ?（其中μ=E[Xi]μ=E[Xi?]，σ2=Var(Xi)σ2=Var(Xi?)）在nn趨于無窮大時，其分布趨近于標準正態(tài)分布N(0,1)N(0,1)。即：

Xˉn?μσ/n→dN(0,1)σ/n?Xˉn??μ?d?N(0,1)8.2.2應用統(tǒng)計推斷：中心極限定理是許多統(tǒng)計推斷方法的基礎，特別是在樣本量較大時，可以近似認為樣本均值的分布是正態(tài)分布，從而進行置信區(qū)間估計和假設檢驗。質量控制：在工業(yè)生產中，中心極限定理用于監(jiān)控產品質量，通過樣本均值的分布來判斷生產過程是否處于控制狀態(tài)。8.3應用實例分析8.3.1投擲硬幣實驗實驗設計：假設我們進行一系列投擲硬幣的實驗，每次實驗投擲一枚均勻硬幣，并記錄正面出現(xiàn)的次數(shù)。設XiXi?表示第ii次投擲硬幣的結果，Xi=1Xi?=1表示正面，Xi=0Xi?=0表示反面。期望值與方差：對于單次投擲，E[Xi]=0.5E[Xi?]=0.5，Var(Xi)=0.25Var(Xi?)=0.25。樣本均值：設進行了nn次投擲，樣本均值Xˉn=1n∑i=1nXiXˉn?=n1?∑i=1n?Xi?。大數(shù)定律：根據(jù)大數(shù)定律，當nn足夠大時，XˉnXˉn?會接近0.5。中心極限定理：根據(jù)中心極限定理，當nn足夠大時，Xˉn?0.50.5/n0.5/n?Xˉn??0.5?的分布近似于標準正態(tài)分布。8.3.2人口平均身高的估計實驗設計：假設我們要估計某地區(qū)成年人口的平均身高。我們隨機抽取nn個人，測量他們的身高，并計算樣本均值XˉnXˉn?。期望值與方差：設該地區(qū)成年人的平均身高為μμ，身高方差為σ2σ2。樣本均值：樣本均值Xˉn=1n∑i=1nXiXˉn?=n1?∑i=1n?Xi?。大數(shù)定律：根據(jù)大數(shù)定律，當nn足夠大時，XˉnXˉn?會接近μμ。中心極限定理：根據(jù)中心極限定理，當nn足夠大時，Xˉn?μσ/nσ/n?Xˉn??μ?的分布近似于標準正態(tài)分布。第九章隨機過程簡介9.1隨機過程的基本概念9.1.1定義定義：隨機過程是一種隨時間變化的隨機現(xiàn)象的數(shù)學模型。形式上，隨機過程可以看作是一個由時間參數(shù)tt索引的隨機變量族{Xt,t∈T}{Xt?,t∈T}，其中TT是時間集合，可以是離散的或連續(xù)的。9.1.2例子布朗運動：粒子在液體中的無規(guī)則運動。股票價格：股票價格隨時間的變化。天氣變化：氣溫、濕度等氣象參數(shù)隨時間的變化。9.2平穩(wěn)過程9.2.1定義定義：平穩(wěn)過程是指隨機過程的統(tǒng)計特性不隨時間平移而改變的過程。分為嚴平穩(wěn)過程和寬平穩(wěn)過程。嚴平穩(wěn)過程：對于所有t1,t2,…,tnt1?,t2?,…,tn?和所有時間平移ττ，聯(lián)合分布函數(shù)相同。寬平穩(wěn)過程：對于所有時間平移ττ，均值E[Xt]=μE[Xt?]=μ為常數(shù)，協(xié)方差函數(shù)E[(Xt?μ)(Xt+τ?μ)]E[(Xt??μ)(Xt+τ??μ)]僅依賴于時間間隔ττ。9.2.2例子白噪聲過程：均值為零，方差為常數(shù)，且任意兩個不同時刻的隨機變量不相關。自回歸過程：當前時刻的隨機變量依賴于過去若干時刻的隨機變量。9.3Markov鏈9.3.1定義定義：Markov鏈是一種特殊的隨機過程，其特點是未來的狀態(tài)只依賴于當前狀態(tài)，而不依賴于過去的狀態(tài)。形式上，如果對于所有的n≥0n≥0和所有狀態(tài)序列i0,i1,…,in,ji0?,i1?,…,in?,j，都有：

P(Xn+1=j∣X0=i0,X1=i1,…,Xn=in)=P(Xn+1=j∣Xn=in)P(Xn+1?=j∣X0?=i0?,X1?=i1?,…,Xn?=in?)=P(Xn+1?=j∣Xn?=in?)

則稱{Xn,n≥0}{Xn?,n≥0}為Markov鏈。9.3.2轉移概率矩陣定義：Markov鏈的狀態(tài)轉移可以通過轉移概率矩陣PP來描述，其中P(i,j)=P(Xn+1=j∣Xn=i)P(i,j)=P(Xn+1?=j∣Xn?=i)。性質：轉移概率矩陣的每一行元素之和為1。9.3.3例子天氣模型：假設天氣只有晴天和雨天兩種狀態(tài)，可以通過Markov鏈來建模天氣的變化。網(wǎng)頁瀏覽：用戶在不同網(wǎng)頁之間的跳轉可以用Markov鏈來建模。9.4Poisson過程9.4.1定義定義：Poisson過程是一種特殊的計數(shù)過程，用于描述在一段時間內隨機事件的發(fā)生次數(shù)。它具有以下特點：事件獨立增量：任意兩個不重疊的時間間隔內發(fā)生的事件數(shù)是獨立的。事件的平均發(fā)生率λλ是常數(shù)。在時間間隔[0,t][0,t]內發(fā)生的事件數(shù)N(t)N(t)服從參數(shù)為λtλt的Poisson分布。9.4.2例子電話呼叫：在一段時間內接到的電話呼叫次數(shù)可以用Poisson過程來建模。故障發(fā)生：設備在一段時間內的故障次數(shù)可以用Poisson過程來建模。9.5隨機過程的應用9.5.1金融建模股票價格：股票價格的變化可以用隨機游走模型或更復雜的隨機過程（如幾何布朗運動）來建模。期權定價：Black-Scholes模型利用幾何布朗運動來定價歐式期權。9.5.2通信網(wǎng)絡數(shù)據(jù)包傳輸：數(shù)據(jù)在網(wǎng)絡中的傳輸可以用隨機過程來建模，如排隊論中的M/M/1隊列模型。網(wǎng)絡流量：網(wǎng)絡流量的變化可以用Poisson過程或其他隨機過程來建模。9.5.3生物學神經元發(fā)放：神經元的動作電位發(fā)放可以用Poisson過程或其他隨機過程來建模?；虮磉_：基因的表達水平隨時間的變化可以用隨機過程來建模。第十章參數(shù)估計10.1點估計10.1.1定義定義：點估計是指使用樣本數(shù)據(jù)來估計總體參數(shù)的具體數(shù)值。常用的點估計方法包括矩估計、最大似然估計等。估計量：估計總體參數(shù)的統(tǒng)計量稱為估計量。例如，樣本均值XˉXˉ是總體均值μμ的一個估計量。10.1.2估計量的性質無偏性：如果估計量的期望值等于被估計的參數(shù)值，則該估計量是無偏的。一致性：隨著樣本量的增加，估計量的值逐漸趨近于被估計的參數(shù)值，則該估計量是一致的。有效性：在所有無偏估計量中，方差最小的估計量是有效的。10.2區(qū)間估計10.2.1定義定義：區(qū)間估計是指使用樣本數(shù)據(jù)來估計總體參數(shù)所在的區(qū)間。這個區(qū)間通常包含總體參數(shù)的真實值，并有一定的置信水平。10.2.2置信區(qū)間定義：置信區(qū)間是指包含總體參數(shù)真實值的概率區(qū)間。置信水平通常表示為1?α1?α，其中αα是顯著性水平。公式：對于正態(tài)分布的總體，總體均值μμ的置信區(qū)間可以表示為：

Xˉ±zα/2?σnXˉ±zα/2??n?σ?

其中XˉXˉ是樣本均值，σσ是總體標準差，nn是樣本容量，zα/2zα/2?是標準正態(tài)分布的分位數(shù)。表10-1不同分布下的置信區(qū)間公式分布類型參數(shù)置信區(qū)間公式正態(tài)分布均值Xˉ±zα/2?σnXˉ±zα/2??n?σ?t分布均值Xˉ±tα/2,n?1?snXˉ±tα/2,n?1??n?s?卡方分布方差[(n?1)s2χα/2,n?12,(n?1)s2χ1?α/2,n?12][χα/2,n?12?(n?1)s2?,χ1?α/2,n?12?(n?1)s2?]10.2.3置信水平定義：置信水平是指置信區(qū)間包含總體參數(shù)真實值的概率。常用的置信水平有90%、95%和99%。選擇：較高的置信水平意味著更寬的置信區(qū)間，較低的置信水平意味著較窄的置信區(qū)間。10.3最大似然估計10.3.1定義定義：最大似然估計（MaximumLikelihoodEstimation,MLE）是一種常用的方法，通過最大化似然函數(shù)來估計總體參數(shù)。似然函數(shù)：似然函數(shù)是樣本觀測值在給定參數(shù)值下的聯(lián)合概率密度函數(shù)或概率質量函數(shù)。10.3.2似然函數(shù)離散型：對于離散型隨機變量，似然函數(shù)L(θ∣x1,x2,…,xn)L(θ∣x1?,x2?,…,xn?)為：

L(θ∣x1,x2,…,xn)=∏i=1np(xi∣θ)L(θ∣x1?,x2?,…,xn?)=∏i=1n?p(xi?∣θ)連續(xù)型：對于連續(xù)型隨機變量，似然函數(shù)L(θ∣x1,x2,…,xn)L(θ∣x1?,x2?,…,xn?)為：

L(θ∣x1,x2,…,xn)=∏i=1nf(xi∣θ)L(θ∣x1?,x2?,…,xn?)=∏i=1n?f(xi?∣θ)10.3.3最大似然估計的步驟寫出似然函數(shù)：根據(jù)樣本數(shù)據(jù)和假設的分布寫出似然函數(shù)。對數(shù)似然函數(shù)：為了簡化計算，通常對似然函數(shù)取對數(shù)，得到對數(shù)似然函數(shù)。求導并解方程：對對數(shù)似然函數(shù)關于參數(shù)θθ求導，并令導數(shù)等于零，解方程得到參數(shù)的估計值。10.4應用實例10.4.1估計正態(tài)分布的均值和方差均值：假設樣本來自正態(tài)分布N(μ,σ2)N(μ,σ2)，樣本均值XˉXˉ是μμ的最大似然估計。方差：樣本方差s2s2是σ2σ2的最大似然估計。10.4.2估計二項分布的成功概率定義：假設樣本來自二項分布B(n,p)B(n,p)，樣本中成功次數(shù)的比例p^=knp^?=nk?是成功概率pp的最大似然估計。第十一章假設檢驗11.1基本概念11.1.1定義定義：假設檢驗是一種統(tǒng)計方法，用于判斷關于總體參數(shù)的假設是否成立。假設檢驗的基本思想是通過樣本數(shù)據(jù)來檢驗一個假設是否合理。11.1.2原假設與備擇假設原假設（NullHypothesis,

H0H0?）：通常是希望被拒絕的假設，表示總體參數(shù)沒有顯著變化。備擇假設（AlternativeHypothesis,

H1H1?）：是與原假設相對立的假設，表示總體參數(shù)發(fā)生了顯著變化。11.2單側檢驗與雙側檢驗11.2.1單側檢驗定義：單側檢驗是指備擇假設只在參數(shù)的一側成立。例如，H1:μ>μ0H1?:μ>μ0?或H1:μ<μ0H1?:μ<μ0?。11.2.2雙側檢驗定義：雙側檢驗是指備擇假設在參數(shù)的兩側都可能成立。例如，H1:μ≠μ0H1?:μ=μ0?。11.3P值11.3.1定義定義：P值是假設檢驗中用來判斷原假設是否應該被拒絕的概率值。P值越小，拒絕原假設的理由越充分。11.3.2解釋解釋：如果P值小于顯著性水平αα（通常取0.05），則拒絕原假設；否則，不拒絕原假設。11.4第一類錯誤與第二類錯誤11.4.1第一類錯誤定義：第一類錯誤（TypeIError）是指在原假設為真的情況下，錯誤地拒絕了原假設。第一類錯誤的概率記為αα。11.4.2第二類錯誤定義：第二類錯誤（TypeIIError）是指在原假設為假的情況下，錯誤地接受了原假設。第二類錯誤的概率記為ββ。11.4.3功效定義：功效（Power）是指在原假設為假的情況下，正確地拒絕原假設的概率。功效為1?β1?β。11.5檢驗力11.5.1定義定義：檢驗力是指假設檢驗能夠正確識別出備擇假設的能力。檢驗力越高，檢測到實際存在的效應的能力越強。11.5.2影響因素樣本大小：樣本越大，檢驗力越高。效應大?。盒酱螅瑱z驗力越高。顯著性水平：顯著性水平越低，檢驗力越低。第十二章非參數(shù)統(tǒng)計方法12.1符號檢驗12.1.1定義定義：符號檢驗是一種非參數(shù)檢驗方法，用于檢驗兩個配對樣本的中位數(shù)是否有顯著差異。符號檢驗只考慮樣本差值的符號（正或負），而不考慮差值的大小。12.1.2步驟計算差值：計算兩個配對樣本的差值。確定符號：統(tǒng)計正差值和負差值的數(shù)量。構造檢驗統(tǒng)計量：構造檢驗統(tǒng)計量SS，表示正差值的數(shù)量。查表或計算P值：根據(jù)樣本量和符號數(shù)量查表或計算P值。決策：根據(jù)P值與顯著性水平αα比較，做出決策。12.2Wilcoxon秩和檢驗12.2.1定義定義：Wilcoxon秩和檢驗（也稱為Mann-WhitneyU檢驗）是一種非參數(shù)檢驗方法，用于檢驗兩個獨立樣本的中位數(shù)是否有顯著差異。該方法基于樣本值的秩次而不是原始值。12.2.2步驟合并樣本：將兩個樣本合并并排序。分配秩次：