概率論與數(shù)理統(tǒng)計(jì)讀書筆記

1、概率論與數(shù)理統(tǒng)計(jì)讀書筆記目 錄第一章概率論的基本概念11 隨機(jī)試驗(yàn)12.樣本空間、隨機(jī)事件13.頻率和概率24等可能概型（古典概型）35.條件概率46.獨(dú)立性5第二章隨機(jī)變量及其分布51.隨機(jī)變量52.離散型隨機(jī)變量及其分布律63.隨機(jī)變量的分布函數(shù)74.連續(xù)型隨機(jī)變量及其概率密度85.隨機(jī)變量的函數(shù)分布9第三章多維隨機(jī)變量及其分布91.二維隨機(jī)變量92.邊緣分布113.條件分布114.相互獨(dú)立的隨機(jī)變量135.兩個(gè)隨機(jī)變量函數(shù)的分布13第四章 隨機(jī)變量的數(shù)字特征141. 數(shù)學(xué)期望142. 方差163. 協(xié)方差及相關(guān)系數(shù)174.矩、協(xié)方差矩陣18第五章 大數(shù)定律和中心極限定理191.大數(shù)定律1

2、92.中心極限定理20第六章 樣本及抽樣分布21第七章 參數(shù)估計(jì)23第八章 假設(shè)檢驗(yàn)25第九章 回歸分析31參考文獻(xiàn)42第一章 概率論的基本概念1 隨機(jī)試驗(yàn)1.對(duì)隨機(jī)現(xiàn)象的觀察、記錄、試驗(yàn)統(tǒng)稱為隨機(jī)試驗(yàn).2.隨機(jī)試驗(yàn)的所有結(jié)果構(gòu)成的集合稱為的樣本空間，記為， 稱中的元素為基本事件或樣本點(diǎn).3.可以在相同的條件下進(jìn)行相同的實(shí)驗(yàn)；每次實(shí)驗(yàn)的可能結(jié)果不止一個(gè)，并且能事先明確試驗(yàn)的所有可能結(jié)果；進(jìn)行一次試驗(yàn)之前不能確定哪一個(gè)結(jié)果會(huì)實(shí)現(xiàn).2.樣本空間、隨機(jī)事件1.對(duì)于隨機(jī)試驗(yàn)，盡管在每次試驗(yàn)之前不能預(yù)知試驗(yàn)結(jié)果，但試驗(yàn)的所有可能結(jié)果組成的集合是已知的.我們將隨機(jī)試驗(yàn)的所有可能結(jié)果組成的集合稱為的樣本空間

3、，記為樣本空間的元素，即的每個(gè)結(jié)果稱為樣本點(diǎn).2.一般我們稱的子集為的隨機(jī)事件，當(dāng)且僅當(dāng)所包含的一個(gè)樣本點(diǎn)發(fā)生稱事件發(fā)生.如果將亦視作事件，則每次試驗(yàn)總是發(fā)生，故又稱為必然事件。為方便起見，記為不可能事件，不包含任何樣本點(diǎn).3.若，則稱事件包含事件，這指的是事件發(fā)生必導(dǎo)致事件的發(fā)生。若且，即，則稱事件與事件相等.4.和事件5.當(dāng)時(shí)，稱事件與不相容的，或互斥的.這指事件與事件不能同時(shí)發(fā)生.基本事件是兩兩互不相容的.6. 7. 事件 A 的對(duì)立事件：設(shè) A 表示事件 “A 出現(xiàn)”, 則“事件 A 不出現(xiàn)”稱為事件 A 的對(duì)立事件或逆事件.事件間的運(yùn)算規(guī)律：3.頻率和概率1.記頻率 反映了事件發(fā)生的

4、頻繁程度.2.頻率的性質(zhì)：3.當(dāng)重復(fù)試驗(yàn)次數(shù)逐漸增大時(shí)，頻率 呈現(xiàn)出穩(wěn)定性，逐漸穩(wěn)定于某個(gè)常數(shù).這種“頻率穩(wěn)定性”即通常所說的統(tǒng)計(jì)規(guī)律性.我們讓試驗(yàn)重復(fù)大量次數(shù)，計(jì)算頻率 以它來表征事件發(fā)生可能性的大小是合適的. 隨的增大漸趨穩(wěn)定，記穩(wěn)定值為. 的穩(wěn)定值定義為的概率，記為.4.概率定義：設(shè)是隨機(jī)試驗(yàn)，是它的樣本空間.對(duì)于的每一個(gè)事件賦予一個(gè)實(shí)數(shù)，記為，稱為事件的概率.滿足下列條件:(1) 非負(fù)性：對(duì)于每一個(gè)事件,有(2) 規(guī)范性：對(duì)于必然事件,有(3) 可列可加性：設(shè)是兩兩相互不相容的事件，即對(duì)于，則有 ；5.概率定義推得的重要性質(zhì).（1）（2）有限可加性 若是兩兩互不相容的事件 則有（3）對(duì)

5、于任一事件1（4）對(duì)于任一事件A有 (5) 4等可能概型（古典概型）1.當(dāng)試驗(yàn)的樣本空間只含有有限個(gè)元素，并且試驗(yàn)中每個(gè)基本事件發(fā)生的可能性相同，具有這樣特點(diǎn)的試驗(yàn)是大量存在的，則稱這種試驗(yàn)為等可能概型.它在概率論發(fā)展初期曾是主要的研究對(duì)象，所以也稱為等可能概型.2. 即是等可能概型中事件的概率的計(jì)算公式.5.條件概率1. 條件概率定義：設(shè)是兩個(gè)事件,且，稱為在事件發(fā)生條件下事件發(fā)生的條件概率.2.符合條件概率的三個(gè)條件，即：（1）非負(fù)性 對(duì)于每一事件B, 有 （2）規(guī)范性 對(duì)于必然事件S，有 （3）可列可加性 設(shè)是兩兩互不相容的事件，則有3. 乘法定理：設(shè)，則有 推廣: 一般設(shè) 為n個(gè)事件，

6、且有.4.全概率公式：設(shè)試驗(yàn)的樣本空間為，為的事件, 為的一個(gè)劃分，且，則5.貝葉斯公式：設(shè)試驗(yàn)的樣本空間為，為的事件, 為的一個(gè)劃分，且，則6.獨(dú)立性1.定義：設(shè)是兩事件，如果滿足等式，則稱事件相互獨(dú)立，簡(jiǎn)稱獨(dú)立.若,則相互獨(dú)立與互不相容不能同時(shí)成立.2. 定理一：設(shè)是兩事件，且>0，若相互獨(dú)立，則=.反之亦然.3.定理二：若事件A與B相互獨(dú)立則與，與，與也相互獨(dú)立.4.推廣定義：設(shè)是三個(gè)事件，如果滿足等式,，,則稱事件相互獨(dú)立.5. 第二章 隨機(jī)變量及其分布1. 隨機(jī)變量1.定義：設(shè)隨機(jī)試驗(yàn)的樣本空間是定義在樣本空間上的實(shí)值單值函數(shù)，稱為隨機(jī)變量.常見的兩類隨機(jī)變量.2.本書中一般以

7、大寫字母如表示隨機(jī)變量，而以小寫字母表示實(shí)數(shù).2. 離散型隨機(jī)變量及其分布律1.定義：有些隨機(jī)變量，它全部可能取到的不相同的值是有限個(gè)或可列無限多個(gè)，這種隨機(jī)變量稱為離散型隨機(jī)變量.2.定義：取值可數(shù)的隨機(jī)變量為離散量.稱為離散型隨機(jī)變量X的分布律。滿足如下兩個(gè)條件：（1）（2）3.（01）分布設(shè)隨機(jī)變量X只可能取0與1兩個(gè)值,它的分布律是，則稱 X 服從（01）分布或兩點(diǎn)分布. （01）分布的分布律也可寫成 4.設(shè)試驗(yàn)只有兩個(gè)可能結(jié)果： 及, 則稱為伯努利試驗(yàn)設(shè)，此時(shí),將獨(dú)立重復(fù)地進(jìn)行n次，則稱這一串重復(fù)的獨(dú)立試驗(yàn)為n重伯努利試驗(yàn).剛好是二項(xiàng)式的展開式中出現(xiàn)的那一項(xiàng)，故稱隨機(jī)變量服從參數(shù)的二

8、項(xiàng)分布，記為.特別，當(dāng)時(shí)二項(xiàng)分布化為，這就是（0-1）分布.5.泊松分布設(shè)隨機(jī)變量X所有可能取值為0,1,2.而取各個(gè)值的概率為 .3.隨機(jī)變量的分布函數(shù)1. 分布函數(shù)的定義設(shè)是一個(gè)連續(xù)隨機(jī)變量，稱為 的分布函數(shù).是隨機(jī)變量, 是自變量.由定義，對(duì)任意實(shí)數(shù) ，隨機(jī)點(diǎn)落在區(qū)間的概率為：.2. 分布函數(shù)性質(zhì)即任一分布函數(shù)處處右連續(xù).3.公式4.連續(xù)型隨機(jī)變量及其概率密度1.如果對(duì)于隨機(jī)變量的分布函數(shù)，存在非負(fù)函數(shù)，使對(duì)任意實(shí)數(shù)有，則稱為連續(xù)型隨機(jī)變量，其中函數(shù)稱為的概率密度函數(shù)簡(jiǎn)稱概率密度。在實(shí)際應(yīng)用中遇到的基本上是離散型或連續(xù)型隨機(jī)變量.2.概率密度性質(zhì)：（1）（2） （3）對(duì)于任意實(shí)數(shù)， （4

9、）若在點(diǎn)x處連續(xù)則有 3.均勻分布：設(shè)連續(xù)型隨機(jī)變量具有概率密度=，則稱在區(qū)間上服從均勻分布.記為.易知.4指數(shù)分布：設(shè)連續(xù)型隨機(jī)變量具有概率密度 ，其中為常數(shù)，則稱服從參數(shù)為的指數(shù)分布.易知.5 正態(tài)分布：設(shè)連續(xù)型隨機(jī)變量具有概率密度， 則稱X服從參數(shù)為的正態(tài)分布.特別的，當(dāng)時(shí)，稱X服從標(biāo)準(zhǔn)正態(tài)分布. 5.隨機(jī)變量的函數(shù)分布定理：設(shè)隨機(jī)變量X具有概率密度，又設(shè)函數(shù)處處可導(dǎo)且恒有，則Y=g(X)是連續(xù)型隨機(jī)變量，其概率密度為 .第三章 多維隨機(jī)變量及其分布1.二維隨機(jī)變量1.設(shè)隨機(jī)試驗(yàn)的樣本空間為： 為定義在上的隨機(jī)變量，由它們構(gòu)成一個(gè)隨機(jī)向量 ,叫二維隨機(jī)向量或二維隨機(jī)變量. 2.定義：設(shè)二

10、維隨機(jī)變量，對(duì)任意實(shí)數(shù),二元函數(shù),稱為的(聯(lián)合)概率分布函數(shù). 二維隨機(jī)變量分布函數(shù)的性質(zhì)：（1）是變量和的不減函數(shù)，即對(duì)任意固定的，當(dāng)時(shí);對(duì)于任意固定的，當(dāng)時(shí).（2），且對(duì)于任意固定的，對(duì)于任意固定的,(3) =，=，即關(guān)于x右連續(xù)，關(guān)于y也右連續(xù).(4) 對(duì)于任意，下述不等式成立: .如果二維隨機(jī)變量全部可能取到的不相同的值是有限對(duì)或可列無限多對(duì)，則稱是離散型的隨機(jī)變量.3. 對(duì)于二維隨機(jī)變量的分布函數(shù).如果存在非負(fù)的函數(shù)使對(duì)于任意有,則稱是連續(xù)型的二維隨機(jī)變量，函數(shù)稱為二維隨機(jī)變量的概率密度，或稱為隨機(jī)變量和的聯(lián)合概率密度.概率密度具有以下性質(zhì)：（1） （2） (3) 設(shè)是平面上的區(qū)域，

11、點(diǎn)落在內(nèi)的概率為(4) 若在點(diǎn)連續(xù) 則有4. 兩個(gè)常用的分布（1）均勻分布：定義設(shè)為閉區(qū)域面積為，若隨機(jī)變量 的(聯(lián)合)密度為： 則稱: 服從上的均勻分布. (2)二維正態(tài)分布：若二維隨機(jī)變量 的概率密度為：則稱: 服從參數(shù)為m1、m2、s1、s2、r的二維正態(tài)分布.其中s1>0，s2>0，|r|£1是常數(shù).記為： (m1、m2、s12、s22、r) .2.邊緣分布1.二維隨機(jī)變量作為一個(gè)整體，具有分布函數(shù)，而和都是隨機(jī)變量，也有也有分布函數(shù)，將他們分別記為，依次稱為二維隨機(jī)變量關(guān)于和的邊緣分布函數(shù)。邊緣分布函數(shù)可以由的分布函數(shù)所確定，事實(shí)上=.2.是一個(gè)連續(xù)型隨機(jī)變量，

12、則其概率密度 和 分別稱，為關(guān)于和關(guān)于的邊緣概率密度函數(shù).3. 離散型隨機(jī)變量的邊緣概率分布：3.條件分布1.定義:設(shè)使二維離散型隨機(jī)變量，對(duì)于固定的，若有，則稱，為在條件下隨機(jī)變量的條件分布律。同樣，對(duì)于固定的，若則稱，為在條件下隨機(jī)變量的條件分布律.2.定義：設(shè)二維隨機(jī)變量的概率密度為，關(guān)于的邊緣概率密度為.對(duì)于固定的，,則稱為在的條件下的條件概率密度，記為. 稱為在的條件下，的條件分布函數(shù)，記為即，類似的，可以定義和.3. 離散型隨機(jī)變量的條件分布4.連續(xù)型隨機(jī)變量的條件分布4.相互獨(dú)立的隨機(jī)變量 1.定義:設(shè), , 分別為二維隨機(jī)變量的(聯(lián)合)分布函數(shù)和邊緣分布函數(shù)，若對(duì)于所有有： &

13、#183;，即：，則稱與相互獨(dú)立.2.定理 a. 相互獨(dú)立 Û b.離散型隨機(jī)變量相互獨(dú)立充要條件是對(duì)于任意有： .5.兩個(gè)隨機(jī)變量函數(shù)的分布1. 的分布設(shè)的概率密度為，則分布函數(shù)為,由概率密度的定義，即得到的概率密度為,由的對(duì)稱性，又可寫成.特別，當(dāng)和相互獨(dú)立是，設(shè)邊緣概率密度為，則上面兩個(gè)公式可以化為，,這兩個(gè)公式稱為卷積公式，記為即更一般地，有限個(gè)相互獨(dú)立得正態(tài)隨機(jī)變量的線性組合仍然服從正態(tài)分布.2.及的分布設(shè)是兩個(gè)相互獨(dú)立的隨機(jī)變量，他們的分布函數(shù)分別為, ，現(xiàn)在來求及的分布函數(shù)。 又由于和相互獨(dú)立，得到 的分布函數(shù)為即有 類似的，可得到的分布函數(shù)為 即.第四章 隨機(jī)變量的數(shù)

14、字特征1. 數(shù)學(xué)期望1. 定義：設(shè)離散型隨機(jī)變量的分布律為=，若級(jí)數(shù)絕對(duì)收斂，則稱級(jí)數(shù)的和為隨機(jī)變量的數(shù)學(xué)期望，記為=.2. 設(shè)連續(xù)型隨機(jī)變量的概率密度為,若積分的值為隨機(jī)變量的數(shù)學(xué)期望,即=.數(shù)學(xué)期望簡(jiǎn)稱期望，又稱均值.3. 定理：設(shè)是隨機(jī)變量的函數(shù): （是連續(xù)函數(shù)）.1) 若是離散型隨機(jī)變量，它的分布律為=，若級(jí)數(shù)絕對(duì)收斂，則有=. 2) 若是連續(xù)型隨機(jī)變量，它的概率密度為 若絕對(duì)收斂則有= .4.數(shù)學(xué)期望的重要性質(zhì)：（1） 設(shè)是常數(shù)，則有 （2）設(shè)是一個(gè)隨機(jī)變量，是常數(shù)，則有 （3） 設(shè)是兩個(gè)隨機(jī)變量，則有 .這一性質(zhì)可以推廣到任意有限個(gè)隨機(jī)變量之和的情況.（4） 設(shè)是相互獨(dú)立的隨機(jī)變量

15、，則有；這一性質(zhì)可以推廣到任意有限個(gè)相互獨(dú)立的隨機(jī)變量之積的情況.5. 幾個(gè)重要隨機(jī)變量的期望 （1）0-1分布的數(shù)學(xué)期望：（2）二項(xiàng)分布：(3) 泊松分布: (4) 均勻分布. (5) 指數(shù)分布：(6)正態(tài)分布: 2. 方差1.定義:設(shè)是一個(gè)隨機(jī)變量，若存在，則稱為的方差，記為即 .在應(yīng)用上引入，記為 稱為標(biāo)準(zhǔn)差或均方差.2.離散型隨機(jī)變量：, 其中. 連續(xù)型隨機(jī)變量：= 其中是的概率密度. 隨機(jī)變量X的方差可按計(jì)算. 3.方差的重要性質(zhì)（1）設(shè)是常數(shù)，則有（2）設(shè)是一個(gè)隨機(jī)變量，是常數(shù)，則有(3) 設(shè)是兩個(gè)隨機(jī)變量，則有若相互獨(dú)立，則有 這一性質(zhì)可以推廣到任意有限個(gè)相互獨(dú)立的隨機(jī)變量之和的情況(4) 的充要條件是以概率1取常數(shù)，4. 幾個(gè)重要隨機(jī)變量的方差 (2) 泊松分布: (3) 均勻分布: (4) 指數(shù)分布: (5) 正態(tài)分布: 3. 協(xié)方差及相關(guān)系數(shù)1 定義:稱為隨機(jī)變量X與Y的協(xié)方差，記為,即，稱為隨機(jī)變量X與Y的相關(guān)系數(shù).2.協(xié)方差性質(zhì) 1) 2) 3) 4) 5) 若相互獨(dú)立，則 6) 3. 定 理：（1