概率統(tǒng)計模型課件

1、統(tǒng)計建模優(yōu)點統(tǒng)計學(xué)的研究方法具有客觀、準確和可檢驗的特點，從而成為實證研究，利用數(shù)量挖掘規(guī)律的重要手段。目前它廣泛適用于自然、社會、經(jīng)濟、科學(xué)技術(shù)各個領(lǐng)域的數(shù)據(jù)分析和研究。統(tǒng)計模型是數(shù)學(xué)模型的重要組成部分，尤其對具有大量數(shù)據(jù)的對象，統(tǒng)計建模具有極其重要的地位。飛機防護問題二戰(zhàn)時期，德英空戰(zhàn)不斷，德國對英國本土每天不定期進行狂轟濫炸。英方積極應(yīng)戰(zhàn)，戰(zhàn)機的損失也不斷增加。為了提高飛機的防護能力，決定給飛機最必要的地方增加護甲。統(tǒng)計學(xué)家這么做：將每架中彈但仍返航的飛機的中彈部位描繪在圖紙上，然后將所有這些圖重疊，形成了一個濃密不等的彈孔分布圖。那些沒有彈孔的地方，就是要增加護甲的地方，因為這地方中彈

2、的飛機都沒能返回。飛機防護問題二戰(zhàn)時期，德英空戰(zhàn)不斷，德國對英國本土每天不定期進行狂轟濫炸。英方積極應(yīng)戰(zhàn)，戰(zhàn)機的損失也不斷增加。為了提高飛機的防護能力，決定給飛機最必要的地方增加護甲。統(tǒng)計學(xué)家這么做：將每架中彈但仍返航的飛機的中彈部位描繪在圖紙上，然后將所有這些圖重疊，形成了一個濃密不等的彈孔分布圖。那些沒有彈孔的地方，就是要增加護甲的地方，因為這地方中彈的飛機都沒能返回。四種流行的統(tǒng)計方法1、蒙特卡洛方法2、馬爾科夫過程3、邏輯回歸模型4、聚類分析1、蒙特卡洛模型蒙特卡洛是世界聞名的賭城，蒙特卡洛方法借用這一城市的名稱，也表明了該方法的基本特點；蒙特卡洛方法是以概率和統(tǒng)計理論方法為基礎(chǔ)的一種

3、計算機模擬方法；利用隨機數(shù)來解決復(fù)雜的計算問題，將所求解的問題同一定的概率模型相聯(lián)系，用計算機實現(xiàn)統(tǒng)計模擬或抽樣，以獲得問題的近似解。隨機試驗次數(shù)越多，獲得的近似解的精度也越高?；驹砻商乜_方法的基本思想：首先構(gòu)造一個概率空間，然后在該概率空間中確定一個依賴于隨機變量X(任意維)的統(tǒng)計量g(X)，其數(shù)學(xué)期望 正好等于所要求的值G，其中F(x)為X的分布函數(shù)。然后產(chǎn)生隨機變量的簡單子樣 ，用其相應(yīng)的統(tǒng)計量 的算術(shù)平均值 作為G的近似估計。投針算圓周率蒲豐問題 早在1777年，蒲豐（Georges Louis Leclere de Buffon，17071788）提出求解圓周率的一個另類思路，

4、其過程是首先在紙上畫一組間距為a的平行橫線，然后隨機往里投針，針長b(bu。假定u=50米/分鐘，道口寬度50米；3.紅燈時間為c，綠燈時間為d（在模擬例子中，假設(shè)c=1分鐘, d=5分鐘）；4.黃燈時間忽略，假定車子看到紅燈后可以立即停車；5.開始模擬時間沒有候車。6.開始模擬時間為剛由綠燈轉(zhuǎn)為紅燈；7.暫不考慮出現(xiàn)交通事故的可能。1、蒙特卡洛模型蒙特卡洛是世界聞名的賭城，蒙特卡洛方法借用這一城市的名稱，也表明了該方法的基本特點；蒙特卡洛方法是以概率和統(tǒng)計理論方法為基礎(chǔ)的一種計算機模擬方法；利用隨機數(shù)來解決復(fù)雜的計算問題，將所求解的問題同一定的概率模型相聯(lián)系，用計算機實現(xiàn)統(tǒng)計模擬或抽樣，以獲

5、得問題的近似解。隨機試驗次數(shù)越多，獲得的近似解的精度也越高。應(yīng)用實例電梯問題問題描述 高層商務(wù)樓中一般配備了多臺電梯，如何安排好各臺電梯的運行方式，既能保證大樓內(nèi)各公司員工的正常工作和出行，又能降低能耗，節(jié)約成本。在一般高層商務(wù)樓中，經(jīng)常采用的是分層次或單雙層的運行方式，或者某部電梯直達某高層以上的方法，試建立一個適合的電梯運行方案（高峰時），并具體評價這些方案的優(yōu)劣。2、馬爾可夫模型清晨，你醒了，睜開雙眼的你面臨三個選擇：繼續(xù)睡一會、躺床上聽聽音樂、看看手機或者起床準備學(xué)習(xí)下午，你可能決定放松身心，娛樂一會。晚上你又有其它的選擇。把每天分時段進行的活動看作是一個隨機過程你作出的決定不取決于你

6、之前干過什么，比如你決定下午玩耍一下和早上有沒有看過書沒有關(guān)系，那么這就是一個特殊的隨機過程馬爾科夫過程。基本原理轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣疾病健康模型問題描述人的健康狀態(tài)隨著時間的推移會隨機地發(fā)生轉(zhuǎn)變，保險公司要對投保人未來的健康狀態(tài)作出估計,以制訂保險金和理賠金的數(shù)額。人的健康狀況分為健康和患病兩種狀態(tài)，設(shè)對特定年齡段的人，今年健康、明年保持健康狀態(tài)的概率為0.8，今年患病、明年轉(zhuǎn)為健康狀態(tài)的概率為0.7。若某人投保時健康, 問10年后他仍處于健康狀態(tài)的概率？思路分析：首先需要求解出狀態(tài)轉(zhuǎn)移概率矩陣，由馬氏鏈的基本方程，根據(jù)給定a(0)，可以預(yù)測 a(n)，這樣就可以求出任意時間點的狀態(tài)

7、概率了。模型假設(shè)與建立：本模型滿足馬爾科夫鏈的基本要求，也即該人某年健康或患病概率只與其前一年健康或患病狀態(tài)有關(guān)，與再前面各年份健康情況無關(guān)。模型建立 設(shè) 表示第n年投保人身體所處狀態(tài)，記則 是時間狀態(tài)均離散的馬爾科夫鏈，其中 模型求解設(shè)投保時健康設(shè)投保時患病疾病健康死亡模型問題延伸 如果人的狀態(tài)分為健康、疾病和死亡三種狀態(tài)，記 表示n年后投保人身體健康, 表示投保人患病, 表示投保人因疾病死亡. 若三種狀態(tài)的轉(zhuǎn)換概率如下圖所示，則轉(zhuǎn)換矩陣P為：模型假設(shè)與建立：本模型滿足馬爾科夫鏈的基本要求，也即該人某年健康或患病概率只與其前一年健康或患病狀態(tài)有關(guān)，與再前面各年份健康情況無關(guān)。模型建立 設(shè) 表

8、示第n年投保人身體所處狀態(tài)，記則 是時間狀態(tài)均離散的馬爾科夫鏈，其中 模型求解狀態(tài)與狀態(tài)轉(zhuǎn)移概率設(shè)投保時健康應(yīng)用實例汽車工況研究問題描述 汽車工廠要了解某一類重型汽車的行駛狀況（工況），來研究如何降低汽車油耗。但重型汽車在公路上行駛時間一般很長，且因為路況復(fù)雜，速度變化很不均勻，所以很難對重型汽車實際行駛狀況進行分析。需要模擬并在實驗室重現(xiàn)能夠代替實際汽車道路行駛的工況。如何構(gòu)造一定時間的汽車行駛工況，且其能代表重型汽車長時間的實際行駛狀況從而可以在實驗室對汽車發(fā)動機進行各種配置以找到最優(yōu)配置？3、邏輯回歸模型實際問題中，我們經(jīng)常需要探討變量之間的關(guān)系；大部分情況下，都會先嘗試采用線性回歸的方

9、法探討解釋變量對響應(yīng)變量的影響；當(dāng)響應(yīng)變量不是定量變量，而是定性變量時，傳統(tǒng)的線性回歸方法就失效了?；驹韑ogit 變換 當(dāng)響應(yīng)變量 是二分類變量時，可以采用一種被稱為logit變換來轉(zhuǎn)換概率的值。設(shè)Y取值為1的概率為p， ， ,logit 變換將概率p所在區(qū)間轉(zhuǎn)換為實數(shù)軸，從而可用來作為回歸的響應(yīng)變量 設(shè)有一個自變量x，用logit(p)與x建立起回歸關(guān)系為： 求出p、q=1-p 的概率：優(yōu)惠券的精準投放問題描述 一家連鎖超市推出優(yōu)惠券活動，如果顧客購買200元以上的商品，將給予50元的優(yōu)惠。為了精準投放，超市只愿意將優(yōu)惠券贈送給最有可能使用優(yōu)惠券的顧客。思路分析 研究人員認為，顧客是否

10、使用優(yōu)惠券會與顧客在這家連鎖超市的年消費支出和顧客是否擁有會員卡有關(guān)。顧客的年消費支出可以從積分卡上獲得；如果顧客擁有會員卡則記為1，否則記為0。建立logistic模型分析年消費支出和是否擁會員卡對使用優(yōu)惠券的影響模型求解變量定義如下選擇二元logistic回歸方程ROC曲線受試者工作特征曲線（receiver operating characteristic curve），簡稱ROC曲線，是以特異性為橫坐標，敏感性為縱坐標繪制而成。年消費支出與是否使用優(yōu)惠券的ROC曲線是否擁有會員卡與是否使用優(yōu)惠券的ROC曲線應(yīng)用實例加保問題問題描述 在保險業(yè)務(wù)中，常常需要計算投?？蛻舻募颖？赡苄写笮?，并

11、對加?？赡苄源笮〔煌目蛻暨M行分類和區(qū)別處理，如何計算加?？赡苄裕克悸贩治?在保險業(yè)務(wù)的客人加保分析中，常常通過證據(jù)權(quán)重法（Weight of Evidence, 簡稱WOE）將logistic回歸模型所得的結(jié)果轉(zhuǎn)換為標準評分卡的形式，方便保險公司對于加?？赡苄源笮〔煌目蛻暨M行分類和區(qū)別處理。4、聚類分析“物以類聚、人以群分”。面對大量的數(shù)據(jù)和變量，如何快速將具有相近特質(zhì)的樣本或變量分在一類，從而達到降維和尋找共性的目的就成為一個重要的研究方向。聚類分析正是這樣一種快速將大量數(shù)據(jù)分類的統(tǒng)計方法，有很強的應(yīng)用價值。基本原理聚類分析一般分為Q型聚類和R型聚類兩種：樣品相似性的度量用來測度樣本之間

12、距離的遠近，距離相差不大的分為一組，比如將成績相近的學(xué)生分為一組；變量相似性的度量用來測度變量之間相關(guān)性的大小，將具有相同趨勢的變量分為一組，比如將學(xué)生的數(shù)學(xué)成績和物理成績分為一組?；驹黹h可夫斯基距離歐氏距離馬氏距離蘭氏距離變量相似性的度量 主要包括夾角余弦和相關(guān)系數(shù)等?？諝赓|(zhì)量分類問題描述 隨著霧霾的增多，空氣質(zhì)量逐漸成為人們關(guān)注的熱點?？諝馕廴疚镏邪ǘ喾N不同種類和來源的污染物，如劃分顆粒物大小標準的PM2.5指標、SO2和NO2的含量等等。氣象部門會對城市的空氣質(zhì)量進行分類，如何根據(jù)這些指標對空氣質(zhì)量進行比較準確的分類？思路分析 一些地方采取空氣質(zhì)量指數(shù)的辦法來對各城市的空氣質(zhì)量進行評分，除此之外，還可以采用聚類分析的方法對城市的空氣質(zhì)量進行分類。計算結(jié)果食品分類問題描述 某食堂需要制定食品采購策略，因而希望針對不同食品，進行分類，從而幫助制定相應(yīng)的采購策略?，F(xiàn)有2012到2016年20個品種食品的每月價格數(shù)據(jù)，試用聚類分析對這20個食品進行分類。思路分析 這是對變量的聚類，可以采用pearson相關(guān)系數(shù)作為變量