南開大學(xué)數(shù)學(xué)科學(xué)學(xué)院統(tǒng)計(jì)系《數(shù)理統(tǒng)計(jì)》課介紹.ppt

數(shù)理統(tǒng)計(jì)課簡介 王兆軍南開大學(xué)統(tǒng)計(jì)研究院天津 300071zjwangnk 22 2349823322 23698465 自我介紹 他們是 ZhaojunWANG 王兆軍It sme 王昭君 目錄 三位名人 數(shù)理統(tǒng)計(jì) 課內(nèi)容本課的幾個(gè)側(cè)重點(diǎn)不足之處 南開 數(shù)理統(tǒng)計(jì) 課簡介 本課的幾個(gè)側(cè)重點(diǎn) 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別統(tǒng)計(jì)史及產(chǎn)生的背景注重統(tǒng)計(jì)的應(yīng)用特點(diǎn)不過分強(qiáng)調(diào)理論點(diǎn)與點(diǎn)的結(jié)合數(shù)表的生成 不足之處 與計(jì)算機(jī)語言的結(jié)合習(xí)題不夠豐富例題的時(shí)代感不強(qiáng)某些內(nèi)容的欠缺 某些理論的證明 非參 Bayes統(tǒng)計(jì) 方差分析等 某些結(jié)果的理論敘述不夠嚴(yán)謹(jǐn) 多謝王兆軍Tel 022 23498233 O Email zjwangnk Http 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 一 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 二 e 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 三 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 四 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 五 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 六 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 七 什么是統(tǒng)計(jì) 數(shù)據(jù)是什么 Data Science 2011年2月刊封面 2012年3月29日奧巴馬政府投入2億多美元啟動(dòng) 大數(shù)據(jù)發(fā)展研究計(jì)劃 BigDataResearchandDevelopmentInitiative 是美國繼1993年宣布 信息高速公路計(jì)劃 后又一重大科技戰(zhàn)略部署 標(biāo)志從商業(yè) 學(xué)術(shù)層面上升到國家戰(zhàn)略 Wikipedia 維基百科 Atermforacollectionofdatathatareverylargeandcomplexsothatitisdifficulttoprocessandanalyzeusingon handdatabasemanagementtools traditionaldataprocessingmethodsandanalysismethodologies ZB 1021 EB 1018 PB 1015 TB 1012 GB 109 MB 106 什么是大數(shù)據(jù) Whydifficulty Bigdatachallengestheexistinginformationtechnologies managementparadigm statisticalandcomputa tionalsciences Volume 大數(shù)據(jù)的特征 PB ZBinscaleDistributedstorageandprocessingnecessary GrowingtremendouslyDataflow Multisource correlated heterogeneousUnstructured unreliable inconsistent TotaldatasetembodiesgreatvalueIndividualorsmallsubsetcontainslessinformation Velocity Variety Value 201318 14 20 1 統(tǒng)計(jì)與數(shù)學(xué)的區(qū)別 八 返回 統(tǒng)計(jì)史及某些背景 一 RonaldAylmerFisher 1890 2 17 1962 7 29 PLHSU 1910 1970 KarlPearson 1857 1936 統(tǒng)計(jì)史及某些背景 二 統(tǒng)計(jì)的起源 史寧中 Fisher提出的顯著性檢驗(yàn) 女士品茶 試驗(yàn)設(shè)計(jì) DOE 充分完備統(tǒng)計(jì)量 與Edington的爭論 t分布 Student的筆名 卡方擬合優(yōu)度檢驗(yàn) G Mendel Bayes估計(jì) 產(chǎn)品質(zhì)量檢驗(yàn) 返回 注重統(tǒng)計(jì)的應(yīng)用特點(diǎn) 上屆數(shù)理統(tǒng)計(jì)期未成績 分析與檢驗(yàn) 死刑數(shù)據(jù)的列聯(lián)表分析 茆詩松等 統(tǒng)計(jì)與欺騙 何書元 回歸診斷 韋博成 非參數(shù)統(tǒng)計(jì) Wilcoxon Mann Whitney 抽樣調(diào)查 Mahalanobis 吸煙與肺癌 Fisher Cornfield SPRT檢驗(yàn) Wilks 幾本參考書 非理論 返回 不過分強(qiáng)調(diào)理論 區(qū)間估計(jì)只講樞軸量法不給出Kolmogorov檢驗(yàn)的理論證明經(jīng)驗(yàn)分布函數(shù)的Bahadur表示不講證明略講次序統(tǒng)計(jì)量不講U統(tǒng)計(jì)量 M估計(jì) L估計(jì) R估計(jì) 同變檢驗(yàn) Minimax估計(jì)等 理論在應(yīng)用中的重要性 1883年8月15日 美國物理學(xué)家HenryAugustusRowland 1848 1901 在美國科學(xué)促進(jìn)會(huì)年會(huì)上發(fā)表了一則被譽(yù)為是美國科學(xué)的獨(dú)立宣言的演講 為純科學(xué)呼吁 文章發(fā)表在科學(xué)雜志上 理論在應(yīng)用中的重要性 他說 我時(shí)常被問及 科學(xué)與應(yīng)用科學(xué)究竟何者對(duì)世界更重要 為了應(yīng)用科學(xué) 科學(xué)本身必須存在 如停止科學(xué)的進(jìn)步 只留意其應(yīng)用 我們很快就會(huì)退化成中國人那樣 多少代人以來他們都沒有什么進(jìn)步 因?yàn)樗麄冎粷M足于應(yīng)用 卻從未追問過原理 這些原理就構(gòu)成了純科學(xué) 中國人知道火藥應(yīng)用已經(jīng)若干世紀(jì) 如果正確探索其原理 就會(huì)在獲得眾多應(yīng)用的同時(shí)發(fā)展出化學(xué) 甚至物理學(xué) 因?yàn)闆]有尋根問底 中國人已遠(yuǎn)遠(yuǎn)落后于世界的進(jìn)步 我們現(xiàn)在只將這個(gè)所有民族中最古老 人口最多的民族當(dāng)成野蠻人 當(dāng)其他國家在競賽中領(lǐng)先時(shí) 我們國家 美國 能滿足于袖手旁觀嗎 難道我們總是匍匐在塵土中去撿富人餐桌上掉下的面包屑 并因?yàn)橛懈嗟拿姘级J(rèn)為自己比他人更富裕嗎 不要忘記 面包是所有面包屑的來源 返回 點(diǎn)與點(diǎn)的結(jié)合 擬合優(yōu)度檢驗(yàn)顯著性檢驗(yàn) UMP檢驗(yàn) UMPU檢驗(yàn)區(qū)間估計(jì) 抽樣分布 顯著性檢驗(yàn)的結(jié)合隨機(jī)數(shù) 模擬的有機(jī)結(jié)合 返回 數(shù)表的生成 本講義的所有數(shù)表均是由Fortran程序生成 且某些數(shù)表與傳統(tǒng)給出的值有所不同 如W檢驗(yàn)統(tǒng)計(jì)量的系數(shù)表是由IMSL精確求解得到的 與模擬結(jié)果一致 返回 返回 無偏性 UMVUE相合性 ASN LSE 矩估計(jì) MLEEW算法 返回 UMP UMPU UMPU 分布 列聯(lián)表 返回 返回 2009年8月5日 什么是統(tǒng)計(jì) 統(tǒng)計(jì)學(xué)是收集和分析數(shù)據(jù)的科學(xué)與藝術(shù) 不列顛百科全書 數(shù)理統(tǒng)計(jì)學(xué)是數(shù)學(xué)的一個(gè)分支 它是一門用有效的方法收集和分析帶有隨機(jī)影響的數(shù)據(jù)的學(xué)科 且其目的是解決特定的問題 陳希孺院士 數(shù)理統(tǒng)計(jì)是一門應(yīng)用性很強(qiáng)的學(xué)科 它是研究如何有效地收集 整理和分析受隨機(jī)影響的數(shù)據(jù) 并對(duì)所考慮的問題作出推斷或預(yù)測 直至為采取決策和行動(dòng)提供依據(jù)和建議的一門學(xué)科 茆詩松 返回 統(tǒng)計(jì)學(xué)的起源 一 中國在周朝就設(shè)有統(tǒng)計(jì)官員 稱為司書 設(shè)立 司書上士二人 中士四人 府二人 史二人 徒八人 負(fù)責(zé) 邦之六典 以周知入出百物 以知田野夫家六畜之?dāng)?shù) 見 周禮 天官 冢宰 統(tǒng)計(jì)學(xué)的起源 二 管子 問 中提到65個(gè)問 即65個(gè)調(diào)查科目 均為管理國家所需要的數(shù)據(jù) 比如 問少壯而未勝甲兵者幾何人 為一民有幾年之食也 等等 平均數(shù) 眾數(shù) 返回 女士品茶試驗(yàn) 20世紀(jì)20年代后期 在英國劍橋的一個(gè)夏日的午后 一群大學(xué)的紳士和他們的夫人們 還有來訪者 正圍坐在戶外的桌旁 享用著下午茶 在品茶過程中 一位女士堅(jiān)稱 把茶加進(jìn)奶里 或把奶加進(jìn)茶里 不同的做法 會(huì)使茶的味道品起來不同 在場的一幫科學(xué)精英們 對(duì)這位女士的 胡言亂語 呲之以鼻 然而 在座的一個(gè)身材矮小 戴著厚眼鏡 下巴上蓄著的短尖髯開始變灰的先生 卻不這么看 他對(duì)這個(gè)問題很有興趣 實(shí)際上這位女士正確地分辨出了每杯茶 返回 DesignofExperiment 000001010011100101110111 乾坤震巽坎離艮兌 這是一個(gè)最基本的正交表 返回 Fisher與Edington的爭論 返回 WilliamSealeyGosset 1876 1937 1899年進(jìn)入GuineesBrewingCompany 于1904年發(fā)表一篇文章中 說明酵母中的細(xì)胞數(shù)量的分布是Poisson分布 并不屬于K Pearson偏斜分布中的一員 之后 于1908年在Biometrika上以Student為名發(fā)表了t分布 Guiness公司并不允許員工發(fā)表文章 Gosset是K Pearson與Fisher之間的中間人 返回 GregoryMendel 1822 1884 KarlPearson 1857 1936 返回 Bayes估計(jì) 一 ThomasBayes 1702 1761 Bayes估計(jì) 二 返回 2008屆數(shù)理統(tǒng)計(jì)成績分析 一 2008屆數(shù)理統(tǒng)計(jì)成績分析 二 2008屆數(shù)理統(tǒng)計(jì)成績分析 三 JohnTukey 統(tǒng)計(jì)界的畢加索 1915 2000 返回 普林斯頓大學(xué)統(tǒng)計(jì)系主任和貝爾試驗(yàn)室 二戰(zhàn)期間 加入武器控制研究辦公室 FireControlResearchOffice 研究槍炮的瞄準(zhǔn) 測距儀與槍炮有關(guān)的問題Exploratorydataanalysis FFT boxplot steamandleafplots robust等 死刑數(shù)據(jù) 一 數(shù)據(jù) 美國佛羅里達(dá) 1976 1977年兇殺案結(jié)論 白人被判死刑的比例為 19 160 11 9 黑人被判死刑的比例為 17 166 10 2 死刑數(shù)據(jù) 二 ContingencyTable 列聯(lián)表 返回 統(tǒng)計(jì)與欺騙 有一個(gè)人陸續(xù)收到一個(gè)人的Email告之明天足球比賽的結(jié)果 連續(xù)五次都預(yù)測對(duì)了 第六次時(shí)他要求你付200塊給他以知明天的比賽結(jié)果 你說這個(gè)人有預(yù)測比賽的能力嗎 如果此人是猜的話 連續(xù)猜對(duì)五場的概率是1 25 0 031 詳見何書元著 概率論與數(shù)理統(tǒng)計(jì) 2006 返回 回歸診斷 返回 非參數(shù)統(tǒng)計(jì) 一 FrankWilcoxon 2Sept1892 18Nov1965 HenryB Mann 1905 2000 非參數(shù)統(tǒng)計(jì) 二 20世紀(jì)40年代 Wilcoxon是美國氰胺公司的化學(xué)家 他在進(jìn)行某項(xiàng)化工實(shí)驗(yàn) 發(fā)現(xiàn)實(shí)驗(yàn)之初當(dāng)反應(yīng)發(fā)生器并未充分預(yù)熱時(shí) 常常是某個(gè)數(shù)據(jù)要么過大 要么過小 而此時(shí)的t檢驗(yàn)極易受到這些異常值的影響 他查了許多資料也沒有找到相應(yīng)的解決方法 于是他自己提出了一種基于數(shù)據(jù)秩的方法 只是其計(jì)算非常繁瑣 他想 這不是一個(gè)化學(xué)家應(yīng)該做的 統(tǒng)計(jì)學(xué)界早就有人完成了這一工作 但他還是找不到相應(yīng)的文獻(xiàn) 于是 他便文章寄給了Biometrics 希望審稿人告訴他所需要的參考資料 然而 審稿人認(rèn)為這是一篇原創(chuàng)性的工作 于1945年發(fā)表了此文 非參數(shù)統(tǒng)計(jì) 三 Wilcoxon與Biometrics的編輯們都不知道 OSU的一位經(jīng)濟(jì)學(xué)家HenryB Mann和一位統(tǒng)計(jì)學(xué)研究生D RansomWhitney也在做一個(gè)相關(guān)的研究 并于1947年發(fā)表了一篇結(jié)果與Wilcoxon提出的方法類似的文章 上述兩篇文章中無需使用參數(shù)就可以處理數(shù)據(jù)的分布了 這是K Pearson一再要求的 實(shí)際上 在西方多數(shù)人不知道 20世紀(jì)30年代后期 蘇聯(lián)的Kolmogorov與其學(xué)生Smirnov已發(fā)展了一種不需使用參數(shù)的分布比較方法 非參數(shù)統(tǒng)計(jì) 四 AndreyN Kolmogorov 數(shù)學(xué)界的莫扎特 1903 1987 返回 抽樣調(diào)查 一 加爾各答市總統(tǒng)學(xué)院物理系教授 主任20世紀(jì)20年代到英國師從K Pearson和Fisher1931年成立IndianStatisticalInstitute1933年出版Sankhya1962年Fisher自印度返回澳大利亞的船上去世 PrasantaChandraMahalanobis 1893 1972 抽樣調(diào)查 二 20世紀(jì)初 當(dāng)Mahalanobis在鐵道公司工作時(shí)遇到了如下例子 為檢驗(yàn)裝在船上準(zhǔn)備從孟買運(yùn)到英國的黃麻的質(zhì)量 就用一種特殊的工具插入包中 從檢測帶出的少量黃麻來估計(jì)整包的質(zhì)量 而在包裝和上船過程中 外層的黃麻開始變質(zhì) 而里面的被壓得越來越緊 冬天時(shí)常常凍得結(jié)成一塊 于是 當(dāng)取樣員將刀插入時(shí)會(huì)發(fā)生偏離 而此時(shí)所取的樣本就不能真正代表總體分布了 這與K Pearson的指導(dǎo)思想嚴(yán)重不符 另外 在人口普查時(shí) 由于印度人多且普查時(shí)間不同 故精度有限 于是 Mahalanobis推斷 如果能夠收集到一個(gè)具有充分代表性的小樣本 則可以用它來估計(jì)總體特征 返回 吸煙與肺癌 一 R A Fisher 1890 1962 JeromeCornfield 1912 1979 JerzyNeyman 1894 1981 吸煙與肺癌 二 1958年 Fisher在Nature上發(fā)表了兩篇文章 Lungcancerandcigarettes 和 Cancerandsmoking 他認(rèn)為吸煙會(huì)導(dǎo)致肺癌的證據(jù)嚴(yán)重不足 Neyman也認(rèn)為將肺癌與吸煙聯(lián)系起來的研究推理中存在問題 隨著證據(jù)的增多 Neyman慢慢地也似乎認(rèn)可二者間的聯(lián)系 但Fisher仍強(qiáng)烈反對(duì) 吸煙與肺癌 三 Fisher指出 不通過隨機(jī)化實(shí)驗(yàn) 根本無法證明任何東西 統(tǒng)計(jì)相關(guān)性與因果關(guān)系是不相同的 1959年Cornfield與5位來自美國的頂尖癌癥專家聯(lián)合撰寫了一篇30頁的論文 此文指出 有關(guān)證據(jù)壓倒性地支持 吸煙是人類肺部表皮癌發(fā)生率迅速上升的原因之一 吸煙與肺癌 四 原方法 肺癌患者中的吸煙人數(shù)大大高于非肺癌患者中吸煙人數(shù) 有兩種方法 追溯性研究 retrospectivestudies 從一種疾病開始著手 向后看與此病相關(guān)的有什么先決條件 其不足是對(duì)照組與病例組不匹配 事先研究 prospectivestudies 事先選定一群人 詳細(xì)記錄他們的吸煙史及疾病情況 其不足是研究是小范圍的 結(jié)論也許只是針對(duì)某個(gè)特定群體而言的 Cornfield方法 他們搜集了1958年前不同國家 不同總體所做的30項(xiàng)流行病學(xué)研究 返回 SPRT檢驗(yàn) 一 SamuelS Wilks 1906 1964 AbrahamWald 1902 1950 SPRT檢驗(yàn) 二 20世紀(jì)40年代 Wilks在普林斯頓大學(xué)數(shù)學(xué)系工作 并任華盛頓海軍研究局顧問 成立了普林斯頓統(tǒng)計(jì)研究小組 SRG P 當(dāng)TheodoreW Anderson還是此小組的研究生時(shí)研究了如下課題 由于日本人以隨機(jī)形態(tài)在海岸線上布滿地雷 而進(jìn)攻日本本土日子越來越近 故美國需要找出一種毀壞地雷的有效方法 在此之前