統(tǒng)計分析方法

1、統(tǒng)計分析方法 2012年1統(tǒng)計學(xué)定量的哲學(xué)定性的數(shù)學(xué)2哲學(xué)、數(shù)學(xué)和統(tǒng)計學(xué)都是人類認(rèn)知世界最基礎(chǔ)的共用科學(xué)統(tǒng)計學(xué)： 基于觀察進行歸納和推斷哲學(xué)和數(shù)學(xué)：對觀察結(jié)果的抽象，各種 辯證邏輯和形式邏輯。3 “統(tǒng)計” 的產(chǎn)生“統(tǒng)計”一詞最早出現(xiàn)在中世紀(jì)拉丁語Status中，意為各種現(xiàn)象的狀態(tài)和狀況。意大利語Stato表示“國家”的概念，也有國家結(jié)構(gòu)和國情知識的意思。十八世紀(jì)德國人亨瓦爾（G.Achenwall）在近代歐洲各國國家學(xué)綱要一書緒言中，提出了Statistika”（統(tǒng)計）這個詞，是指“國家顯著事項的比較和記述”或“國勢學(xué)” 。各國相繼沿用“統(tǒng)計”，法國譯為Statistique，意大利譯為Sta

2、tistica，英國譯為Statistics。4“統(tǒng)計” 的產(chǎn)生日本最初把“統(tǒng)計”譯為“政表”、“政算”、“國勢”、“形勢”等，直到1880年設(shè)立了統(tǒng)計院，才確定以“統(tǒng)計”二字正名。1903年（清光緒廿九年），“統(tǒng)計”一詞從日本傳到我國。1907年（清光緒卅三年），彭祖植編寫的統(tǒng)計學(xué)在日本出版，同時在國內(nèi)發(fā)行，這是我國最早的一本統(tǒng)計學(xué)書籍。統(tǒng)計一詞成了記述國家和社會狀況的數(shù)量關(guān)系的總稱。5不明于數(shù)欲舉大事，如舟之無楫而欲行于大海也！ 管子6“統(tǒng)計”的另一條軌跡概率論數(shù)理統(tǒng)計7“統(tǒng)計”的兩種色彩實務(wù)，現(xiàn)實，歷史，政治，經(jīng)濟，社會理論，概率，數(shù)理，隨機，估計，檢驗8統(tǒng)計簡史統(tǒng)計思維（更好的掌握不確

3、定性）與人類行為有關(guān)，亙古有之。統(tǒng)計工作（更好的了解總體情況）與政權(quán)統(tǒng)治有關(guān)，有國家就有了統(tǒng)計。統(tǒng)計科學(xué)是基于數(shù)據(jù)和概率的研究，概率學(xué)則源自對賭博的研究。近一百多年來發(fā)展迅速。9統(tǒng)計的三個涵義1. 統(tǒng)計工作我是做統(tǒng)計的2. 統(tǒng)計數(shù)據(jù)統(tǒng)計表明，據(jù)統(tǒng)計 3. 統(tǒng)計學(xué)我是個統(tǒng)計學(xué)家10如果沒有統(tǒng)計工作，數(shù)據(jù)從何而來？如果沒有統(tǒng)計數(shù)據(jù)，分析如何下手？統(tǒng)計分析方法是科學(xué)研究的有效支撐。11在終極的分析中，一切知識都是歷史在抽象的意義下，一切科學(xué)都是數(shù)學(xué)在理性的基礎(chǔ)上，所有的判斷都是統(tǒng)計學(xué)對統(tǒng)計的一知半解常常造成不必要的上當(dāng)受騙對統(tǒng)計的一概排斥往往造成不必要的愚昧無知12人類發(fā)現(xiàn)（發(fā)明）了統(tǒng)計學(xué) 人類是廣

4、褒宇宙中的流浪漢，孤單地生存在一個冷酷、陌生的空間里。我們可能是在最近一個冰川期后起源的，在自然的劫后余跡前孤立無援，生存在茫茫的時間中。我們依靠地球提供衣食，我們每個個體的出生都是隨機事件的犧牲品。為了解決生命的寂寞、窮困、艱險和短暫，我們要與天斗、與地斗，甚至與同類斗。憑著一點有限的感性知識和大腦，我們開始探究自然和自身，尋求真理和秩序，建立可以各種知識體系和解釋模型，而我們的輝煌成就之一就是統(tǒng)計學(xué)。13什么是統(tǒng)計學(xué)?它是科學(xué)、技術(shù)、邏輯、還是藝術(shù)?它是一門像數(shù)學(xué)、物理、化學(xué)和生物學(xué)那樣有確切定義的獨立的研究學(xué)科嗎?統(tǒng)計學(xué)中我們研究的現(xiàn)象又是什么?什么是統(tǒng)計學(xué)14 統(tǒng)計學(xué)是一門收集、整理和

5、分析統(tǒng)計數(shù)據(jù)的方法科學(xué)，其目的是探索數(shù)據(jù)的內(nèi)在數(shù)量規(guī)律性，用于指導(dǎo)實踐，以達(dá)到對客觀事物的科學(xué)認(rèn)識。Statistics: the science of collecting, analyzing, presenting, and interpreting data. Copyright 1994-2000 Encyclopaedia Britannica, Inc. （不列顛百科全書）15特點方法與應(yīng)用科學(xué)與藝術(shù)客觀與主觀定性與定量16統(tǒng)計方法基于數(shù)據(jù)， 用指標(biāo)， 去描述； GDP，CPI，CBD, Gini基于概率， 用模型， 去推斷。 相關(guān)性，因果性，分布，估計，檢驗 17統(tǒng)計方法慧眼：

6、數(shù)據(jù)， 指標(biāo)， 描述； data index describe慧根：概率， 模型， 推斷。 probability model infer18統(tǒng)計描述數(shù)值表圖19統(tǒng)計推斷估計（見微知著，指鹿為馬）檢驗（起始于懷疑，結(jié)束于肯定）20生活中的統(tǒng)計推斷 生活中絕大多數(shù)的疑問及推斷都是統(tǒng)計意義上的。比如 ：今天下班回家會堵車嗎？！我畢業(yè)后月薪能拿到多少呢？能拿到1萬嗎？明天股市會怎樣？會漲嗎？冬天來了，春天還會遠(yuǎn)嗎？今天天晴，明天還會天晴嗎？詩曰清明時節(jié)雨紛紛，明天清明會下雨嗎？聽說天枰座和獅子座很合，那我和你呢？我身邊人都很好，這個社會也是好人更多嗎？大家聽課這么認(rèn)真，全校的學(xué)風(fēng)也是很好嗎？ 21統(tǒng)

7、計方法的特點突出量的分析，研究有規(guī)律的量變。從現(xiàn)實數(shù)據(jù)（或概率）出發(fā)認(rèn)識世界，解釋世界。根據(jù)有限信息做出的推斷，有概率層面的保證。最后一根稻草107:100投十次硬幣都是正面朝上22統(tǒng)計方法的局限突出量的分析，不涉及質(zhì)的規(guī)定， 有量變，而沒有質(zhì)變。統(tǒng)計分析結(jié)果揭示“是什么”，不能解釋“為什么”。統(tǒng)計推斷后的決策不是完全可靠，只能概率保證。23統(tǒng)計，有所為有所不為，有所能有所不能。 不要夸大，夸大等于捧殺。 不要誤用，誤用等于謀殺。 不要不用，不用就是自殺。用好統(tǒng)計，造福人類。24統(tǒng)計應(yīng)用actuarial work (精算) agriculture (農(nóng)業(yè))animal science (動物

8、學(xué)) anthropology (人類學(xué))archaeology (考古學(xué)) auditing (審計學(xué))crystallography (晶體學(xué)) demography (人口統(tǒng)計學(xué))dentistry (牙醫(yī)學(xué)) ecology (生態(tài)學(xué))econometrics (經(jīng)濟計量學(xué)) education (教育學(xué)) election forecasting and projection (選舉預(yù)測和策劃)engineering (工程) epidemiology (流行病學(xué))finance (金融)fisheries research (水產(chǎn)漁業(yè)研究)gambling (賭博) genetic

9、s (遺傳學(xué))geography (地理學(xué)) geology (地質(zhì)學(xué))historical research (歷史研究) human genetics (人類遺傳學(xué))25統(tǒng)計應(yīng)用(續(xù))hydrology (水文學(xué)) Industry (工業(yè)) linguistics (語言學(xué)) literature (文學(xué))manpower planning (勞動力計劃)management science (管理科學(xué))marketing (市場營銷學(xué)) medical diagnosis (醫(yī)學(xué)診斷)meteorology (氣象學(xué)) military science (軍事科學(xué))nuclear ma

10、terial safeguards (核材料安全管理)ophthalmology (眼科學(xué)) pharmaceutics (制藥學(xué))physics (物理學(xué)) political science (政治學(xué))psychology (心理學(xué)) psychophysics (心理物理學(xué))quality control (質(zhì)量控制) religious studies (宗教研究)sociology (社會學(xué)) survey sampling (抽樣調(diào)查)taxonomy (分類學(xué)) weather modification (氣象改善)26思想核心性思想（關(guān)于“統(tǒng)計什么和如何統(tǒng)計”的世界觀與方法論）

11、主體性思想（如何運用統(tǒng)計理論與方法去藝術(shù)地解決實際問題）支撐性思想（描述和推斷）基礎(chǔ)性思想（概括為察、量、分、合、標(biāo)、表、較、聯(lián)、估、預(yù)、限、策12個字）。27那個統(tǒng)計也是一種思想方法2829 統(tǒng)計能給我們想說的話披上現(xiàn)實的外衣: *抽煙對健康是有害的； *身材高的父母，有較高身材的子女； *服用阿斯匹林會減少心臟病第二次發(fā)作的機會； *每天攝取500毫升的維生素C，生命可以延長6年； *怕老婆的丈夫得心臟病的機會較大； *今年的犯罪率與前一年相比下降了10%; *明天有30%的可能要下雨; *股票市場的道瓊斯指數(shù)價格增加了50點; *世界上每4個新生嬰兒中有一個是中國人; *如果你堅持獨身,

12、你的壽命要減少8年.30 能從數(shù)字中學(xué)習(xí)有助于成為有效率的公民，正如韋爾斯(H.G.Wells)所強調(diào)的: 統(tǒng)計思維總有一天會像讀與寫一樣成為一個有效率公民的必備能力。用事實說話 到用統(tǒng)計說話3119世紀(jì)歐洲上流社會的人們堅持認(rèn)為一個“有教養(yǎng)的人”必須精通拉丁文、希臘文和英國古典文學(xué)。他們會“驕傲”地宣稱，沒有能力和數(shù)或任何數(shù)學(xué)概念打交道。20世紀(jì)以來，在有關(guān)社會經(jīng)濟、文化政治、教育醫(yī)療等日常生活的各種聲明與反訴中，統(tǒng)計起著支配性的作用。32現(xiàn)代人須懂統(tǒng)計現(xiàn)代人須有文化。統(tǒng)計是有關(guān)數(shù)據(jù)和概率的文化。統(tǒng)計讓人豁達(dá)，淡泊以明志寧靜以致遠(yuǎn)！33對統(tǒng)計學(xué)的誤解與懷疑: 謊言，該死的謊言與統(tǒng)計； 統(tǒng)計不

13、能用來代替判斷力； 我已知答案，請給我統(tǒng)計事實去證實； 利用統(tǒng)計學(xué)，可以證明一切事物。 統(tǒng)計猶如比基尼游泳衣.它暴露的是明顯的 地方，而遮蓋住最重要的。 34五大統(tǒng)計學(xué)派可識別性，統(tǒng)計診斷，因果分析波動性，穩(wěn)健性，穩(wěn)定性，信仰度協(xié)調(diào)性，貝葉斯學(xué)派功能性，頻率學(xué)派經(jīng)濟性，風(fēng)險，效用，判決理論35陰陽五行木火土金水 鄰相生，間相克36陰陽八卦000001010011100101110111乾（天） 坤（地）震（雷）巽（風(fēng)）坎（水）離（火）艮（山）兌（沼澤） 37統(tǒng)計學(xué)與數(shù)學(xué)統(tǒng)計學(xué)要感謝數(shù)學(xué)！統(tǒng)計學(xué)與數(shù)學(xué)的哲學(xué)思想存在根本沖突，歸納和演繹！統(tǒng)計學(xué)只有遠(yuǎn)離數(shù)學(xué)，去解決具體問題，才能迅速發(fā)展！38數(shù)學(xué)推

14、導(dǎo)vs統(tǒng)計推斷數(shù)學(xué)推導(dǎo)，基于邏輯的，理論的，因果的， 必然的，絕對的，規(guī)則的， 比如由XY，導(dǎo)出X+1Y+1。統(tǒng)計推斷，基于觀察的，經(jīng)驗的，相關(guān)的， 或然的，相對的，概率的， 比如由你坐前排，推斷你考試得高分。 3940八個英文單詞 MDCD數(shù)學(xué)：mathematics 演繹：deduce 計算：calculate 推導(dǎo)：derive SIDI統(tǒng)計：statistics 歸納 ：induce 描述： describe 推斷 ：infer41數(shù)學(xué)的思想和框架數(shù)學(xué)的本質(zhì)：數(shù)和形數(shù)學(xué)的特點：抽象小學(xué)：加減乘除（和差積商）的算術(shù)； 形狀圖中學(xué)：代數(shù)和函數(shù)； 坐標(biāo)圖大學(xué)：極限和微積 線性代數(shù)42代數(shù)、幾

15、何、概率代數(shù)是有序的邏輯幾何是形象的邏輯概率是隨機的邏輯43零的優(yōu)美性質(zhì)在加法中，它是唯一不改變被加數(shù)值的數(shù)。在乘法中，它是唯一與任何數(shù)相乘卻不改變自身值的數(shù)。4445芝諾悖論阿基里斯跑不過烏龜 值得尊重的問題！大智若愚的哲人！46悖論的數(shù)學(xué)解決不證明是否能追上，直接計算追上需要的時間：小學(xué)：相對距離除以相對速度中學(xué)：無窮數(shù)列嘗試去證明，但還是很抽象（1/0=無窮）：大學(xué)：極限（微積分）意義：如何理解有限和無限；如何理解離散和連續(xù)。癥結(jié)：無限段長度的和，可以是有限的；無線段時間的和，可以是有限的。47悖論的真正解決量子理論：時間和空間不能無限分割！ （不要沒完沒了了）統(tǒng)計思想：進行一次試驗，看

16、能否追上， 重復(fù)多次，證據(jù)更充分，結(jié)論更可靠。統(tǒng)計學(xué)家沒有數(shù)學(xué)家和理論物理家有智慧，但也沒有他們那么糾結(jié)。統(tǒng)計是基于現(xiàn)實的歸納和挖掘。48魔術(shù)，還是悖論？數(shù)學(xué)中的極限：一根固定長度的繩子，折一次剩下一半，折無數(shù)次后，不見了？統(tǒng)計中的假設(shè)檢驗：10000個彩票號中有1個會中獎，按假設(shè)檢驗的觀點，任何一個號都不會中獎，那個中獎的號哪去了？49統(tǒng)計學(xué)與物理物理：格物致理，物質(zhì)世界的特征和規(guī)律。從亞里士多德時代的自然哲學(xué)，牛頓時代的經(jīng)典力學(xué)，直至現(xiàn)代物理中的相對論和量子力學(xué)。統(tǒng)計：自然和社會經(jīng)濟現(xiàn)象中的統(tǒng)計特征和規(guī)律。 統(tǒng)計學(xué)可稱作是社會物理學(xué)。相同點：研究有序和無序，不變和變化； 有解釋（描述），也

17、有預(yù)言（推斷）。50蘋果為什么會落地？ （解釋）松開手，蘋果會怎樣？ （預(yù)言）51統(tǒng)計物理學(xué)statistical physics 基于對宏觀物質(zhì)的微觀認(rèn)識，用概率統(tǒng)計的方法進行研究，又稱統(tǒng)計力學(xué)。熱力學(xué)：第零定律：溫度，熱平衡 第一定律：能，能量守恒 第二定律：熵，熱傳遞（時間單方向） 第三定律：絕對零度52量子力學(xué)規(guī)律牛頓力學(xué)規(guī)律統(tǒng)計力學(xué)微觀宏觀熱力學(xué)53概率統(tǒng)計與混沌理論 要認(rèn)識物質(zhì)世界是很復(fù)雜的，結(jié)果是難以預(yù)料的！混沌理論與相對論、量子力學(xué)同被列為二十世紀(jì)的 最偉大發(fā)現(xiàn)。 相對論消除了關(guān)于絕對空間和時間的幻想； 量子力學(xué)質(zhì)疑微觀世界里牛頓式的物理因果律； 混沌理論質(zhì)疑宏觀世界里拉普拉斯

18、式的決定型果律。 54混沌理論復(fù)雜性： 自然現(xiàn)象中云彩、海岸線、人腦電波的性狀的 無規(guī)則，曼德爾布羅特創(chuàng)建了分形幾何； 社會現(xiàn)象中人生道路和公司發(fā)展的無常。 （但同時是自相似的）555657混沌理論世事難料 確定性的原因會產(chǎn)生不規(guī)則的結(jié)果， 簡單的原因會產(chǎn)生復(fù)雜的結(jié)果： 蝴蝶效應(yīng)；差之毫厘謬以千里； 丟失一個釘子，壞了一只蹄鐵， 折了一匹戰(zhàn)馬，傷了一位騎士， 輸了一場戰(zhàn)斗，敗了一場戰(zhàn)爭， 亡了一個帝國！ （對初始條件的極端敏感依賴性）58概率統(tǒng)計與混沌理論概率是真正意義上不可決定的隨機， 混沌是決定論系統(tǒng)的內(nèi)在隨機，現(xiàn)象太復(fù)雜看似隨機；統(tǒng)計中小擾動產(chǎn)生小誤差， 混沌中小擾動可能產(chǎn)生大誤差；兩者

19、都是從無序中尋求有序，異中求同， 即使混沌也并不是簡單的無序，有規(guī)律可循。59統(tǒng)計學(xué)與天文學(xué)在天文學(xué)中，首先是觀察和測量，重要是對一些運動星體的位置進行估計。觀測和估計都有誤差。拉普拉斯發(fā)明了誤差函數(shù)來說明天文學(xué)中的統(tǒng)計問題，高斯發(fā)現(xiàn)了誤差函數(shù)的正態(tài)性。統(tǒng)計中的個體，天文中的星體。60拉普拉斯的天體力學(xué)是一本極具影響力的書，描述了如何根據(jù)地球上的觀測數(shù)據(jù)，來計算行星與彗星的位置。拿破侖看完書后說：“這本關(guān)于宇宙系統(tǒng)的書，卻根本沒有提到他的創(chuàng)造者上帝”。拉普拉斯的回答是：“我不需要這個假設(shè)條件”。61統(tǒng)計學(xué)與音樂音樂是人類用靈魂從計數(shù)中感受到的快樂。 萊布尼茲樂譜即排列組合。若干個（五、七、十二

20、）音排列起來形成音階。音階、音律、音程（頻率比，取決于弦長）。鋼琴的鍵盤是按十二平均律的原理制作的。（十二平均律運用了統(tǒng)計學(xué)中幾何平均的思想）巴赫的平均律鋼琴曲集是其鍵盤音樂中最偉大的作品，被喻為音樂上的舊約圣經(jīng)。 62統(tǒng)計學(xué)與生物學(xué)（遺傳學(xué)）高爾登從生物學(xué)的角度研究社會現(xiàn)象，在自然遺傳中，提出“相關(guān)”，“相關(guān)系數(shù)”，“回歸”等重要的統(tǒng)計概念。 （高爾頓發(fā)現(xiàn)了指紋，通過研究身高發(fā)現(xiàn)了回歸）K.皮爾遜是高爾頓的學(xué)生，他提出了矩估計、擬合優(yōu)度檢驗和卡方分布等。E.皮爾遜是K的兒子，他和奈曼一起提出了假設(shè)檢驗（原假設(shè)和備擇假設(shè)）。Fisher在作物收成變動研究中提出了極大似然估計、顯著性檢驗和方差分

21、析（F分布）等。在當(dāng)代，生物統(tǒng)計學(xué)是一門非常重要的專業(yè)！ 63統(tǒng)計學(xué)和社會學(xué)19世紀(jì)的歐洲大陸，很多統(tǒng)計學(xué)家兼任政府統(tǒng)計家，形成社會統(tǒng)計學(xué)派。比如恩格爾！社會統(tǒng)計學(xué)是否就是社會學(xué)中的統(tǒng)計學(xué)？“社會”是研究對象，“統(tǒng)計”是研究方法。64統(tǒng)計學(xué)和經(jīng)濟學(xué)經(jīng)濟學(xué)包括應(yīng)用經(jīng)濟學(xué)和理論經(jīng)濟學(xué)，應(yīng)用經(jīng)濟學(xué)包括金融、國際貿(mào)易、國民經(jīng)濟、產(chǎn)業(yè)經(jīng)濟、經(jīng)濟統(tǒng)計、計量經(jīng)濟等二級學(xué)科。諾貝爾經(jīng)濟學(xué)獎獲得者中，大多數(shù)也是統(tǒng)計學(xué)家，或者精通統(tǒng)計模型。 （還有很多是搞博弈論的）現(xiàn)代經(jīng)濟學(xué)研究強調(diào)計量和統(tǒng)計模型。 （也有人強調(diào)理論論證和邏輯推導(dǎo)）65統(tǒng)計學(xué)與計量經(jīng)濟學(xué)關(guān)系：計量經(jīng)濟學(xué)中的推斷（估計和檢驗）方法基本就是統(tǒng)計方法，

22、在樣本數(shù)據(jù)收集、整理、描述以及模型確定等方面，統(tǒng)計學(xué)提供重要支撐。區(qū)別：經(jīng)濟統(tǒng)計是統(tǒng)計學(xué)的分支，強調(diào)對經(jīng)濟變量的分析、描述和推斷；計量經(jīng)濟學(xué)是經(jīng)濟學(xué)的分支，強調(diào)用數(shù)據(jù)及模型去驗證經(jīng)濟理論。定位：統(tǒng)計學(xué)是方法論科學(xué)，計量經(jīng)濟學(xué)是實質(zhì)性科學(xué)。66統(tǒng)計學(xué)與信息論信息是一門用數(shù)理統(tǒng)計方法來研究信息的度量、傳遞和變換規(guī)律的科學(xué)。 信息概念的前提是變異度（方差），艾什比甚至認(rèn)為信息等同于變異度。信息的本質(zhì)特征是消除事物的不確定性，事件的信息量與其概率成對數(shù)關(guān)系。67統(tǒng)計在工業(yè)中的應(yīng)用田口方法System DesignParameter DesignTolerance Design Quality is s

23、quared loss function!68統(tǒng)計與數(shù)據(jù)挖掘data mining697 2 2x3 40 6 二四六八 1 1 = 1 10002=100100100 7/8 6873x不三不四 接二連三 陸續(xù)不斷 無獨有偶 一成不變 千方百計 七上八下了不起thanks707172統(tǒng)計的魅力（三個定律）大中小73統(tǒng)計的魅力：大數(shù)定律拋硬幣，幾次的話結(jié)果不好說， 幾千次的話心里就有底了。保險公司（特別是壽險）不擔(dān)心賠錢；賭博公司（正規(guī)的）即使不作弊也不擔(dān)心賠錢。 前提：生意好，顧客多（樣本量大）。微觀上無序，不穩(wěn)定；宏觀上有序，有保證。74無序中的有序就像原子和分子的個體游動一樣，盡管單個水平下的游動存在不確定性，但對大量個體活動的平均行動來說，我們可以觀察到某種穩(wěn)定性，即會出現(xiàn)“無序中的有序”. 一個系統(tǒng)中多個個體平均行為所顯示的不確定性將會隨著個體總數(shù)的不斷增加而逐漸減少，因而可以把這個系統(tǒng)作為一個整體，其表現(xiàn)的幾乎是決定