大數(shù)據(jù)與統(tǒng)計分析的第三范式

Statistics

&

ActuarialScience劉樂平liulp66@163.com大數(shù)據(jù)與統(tǒng)計分析的第三范式因思想而光華：第八屆中國R語言會議北京大學(xué)2015-6-7Statistics

&

ActuarialScience云醫(yī)療（移動健康）中的“統(tǒng)計思維”以外行（病人）之心度內(nèi)行（醫(yī)生）之腹個人觀點！僅供參考！鄭重聲明平劉印樂內(nèi)容提要意料之外，數(shù)理之中?！獢?shù)理邏輯數(shù)理之外，統(tǒng)計之中。——

統(tǒng)計思維統(tǒng)計之外，情理之中?！獢?shù)據(jù)智慧

割草機(jī)

~家有草坪邏輯：一架割草機(jī)……

沒有割草機(jī)---同性戀！多架割草機(jī)的----一夫多妻。家有草坪~家有別墅家有別墅

~家有嬌妻是否有兩個人頭發(fā)一樣多？數(shù)理邏輯：兩個人的頭發(fā)哪兩個人頭發(fā)一樣多？——云體質(zhì)大數(shù)據(jù)

每天稱體重（減肥）~每周測頭發(fā)（增發(fā)）[0,N]=N+1人中肯定有2人頭發(fā)一樣多！N=10萬（黃種人）；N=12萬（白種人）是否有兩個人生日在同一天？數(shù)理推理：兩個人的生日20人中生日相同的概率>50.7%?[0,365]=366人中肯定有2人同日慶生366（100%）；66（98%）；23（50.7%）數(shù)理推理：三扇門（法拉利與小肥羊）THEMONTYHALLPROBLEMToSwitchorNotToSwitch

1祝你好運23祝你好運祝你好運3扇門3件禮物L(fēng)LPEXCLUSIVE

在“ParadeMagazine”1990年的第9期上，瑪利亞給出了這樣一個十分簡單（人人都能回答）但又非常復(fù)雜（讓許多數(shù)學(xué)博士做錯），且特別吸引人（引發(fā)成千上萬的讀者參與爭論）的問題。

LLPEXCLUSIVE

“有獎竟猜”問題：假若你參加一個電視臺主辦的有獎竟猜節(jié)目，臺上有三扇門，在其中一扇門后停著一輛豪華轎車，另外兩扇門后則各站著一只羊。規(guī)則很簡單：你從三扇門中任意選中一扇，確認(rèn)后打開，門后的獎品就歸你！LLPEXCLUSIVE

竟猜游戲分兩步進(jìn)行：

第一步：主持人先讓你選中一扇門，選好后告訴他是哪一扇（便于說明，假設(shè)你選中的是第1號門）。LLPEXCLUSIVE

第二步：主持人再給你一次機(jī)會，他從剩余的兩扇門中打開一扇，比如第2號門（或3號門），里面是一只羊，這時，主持人問你，你是否改變主意，換選第3號門（或2號門）。LLPEXCLUSIVE

“換”還是“不換”？

面對豪華轎車和小山羊，

你怎么“決擇”？

LLPEXCLUSIVE

絕對意料之中的回答

——“不換”！

筆者至少問過十位數(shù)學(xué)系的研究生，結(jié)果都是“英雄所見略同”：LLPEXCLUSIVE

邏輯十分清楚，主持人給你打開了一扇門，只剩下兩扇門可供選擇，轎車在每扇門后的概率都是1/2。LLPEXCLUSIVE從概率觀點來說，從長遠(yuǎn)角度（多次實驗）來看，無論你堅持第1號門還是改變?nèi)ミx擇第2號門，都有50%的機(jī)會開走轎車，50%的機(jī)會牽走山羊?！皳Q”與“不換”是一樣的！LLPEXCLUSIVE

瑪利亞卻給出了“意料之外”的答案——“換，你應(yīng)該換”！

因為你第一次猜中轎車的概率是1/3，而你第二次贏得轎車的概率為2/3（不是1/2）。LLPEXCLUSIVE

這“不可思議”的答案一經(jīng)公布，立即引發(fā)了美國全國性的爭論，數(shù)以千記的批評信件蜂擁而至，其中許多是來自美國各高等院所的數(shù)學(xué)博士們。LLPEXCLUSIVE瑪利亞從中摘錄了一些有趣的信件刊登在“ParadeMagazine”1991年第2期她的專欄里：LLPEXCLUSIVE

“我是否可以建議您在重新回答這個問題之前去找一本標(biāo)準(zhǔn)的概率書參考參考”？（UniversityofFlorida）LLPEXCLUSIVE

“您的邏輯是錯誤的，我可以肯定您一定收到了許多高中生和大學(xué)生關(guān)于這個問題的來信，希望你盡快更正，我想這會對您的專欄有幫助的”。

（GeorgiaStateUniversity）

LLPEXCLUSIVE

“你關(guān)于‘有獎竟猜’的解答是完全錯誤的，我希望這場爭論能引起公眾對我國如此嚴(yán)重的數(shù)學(xué)教育危機(jī)給予重視。如果你能改正你的錯誤觀點，將會對這種可悲現(xiàn)狀的解決起著積極的作用。你知道有多少憤怒的數(shù)學(xué)家在等待你的道歉嗎？”

（GeorgetownUniversity）

LLPEXCLUSIVE

“在與至少三位數(shù)學(xué)家討論后，我感到震驚，你竟然還沒發(fā)現(xiàn)你的錯誤?！?/p>

（DickinsonStateUniversity）

LLPEXCLUSIVE

“您就是那只羊！”（WesternStateUniversity）LLPEXCLUSIVE

“您肯定是錯誤的。換個角度，如果您是對的，而其他博士們都是錯誤的，那我們的國家該是怎樣一種可悲情景??！”（U.S.ArmyResearchInstitute）內(nèi)容提要意料之外，數(shù)理之中?！獢?shù)理邏輯數(shù)理之外，統(tǒng)計之中?！?/p>

統(tǒng)計思維統(tǒng)計之外，情理之中?！獢?shù)據(jù)智慧

大數(shù)據(jù)：真的是大忽悠嗎？科學(xué)研究與統(tǒng)計分析：從公式到范式。

統(tǒng)計之道：頻率貝葉斯---回歸自然！數(shù)理之外，統(tǒng)計之中?！?/p>

統(tǒng)計思維大數(shù)據(jù)：定義辨析（大忽悠？）大數(shù)據(jù)（巨量資料（IT行業(yè)術(shù)語））[1]

大數(shù)據(jù)技術(shù)(bigdata)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。[2]

大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。[3]

大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、value（價值）大數(shù)據(jù)：最形象的定義大數(shù)據(jù)：最容易理解的定義明道副總裁

許維只要1000個字文科生也能理解大數(shù)據(jù)1000字從這里開始——水這個東西大家都見過。當(dāng)你有一杯水的時候，你可以喝它。當(dāng)你有一盆水的時候，你可以用它洗臉。當(dāng)你有一浴缸水的時候，你可以用它泡澡。當(dāng)你有一游泳池水的時候，你可以用它游泳。當(dāng)你有一西湖水的話，你可以用它劃船泡妹子。當(dāng)你有一運河水的時候，你可以用它運糧食。當(dāng)你有一長江水的時候，你可以來往于中國的西部和東部。當(dāng)你有一大西洋水的時候，你就可以發(fā)現(xiàn)新大陸了！2009科學(xué)研究與統(tǒng)計分析：從公式到范式。

千年前百年前十年前目前日心說三大定律模擬仿真云計算用的人越來越簡單；（傻）做的人越來越復(fù)雜。（智慧）一進(jìn)：計算機(jī)擺放的位置腿上—筆記本掌上-手機(jī)桌上–臺式機(jī)臉上-？？一退：人類手指的功能鋼筆—3個指頭屏幕-2個大拇指毛筆–4個指頭無指辦公-語音識別BradleyEfron

：FutureofIndirectEvidence2010JAMES–STEINESTIMATIONBradleyEfron

：FutureofIndirectEvidenceLARGE-SCALEMULTIPLEINFERENCE

科學(xué)研究與統(tǒng)計分析：從公式到范式。

2010上上個世紀(jì)-B時代–貝葉斯上個世紀(jì)-F時代–頻率學(xué)派本世紀(jì)---B-F時代–經(jīng)驗貝葉斯自然科學(xué)的確定性數(shù)學(xué)歐拉L·Euler

1707—1783物理E=MC2

愛因斯坦AlbertEinstein

(1879-1955)有規(guī)律發(fā)現(xiàn)規(guī)律最美的公式最殘忍的公式?jīng)]有規(guī)律創(chuàng)造規(guī)律經(jīng)濟(jì)問題的不確定性摸著石頭過河

社會現(xiàn)狀的復(fù)雜性“白骨精”的第三種能力Statisticalthinking統(tǒng)計：最（SEX）的專業(yè)H.G.Wells"Statisticalthinkingwillonedaybeasnecessaryforefficientcitizenshipastheabilitytoreadandwrite!"統(tǒng)計思維：至理名言

《時間機(jī)器》

（TheTimeMachine,1895年）《隱形人》

（TheInvisibleMan，1897年）《星際戰(zhàn)爭》

（TheWaroftheWorlds，1898年）《最早登上月球的人》

（TheFirstMenintheMoon，1901年）統(tǒng)計思維：統(tǒng)計與科幻東西方思維的差距貝葉斯統(tǒng)計思維：中西方的交集

Bayes'Theoreminthe21stCenturyBradleyEfronDepartmentofStatistics,StanfordUniversity,Stanford,CA94305,USA.E-mail:

brad@Theterm"controversialtheorem"soundslikeanoxymoron,but

Bayes'theoremhasplayedthispartfortwo-and-a-halfcenturies.Twiceithassoaredtoscientificcelebrity,twiceithascrashed,anditiscurrentlyenjoyinganotherboom.Thetheoremitselfisalandmarkoflogicalreasoningandthefirstserioustriumphofstatisticalinference,yetisstilltreatedwithsuspicionbymoststatisticians.Therearereasonstobelieveinthestayingpowerofitscurrentpopularity,butalsosomesignsoftroubleahead.2013年6月科學(xué)與統(tǒng)計我的管理之道很簡單：貝葉斯思維RiskandUncertaintyinMonetaryPolicy

AlanGreenspanVol.94,No.2,May2004

金融與統(tǒng)計

18世紀(jì)的貝葉斯定理成為Google計算的新力量信息與統(tǒng)計確定性問題：奧數(shù)(不能用方程)（對青少年的影響：比黃色小說危害還大）小學(xué)生的例子：雞兔同籠問題。

土豪解法：

讓雞一屁股坐下來（微信）不確定性問題：一艘船上，牛99只，羊44只，船長多大？中學(xué)生的例子：牛羊與船長。

上海奧數(shù)班全班同學(xué)統(tǒng)一答案：

99-44=55歲外國專家的題不會錯：（做不出對不起祖國）；要用方法（乘法離譜，加法太大，除法太?。┐L有長胡子；（與生俱來的貝葉斯思維）如果一個班級100人，只有2個人的身高數(shù)據(jù)，全班的平均身高是多少？大學(xué)生的例子：2個人的身高頻率學(xué)派：加權(quán)平均；幾何平均；Bootstrap……統(tǒng)計思維貝葉斯學(xué)派：收集身高之外的信息性別、地域、籍貫、專業(yè)……北京理工平均身高>廣西理工統(tǒng)計思維統(tǒng)計思維廣西的蔥北京的進(jìn)一步：身高與專業(yè)的關(guān)系財政金融平均身高>統(tǒng)計學(xué)院？統(tǒng)計思維身高與智商成反比先驗“四肢發(fā)達(dá)”--后驗“？？簡單”？定量數(shù)據(jù)科學(xué)定性先驗藝術(shù)統(tǒng)計學(xué)是什么？大數(shù)據(jù)小結(jié)論貝葉斯統(tǒng)計推斷是什么？數(shù)據(jù)結(jié)論計算先驗信息先驗是否可靠、科學(xué)？無論圈再大，圈外一定比圈內(nèi)大如果一枚硬幣被連續(xù)拋100次，每次都是正面朝上，那么，拋第101次時，正面朝上的概率是多少？先驗經(jīng)典（頻率）統(tǒng)計學(xué)觀點的推斷

50%

貝葉斯統(tǒng)計學(xué)觀點則認(rèn)為：

第101次時正面朝上的概率會大大高于50%100次連續(xù)正面朝上，證明該硬幣不均衡或兩面均為正面。理想狀態(tài)：獨立真空現(xiàn)實思考頻率統(tǒng)計學(xué)：客觀、科學(xué)、……貝葉斯統(tǒng)計學(xué)：主觀、唯心

、先驗……為什么我們有時不能用頻率的思想很多復(fù)雜問題僅有科學(xué)是不夠的（藝術(shù)、哲學(xué)、宗教、邪教）很多問題沒法靠“投硬幣”解決Bayesianinferenceisusedallthetimeineverydaylife：Whatarethechances…thatIgainfromthisinvestment…thatitwillraintomorrow…

thatIamstillaliveaftercrossingthisroad…升官發(fā)財無法重復(fù)試驗，機(jī)會只有幾次先驗盲人摸象不同人不同角度常人看圖相同人相同角度家庭背景成長地域?qū)W習(xí)過程工作經(jīng)歷人際交往……（正確或錯誤）經(jīng)驗先驗結(jié)合實際小到持家大到治國決策貝葉斯主義“悖論”無論你是否相信貝葉斯理論，你都是一個貝葉斯主義者。不相信，為什么不相信，（理由有……）但無論理由有多充分，你都無法回避：

“不相信”本身也是一種你頭腦中的“先驗”！而且，“不相信”的程度要比“相信”更嚴(yán)重[愛與恨相比：愛只會心痛，恨可能要命521-525]

相信，顯然；人的最重要的一種能力—處理不確定性絞盡腦汁——從不確定性中尋找“很可能”統(tǒng)計思維：把不可能變成可能MCMC與千島湖：統(tǒng)計、計算機(jī)與藝術(shù)MCMC的發(fā)展與現(xiàn)代貝葉斯的復(fù)興2014，統(tǒng)計與信息論壇總結(jié)貝葉斯與頻率的融合復(fù)雜~簡單統(tǒng)計與計算機(jī)的融合

不久的將來（10年），數(shù)學(xué)會變成“甲骨文”；（博物館）統(tǒng)計會變成計算機(jī)的一個集成模塊；（左腳離合）最流行的專業(yè)：運動系（奔跑吧，）旅游系（爸爸去哪?）音樂系（中國好聲音！）斗膽預(yù)測（2015）【TED】美國（2009）人人學(xué)統(tǒng)計間接證據(jù)第四屆世界華人數(shù)學(xué)家大會（簡稱ICCM）2007年在杭州召開，來自全球的７位華人數(shù)學(xué)家榮獲有“華人菲爾茲獎”美譽的晨興數(shù)學(xué)獎。

內(nèi)容提要意料之外，數(shù)理之中?！獢?shù)理邏輯數(shù)理之外，統(tǒng)計之中?！?/p>

統(tǒng)計思維統(tǒng)計之外，情理之中?！獢?shù)據(jù)智慧

RenéDescartes（31March1596

–11February1650)）(aged

53)1617年CarlFriedrichGaussdiscoveredthenormaldistributionin1809asawaytorationalizethe

methodofleastsquares.1809年中國夢：人人上北大，個個進(jìn)協(xié)和？Outlier–異類個人價值養(yǎng)成期22學(xué)習(xí)職業(yè)技能年齡人

的一生50個人價值=0從頭開始！平劉印樂35養(yǎng)成期25磨合期30成長期成熟期22學(xué)習(xí)被人領(lǐng)導(dǎo)學(xué)習(xí)職業(yè)技能核心能力：專業(yè)知識人

生價值50個人價值年齡（第1階段）平劉印樂35302550養(yǎng)成期磨合期成長期成熟期4045高峰期2