大數(shù)據(jù)的產(chǎn)生與發(fā)展史

大數(shù)據(jù)的產(chǎn)生、發(fā)展

談起大數(shù)據(jù)，我們的第一反應(yīng)也許是互聯(lián)網(wǎng)、各種關(guān)于數(shù)據(jù)搜集的軟件以及中國(guó)政府、專家談及的大數(shù)據(jù)運(yùn)用。比如，在研究一個(gè)社會(huì)問題中，關(guān)于數(shù)據(jù)方面，就會(huì)說“運(yùn)用大數(shù)據(jù)技術(shù)，我們很容易得到這個(gè)結(jié)果”......

那么什么是大數(shù)據(jù)？大數(shù)據(jù)的運(yùn)用又是什么？關(guān)于大數(shù)據(jù)的發(fā)展又是怎么樣的？在下面的內(nèi)容里，會(huì)將大數(shù)據(jù)的起源，興盛做詳細(xì)的講述，希望每個(gè)同學(xué)在這個(gè)過程中真正的理解數(shù)據(jù)。現(xiàn)在是1頁\一共有31頁\編輯于星期五

小數(shù)據(jù)之歷史

數(shù)據(jù)本無大小，但運(yùn)用數(shù)據(jù)立場(chǎng)卻分出大小，是謂大數(shù)據(jù)。數(shù)據(jù)表示的是過去，但表達(dá)的是未來，所以觀察數(shù)據(jù)需要有歷史觀。當(dāng)今美國(guó)的數(shù)據(jù)文化滲透在社會(huì)各個(gè)方面，呈現(xiàn)出高效，簡(jiǎn)潔，以及秩序。這一切最早可以追溯到這個(gè)國(guó)家建立之初的數(shù)據(jù)分析要求，謂之初數(shù)時(shí)代。至此，在歷史的長(zhǎng)河中一幅波瀾壯闊的宏偉畫卷驚艷了世界......現(xiàn)在是2頁\一共有31頁\編輯于星期五現(xiàn)在是3頁\一共有31頁\編輯于星期五初數(shù)時(shí)代：奠定共和克服民主的劣勢(shì)：用數(shù)據(jù)分權(quán)參眾兩院權(quán)利分衡：眾議院按人口比參議院每州兩名第一次人口普查：僅詢問家?guī)兹?、幾男幾女、幾黑幾白、幾大幾小，完全的“點(diǎn)人頭”。但在黑人問題上將

“

3∕5”寫入憲法，承認(rèn)種族不平等。

現(xiàn)在是4頁\一共有31頁\編輯于星期五

第二次人口普查：學(xué)者建議收集“出生率、性別、年齡、婚姻狀況、健康、職業(yè)、壽命”但最終沒通過國(guó)會(huì)談?wù)摗?830年：統(tǒng)計(jì)每個(gè)家庭的殘疾人數(shù)。1840年：統(tǒng)計(jì)文盲、白癡、精神病患者數(shù)量以及各種牲畜的數(shù)量，農(nóng)作物的產(chǎn)量。1850年：普查對(duì)象由家庭細(xì)化到個(gè)人。1860年：全國(guó)工廠、農(nóng)場(chǎng)、學(xué)校、教堂的情況，教師、學(xué)生、雇員的多少都一一列入普查范圍1880年：普查全面改革，擴(kuò)大為人口、出生死亡率、農(nóng)業(yè)、社會(huì)、工業(yè)等五個(gè)部分。......美國(guó)成為世界上最早定期（10年）開展人口普查的國(guó)家，并因此開創(chuàng)了現(xiàn)代意義上的人口普查制度?，F(xiàn)在是5頁\一共有31頁\編輯于星期五初數(shù)時(shí)代：奠定共和

有數(shù)初成：共和反哺數(shù)據(jù)文化

1.人口普查從政治領(lǐng)域不斷擴(kuò)張，蔓延政策制定，后是社會(huì)生活。

1794年，在美國(guó)黨政之爭(zhēng)初現(xiàn)端倪時(shí)，民間就出現(xiàn)了批判的聲音，主張通過“事實(shí)”和“數(shù)據(jù)”來營(yíng)造共識(shí)、消除黨爭(zhēng)。其中當(dāng)時(shí)的教育家諾亞·韋伯斯特和耶魯大學(xué)校長(zhǎng)德懷特，他們主張：如果事實(shí)是制定政策的基礎(chǔ)、知識(shí)能夠在決策者之間營(yíng)造共識(shí)，那么系統(tǒng)性收集數(shù)據(jù)的工作，就應(yīng)該由政府親自來完成。

最終在志同道合者的呼吁之下，最終促使人口普查在19世紀(jì)逐漸推進(jìn)到政策制定領(lǐng)域，在這個(gè)過程中，數(shù)據(jù)開始從政治精英走向平民大眾。

現(xiàn)在是6頁\一共有31頁\編輯于星期五2.數(shù)學(xué)教育的普及，數(shù)據(jù)意識(shí)，數(shù)據(jù)文化逐步形成。

美國(guó)的建國(guó)者認(rèn)為，共和國(guó)的目標(biāo)不是愚民，而是培養(yǎng)有智識(shí)的公民。華盛頓、富蘭克林和杰斐遜便是其中的杰出代表。華盛頓的第一份工作是弗吉尼亞州的土地測(cè)量員，深知數(shù)據(jù)對(duì)于認(rèn)識(shí)客觀世界的重要性，曾組織了美國(guó)的第一次農(nóng)業(yè)調(diào)查。杰斐遜也曾做過土地測(cè)量員，除了是一名政治家還研究密碼學(xué)、測(cè)量學(xué)和考古學(xué)。在這樣一批建國(guó)者的推動(dòng)下，數(shù)學(xué)教育很快在這個(gè)新生的國(guó)家普及。

現(xiàn)在是7頁\一共有31頁\編輯于星期五3.改革貨幣體系，統(tǒng)一了重量和測(cè)量單位。

1831年，法國(guó)的史學(xué)家、政治家托克維爾在《論美國(guó)的民主》中寫到“美國(guó)人已經(jīng)習(xí)慣了精確的計(jì)算”，“他們喜歡秩序井然，沒有秩序，事業(yè)就不能發(fā)達(dá)。他們特別重視信譽(yù)，信譽(yù)是生意健康發(fā)展的基礎(chǔ)。他們的大腦已經(jīng)習(xí)慣于精確的計(jì)算，按常規(guī)辦事也在他們的頭腦中扎根。同一時(shí)期，英國(guó)哲學(xué)家托馬斯·漢密爾頓在《美國(guó)人及其作風(fēng)》中總結(jié)“我認(rèn)為，在這群不斷猜測(cè)、估算、預(yù)期和計(jì)算的美國(guó)人當(dāng)中，算數(shù)就像是一種與生俱來的本能。”現(xiàn)在是8頁\一共有31頁\編輯于星期五

比如在1825年，費(fèi)城的一名醫(yī)生統(tǒng)計(jì)了7077名新生兒的重量，并制作了一張重量分布表，發(fā)給新生兒的母親，以方便她們對(duì)比掌握自己孩子的情況。現(xiàn)在是9頁\一共有31頁\編輯于星期五初數(shù)時(shí)代：奠定共和

從1787年到19世紀(jì)30年代，這一階段認(rèn)為是美國(guó)數(shù)據(jù)歷史的初數(shù)時(shí)代，這是個(gè)孕育的時(shí)代，可謂是有數(shù)初成。在這個(gè)時(shí)代，數(shù)據(jù)好比漣漪，靜靜在歷史長(zhǎng)河上靜靜地泛起波紋，把千千萬萬普通人卷進(jìn)它的暈圈，沖刷，洗滌，浸泡，使其成為具有數(shù)據(jù)意識(shí)的公民個(gè)體?，F(xiàn)在是10頁\一共有31頁\編輯于星期五內(nèi)戰(zhàn)時(shí)期：終結(jié)奴隸制的燈塔用數(shù)據(jù)遠(yuǎn)征：謝爾曼將軍的“向大海進(jìn)軍”主動(dòng)切斷自己后方補(bǔ)給，帶領(lǐng)全體部隊(duì)全力突進(jìn)、穿越整個(gè)佐治亞州。他試圖以數(shù)據(jù)為“航標(biāo)”，根據(jù)農(nóng)場(chǎng)、牲畜、集市、車站等重要資源在各地的分布，精心計(jì)算，確定最佳的行軍路線和在各地的停留時(shí)間，沿著這條線路，部隊(duì)在當(dāng)?shù)赝瓿裳a(bǔ)給，遭遇敵方最少的阻擊。這被后世歷史學(xué)家認(rèn)為整個(gè)南北戰(zhàn)爭(zhēng)中“最為大膽、最為關(guān)鍵的一次行動(dòng)”，是戰(zhàn)爭(zhēng)后期重要的轉(zhuǎn)折點(diǎn)，也被稱為“毀滅之路”。現(xiàn)在是11頁\一共有31頁\編輯于星期五

向大海進(jìn)軍現(xiàn)在是12頁\一共有31頁\編輯于星期五

兵家與“向海洋進(jìn)軍”

自古中國(guó)多良將，也有運(yùn)用數(shù)據(jù)的經(jīng)典案例。孫臏減灶，破龐涓于馬陵；虞詡疑兵，平羌軍于西涼；林彪臨戰(zhàn)，細(xì)查殲敵繳獲......但較之謝爾曼以數(shù)據(jù)行軍千里，決勝沙場(chǎng)，均有不及。這正是因?yàn)橹x爾曼有數(shù)據(jù)可用，他人給他提供了大量數(shù)據(jù)。這種“有數(shù)據(jù)可用”，源于美國(guó)建國(guó)之后就開始的、長(zhǎng)期的、周期的努力以及強(qiáng)大的制度保障。有沒有這種制度化的數(shù)據(jù)體系，才是近代美國(guó)將軍和中國(guó)將軍在數(shù)據(jù)使用方面拉開差距的根本原因。數(shù)據(jù)不僅僅應(yīng)該是一種計(jì)算、科技符號(hào)，更應(yīng)該是文化符號(hào)。現(xiàn)在是13頁\一共有31頁\編輯于星期五爆發(fā)：鍍金時(shí)代的崛起世紀(jì)巔峰：大數(shù)據(jù)驅(qū)動(dòng)的創(chuàng)新

1870美國(guó)歷史上出現(xiàn)第一件用于數(shù)據(jù)處理工作的機(jī)械設(shè)備——西頓制表機(jī)?？梢酝讲殚喐鲝垎柧砩舷鄳?yīng)的數(shù)據(jù)，大大方便了制表工作。1890年，年輕的霍爾瑞斯打開了數(shù)據(jù)自動(dòng)化處理的大門；在他的基礎(chǔ)上，IBM隨之開啟了一個(gè)打孔卡片的新時(shí)代；1951年，人口普查產(chǎn)生的大數(shù)據(jù)又促成了第一臺(tái)商用計(jì)算機(jī)的誕生......這些成就，最終引領(lǐng)美國(guó)在全世界率先邁入了信息時(shí)代。

現(xiàn)在是14頁\一共有31頁\編輯于星期五抽樣時(shí)代：統(tǒng)計(jì)革命的福祉

最初的數(shù)據(jù)調(diào)查主要的目標(biāo)是追求被調(diào)查群體的“大”，當(dāng)時(shí)大家都相信，只有更大，才能更準(zhǔn)。但隨著時(shí)間推移這種方法的效率較低以及費(fèi)用大的缺點(diǎn)的暴露，人們開始尋求新的調(diào)查方法。

現(xiàn)在是15頁\一共有31頁\編輯于星期五

抽樣時(shí)代：統(tǒng)計(jì)革命的福祉

1895年，有學(xué)者提出抽樣的觀點(diǎn)，認(rèn)為只要方法得當(dāng)，就可以從總體當(dāng)中抽出一部分有代表性的個(gè)體，通過研究部分個(gè)體的特點(diǎn)，從而推斷出整體的屬性，類似中國(guó)人所說的“一斑窺豹”、“一葉知秋”。抽樣調(diào)查很快便被證實(shí)實(shí)際可用性。蓋洛普在1936~2012年19次總統(tǒng)大選預(yù)測(cè)中，成功預(yù)測(cè)17次轟動(dòng)全球?，F(xiàn)在是16頁\一共有31頁\編輯于星期五和《亂世佳人》共舞1936年在《亂世佳人》開拍之前，好萊塢對(duì)這本暢銷小說看法不一，甚至一度有流拍的趨勢(shì)。原因是在好萊塢出品的以南北戰(zhàn)爭(zhēng)為題材的電影全部虧本，沒有任何一部賺錢。為了知道這部小說在美國(guó)民眾的流行程度（雖然他們大概估計(jì)已有200~300萬），好萊塢的電話打到了蓋洛普的公司，用數(shù)據(jù)證明《亂世佳人》到底有多流行。一周之后，他告訴對(duì)方，此書非常流行，每10個(gè)受訪者中，就有8個(gè)表示聽說過這本書。1937年1月，蓋洛普非?？隙ǖ母嬖V制片人《亂世佳人》已經(jīng)成為美國(guó)有史以來最流行的小說，有1400萬美國(guó)人讀過，其流行程度僅次于《圣經(jīng)》?，F(xiàn)在是17頁\一共有31頁\編輯于星期五

但在電影時(shí)長(zhǎng)、是否分為上下兩集、黑色還是彩色，再到演員選取、廣告設(shè)計(jì)，制片人、劇組、發(fā)行商吵成一團(tuán)。特別是制片人選定英國(guó)人費(fèi)雯·麗飾演女主角后，引起了更大的爭(zhēng)議。因?yàn)樯婕懊绹?guó)獨(dú)立，黑奴解放等重大歷史事件，部分南方人認(rèn)為請(qǐng)外國(guó)人有失國(guó)格。制片人委托蓋洛普調(diào)查爭(zhēng)議問題的方方面面。通過兩年的調(diào)查，結(jié)果表明，大部分人不反對(duì)它分為上下兩集；60%的觀眾想看彩色電影；35%的受訪者對(duì)女主角的人選表示滿意，遠(yuǎn)遠(yuǎn)高于不滿意的比率（16%）。拍攝方在重大問題的決策中幾乎全部聽取了蓋洛普的意見。最后，蓋洛普給片方的結(jié)論是，這部電影將有5650萬觀眾，其人數(shù)之多，將創(chuàng)有史以來的電影之最。但對(duì)于這個(gè)數(shù)據(jù)卻沒有一個(gè)人當(dāng)真?，F(xiàn)在是18頁\一共有31頁\編輯于星期五

最后，通過4輪上線，《亂世佳人》一共售出了5997萬張電影票，票房毛收入為3400萬美元，而1940年美國(guó)的人口普查結(jié)果為1.3億人口，也就是說，全國(guó)近一半的人觀看了這部電影。正如正如了蓋洛普預(yù)測(cè)的那樣，這部影片成為美國(guó)歷史上迄今為止最成功的電影。電影獲得了1940年最佳影片，最佳女主角等十項(xiàng)奧斯卡大獎(jiǎng)，這部小說也因?yàn)樽⒅厥穼?shí)，獲得1937年的普利策小說獎(jiǎng)?，F(xiàn)在是19頁\一共有31頁\編輯于星期五

蓋洛普成功的法寶就是“科學(xué)抽樣”，他沒有盲目地大面積調(diào)查，而是根據(jù)民眾的人口特點(diǎn)，確定家庭主婦、工人、農(nóng)民、老人、中年人、年輕人等各色人群在樣本中應(yīng)該占有的份額，再確定電話訪問，郵件訪問，街頭訪問等各種調(diào)查方式所占的比例。由于樣本找的準(zhǔn)，所以能以“小”見“大”?，F(xiàn)在是20頁\一共有31頁\編輯于星期五抽樣時(shí)代：統(tǒng)計(jì)革命的福祉

通過美國(guó)波瀾壯闊的的數(shù)據(jù)文化發(fā)展，我們對(duì)傳統(tǒng)的數(shù)據(jù)（小數(shù)據(jù)）有了一定的認(rèn)識(shí)。一個(gè)數(shù)據(jù)治國(guó)的理念需要幾十年甚至是幾百年的發(fā)展但對(duì)數(shù)據(jù)的使用并不如此。中國(guó)現(xiàn)在正處于數(shù)據(jù)化浪潮之中，何去何從，關(guān)鍵在于對(duì)大數(shù)據(jù)的利用。

大數(shù)據(jù)=傳統(tǒng)的小數(shù)據(jù)+現(xiàn)代的大記錄（源于測(cè)量）（源于記錄）現(xiàn)在是21頁\一共有31頁\編輯于星期五

大數(shù)據(jù)的崛起

每個(gè)國(guó)家都在追求一條自己的道路，這條道路，根植于這個(gè)國(guó)家人民的文化中。開放的經(jīng)濟(jì)、開放的社會(huì)和開放的政府，是人類社會(huì)之所以能夠進(jìn)步最深厚、最強(qiáng)大的基礎(chǔ)。

——奧巴馬，在聯(lián)合國(guó)大會(huì)的演講，2014.09現(xiàn)在是22頁\一共有31頁\編輯于星期五

開放時(shí)代：內(nèi)開放的歷程

內(nèi)開放也就是國(guó)家內(nèi)部的“人、財(cái)、物、信息”對(duì)社會(huì)開放。這關(guān)系到公民的自由、權(quán)利，也是政府管理社會(huì)、調(diào)控市場(chǎng)、服務(wù)經(jīng)濟(jì)的發(fā)展的有效手段。在數(shù)據(jù)的時(shí)代里，數(shù)據(jù)將成為重要的生產(chǎn)資料和創(chuàng)新資源，內(nèi)開放的程度，也將決定一個(gè)國(guó)家的發(fā)展動(dòng)力，一個(gè)社會(huì)的創(chuàng)新的活力?，F(xiàn)在是23頁\一共有31頁\編輯于星期五開放時(shí)代：內(nèi)開放的歷程內(nèi)開放1.01960年代信息自由運(yùn)動(dòng)數(shù)據(jù)承載知情權(quán)內(nèi)開放2.01980年代環(huán)保運(yùn)動(dòng)數(shù)據(jù)制衡企業(yè)，數(shù)據(jù)公開成為政府管理手段內(nèi)開放3.02000時(shí)代美國(guó)社會(huì)經(jīng)歷的內(nèi)開放三部曲數(shù)據(jù)開放運(yùn)動(dòng)數(shù)據(jù)服務(wù)經(jīng)濟(jì)、創(chuàng)造就業(yè)，推動(dòng)技術(shù)進(jìn)步現(xiàn)在是24頁\一共有31頁\編輯于星期五LEHD項(xiàng)目：開放數(shù)據(jù)的使用權(quán)LEHD（工作單位和家庭住址的縱向動(dòng)態(tài)系統(tǒng)）工作職位數(shù)據(jù)個(gè)人數(shù)據(jù)工作單位數(shù)據(jù)通過整合，實(shí)現(xiàn)了以下目標(biāo)：?首次把個(gè)人住址和個(gè)人單位地址聯(lián)系在一起?可以查詢同一街區(qū)內(nèi)有多少雇員上班，為科學(xué)估算白日人口打下了基礎(chǔ)?可以追蹤每個(gè)公司的雇員數(shù)量幾流動(dòng)來源于州政府的勞工部門?行業(yè)、類別?公司職工數(shù)量?公司地址來源于州政府的勞工部門?失業(yè)保險(xiǎn)?社會(huì)保險(xiǎn)?報(bào)稅記錄主要來源于人口普查局和社會(huì)保險(xiǎn)局?年齡、性別、種族?個(gè)人住址

LEHD項(xiàng)目的數(shù)據(jù)來源和三級(jí)政府的數(shù)據(jù)整合框架現(xiàn)在是25頁\一共有31頁\編輯于星期五

從2006年起，普查局為L(zhǎng)EHD開發(fā)了一個(gè)基于地圖的互動(dòng)式界面——OnTheMap，無償提供給大眾使用。只要有一根網(wǎng)線，無論你在世界的哪一個(gè)角落，也無論你是哪國(guó)人士，甚至無需注冊(cè)，你都可以隨時(shí)登陸，查詢這些數(shù)據(jù)。現(xiàn)在是26頁\一共有31頁\編輯于星期五LEDH的真正強(qiáng)大之初，還在于其數(shù)據(jù)分析的粒度，它可以