大數(shù)據(jù)發(fā)展簡(jiǎn)史

大數(shù)據(jù)發(fā)展簡(jiǎn)史以下是我所羅列的在計(jì)量數(shù)據(jù)量的歷史過程中一些具有里程碑意義的事件，以及屬于“大數(shù)據(jù)”概念進(jìn)化歷程中的一些“第一次”或者是新發(fā)現(xiàn)。1944年衛(wèi)斯理大學(xué)圖書館員弗萊蒙特?雷德出版了《學(xué)者與研究型圖書館的未來》一書。他估計(jì)美國高校圖書館的規(guī)模每16年就翻一番。按照這一增長速度，雷德推測(cè)2040年耶魯大學(xué)圖書館將擁有“約2億冊(cè)藏書，將占據(jù)6,000余英里書架…［需要的］編目人員超過6,000人。”1961年德里克普賴斯出版了《巴比倫以來的科學(xué)》，在這本書中，普賴斯通過觀察科學(xué)期刊和論文的增長規(guī)律來研究科學(xué)知識(shí)的增長。他得出以下結(jié)論：新期刊的數(shù)量以指數(shù)方式增長而不是以線性方式增長，每15年翻一番，每50年以10為指數(shù)倍進(jìn)行增長。普賴斯將其稱之為“指數(shù)增長規(guī)律”，并解釋道，“科學(xué)每前進(jìn)一步就以一個(gè)相當(dāng)恒定的出現(xiàn)率產(chǎn)生一系列新的進(jìn)步。因此在任何時(shí)候，新科學(xué)的產(chǎn)生數(shù)量永遠(yuǎn)嚴(yán)格地與科學(xué)發(fā)現(xiàn)總量成正比?！?964年4月哈里，格雷和亨利拉斯頓在美國電氣與電子工程師協(xié)會(huì)（IEEE）的《電子計(jì)算機(jī)學(xué)報(bào)》上發(fā)表了《應(yīng)對(duì)信息爆炸的技巧》一文，在文中，他們提出了以下建議：）1任何人都不應(yīng)該發(fā)表新論文2）如果1）不可行，僅短小的論文可以被發(fā)表?！岸绦　钡囊馑际俏恼虏怀^2,500字符，空格、標(biāo)點(diǎn)符號(hào)都計(jì)算在內(nèi)3）如果2）被采納，則應(yīng)該實(shí)行下述限制?只有將現(xiàn)存總長度為2501或更多字符的文章刪除一篇或多篇，短小的文章才可以被發(fā)表。上述建議的實(shí)行將產(chǎn)生一個(gè)重要的副產(chǎn)品，即減輕人才選拔委員會(huì)的負(fù)擔(dān)。因?yàn)橐粋€(gè)人的出版物列表將僅被一個(gè)負(fù)數(shù)所代替這個(gè)負(fù)數(shù)指代了他從現(xiàn)有信息存儲(chǔ)中刪除論文的凈數(shù)目。1967年11月B觸嗎里恩和P嗽?）?德梅恩在《美國計(jì)算機(jī)協(xié)會(huì)通訊》上發(fā)表了《自動(dòng)數(shù)據(jù)壓縮》一文，文章指出，“近年來被人們所關(guān)注的‘信息爆炸’使得對(duì)所有信息的存儲(chǔ)需求保持在最低限度是非常必要的?！蔽恼旅鑼懙溃骸叭詣?dòng)壓縮機(jī)由三部分組成，能夠快速處理信息，它可以被應(yīng)用于‘任何’信息主體，大大降低了緩慢的外部存儲(chǔ)要求，并可以通過計(jì)算機(jī)提高信息傳輸速度?！?971年亞瑟米勒在《侵犯隱私》中寫道：“太多的信息處理者看似是以個(gè)人檔案存儲(chǔ)容量的比特?cái)?shù)目來衡量一個(gè)人?！?975年日本郵電部開始實(shí)施了“信息流普查”計(jì)劃，以調(diào)查日本的信息總量（這一思想首次是在1969年的一篇文章中提出的）。普查以“字?jǐn)?shù)總量”作為所有媒體的統(tǒng)一衡量單位。1975年的普查已經(jīng)發(fā)現(xiàn)信息供給要比信息消費(fèi)發(fā)展得快得多。1978年的普查報(bào)告指出“人們對(duì)單向傳播的大眾傳媒所提供信息的需求停滯不前，對(duì)以雙向傳播為特征的個(gè)人通信媒體所提供信息的需求大規(guī)模增長...我們的社會(huì)正在進(jìn)入一個(gè)新階段...在這一階段中，處于優(yōu)勢(shì)地位的是那些能夠滿足個(gè)人需求的碎片性的、更為詳細(xì)的信息，而不再是那些傳統(tǒng)的被大量復(fù)制的、一致性的信息。H可利斯泰爾箱噠夫，2000；參見馬丁希爾伯特，2012]1980年4月I厚?特詹姆斯蘭德在第四屆美國電氣和電子工程師協(xié)會(huì)（IEEE）"大規(guī)模存儲(chǔ)系統(tǒng)專題研討會(huì)”上做了一個(gè)報(bào)告，題為《我們?cè)摵稳ズ螐?？》。在?bào)告中，他指出“那些很早以前就熟悉存儲(chǔ)裝置的人們發(fā)現(xiàn)，‘帕金森第一法則’可以被用來解釋我們的現(xiàn)狀——‘?dāng)?shù)據(jù)擴(kuò)展至任何可用空間’...我相信大量數(shù)據(jù)正在被保留，因?yàn)橛脩魺o法識(shí)別無用的數(shù)據(jù)；相較于丟棄潛在有用數(shù)據(jù)的不利后果，存儲(chǔ)無用數(shù)據(jù)的損失不那么明顯。”1981年匈牙利中央統(tǒng)計(jì)辦公室開始實(shí)施了一項(xiàng)調(diào)查國家信息產(chǎn)業(yè)的研究項(xiàng)目，包括以比特為單位計(jì)量信息量。這項(xiàng)研究一直持續(xù)至今。1993年，匈牙利中央統(tǒng)計(jì)辦公室首席科學(xué)家伊斯特萬迪恩斯編制了一本國家信息賬戶的標(biāo)準(zhǔn)體系手冊(cè)。見伊斯特萬迪恩斯，1994；馬丁希爾伯特，2012]1983年8月伊契爾索勒普爾在《科學(xué)》雜志上發(fā)表了《追蹤信息流》一文，通過對(duì)I960年到1977年17種主流通訊媒體發(fā)展趨勢(shì)的觀察，他得出如下結(jié)論“這些媒體為10歲以上的美國人創(chuàng)造的可用詞匯以每年8.9%的速度增長...事實(shí)上這些媒體創(chuàng)造的、真正參與流通的單詞僅以每年2.9%的速度增長...在上述期間，信息流的增長在很大程度上是由于廣播的發(fā)展...但是在那段時(shí)期末［1977年］情況發(fā)生了變化：點(diǎn)對(duì)點(diǎn)的媒體比廣播發(fā)展得快?！逼諣枴⒁林Z茲、高崎、赫維茨在《通信流：一項(xiàng)美國與日本的信息普查》中做了后續(xù)研究，這本書對(duì)美國和日本所產(chǎn)生的信息量進(jìn)行了比較。1986年7月哈爾B唄克爾在《數(shù)據(jù)通信》上發(fā)表了《用戶真的能夠以今天或者明天的速度吸收數(shù)據(jù)嗎？》一文。貝克爾預(yù)計(jì)“古滕堡所實(shí)現(xiàn)的記錄密度大約是每立方英尺500個(gè)符號(hào)（字符），是公元前4,000年蘇美爾人泥土片記錄密度的500倍。到2000年，半導(dǎo)體隨機(jī)存取存儲(chǔ)器將能夠在每立方英尺存儲(chǔ)1.25XL011個(gè)字節(jié)。”對(duì)于數(shù)據(jù)存儲(chǔ)而言，1996年數(shù)字存儲(chǔ)就比紙張存儲(chǔ)更能節(jié)約成本，這是RJT莫里斯和BJ特拉斯克渥奇在2003年7月1日《IBM系統(tǒng)期刊》上所發(fā)表的《存儲(chǔ)系統(tǒng)的演進(jìn)》一文中指出的。1997年10月邁克爾考克斯和大衛(wèi)埃爾斯沃思在第八屆美國電氣和電子工程師協(xié)會(huì)（IEEE）關(guān)于可視化的會(huì)議論文集中發(fā)表了《為外存模型可視化而應(yīng)用控制程序請(qǐng)求頁面調(diào)度》的文章。文章以下述內(nèi)容開頭：“可視化對(duì)計(jì)算機(jī)系統(tǒng)提出了一個(gè)有趣的挑戰(zhàn)：通常情況下數(shù)據(jù)集相當(dāng)大，耗盡了主存儲(chǔ)器、本地磁盤、甚至是遠(yuǎn)程磁盤的存儲(chǔ)容量。我們將這個(gè)問題稱為大數(shù)據(jù)。當(dāng)主存儲(chǔ)器（內(nèi)核）無法容納數(shù)據(jù)集，或者當(dāng)本地磁盤都無法容納數(shù)據(jù)集的時(shí)候，最常用的解決辦法就是獲取更多的資源?！边@是在美國計(jì)算機(jī)學(xué)會(huì)的數(shù)字圖書館中第一篇使用“大數(shù)據(jù)”這一術(shù)語的文章。1997年邁克爾萊斯克發(fā)表了《世界上究竟有多少信息？》一文，萊斯克得出以下結(jié)論“世界上的信息總量近乎幾千PB；到2000年，磁帶和磁盤的生產(chǎn)將達(dá)到上述水平。因此，在短短幾年內(nèi)，（a）我們可以存儲(chǔ)任何信息——沒有信息不得不被放棄，（b）人們?cè)僖膊粫?huì)看到典型的信息片段?！?998年10月KW科夫曼和安德魯奧德里科發(fā)表了《互聯(lián)網(wǎng)的規(guī)模與增長速度》一文。他們認(rèn)為“公共互聯(lián)網(wǎng)流量的增長速度，雖然比通常認(rèn)為的要低，卻仍然以每年100%的速度增長，要比其他網(wǎng)絡(luò)流量的增長快很多。然而，如果以當(dāng)前的趨勢(shì)繼續(xù)發(fā)展，在2002年左右，美國的數(shù)據(jù)流量就要趕超聲音流量，且將由互聯(lián)網(wǎng)主宰。”奧德里科隨后建立了明尼蘇達(dá)互聯(lián)網(wǎng)流量研究所（MINTS），跟蹤2002年到2009年互聯(lián)網(wǎng)流量的增長情況。1999年8月史蒂夫布賴森、大衛(wèi)肯懷特、邁克爾考克斯、大衛(wèi)埃爾斯沃思以及羅伯特海門斯在《美國計(jì)算機(jī)協(xié)會(huì)通訊》上發(fā)表了《千兆字節(jié)數(shù)據(jù)集的實(shí)時(shí)性可視化探索》一文。這是《美國計(jì)算機(jī)協(xié)會(huì)通訊》上第一篇使用“大數(shù)據(jù)”這一術(shù)語的文章（這篇文章有一個(gè)部分的標(biāo)題為“大數(shù)據(jù)的科學(xué)可視化”）。文章開篇指出：“功能強(qiáng)大的計(jì)算機(jī)是許多查詢領(lǐng)域的福音。它們也是禍害；高速運(yùn)轉(zhuǎn)的計(jì)算產(chǎn)生了規(guī)模龐大的數(shù)據(jù)。曾幾何時(shí)我們認(rèn)為兆字節(jié)（MB）的數(shù)據(jù)集就很大了，現(xiàn)在我們?cè)趩蝹€(gè)模擬計(jì)算中就發(fā)現(xiàn)了300GB范圍的數(shù)據(jù)集。但是研究高端計(jì)算產(chǎn)生的數(shù)據(jù)是一個(gè)很有意義的嘗試。不止一位科學(xué)家曾經(jīng)指出，審視所有的數(shù)字是極其困難的。正如數(shù)學(xué)家、計(jì)算機(jī)科學(xué)家先驅(qū)理查德W?海明指出的，計(jì)算的目的是獲得規(guī)律性的認(rèn)識(shí)，而不是簡(jiǎn)單地獲得數(shù)字。”10月份，在美國電氣和電子工程師協(xié)會(huì)（IEEE）1999年關(guān)于可視化的年會(huì)上，布賴森、肯懷特、海門斯與大衛(wèi)班克斯、羅伯特范里拉和山姆思爾頓在名為“自動(dòng)化或者交互：什么更適合大數(shù)據(jù)？”的專題討論小組中共同探討大數(shù)據(jù)的問題。2000年10月彼得萊曼與哈爾R?瓦里安在加州大學(xué)伯克利分校網(wǎng)站上發(fā)布了一項(xiàng)研究成果:《信息知多少？》。這是在計(jì)算機(jī)存儲(chǔ)方面第一個(gè)綜合性地量化研究世界上每年產(chǎn)生并存儲(chǔ)在四種物理媒體：紙張、膠卷、光盤（CD與DVD）和磁盤中新的以及原始信息（不包括備份）總量的成果。研究發(fā)現(xiàn)，1999年，世界上產(chǎn)生了1.5EB獨(dú)一無二的信息，或者說是為地球上每個(gè)男人、每個(gè)女人以及每個(gè)孩子產(chǎn)生了250MB信息。研究同時(shí)發(fā)現(xiàn)，“大量唯一的信息是由個(gè)人創(chuàng)造和存儲(chǔ)的”（被稱為“數(shù)字民主化”），“數(shù)字信息產(chǎn)品不僅數(shù)量龐大，而且以最快的速度增長”。作者將這項(xiàng)發(fā)現(xiàn)稱為“數(shù)字統(tǒng)治”。萊曼和瓦里安指出，“即使在今天，大多數(shù)文本信息都是以數(shù)字形式產(chǎn)生的，在幾年之內(nèi)，圖像也將如此?！?003年，萊曼與瓦里安發(fā)布了最新研究成果：2002年世界上大約產(chǎn)生了5EB新信息，92%的新信息存儲(chǔ)在磁性介質(zhì)上，其中大多數(shù)存儲(chǔ)在磁盤中。2001年2月梅塔集團(tuán)分析師道格萊尼發(fā)布了一份研究報(bào)告，題為《3D數(shù)據(jù)管理：控制數(shù)據(jù)容量、處理速度及數(shù)據(jù)種類》。十年后，3V作為定義大數(shù)據(jù)的三個(gè)維度而被廣泛接受。2005年9月蒂姆奧萊利發(fā)表了《什么是Web2.0》一文，在文中，他斷言'數(shù)據(jù)將是下一項(xiàng)技術(shù)核心”。奧萊利指出：“正如哈爾瓦里安在去年的一次私人談話中所說的，‘結(jié)構(gòu)化查詢語言是一種新的超文本鏈接標(biāo)示語言’。數(shù)據(jù)庫管理是Web2.0公司的核心競(jìng)爭(zhēng)力，以至于我們有些時(shí)候?qū)⑦@些應(yīng)用稱為‘訊件’，而不僅僅是軟件?！?007年3月約翰F甘茨，大衛(wèi)萊茵澤爾及互聯(lián)網(wǎng)數(shù)據(jù)中心（IDC）其他研究人員出版了一個(gè)白皮書，題為《膨脹的數(shù)字宇宙：2010年世界信息增長預(yù)測(cè)》。這是第一份評(píng)估與預(yù)測(cè)每年世界所產(chǎn)生與復(fù)制的數(shù)字化數(shù)據(jù)總量的研究?；ヂ?lián)網(wǎng)數(shù)據(jù)中心估計(jì)，2006年世界產(chǎn)生了161EB數(shù)據(jù)，并預(yù)測(cè)在2006年至2010年間，每年為數(shù)字宇宙所增加的信息將是以上數(shù)字的六倍多，達(dá)到988EB，或者說每18個(gè)月就翻一番。據(jù)2010年和2011年同項(xiàng)研究所發(fā)布的信息，每年所創(chuàng)造的數(shù)字化數(shù)據(jù)總量超過了這個(gè)預(yù)測(cè)，2010年達(dá)到了1,200EB，2011年增長到了1,800EB。2008年1月布雷特斯旺森和喬治吉爾德發(fā)表了《評(píng)估數(shù)字洪流》一文，在文中他們提出到2015年美國IP流量將達(dá)到1ZB，2015年美國的互聯(lián)網(wǎng)規(guī)模將至少是2006年的50倍。2008年6月思科發(fā)布了一份報(bào)告，題為《思科視覺網(wǎng)絡(luò)指數(shù)——預(yù)測(cè)與方法，2007-2012》，作為“持續(xù)跟蹤和預(yù)測(cè)視覺網(wǎng)絡(luò)應(yīng)用影響的行動(dòng)”的一部分。這份報(bào)告預(yù)言，“從現(xiàn)在到2012年，IP流量將每兩年翻一番”，2012年IP流量將達(dá)到0.5ZB。這份預(yù)測(cè)比較準(zhǔn)確，正如思科最近一份報(bào)告（2012年5月30日）指出的，2012年IP流量剛剛超過0.5ZB，“在過去的5年中增長了8倍”。2009年12月羅杰E?博恩和詹姆斯E吵特發(fā)表了《信息知多少？2009年美國消費(fèi)者報(bào)告》。研究發(fā)現(xiàn)，2008年“美國人消費(fèi)了約1.3萬億小時(shí)信息，幾乎平均每天消費(fèi)12小時(shí)?？傆?jì)3.6澤字節(jié)（ZB），10,845萬億單詞，相當(dāng)于平均每人每天消費(fèi)100,500單詞及34GB信息。博恩、少特和沙坦亞巴魯在2011年1月發(fā)表了《信息知多少？2010年企業(yè)服務(wù)器信息報(bào)告》，繼續(xù)上述研究。在文中他們估計(jì)，2008年“世界上的服務(wù)器處理了9.57ZB信息，幾乎是95,700,000,000,000,000,000,000字節(jié)信息，或者是10萬億GB。也就是平均每天每個(gè)工作者產(chǎn)生12GB信息，或者每年每個(gè)工作者產(chǎn)生3TB信息。世界上所有的公司平均每年處理63TB信息?！?010年2月肯尼斯庫克爾在《經(jīng)濟(jì)學(xué)人》上發(fā)表了一份關(guān)于管理信息的特別報(bào)告《數(shù)據(jù)，無所不在的數(shù)據(jù)》。庫克爾在文中寫道：“…世界上有著無法想象的巨量數(shù)字信息，并以極快的速度增長...從經(jīng)濟(jì)界到科學(xué)界，從政府部門到藝術(shù)領(lǐng)域，很多地方都已感受到了這種巨量信息的影響?？茖W(xué)家和計(jì)算機(jī)工程師已經(jīng)為這個(gè)現(xiàn)象創(chuàng)造了一個(gè)新詞匯：‘大數(shù)據(jù)’?！?011年2月馬丁希爾伯特和普里西拉格佩茲在《科學(xué)》雜志上發(fā)表了《世界存儲(chǔ)、傳輸與計(jì)算信息的技術(shù)能力》一文。他們估計(jì)1986至2007年間，世界的信息存儲(chǔ)能力以每年25%的速度增長。同時(shí)指出，1986年99.2%的存儲(chǔ)容量都是模擬性的，但是到了2007年，94%的存儲(chǔ)容量都是數(shù)字化的，兩種存儲(chǔ)方式發(fā)生了角色的根本性逆轉(zhuǎn)（2002年，數(shù)字化信息存儲(chǔ)第一次超過非數(shù)字化信息存儲(chǔ)）。2011年5月麥肯錫全球研究院的詹姆斯?馬尼卡、邁克爾崔、布雷德布朗、杰克斯?卜黑、理查德多布斯、查爾斯羅克斯伯勒以及安杰拉孔拜爾斯發(fā)布了《大數(shù)據(jù)：下一個(gè)具有創(chuàng)新力、競(jìng)爭(zhēng)力與生產(chǎn)力的前沿領(lǐng)域》。他們指出：“到2009年，對(duì)于美國所有的經(jīng)濟(jì)部門而言，平均每個(gè)有1，000名以上員工的公司所存儲(chǔ)的數(shù)據(jù)至少有200TB（是美國零售商沃爾瑪在1999年數(shù)據(jù)倉儲(chǔ)的兩倍）”證券和投資服務(wù)部門所存儲(chǔ)的數(shù)據(jù)處于領(lǐng)先地位?？偟膩碇v，這項(xiàng)研究估計(jì)2010年所有的公司存儲(chǔ)了7.4EB新產(chǎn)生的數(shù)據(jù)，消費(fèi)者存儲(chǔ)了6.8EB新數(shù)據(jù)。2012年4月《國際通信學(xué)報(bào)》出版了“信息計(jì)量”專題，這是多種測(cè)量信息量的研究方法與研究結(jié)果的專題。在《追蹤家庭信息流》一文中，諾伊曼、帕克和潘尼克（運(yùn)用前文提到的日本郵電部和普爾的研究方法）估計(jì)，為美國家庭所提供的所有媒體信息從1960年的每天50,000分鐘增長到2005年的900,000分鐘。根據(jù)2005年的供需比例，他們估計(jì)美國人“1分鐘所需消費(fèi)的信息有1,000分鐘的媒體內(nèi)容可供選擇?！痹凇缎畔⒌膰H化生產(chǎn)與傳播》一文中，邦妮和吉爾（運(yùn)用上文中萊曼和瓦里安的研究方法）估計(jì)2008年世界產(chǎn)生了14.7EB新信息，接近2003年信息