大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)

1、求是：大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)大數(shù)據(jù)泛指巨量的數(shù)據(jù)集，因可從中挖掘出有價(jià)值的信息而受到重視。 華爾街日?qǐng)?bào)將大數(shù)據(jù)時(shí)代、智能化生產(chǎn)和無(wú)線網(wǎng)絡(luò)革命稱為引領(lǐng)未來(lái)繁榮的三大技術(shù)變革。麥肯錫公司的報(bào)告指出數(shù)據(jù)是一種生產(chǎn)資料，大數(shù)據(jù)是下一個(gè)創(chuàng)新、競(jìng)爭(zhēng)、生產(chǎn)力提高的前沿。世界經(jīng)濟(jì)論壇的報(bào)告認(rèn)定大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油。因此，發(fā)達(dá)國(guó)家紛紛將開(kāi)發(fā)利用大數(shù)據(jù)作為奪取新一輪競(jìng)爭(zhēng)制高點(diǎn)的重要抓手。大數(shù)據(jù)時(shí)代的來(lái)臨互聯(lián)網(wǎng)特別是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會(huì)經(jīng)濟(jì)各方面、大眾日常生活的滲透。有資料顯示，1998 年全球網(wǎng)民平均每月使用流量是 1mb（兆字節(jié)），2000 年是 10mb，2003 年是 100mb，2

2、008 年是1gb（1gb等于 1024mb） ，2014 年將是 10gb。全網(wǎng)流量累計(jì)達(dá)到1eb（即 10 億 gb或 1000pb）的時(shí)間在 2001 年是一年，在2004 年是一個(gè)月，在 2007 年是一周，而 2013 年僅需一天，即一天產(chǎn)生的信息量可刻滿 1.88 億張 dvd光盤。我國(guó)網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。 淘寶網(wǎng)站每天有超過(guò)數(shù)千萬(wàn)筆交易，單日數(shù)據(jù)產(chǎn)生量超過(guò) 50tb （1tb等于 1000gb） ，存儲(chǔ)量 40pb(1pb等于 1000tb)。百度公司目前數(shù)據(jù)總量接近1000pb，存儲(chǔ)網(wǎng)頁(yè)數(shù)量接近1 萬(wàn)億頁(yè)，每天大約要處理 60 億次搜索請(qǐng)求，幾十p

3、b數(shù)據(jù)。一個(gè) 8mbps（兆比特每秒）的攝像頭一小時(shí)能產(chǎn)生3.6gb數(shù)據(jù)，一個(gè)城市若安裝幾十萬(wàn)個(gè)交通和安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達(dá)幾十pb。 醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方。現(xiàn)在，一個(gè)病人的ct影像數(shù)據(jù)量達(dá)幾十gb，而全國(guó)每年門診人數(shù)以數(shù)十億計(jì)，并且他們的信息需要長(zhǎng)時(shí)間保存?？傊?，大數(shù)據(jù)存在于各行各業(yè)，一個(gè)大數(shù)據(jù)時(shí)代正在到來(lái)。信息爆炸不自今日起， 但近年來(lái)人們更加感受到大數(shù)據(jù)的來(lái)勢(shì)迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長(zhǎng)更快。 2007 年全球有 5 億個(gè)設(shè)備聯(lián)網(wǎng)， 人均 0.1 個(gè)；2013年全球?qū)⒂?00 億個(gè)設(shè)備聯(lián)網(wǎng)，人均70 個(gè)。隨著寬帶化的發(fā)展

4、，人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每?jī)赡昃涂梢苑@一趨勢(shì)還將持續(xù)。目前，單一數(shù)據(jù)集容量超過(guò)幾十 tb甚至數(shù) pb已不罕見(jiàn)，其規(guī)模大到無(wú)法在容許的時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。數(shù)據(jù)規(guī)模越大， 處理的難度也越大， 但對(duì)其進(jìn)行挖掘可能得到的價(jià)值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時(shí)代現(xiàn)實(shí)社會(huì)與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊(yùn)含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計(jì)，2012 年底我國(guó)網(wǎng)民數(shù)為5.64 億，手機(jī)網(wǎng)民為4.2 億，通過(guò)分析相關(guān)數(shù)

5、據(jù)，可以了解大眾需求、訴求和意見(jiàn)。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報(bào)告，全球企業(yè)的信息存儲(chǔ)總量已達(dá)2.2zb（1zb等于 1000eb） ，年增 67。醫(yī)院、學(xué)校和銀行等也都會(huì)收集和存儲(chǔ)大量信息。 政府可以部署傳感器等感知單元，收集環(huán)境和社會(huì)管理所需的信息。 2011 年，英國(guó)自然雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數(shù)據(jù)，人類將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用。大數(shù)據(jù)應(yīng)用的領(lǐng)域大數(shù)據(jù)技術(shù)可運(yùn)用到各行各業(yè)。宏觀經(jīng)濟(jì)方面，ibm 日本公司建立經(jīng)濟(jì)指標(biāo)預(yù)測(cè)系統(tǒng)， 從互聯(lián)網(wǎng)新聞中搜索影響制造業(yè)的480 項(xiàng)經(jīng)濟(jì)數(shù)據(jù)，計(jì)算采購(gòu)經(jīng)理人指

6、數(shù)的預(yù)測(cè)值。印第安納大學(xué)利用谷歌公司提供的心情分析工具， 從近千萬(wàn)條網(wǎng)民留言中歸納出六種心情，進(jìn)而對(duì)道瓊斯工業(yè)指數(shù)的變化進(jìn)行預(yù)測(cè)，準(zhǔn)確率達(dá)到87%。制造業(yè)方面，華爾街對(duì)沖基金依據(jù)購(gòu)物網(wǎng)站的顧客評(píng)論，分析企業(yè)產(chǎn)品銷售狀況；一些企業(yè)利用大數(shù)據(jù)分析實(shí)現(xiàn)對(duì)采購(gòu)和合理庫(kù)存量的管理，通過(guò)分析網(wǎng)上數(shù)據(jù)了解客戶需求、掌握市場(chǎng)動(dòng)向。有資料顯示，全球零售商因盲目進(jìn)貨導(dǎo)致的銷售損失每年達(dá) 1000 億美元，這方面的數(shù)據(jù)分析大有作為。在農(nóng)業(yè)領(lǐng)域， 硅谷有個(gè)氣候公司， 從美國(guó)氣象局等數(shù)據(jù)庫(kù)中獲得幾十年的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況與歷年農(nóng)作物產(chǎn)量的相關(guān)度做成精密圖表，預(yù)測(cè)農(nóng)場(chǎng)來(lái)年產(chǎn)量，向農(nóng)戶出售個(gè)性化保險(xiǎn)。在商

7、業(yè)領(lǐng)域，沃爾瑪公司通過(guò)分析銷售數(shù)據(jù)，了解顧客購(gòu)物習(xí)慣，得出適合搭配在一起出售的商品，還可從中細(xì)分顧客群體，提供個(gè)性化服務(wù)。在金融領(lǐng)域，華爾街“德溫特資本市場(chǎng)”公司分析3.4 億微博賬戶留言，判斷民眾情緒，依據(jù)人們高興時(shí)買股票、焦慮時(shí)拋售股票的規(guī)律，決定公司股票的買入或賣出。 阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財(cái)務(wù)健康和講究誠(chéng)信的企業(yè)，對(duì)他們發(fā)放無(wú)需擔(dān)保的貸款。目前已放貸 300 多億元，壞賬率僅0.3%。在醫(yī)療保健領(lǐng)域， “谷歌流感趨勢(shì)”項(xiàng)目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況，與美國(guó)疾病控制和預(yù)防中心提供的報(bào)告對(duì)比，追蹤疾病的精確率達(dá)到97%。社交網(wǎng)絡(luò)為許多慢性病患者

8、提供臨床癥狀交流和診治經(jīng)驗(yàn)分享平臺(tái)，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計(jì)數(shù)據(jù)。 基于對(duì)人體基因的大數(shù)據(jù)分析，可以實(shí)現(xiàn)對(duì)癥下藥的個(gè)性化治療。在社會(huì)安全管理領(lǐng)域，通過(guò)對(duì)手機(jī)數(shù)據(jù)的挖掘，可以分析實(shí)時(shí)動(dòng)態(tài)的流動(dòng)人口來(lái)源、出行，實(shí)時(shí)交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎，可以收集熱點(diǎn)事件，挖掘輿情，還可以追蹤造謠信息的源頭。 美國(guó)麻省理工學(xué)院通過(guò)對(duì)十萬(wàn)多人手機(jī)的通話、短信和空間位置等信息進(jìn)行處理，提取人們行為的時(shí)空規(guī)律性，進(jìn)行犯罪預(yù)測(cè)。 在科學(xué)研究領(lǐng)域， 基于密集數(shù)據(jù)分析的科學(xué)發(fā)現(xiàn)成為繼實(shí)驗(yàn)科學(xué)、理論科學(xué)和計(jì)算科學(xué)之后的第四個(gè)范例，基于大數(shù)據(jù)分析的材料基因組學(xué)和合成生物學(xué)等正在興

9、起。麥肯錫公司 2011 年報(bào)告推測(cè)， 如果把大數(shù)據(jù)用于美國(guó)的醫(yī)療保健，一年產(chǎn)生潛在價(jià)值3000 億美元，用于歐洲的公共管理可獲得年度潛在價(jià)值 2500 億歐元；服務(wù)提供商利用個(gè)人位置數(shù)據(jù)可獲得潛在的消費(fèi)者年度盈余 6000 億美元；利用大數(shù)據(jù)分析， 零售商可增加運(yùn)營(yíng)利潤(rùn)60%，制造業(yè)設(shè)備裝配成本會(huì)減少50%。大數(shù)據(jù)技術(shù)的挑戰(zhàn)和啟示目前，大數(shù)據(jù)技術(shù)的運(yùn)用仍存在一些困難與挑戰(zhàn)，體現(xiàn)在大數(shù)據(jù)挖掘的四個(gè)環(huán)節(jié)中。 首先在數(shù)據(jù)收集方面。要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真， 盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)， 必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。其次是數(shù)據(jù)

10、存儲(chǔ)。要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、 分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類，通過(guò)過(guò)濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。第三是數(shù)據(jù)處理。有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、 多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。第四是結(jié)果的可視化呈現(xiàn)，使結(jié)果更直觀以便于洞察。目前，盡管計(jì)算機(jī)智能化有了很大進(jìn)步，但還只能針對(duì)小規(guī)模、 有

11、結(jié)構(gòu)或類結(jié)構(gòu)的數(shù)據(jù)進(jìn)行分析， 談不上深層次的數(shù)據(jù)挖掘，現(xiàn)有的數(shù)據(jù)挖掘算法在不同行業(yè)中難以通用。大數(shù)據(jù)技術(shù)的運(yùn)用前景是十分光明的。當(dāng)前，我國(guó)正處在全面建成小康社會(huì)征程中，工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重，建設(shè)下一代信息基礎(chǔ)設(shè)施，發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系，健全信息安全保障體系，推進(jìn)信息網(wǎng)絡(luò)技術(shù)廣泛運(yùn)用，是實(shí)現(xiàn)四化同步發(fā)展的保證。大數(shù)據(jù)分析對(duì)我們深刻領(lǐng)會(huì)世情和國(guó)情，把握規(guī)律，實(shí)現(xiàn)科學(xué)發(fā)展，做出科學(xué)決策具有重要意義，我們必須重新認(rèn)識(shí)數(shù)據(jù)的重要價(jià)值。為了開(kāi)發(fā)大數(shù)據(jù)這一金礦，我們要做的工作還很多。首先，大數(shù)據(jù)分析需要有大數(shù)據(jù)的技術(shù)與產(chǎn)品支持。發(fā)達(dá)國(guó)家一些信息技術(shù)（it）企業(yè)已提前發(fā)力， 通過(guò)加大

12、開(kāi)發(fā)力度和兼并等多種手段，努力向成為大數(shù)據(jù)解決方案提供商轉(zhuǎn)型。 國(guó)外一些企業(yè)打出免費(fèi)承接大數(shù)據(jù)分析的招牌，既是為了練兵， 也是為了獲取情報(bào)。 過(guò)分依賴國(guó)外的大數(shù)據(jù)分析技術(shù)與平臺(tái)，難以回避信息泄密風(fēng)險(xiǎn)。有些日常生活信息看似無(wú)關(guān)緊要，其實(shí)從中也可摸到國(guó)家經(jīng)濟(jì)和社會(huì)脈搏。因此，我們需要有自主可控的大數(shù)據(jù)技術(shù)與產(chǎn)品。美國(guó)政府2012 年 3 月發(fā)布大數(shù)據(jù)研究與發(fā)展倡議，這是繼 1993 年宣布“信息高速公路”之后又一重大科技部署，聯(lián)邦政府和一些部委已安排資金用于大數(shù)據(jù)開(kāi)發(fā)。我們與發(fā)達(dá)國(guó)家有不少差距，更需要國(guó)家政策支持。中國(guó)人口居世界首位，將會(huì)成為產(chǎn)生數(shù)據(jù)量最多的國(guó)家，但我們對(duì)數(shù)據(jù)保存不夠重視，對(duì)存儲(chǔ)數(shù)

13、據(jù)的利用率也不高。此外，我國(guó)一些部門和機(jī)構(gòu)擁有大量數(shù)據(jù)卻不愿與其他部門共享，導(dǎo)致信息不完整或重復(fù)投資。政府應(yīng)通過(guò)體制機(jī)制改革打破數(shù)據(jù)割據(jù)與封鎖，應(yīng)注重公開(kāi)信息，應(yīng)重視數(shù)據(jù)挖掘。 美國(guó)聯(lián)邦政府建立統(tǒng)一數(shù)據(jù)開(kāi)放門戶網(wǎng)站，為社會(huì)提供信息服務(wù)并鼓勵(lì)挖掘與利用。例如，提供各地天氣與航班延誤的關(guān)系，推動(dòng)航空公司提升正點(diǎn)率。大數(shù)據(jù)的挖掘與利用應(yīng)當(dāng)有法可依。去年底全國(guó)人大通過(guò)的加強(qiáng)網(wǎng)絡(luò)信息保護(hù)的決定是一個(gè)好的開(kāi)始，當(dāng)前要盡快制定“信息公開(kāi)法”以適應(yīng)大數(shù)據(jù)時(shí)代的到來(lái)?，F(xiàn)在很多機(jī)構(gòu)和企業(yè)擁有大量客戶信息。應(yīng)當(dāng)既鼓勵(lì)面向群體、服務(wù)社會(huì)的數(shù)據(jù)挖掘，又要防止侵犯?jìng)€(gè)體隱私；既提倡數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。此外，還需要界定數(shù)據(jù)挖掘、利用的權(quán)限和范圍。 大數(shù)據(jù)系統(tǒng)本身的安全性也是值得特別關(guān)注的，要注意技術(shù)安全性和管理制度安全性并重，防止信息被損壞、篡改、泄露或被竊，保護(hù)公民和國(guó)家的信息安全。大數(shù)據(jù)時(shí)代呼喚創(chuàng)新型人才。蓋特納咨詢公司預(yù)測(cè)大數(shù)據(jù)將為全球帶來(lái) 440 萬(wàn)個(gè) it 新崗位和上千萬(wàn)個(gè)非it 崗位。麥肯錫公司預(yù)測(cè)美國(guó)到2018 年需要深度數(shù)據(jù)分析人才44 萬(wàn)49 萬(wàn)，缺口 14 萬(wàn)19 萬(wàn)人；需要既熟悉本單位需