大數(shù)據(jù)技術(shù)導(dǎo)論2014

大數(shù)據(jù)技術(shù)–導(dǎo)論周可k.zhou@華中科技大學(xué)1內(nèi)容什么是大數(shù)據(jù)研究背景深入思考23什么是大數(shù)據(jù)定義1：

大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合（維基百科定義）Bigdatausuallyincludesdatasetswithsizesbeyondtheabilityofcommonly-usedsoftwaretoolstocapture,curate,manage,andprocessthedatawithinatolerableelapsedtime.---Wiki4什么是大數(shù)據(jù)定義2：3VBigDataarehigh-volume,high-velocity,and/orhigh-varietyinformationassetsthatrequirenewformsofprocessingtoenableenhanceddecisionmaking,insightdiscoveryandprocessoptimization--Gartner

大數(shù)據(jù)的4V特性VolumeVolumeVarietyVolume模態(tài)多樣VeracityVolume真?zhèn)坞y辨VelocityVolume速度極快體量巨大文本視頻圖片音頻到2020年，數(shù)據(jù)總量達(dá)40ZB，人均5.2TB分享的內(nèi)容條目超過25億個(gè)/天，增加數(shù)據(jù)超過500TB/天5大數(shù)據(jù)及其4V特征海量數(shù)據(jù)規(guī)模（volume）：TB級(jí)PB級(jí)快速處理（velocity）：快速數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)數(shù)據(jù)體系多樣數(shù)據(jù)類型（variety）：數(shù)據(jù)類型繁雜巨大數(shù)據(jù)價(jià)值（value）：價(jià)值稀疏、多樣、不確定值得關(guān)注的大數(shù)據(jù)的若干研究方向分布式數(shù)據(jù)存儲(chǔ)與管理：對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)與管理數(shù)據(jù)挖掘與商務(wù)智能：對(duì)大數(shù)據(jù)規(guī)律進(jìn)行挖掘與發(fā)現(xiàn)物聯(lián)網(wǎng)與CPS：產(chǎn)生與形成大數(shù)據(jù)云計(jì)算及服務(wù)平臺(tái)：存儲(chǔ)和處理大數(shù)據(jù)及其業(yè)務(wù)關(guān)注點(diǎn)：海量數(shù)據(jù)處理=>分布式存儲(chǔ)與管理=>云計(jì)算=>

數(shù)據(jù)挖掘與分析=>海量業(yè)務(wù)處理=>大服務(wù)7什么是大數(shù)據(jù)定義3:

當(dāng)數(shù)據(jù)的規(guī)模和性能要求成為數(shù)據(jù)管理分析系統(tǒng)的重要設(shè)計(jì)和決定因素時(shí)，這樣的數(shù)據(jù)就被稱為大數(shù)據(jù)不是簡(jiǎn)單地以數(shù)據(jù)規(guī)模來界定大數(shù)據(jù)，要考慮數(shù)據(jù)查詢與分析的復(fù)雜程度以目前計(jì)算機(jī)硬件的發(fā)展水平看針對(duì)簡(jiǎn)單查詢（如關(guān)鍵字搜索），數(shù)據(jù)量為TB至PB級(jí)時(shí)可稱為大數(shù)據(jù)針對(duì)復(fù)雜查詢（如數(shù)據(jù)挖掘），數(shù)據(jù)量為GB至TB級(jí)時(shí)即可稱為大數(shù)據(jù)8什么是大數(shù)據(jù)定義4:

大數(shù)據(jù)有兩個(gè)基本特征不同于傳統(tǒng)的數(shù)據(jù)集：

1.大數(shù)據(jù)不一定存儲(chǔ)于固定的數(shù)據(jù)庫(kù)，而是分布在不同地方的網(wǎng)絡(luò)空間

2.大數(shù)據(jù)以半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)為主，具有較高的復(fù)雜性。內(nèi)容什么是大數(shù)據(jù)研究背景深入思考9克強(qiáng)指數(shù)（Likeqiangindex）:耗電量鐵路貨運(yùn)量銀行貸款發(fā)放量英國(guó)著名政經(jīng)雜志《經(jīng)濟(jì)學(xué)人》認(rèn)為：克強(qiáng)指數(shù)比官方GDP數(shù)字更能反映中國(guó)經(jīng)濟(jì)的現(xiàn)實(shí)狀況。花旗銀行在編制時(shí)將各自權(quán)重分別設(shè)定為40%、25%和35%。12大數(shù)據(jù)涉及諸多不同的領(lǐng)域

用戶生成數(shù)據(jù)DeepWeb數(shù)據(jù)多模態(tài)內(nèi)容數(shù)據(jù)天文氣象基因醫(yī)學(xué)經(jīng)濟(jì)物理其他領(lǐng)域網(wǎng)絡(luò)與關(guān)系數(shù)據(jù)13大數(shù)據(jù)的價(jià)值科研價(jià)值1998年圖靈獎(jiǎng)得主、數(shù)據(jù)庫(kù)技術(shù)奠基人JimGray認(rèn)為數(shù)據(jù)驅(qū)動(dòng)的研究將是第四種科學(xué)研究范式”TheFourthParadigm:Data-IntensiveScientificDiscovery”大數(shù)據(jù)已為多個(gè)不同學(xué)科的研究工作提供了寶貴機(jī)遇經(jīng)濟(jì)價(jià)值麥肯錫全球研究院：大數(shù)據(jù)可為世界經(jīng)濟(jì)創(chuàng)造巨大價(jià)值，提高企業(yè)和公共部門的生產(chǎn)率和競(jìng)爭(zhēng)力，并為消費(fèi)者創(chuàng)造巨大的經(jīng)濟(jì)利益著名Gartner公司：到2015年，采用大數(shù)據(jù)和海量信息管理的公司將在各項(xiàng)財(cái)務(wù)指標(biāo)上，超過未做準(zhǔn)備的競(jìng)爭(zhēng)對(duì)手20%工業(yè)價(jià)值分析使用：揭示隱藏其中的信息，例如零售業(yè)中對(duì)門店銷售、地理和社會(huì)信息的分析能提升對(duì)客戶的理解二次開發(fā)：創(chuàng)造出新產(chǎn)品和服務(wù)。例如Facebook通過結(jié)合大量用戶信息，定制出高度個(gè)性化的用戶體驗(yàn)，并創(chuàng)造出一種新的廣告模式社會(huì)價(jià)值例如：2009年淘寶網(wǎng)推出淘寶CPI來反映網(wǎng)絡(luò)購(gòu)物的消費(fèi)趨勢(shì)和價(jià)格動(dòng)態(tài)其他價(jià)值…DataisthenextIntelInside.Thefuturebelongstothecompaniesandpeoplethatturndataintoproducts.----著名出版公司O‘Reilly的創(chuàng)始人TimO‘Reilly深網(wǎng)挖掘深空探索2012年我國(guó)神州九號(hào)進(jìn)入太空深海探測(cè)2012年我國(guó)蛟龍?zhí)柼綔y(cè)水下7000米實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的

深度挖據(jù)和高度利用！大數(shù)據(jù)的戰(zhàn)略意義大數(shù)據(jù)的深度資源挖掘與價(jià)值利用是國(guó)家戰(zhàn)略從深空

+

深海深網(wǎng)14大數(shù)據(jù)的現(xiàn)實(shí)需求：感知現(xiàn)在15感知現(xiàn)在：歷史數(shù)據(jù)與當(dāng)前數(shù)據(jù)的融合，潛在線索與模式的挖掘，

事件、群體與社會(huì)發(fā)展?fàn)顟B(tài)的感知中國(guó)發(fā)展指數(shù)（物價(jià)、環(huán)境、健康）需求：掌握現(xiàn)狀，如淘寶CPI、環(huán)境指數(shù)難點(diǎn)：PB級(jí)社會(huì)媒體數(shù)據(jù)，百億級(jí)日志數(shù)據(jù)，結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)關(guān)聯(lián)，歷史與流式數(shù)據(jù)并存犯罪線索挖掘需求：發(fā)現(xiàn)線索,如罪犯行為軌跡難點(diǎn)：PB級(jí)日志數(shù)據(jù)、EB級(jí)監(jiān)控?cái)?shù)據(jù)中發(fā)現(xiàn)嫌疑人及其行為模式猶如大海撈針問題與挑戰(zhàn)：數(shù)據(jù)規(guī)模巨大、模態(tài)多樣、關(guān)聯(lián)復(fù)雜、真?zhèn)坞y辨

現(xiàn)有數(shù)據(jù)處理方法感知度量難、特征融合難、模式挖掘難15大數(shù)據(jù)的現(xiàn)實(shí)需求：預(yù)測(cè)未來聯(lián)合國(guó)“全球脈動(dòng)”(GlobalPulse):利用網(wǎng)絡(luò)大數(shù)據(jù)預(yù)測(cè)失業(yè)率與疾病爆發(fā)等現(xiàn)象，利用數(shù)字化的早期預(yù)警信號(hào)來提前指導(dǎo)援助項(xiàng)目。問題與挑戰(zhàn)：數(shù)據(jù)交互性強(qiáng)、實(shí)時(shí)性強(qiáng)、動(dòng)態(tài)演變，導(dǎo)致傳統(tǒng)數(shù)據(jù)計(jì)算方法：

數(shù)據(jù)生命周期的割裂、時(shí)效性與準(zhǔn)確性難以兼顧、演變趨勢(shì)難以預(yù)測(cè)基于Twitter數(shù)據(jù)的選舉結(jié)果預(yù)測(cè):通過對(duì)Twitter等網(wǎng)上公開數(shù)據(jù)的實(shí)時(shí)感知、動(dòng)態(tài)獲取與綜合分析，結(jié)合仿真調(diào)控，預(yù)測(cè)大選結(jié)果。預(yù)測(cè)未來：全量數(shù)據(jù)、流式數(shù)據(jù)、離線數(shù)據(jù)的關(guān)聯(lián)分析，態(tài)勢(shì)與效應(yīng)的判定與調(diào)控，揭示事物發(fā)展的演變規(guī)律，進(jìn)而對(duì)事物發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)1617美國(guó)的大數(shù)據(jù)規(guī)劃-大數(shù)據(jù)上升為國(guó)家意志2012年3月29日，美國(guó)聯(lián)邦政府整合6個(gè)部門宣布2億美元的“BigDataResearchandDevelopmentInitiative”促進(jìn)采集、存儲(chǔ)、維護(hù)、管理、分析和共享海量數(shù)據(jù)的核心技術(shù)；利用以上技術(shù)來加速科學(xué)與工程發(fā)現(xiàn)的步伐，強(qiáng)化國(guó)家安全，改變教育和學(xué)習(xí)；培養(yǎng)開發(fā)和使用大數(shù)據(jù)技術(shù)的人力資源。CoreTechnologiesforAdvancingBigDataScience&EngineeringDatatoDecisions1000GenomesProjectDataAvailableonCloudScientificDiscoveryThroughAdvancedComputingBigDataforEarthSystemScienceXDATA18歐盟的大數(shù)據(jù)規(guī)劃-基礎(chǔ)設(shè)施是先導(dǎo)Horizon2020-TheFrameworkProgrammeforResearchandInnovation面向大數(shù)據(jù)的數(shù)據(jù)信息化基礎(chǔ)設(shè)施（E-Infrastructure）是優(yōu)先資助領(lǐng)域GRDI2020-GlobalResearchDataInfrastructures建立針對(duì)科研大數(shù)據(jù)的基礎(chǔ)設(shè)施，實(shí)現(xiàn)數(shù)據(jù)管理系統(tǒng)、數(shù)字?jǐn)?shù)據(jù)圖書館、研究圖書館、數(shù)據(jù)工具和研究團(tuán)體的整合FP7Call8IntelligentInformationManagement-BigData預(yù)算5千萬歐元，2012-1-17截止目標(biāo)：提升發(fā)現(xiàn)、分析、開采、使用大數(shù)據(jù)及其基礎(chǔ)設(shè)施的能力通過對(duì)大數(shù)據(jù)收集與分析創(chuàng)造更大價(jià)值探索基于大規(guī)?；ヂ?lián)數(shù)據(jù)資源與專用基礎(chǔ)設(shè)施的新型科學(xué)研究面向大數(shù)據(jù)的人力資源開發(fā)19學(xué)術(shù)界對(duì)大數(shù)據(jù)的關(guān)注2012年1月，NaturePhysics上出版?？癈omplexity”特別指出大數(shù)據(jù)為科學(xué)研究，特別是復(fù)雜性科學(xué)的研究提供了史無前例的機(jī)遇2008年，Nature出版專刊“BigData”從互聯(lián)網(wǎng)技術(shù)、互聯(lián)網(wǎng)經(jīng)濟(jì)學(xué)、超級(jí)計(jì)算、環(huán)境科學(xué)、生物醫(yī)藥等多個(gè)方面介紹了大數(shù)據(jù)所帶來的技術(shù)挑戰(zhàn)2011年，Science刊登?？癉ealingwithData”討論了數(shù)據(jù)洪流（Datadeluge）所帶來的挑戰(zhàn)，也特別指出倘若能夠更有效地組織和使用這些數(shù)據(jù)，人們將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會(huì)會(huì)刊ERCIMNews上出版?？癇igData”討論了大數(shù)據(jù)時(shí)代的數(shù)據(jù)管理、數(shù)據(jù)密集型研究的創(chuàng)新數(shù)據(jù)庫(kù)技術(shù)等問題，并介紹了歐洲科研機(jī)構(gòu)開展的研究活動(dòng)和取得的創(chuàng)新性進(jìn)展20大數(shù)據(jù)會(huì)議/WorkshopBDA:InternationalConferenceonBigDataAnalyticshttp://cs.du.ac.in/BDA2012/bda12.html2012:12月24-26日，印度；第1屆BigMine:WorkshoponBigData,StreamsandHeterogeneousSourceMining:Algorithms,Systems,ProgrammingModelsandApplications/2012:與SIGKDD合辦；8月12日，北京；第1屆BigDataEurope系列會(huì)議/展示大數(shù)據(jù)實(shí)踐與方案；加強(qiáng)業(yè)界人員交流2012:

Zurich,Vienna,Paris,Frankfurt,London2013:Stockholm,Warsaw,IstanbulBigDataAnalytics2012http://www.whitehallmedia.co.uk/bda/6月20日，倫敦學(xué)術(shù)會(huì)議工業(yè)會(huì)議內(nèi)容什么是大數(shù)據(jù)研究背景深入思考2224大數(shù)據(jù)總量增長(zhǎng)態(tài)勢(shì)25目前大數(shù)據(jù)的規(guī)模IDC公司發(fā)布的數(shù)字宇宙研究報(bào)告稱：全球信息總量每?jī)赡昃蜁?huì)增長(zhǎng)一倍，2011年全球被創(chuàng)建和被復(fù)制的數(shù)據(jù)總量為1.8ZB(1021)。IDC認(rèn)為，到下一個(gè)十年(2020年)，全球所有IT部門擁有服務(wù)器的總量將會(huì)比現(xiàn)在多出10倍，所管理的數(shù)據(jù)將會(huì)比現(xiàn)在多出50倍。預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量2011年企業(yè)創(chuàng)造、采集、管理和儲(chǔ)存信息的成本已經(jīng)下降到2005年的1/6，而同期企業(yè)關(guān)于數(shù)據(jù)的總投資自2005年以來卻反而上升了50%。數(shù)據(jù)成本的下降助推了數(shù)據(jù)量的增長(zhǎng)，而新的數(shù)據(jù)源和數(shù)據(jù)采集技術(shù)的出現(xiàn)則大大增加了未來數(shù)據(jù)的類型，數(shù)據(jù)類型的增加導(dǎo)致現(xiàn)有數(shù)據(jù)空間維度增加，極大地增加了未來大數(shù)據(jù)的復(fù)雜度。26目前大數(shù)據(jù)規(guī)模─示例天文觀測(cè)數(shù)據(jù)：SloanDigitalSkySurvey:2000年部署幾周收集的數(shù)據(jù)比歷史上收集的數(shù)據(jù)還多每晚收集200G的數(shù)據(jù)，已收集了140TB=1.4x105GB的數(shù)據(jù)LargeSynopticSurveyTelescope:2016年完成部署每5天可收集105GB的數(shù)據(jù)物理實(shí)驗(yàn)數(shù)據(jù)：LargeHadronCollider:2010年一年產(chǎn)生13PB=1.3x107GB數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù):Facebook：用戶超7億，每月上傳10億照片，每天生成3x105GB日志數(shù)據(jù)淘寶：有3.7億會(huì)員，在線商品8.8億，每天交易數(shù)千萬，產(chǎn)生2x104GB數(shù)據(jù)IBM估計(jì):全球每天生成2.5EB=2.5x109GB數(shù)據(jù)，90%的已有數(shù)據(jù)是過去兩年生成的Cisco預(yù)測(cè):到2013年，互聯(lián)網(wǎng)上的數(shù)據(jù)將達(dá)到667EB=6.67x1011GB27收集的數(shù)據(jù)還沒有實(shí)現(xiàn)高度共享和深度利用

2.超大規(guī)模：為保證可靠性，需要存儲(chǔ)數(shù)據(jù)副本，實(shí)際存儲(chǔ)的數(shù)據(jù)量數(shù)倍于凈數(shù)據(jù)量

3.時(shí)空屬性：包含時(shí)間與位置信息

4.模糊高維：數(shù)據(jù)未必精確和完整：傳感器誤差，網(wǎng)絡(luò)中斷……

5.數(shù)據(jù)維度高：例如一次體檢可以得到數(shù)百項(xiàng)生命體征數(shù)據(jù)大數(shù)據(jù)特點(diǎn)28大數(shù)據(jù)與常規(guī)數(shù)據(jù)的對(duì)比常規(guī)數(shù)據(jù)范圍廣模態(tài)多增長(zhǎng)快關(guān)聯(lián)繁數(shù)據(jù)規(guī)模較小模態(tài)屬性受限增長(zhǎng)速度較慢關(guān)聯(lián)相對(duì)簡(jiǎn)單稠密與稀疏共存冗余與缺失并在動(dòng)態(tài)與靜態(tài)互現(xiàn)顯式與隱藏均有特性問題描述與存儲(chǔ)的挑戰(zhàn)分析與理解的挑戰(zhàn)挖掘與預(yù)測(cè)的挑戰(zhàn)挑戰(zhàn)大數(shù)據(jù)應(yīng)用目標(biāo)相對(duì)比較明確數(shù)據(jù)結(jié)構(gòu)相對(duì)比較簡(jiǎn)單時(shí)序長(zhǎng)持續(xù)時(shí)間較短處理方法通常為模型化、參數(shù)化

錢學(xué)森“綜合集成”理論的啟示

一個(gè)科學(xué)新領(lǐng)域------開放的復(fù)雜巨系統(tǒng)及其方法論錢學(xué)森-戴汝為:“綜合集成”(meta-synthesis)科學(xué)方法論

“綜合集成”可以解讀為從定性到定量的科學(xué)研討廳(hallforworkshop)“綜合集成”方法論:1+1>2[J].自然雜志,1990大數(shù)據(jù)時(shí)代的軟件服務(wù)工程

拓新“綜合集成的迭代整合”科學(xué)方法論“綜合集成”可拓展為以科研社交網(wǎng)絡(luò)的民主形式，從定性到定量的科研整合“定性”：是指面向領(lǐng)域或主題、運(yùn)用專家的定性智慧，建立大數(shù)據(jù)處理知識(shí)的聚類，形成少數(shù)幾種可能的大數(shù)據(jù)價(jià)值服務(wù)的基本解決方案及其本體。

面向領(lǐng)域或主題的大數(shù)據(jù)服務(wù)的共性需求解決方案“定量”：細(xì)化解決方案本體,對(duì)同類或異類方案之間的關(guān)聯(lián),通過語義互操作構(gòu)造與管理的關(guān)聯(lián)計(jì)算，建立大數(shù)據(jù)處理的基本知識(shí)；隨著時(shí)間與空間的變化,不斷吸收與迭代整合:來自歷史大數(shù)據(jù)的知識(shí)與基于運(yùn)行時(shí)反射機(jī)理的用戶網(wǎng)頁(yè)個(gè)性化標(biāo)注的相關(guān)內(nèi)容,動(dòng)態(tài)演化生長(zhǎng)

形成面向領(lǐng)域或主題的大數(shù)據(jù)服務(wù)的富知識(shí)從定性到定量整合的科學(xué)研討廳(hallforworkshop)

：支撐領(lǐng)域或主題大數(shù)據(jù)處理知識(shí)的規(guī)?；霞捌溲莼腜aaS(平臺(tái)作為服務(wù))，并接入面向多樣價(jià)值目標(biāo)的異域異構(gòu)大數(shù)據(jù)服務(wù)SaaS(軟件作為服務(wù))綜合與互操作實(shí)現(xiàn)。

PaaS+SaaS厚積簿發(fā)：面向領(lǐng)域或主題的富知識(shí),實(shí)現(xiàn)在線流式大數(shù)據(jù)分析的可伸縮、可選擇的按需價(jià)值服務(wù)科學(xué)家與鞋匠所見略同“定性”:鞋匠按手工方式做鞋，因各人尺寸各異，覺得鞋子采用個(gè)案生產(chǎn)，天經(jīng)地義；但做到第10000雙時(shí)，感悟復(fù)雜中存在簡(jiǎn)單，幾十種鞋碼足以滿足大眾個(gè)