大數(shù)據(jù)專題 課件

大數(shù)據(jù)專題課件1什么是大數(shù)據(jù)？海量數(shù)據(jù)本身+處理方法大數(shù)據(jù)的產(chǎn)生及概念什么是大數(shù)據(jù)？大數(shù)據(jù)的產(chǎn)生及概念2*facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Apps移動(dòng)互聯(lián)…21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景*facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、A3網(wǎng)上1分鐘，人間1萬年網(wǎng)上1分鐘，人間1萬年4物聯(lián)網(wǎng)加速大數(shù)據(jù)的發(fā)展物聯(lián)網(wǎng)加速大數(shù)據(jù)的發(fā)展5指數(shù)型增長(zhǎng)的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長(zhǎng)。根據(jù)麥肯錫全球研究院（MGI）估計(jì)，全球企業(yè)2010年在硬盤上存儲(chǔ)了超過7EB（1EB等于10億GB）的新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲(chǔ)了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書館中存儲(chǔ)的數(shù)據(jù)的4000多倍。事實(shí)上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲(chǔ)下來。例如，醫(yī)療衛(wèi)生提供商會(huì)處理掉他們所產(chǎn)生的90%的數(shù)據(jù)（比如手術(shù)過程中產(chǎn)生的幾乎所有實(shí)時(shí)視頻圖像）。指數(shù)型增長(zhǎng)的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)6GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)指數(shù)型增長(zhǎng)的海量數(shù)據(jù)GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的7TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)根據(jù)IDC監(jiān)測(cè)，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，大約每?jī)赡攴环?，這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時(shí)代正在來臨..TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化8大數(shù)據(jù)的概念與構(gòu)成大數(shù)據(jù)是指社會(huì)生產(chǎn)生活和管理服務(wù)過程中形成的，依托現(xiàn)代信息技術(shù)采集、傳輸、匯總的，超過傳統(tǒng)數(shù)據(jù)系統(tǒng)處理能力的數(shù)據(jù)，具有數(shù)據(jù)量大、數(shù)據(jù)類型多、處理速度快的特點(diǎn)，通過整合共享、交叉復(fù)用、提取分析可獲取新知識(shí)，創(chuàng)造新價(jià)值。大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)處理方法海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。大數(shù)據(jù)的概念與構(gòu)成大數(shù)據(jù)是指社會(huì)生產(chǎn)生活和管理服務(wù)過程中形成9大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Varie10理解大數(shù)據(jù)商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問和計(jì)算。當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。密不可分的大數(shù)據(jù)與云計(jì)算大數(shù)據(jù)是落地的云理解大數(shù)據(jù)商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種11理解大數(shù)據(jù)理解大數(shù)據(jù)12*大數(shù)據(jù)不僅僅是“大”多大？至少PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值理解大數(shù)據(jù)*大數(shù)據(jù)不僅僅是“大”多大？比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)13*軟件是大數(shù)據(jù)的引擎理解大數(shù)據(jù)*軟件是大數(shù)據(jù)的引擎理解大數(shù)據(jù)14*大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象理解大數(shù)據(jù)*大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是15理解大數(shù)據(jù)如何讓大數(shù)據(jù)更有意義是重點(diǎn)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化的核心非結(jié)構(gòu)化海量信息的智能化處理：自然語言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等麻省理工學(xué)院數(shù)字商業(yè)中心的首席科學(xué)家安德魯麥卡菲對(duì)北美33家上市公司的高管進(jìn)行了結(jié)構(gòu)性訪談之后發(fā)現(xiàn)：運(yùn)用大數(shù)據(jù)做決策的那些行業(yè)領(lǐng)先企業(yè)，比其競(jìng)爭(zhēng)對(duì)手在產(chǎn)能上高5%，利潤(rùn)上高6%。理解大數(shù)據(jù)如何讓大數(shù)據(jù)更有意義是重點(diǎn)；16大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：存儲(chǔ)解決方案：17能夠在不同的數(shù)據(jù)類型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技術(shù)之一。語義分析技術(shù)、圖文轉(zhuǎn)換技術(shù)、模式識(shí)別技術(shù)、地理信息技術(shù)等等，都在大數(shù)據(jù)分析時(shí)獲得應(yīng)用。大數(shù)據(jù)相關(guān)技術(shù)能夠在不同的數(shù)據(jù)類型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技18大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式19新模式正在出現(xiàn)基于SQL語言:

面對(duì)OLAP的傳統(tǒng)行和列不基于SQL或map-reduce的:

由谷歌率先發(fā)起數(shù)據(jù)流:

基于運(yùn)行商數(shù)據(jù)直接生成任意圖形新平臺(tái)技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺(tái)分析不同范圍的服務(wù)前提：傳統(tǒng)交付模式

-

單片或基于設(shè)備的解決方案云:

能夠充分利用物理設(shè)施的彈性，以實(shí)現(xiàn)處理快速增長(zhǎng)數(shù)據(jù)的能力“數(shù)據(jù)庫將演變成一個(gè)虛擬的，基于云計(jì)算，超級(jí)可擴(kuò)展的分布式平臺(tái)?！?ForresteranalystJimKobielus新的傳輸方案新模式正在出現(xiàn)基于SQL語言:面對(duì)OLAP的傳統(tǒng)行和列不基20大數(shù)據(jù)的組成部分大數(shù)據(jù)技術(shù)：圖像、音頻、視頻、非結(jié)構(gòu)化、社交關(guān)系數(shù)據(jù)處理技術(shù)商；現(xiàn)有IT系統(tǒng)改造商：大數(shù)據(jù)咨詢公司、集成商、ERP、商務(wù)智能、客戶關(guān)系管理系統(tǒng)；終端提供商向數(shù)據(jù)提供商演進(jìn)：對(duì)現(xiàn)有客戶數(shù)據(jù)的深度把握、建立客戶之間的社交和聯(lián)系；大數(shù)據(jù)的組成部分大數(shù)據(jù)技術(shù)：圖像、音頻、視頻、非結(jié)構(gòu)化、社交21展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大特征的指引下，大數(shù)據(jù)將有新型的展現(xiàn)方式：大型控制中心和移動(dòng)終端，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和快速?zèng)Q策。展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大特征22大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務(wù)可延伸范圍大數(shù)據(jù)的重要性大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務(wù)可延伸范圍大數(shù)據(jù)的23更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部24挖掘內(nèi)部需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個(gè)冷冰冰的系統(tǒng)，而變成了推動(dòng)業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求的真正推動(dòng)劑；大數(shù)據(jù)將催生更多的應(yīng)用領(lǐng)域需求。挖掘內(nèi)部需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個(gè)冷冰冰的系統(tǒng)，而變25產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點(diǎn)擊，每一次評(píng)論，每一個(gè)視頻點(diǎn)播，就是大數(shù)據(jù)的典型來源?；ヂ?lián)網(wǎng)企業(yè)之所以取得令人矚目的成績(jī)，其核心的本質(zhì)就是包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)，進(jìn)行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實(shí)的需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費(fèi)重金都難以企及的夢(mèng)想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺(tái)級(jí)公司的附庸。產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點(diǎn)擊，每一26國(guó)外發(fā)展情況：萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)國(guó)外發(fā)展情況國(guó)外發(fā)展情況：萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)國(guó)外發(fā)展情況27衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對(duì)28IBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o論在流量、種類、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉庫中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門開發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫和數(shù)據(jù)庫軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftwareIBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)29國(guó)外已經(jīng)開始大規(guī)模投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美國(guó)護(hù)照系統(tǒng)。IBM宣布投資1億美元用于大數(shù)據(jù)研究；美國(guó)IT公司開始意識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)楣緞?chuàng)造價(jià)值；大數(shù)據(jù)公司引入汽車行業(yè)高管人員擴(kuò)展?fàn)I銷業(yè)務(wù)；國(guó)外已經(jīng)開始大規(guī)模投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美30大數(shù)據(jù)在國(guó)內(nèi)的機(jī)遇大數(shù)據(jù)在國(guó)內(nèi)的機(jī)遇31云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程國(guó)內(nèi)各地制定云計(jì)算“十二五”規(guī)劃云計(jì)算、物聯(lián)網(wǎng)園區(qū)中國(guó)各地制定或公布了云計(jì)算、物聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)劃；這些工程的初始著眼點(diǎn)在房地產(chǎn)，政績(jī)工程居多，大數(shù)據(jù)作為核心內(nèi)容端，使得政績(jī)工程變?yōu)槭褂霉こ獭?/p>

云計(jì)算、物聯(lián)網(wǎng)、社交化媒體、GIS為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個(gè)用戶的身份、地點(diǎn)、時(shí)間、喜好、厭惡、社會(huì)關(guān)系等等大量的信息。伴隨數(shù)據(jù)挖掘和分析的技術(shù)發(fā)展，我們即將步入基于大數(shù)據(jù)的智能化時(shí)代。云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程國(guó)內(nèi)各地制定云計(jì)算“十二32商業(yè)模式發(fā)生改變賣license賣服務(wù)從對(duì)license的需求到對(duì)整體解決方案、服務(wù)的需求易復(fù)制、利潤(rùn)率高邊際成本為零賣人頭盜版客戶粘度高軟硬一體化利潤(rùn)率較賣license低，需要解決復(fù)用問題因泛在計(jì)算而導(dǎo)致行業(yè)需求變化利用好海量的大數(shù)據(jù)，解決中國(guó)軟件公司賣人頭、賣授權(quán)、無粘度的商業(yè)模式，轉(zhuǎn)變?yōu)橐詳?shù)據(jù)服務(wù)為核心的新商業(yè)模式。商業(yè)模式發(fā)生改變賣license賣服務(wù)從對(duì)license的需33啟發(fā)各行業(yè)對(duì)IT系統(tǒng)投資新熱點(diǎn)不同行業(yè)中，企業(yè)信息化成熟度差異明顯；政府等行業(yè)的信息化成熟度明顯領(lǐng)先，總體處于擴(kuò)展和整合優(yōu)化階段；除金融和電信之外的服務(wù)行業(yè)的信息化建設(shè)成熟度相對(duì)較低,仍處在成長(zhǎng)階段。對(duì)大數(shù)據(jù)的處理需求將啟發(fā)對(duì)于IT系統(tǒng)投資新熱點(diǎn)，證實(shí)IT推動(dòng)業(yè)務(wù)發(fā)展，增加對(duì)IT投資。從IT系統(tǒng)走向大數(shù)據(jù)決策分析未來著眼點(diǎn)在于服務(wù)2000制造業(yè)金融電信政府互聯(lián)網(wǎng)企業(yè)自動(dòng)化走向初步信息化快速發(fā)展整體解決方案需求年600億投資規(guī)模信息化走向移動(dòng)互聯(lián)化基本架構(gòu)已經(jīng)建立相對(duì)成熟500億以上投資規(guī)模手工化向自動(dòng)化轉(zhuǎn)型：成熟度低成長(zhǎng)階段中國(guó)建筑信息化投入占總收入0.03%建筑流通移動(dòng)互聯(lián)化數(shù)據(jù)智能化大數(shù)據(jù)啟發(fā)各行業(yè)對(duì)IT系統(tǒng)投資新熱點(diǎn)不同行業(yè)中，企業(yè)信息化成熟度差34更多行業(yè)的應(yīng)用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實(shí)現(xiàn)綜合治理、業(yè)務(wù)開拓等目標(biāo)；應(yīng)用到制造等更多行業(yè)。更多行業(yè)的應(yīng)用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析35未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來IT投資重點(diǎn)不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個(gè)部門創(chuàng)造重大的財(cái)務(wù)價(jià)值，未來投資傾斜。未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來I36*數(shù)據(jù)的再利用：由于在信息價(jià)值鏈中的特殊位置，有些公司可能會(huì)收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長(zhǎng)再次利用這些數(shù)據(jù)。例如，移動(dòng)電話運(yùn)營(yíng)商手機(jī)用戶的位置信息來傳輸電話信號(hào)，這對(duì)以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維谷歌公司三者兼具，在剛開始收集數(shù)據(jù)的時(shí)候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機(jī)全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動(dòng)汽車以及谷歌眼鏡等與實(shí)景交匯的產(chǎn)品。未來，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶?！洞髷?shù)據(jù)時(shí)代》傳統(tǒng)行業(yè)最終都會(huì)轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的未來和機(jī)遇*數(shù)據(jù)的再利用：大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維37*大數(shù)據(jù)賦予我們洞察未來的能力馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購(gòu)買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一?！洞髷?shù)據(jù)時(shí)代》大數(shù)據(jù)的未來和機(jī)遇*大數(shù)據(jù)賦予我們洞察未來的能力馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危38大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展成功企業(yè)具備的時(shí)代特征大數(shù)據(jù)云計(jì)算物聯(lián)網(wǎng)平臺(tái)移動(dòng)互聯(lián)語義網(wǎng)智能化大數(shù)據(jù)時(shí)代能產(chǎn)生大數(shù)據(jù)，如電信運(yùn)營(yíng)商，互聯(lián)網(wǎng)門戶具備大數(shù)據(jù)挖掘能力，如Google，百度能應(yīng)用大數(shù)據(jù)進(jìn)行垂直整合，如蘋果，淘寶工業(yè)時(shí)代信息時(shí)代手工時(shí)代大數(shù)據(jù)時(shí)代典型特征在大數(shù)據(jù)時(shí)代，讓數(shù)據(jù)成為資產(chǎn)，三類企業(yè)將獲得成功時(shí)代變遷掌握”入口”是共性大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展成功企業(yè)具備的時(shí)代特征大數(shù)據(jù)移動(dòng)互聯(lián)大數(shù)39平臺(tái)化滿足用戶個(gè)性化需求，企業(yè)才能持續(xù)領(lǐng)先自動(dòng)交互個(gè)性化需求滿足平臺(tái)自愿進(jìn)入自我增值產(chǎn)品銷售規(guī)?；a(chǎn)品供應(yīng)流程批量生產(chǎn)服務(wù)響應(yīng)顛覆性創(chuàng)新傳統(tǒng)的以產(chǎn)品營(yíng)銷和服務(wù)為核心的商業(yè)模式，構(gòu)建以用戶需求為核心的平臺(tái)生態(tài)圈，形成用戶：自愿進(jìn)入（搭建以用戶為核心的開放交互平臺(tái)）；自動(dòng)交互（過程中應(yīng)用大數(shù)據(jù)分析挖掘形成用戶知識(shí)）；自我增值（整合網(wǎng)絡(luò)資源為用戶提供個(gè)性化解決方案服務(wù)）的商業(yè)模式大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展平臺(tái)化滿足用戶個(gè)性化需求，企業(yè)才能持續(xù)領(lǐng)先自動(dòng)個(gè)性化自愿自我40大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展向平臺(tái)生態(tài)圈企業(yè)轉(zhuǎn)型，企業(yè)需經(jīng)歷三個(gè)階段平臺(tái)化轉(zhuǎn)型期采集大數(shù)據(jù)，形成“入口”能力（~1年時(shí)間）平臺(tái)化發(fā)展期應(yīng)用“入口”大數(shù)據(jù)，服務(wù)產(chǎn)品化（2~3年時(shí)間）平臺(tái)生態(tài)圈發(fā)展期垂直整合，“入口”能力釋放（持續(xù)發(fā)展）開發(fā)能采集用戶大數(shù)據(jù)的智能產(chǎn)品、完善運(yùn)營(yíng)大數(shù)據(jù)的采集能力形成大數(shù)據(jù)采集、存儲(chǔ)和管理的技術(shù)平臺(tái)內(nèi)外部數(shù)據(jù)梳理和整合，形成統(tǒng)一的用戶大數(shù)據(jù)和運(yùn)營(yíng)大數(shù)據(jù)整合數(shù)據(jù)挖掘資源和能力，應(yīng)用內(nèi)外大數(shù)據(jù)支撐產(chǎn)品領(lǐng)先和消費(fèi)體驗(yàn)領(lǐng)先戰(zhàn)略發(fā)展大數(shù)據(jù)技術(shù)平臺(tái)成熟基于用戶的大數(shù)據(jù)內(nèi)生和應(yīng)用平臺(tái)形成形成1~2個(gè)領(lǐng)先型大數(shù)據(jù)產(chǎn)品擁有強(qiáng)大的數(shù)據(jù)挖掘資源和能力，對(duì)大數(shù)據(jù)進(jìn)行價(jià)值挖掘和應(yīng)用，數(shù)據(jù)價(jià)值開始顯著發(fā)揮形成網(wǎng)絡(luò)化的大數(shù)據(jù)采集體系整合相關(guān)資源形成開放生態(tài)圈平臺(tái)，成為平臺(tái)生態(tài)圈發(fā)展的主導(dǎo)者基于生態(tài)圈平臺(tái)，能為用戶提供多元化的精確性服務(wù)，搶占用戶的心理份額、生活份額、錢包份額大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展向平臺(tái)生態(tài)圈企業(yè)轉(zhuǎn)型，企業(yè)需經(jīng)歷三個(gè)階段41數(shù)據(jù)源內(nèi)部結(jié)構(gòu)化數(shù)據(jù)外部其他渠道網(wǎng)絡(luò)/應(yīng)用日志EDW（內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)）用戶基本信息數(shù)據(jù)庫Hadoop（內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)）Hadoop/GPFSClusterMapReduce&Analytics網(wǎng)絡(luò)日志分析內(nèi)容分析交互數(shù)據(jù)分析個(gè)體分析用戶購(gòu)買記錄數(shù)據(jù)庫用戶維修記錄數(shù)據(jù)庫內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)社會(huì)化媒體數(shù)據(jù)生產(chǎn)、銷售、服務(wù)、售后數(shù)據(jù)數(shù)據(jù)應(yīng)用倉庫用戶在線瀏覽據(jù)庫用戶安裝配送數(shù)據(jù)庫。。。。。其他數(shù)據(jù)集清洗整合用戶數(shù)據(jù)清洗整合規(guī)則確定ETLDQ數(shù)據(jù)清洗、整合、轉(zhuǎn)換開發(fā)清洗整合規(guī)則自動(dòng)調(diào)度規(guī)則與標(biāo)準(zhǔn)制定用戶信息歸屬規(guī)則確定用戶數(shù)據(jù)使用權(quán)限與流程確定用戶數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)確定數(shù)據(jù)應(yīng)用/服務(wù)營(yíng)銷/關(guān)懷活動(dòng)自動(dòng)化管理商業(yè)智能管理駕駛艙業(yè)務(wù)報(bào)表專題分析嵌入運(yùn)營(yíng)系統(tǒng)的大數(shù)據(jù)應(yīng)用信息可視化工具CRMSCMMESPLM平臺(tái)化企業(yè)，需要大數(shù)據(jù)架構(gòu)的支撐大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展數(shù)據(jù)源內(nèi)部結(jié)構(gòu)化數(shù)據(jù)外部其他渠道網(wǎng)絡(luò)/應(yīng)用日志EDW（內(nèi)外42【案例】阿里大數(shù)據(jù)平臺(tái)生態(tài)圈發(fā)展史內(nèi)部建設(shè)云梯1技術(shù)平臺(tái)業(yè)務(wù)需求驅(qū)動(dòng)，分析PV，UV等行業(yè)基礎(chǔ)指標(biāo)，優(yōu)化用戶消費(fèi)體驗(yàn)在小網(wǎng)站聯(lián)盟投放廣告，并進(jìn)行精準(zhǔn)投放分析需求，發(fā)展聚集用戶，發(fā)展入口~20062007~20112012~入口爆發(fā)式增長(zhǎng)，用戶大數(shù)據(jù)形成數(shù)據(jù)開放，形成系列化產(chǎn)品應(yīng)用：為商戶提供“活動(dòng)直播間”、“數(shù)據(jù)魔方”、“量子恒道”等付費(fèi)服務(wù)；為用戶提供“一淘”、“雙11”、“聚劃算”等免費(fèi)服務(wù)或活動(dòng)；為內(nèi)部提供“淘數(shù)據(jù)”，“KPI系統(tǒng)”等產(chǎn)品技術(shù)平臺(tái)向Hadoop開源平臺(tái)遷移投資sina微博，開展微博社會(huì)化網(wǎng)購(gòu)?fù)顿Y高德，整合位置地理信息資源聯(lián)合基金公司，發(fā)展用戶互聯(lián)網(wǎng)金融為企業(yè)和用戶提供信貸，發(fā)展供應(yīng)鏈金融投資UC，強(qiáng)化移動(dòng)互聯(lián)入口······平臺(tái)生態(tài)圈成熟期垂直整合發(fā)展平臺(tái)生態(tài)圈發(fā)展期入口聚集用戶，服務(wù)產(chǎn)品化發(fā)展平臺(tái)建設(shè)初期聚集用戶，發(fā)展入口大數(shù)據(jù)時(shí)代的企業(yè)發(fā)展【案例】阿里大數(shù)據(jù)平臺(tái)生態(tài)圈發(fā)展史內(nèi)部建設(shè)云梯1技術(shù)平臺(tái)~243大數(shù)據(jù)專題課件44什么是大數(shù)據(jù)？海量數(shù)據(jù)本身+處理方法大數(shù)據(jù)的產(chǎn)生及概念什么是大數(shù)據(jù)？大數(shù)據(jù)的產(chǎn)生及概念45*facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、Apps移動(dòng)互聯(lián)…21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。“大數(shù)據(jù)”的誕生半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景*facebook社交網(wǎng)絡(luò)…淘寶、ebuy電子商務(wù)…微博、A46網(wǎng)上1分鐘，人間1萬年網(wǎng)上1分鐘，人間1萬年47物聯(lián)網(wǎng)加速大數(shù)據(jù)的發(fā)展物聯(lián)網(wǎng)加速大數(shù)據(jù)的發(fā)展48指數(shù)型增長(zhǎng)的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長(zhǎng)。根據(jù)麥肯錫全球研究院（MGI）估計(jì)，全球企業(yè)2010年在硬盤上存儲(chǔ)了超過7EB（1EB等于10億GB）的新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲(chǔ)了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書館中存儲(chǔ)的數(shù)據(jù)的4000多倍。事實(shí)上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲(chǔ)下來。例如，醫(yī)療衛(wèi)生提供商會(huì)處理掉他們所產(chǎn)生的90%的數(shù)據(jù)（比如手術(shù)過程中產(chǎn)生的幾乎所有實(shí)時(shí)視頻圖像）。指數(shù)型增長(zhǎng)的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)49GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)指數(shù)型增長(zhǎng)的海量數(shù)據(jù)GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的50TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式的增長(zhǎng)根據(jù)IDC監(jiān)測(cè)，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)，大約每?jī)赡攴环?，這個(gè)速度在2020年之前會(huì)繼續(xù)保持下去。這意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量數(shù)據(jù)量增加數(shù)據(jù)結(jié)構(gòu)日趨復(fù)雜這些由我們創(chuàng)造的信息背后產(chǎn)生的這些數(shù)據(jù)早已經(jīng)遠(yuǎn)遠(yuǎn)超越了目前人力所能處理的范疇大數(shù)據(jù)時(shí)代正在來臨..TBPBZBEB大量新數(shù)據(jù)源的出現(xiàn)則導(dǎo)致了非結(jié)構(gòu)化、半結(jié)構(gòu)化51大數(shù)據(jù)的概念與構(gòu)成大數(shù)據(jù)是指社會(huì)生產(chǎn)生活和管理服務(wù)過程中形成的，依托現(xiàn)代信息技術(shù)采集、傳輸、匯總的，超過傳統(tǒng)數(shù)據(jù)系統(tǒng)處理能力的數(shù)據(jù)，具有數(shù)據(jù)量大、數(shù)據(jù)類型多、處理速度快的特點(diǎn)，通過整合共享、交叉復(fù)用、提取分析可獲取新知識(shí)，創(chuàng)造新價(jià)值。大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)處理方法海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進(jìn)行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。大數(shù)據(jù)的概念與構(gòu)成大數(shù)據(jù)是指社會(huì)生產(chǎn)生活和管理服務(wù)過程中形成52大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)的4V特征“大量化(Volume)、多樣化(Varie53理解大數(shù)據(jù)商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問和計(jì)算。當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國(guó)家、企業(yè)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。密不可分的大數(shù)據(jù)與云計(jì)算大數(shù)據(jù)是落地的云理解大數(shù)據(jù)商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)的一種54理解大數(shù)據(jù)理解大數(shù)據(jù)55*大數(shù)據(jù)不僅僅是“大”多大？至少PB級(jí)比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值理解大數(shù)據(jù)*大數(shù)據(jù)不僅僅是“大”多大？比大更重要的是數(shù)據(jù)的復(fù)雜性，有時(shí)56*軟件是大數(shù)據(jù)的引擎理解大數(shù)據(jù)*軟件是大數(shù)據(jù)的引擎理解大數(shù)據(jù)57*大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象理解大數(shù)據(jù)*大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營(yíng)銷通過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是58理解大數(shù)據(jù)如何讓大數(shù)據(jù)更有意義是重點(diǎn)；對(duì)非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化的核心非結(jié)構(gòu)化海量信息的智能化處理：自然語言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等麻省理工學(xué)院數(shù)字商業(yè)中心的首席科學(xué)家安德魯麥卡菲對(duì)北美33家上市公司的高管進(jìn)行了結(jié)構(gòu)性訪談之后發(fā)現(xiàn)：運(yùn)用大數(shù)據(jù)做決策的那些行業(yè)領(lǐng)先企業(yè)，比其競(jìng)爭(zhēng)對(duì)手在產(chǎn)能上高5%，利潤(rùn)上高6%。理解大數(shù)據(jù)如何讓大數(shù)據(jù)更有意義是重點(diǎn)；59大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲(chǔ)；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲(chǔ)不利于檢索、查詢和存儲(chǔ)半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲(chǔ)按照非結(jié)構(gòu)化存儲(chǔ)解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：存儲(chǔ)解決方案：60能夠在不同的數(shù)據(jù)類型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技術(shù)之一。語義分析技術(shù)、圖文轉(zhuǎn)換技術(shù)、模式識(shí)別技術(shù)、地理信息技術(shù)等等，都在大數(shù)據(jù)分析時(shí)獲得應(yīng)用。大數(shù)據(jù)相關(guān)技術(shù)能夠在不同的數(shù)據(jù)類型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技61大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式大數(shù)據(jù)的展現(xiàn)方式62新模式正在出現(xiàn)基于SQL語言:

面對(duì)OLAP的傳統(tǒng)行和列不基于SQL或map-reduce的:

由谷歌率先發(fā)起數(shù)據(jù)流:

基于運(yùn)行商數(shù)據(jù)直接生成任意圖形新平臺(tái)技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺(tái)分析不同范圍的服務(wù)前提：傳統(tǒng)交付模式

-

單片或基于設(shè)備的解決方案云:

能夠充分利用物理設(shè)施的彈性，以實(shí)現(xiàn)處理快速增長(zhǎng)數(shù)據(jù)的能力“數(shù)據(jù)庫將演變成一個(gè)虛擬的，基于云計(jì)算，超級(jí)可擴(kuò)展的分布式平臺(tái)。”-ForresteranalystJimKobielus新的傳輸方案新模式正在出現(xiàn)基于SQL語言:面對(duì)OLAP的傳統(tǒng)行和列不基63大數(shù)據(jù)的組成部分大數(shù)據(jù)技術(shù)：圖像、音頻、視頻、非結(jié)構(gòu)化、社交關(guān)系數(shù)據(jù)處理技術(shù)商；現(xiàn)有IT系統(tǒng)改造商：大數(shù)據(jù)咨詢公司、集成商、ERP、商務(wù)智能、客戶關(guān)系管理系統(tǒng)；終端提供商向數(shù)據(jù)提供商演進(jìn)：對(duì)現(xiàn)有客戶數(shù)據(jù)的深度把握、建立客戶之間的社交和聯(lián)系；大數(shù)據(jù)的組成部分大數(shù)據(jù)技術(shù)：圖像、音頻、視頻、非結(jié)構(gòu)化、社交64展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大特征的指引下，大數(shù)據(jù)將有新型的展現(xiàn)方式：大型控制中心和移動(dòng)終端，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和快速?zèng)Q策。展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大特征65大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務(wù)可延伸范圍大數(shù)據(jù)的重要性大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務(wù)可延伸范圍大數(shù)據(jù)的66更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部67挖掘內(nèi)部需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個(gè)冷冰冰的系統(tǒng)，而變成了推動(dòng)業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求的真正推動(dòng)劑；大數(shù)據(jù)將催生更多的應(yīng)用領(lǐng)域需求。挖掘內(nèi)部需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個(gè)冷冰冰的系統(tǒng)，而變68產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點(diǎn)擊，每一次評(píng)論，每一個(gè)視頻點(diǎn)播，就是大數(shù)據(jù)的典型來源?；ヂ?lián)網(wǎng)企業(yè)之所以取得令人矚目的成績(jī)，其核心的本質(zhì)就是包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)，進(jìn)行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實(shí)的需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費(fèi)重金都難以企及的夢(mèng)想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺(tái)級(jí)公司的附庸。產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點(diǎn)擊，每一69國(guó)外發(fā)展情況：萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)國(guó)外發(fā)展情況國(guó)外發(fā)展情況：萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)國(guó)外發(fā)展情況70衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對(duì)71IBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o論在流量、種類、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉庫中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門開發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫和數(shù)據(jù)庫軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftwareIBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)72國(guó)外已經(jīng)開始大規(guī)模投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美國(guó)護(hù)照系統(tǒng)。IBM宣布投資1億美元用于大數(shù)據(jù)研究；美國(guó)IT公司開始意識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)楣緞?chuàng)造價(jià)值；大數(shù)據(jù)公司引入汽車行業(yè)高管人員擴(kuò)展?fàn)I銷業(yè)務(wù)；國(guó)外已經(jīng)開始大規(guī)模投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美73大數(shù)據(jù)在國(guó)內(nèi)的機(jī)遇大數(shù)據(jù)在國(guó)內(nèi)的機(jī)遇74云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程國(guó)內(nèi)各地制定云計(jì)算“十二五”規(guī)劃云計(jì)算、物聯(lián)網(wǎng)園區(qū)中國(guó)各地制定或公布了云計(jì)算、物聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)劃；這些工程的初始著眼點(diǎn)在房地產(chǎn)，政績(jī)工程居多，大數(shù)據(jù)作為核心內(nèi)容端，使得政績(jī)工程變?yōu)槭褂霉こ獭?/p>

云計(jì)算、物聯(lián)網(wǎng)、社交化媒體、GIS為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個(gè)用戶的身份、地點(diǎn)、時(shí)間、喜好、厭惡、社會(huì)關(guān)系等等大量的信息。伴隨數(shù)據(jù)挖掘和分析的技術(shù)發(fā)展，我們即將步入基于大數(shù)據(jù)的智能化時(shí)代。云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程國(guó)內(nèi)各地制定云計(jì)算“十二75商業(yè)模式發(fā)生改變賣license賣服務(wù)從對(duì)license的需求到對(duì)整體解決方案、服務(wù)的需求易復(fù)制、利潤(rùn)率高邊際成本為零賣人頭盜版客戶粘度高軟硬一體化利潤(rùn)率較賣license低，需要解決復(fù)用問題因泛在計(jì)算而導(dǎo)致行業(yè)需求變化利用好海量的大數(shù)據(jù)，解決中國(guó)軟件公司賣人頭、賣授權(quán)、無粘度的商業(yè)模式，轉(zhuǎn)變?yōu)橐詳?shù)據(jù)服務(wù)為核心的新商業(yè)模式。商業(yè)模式發(fā)生改變賣license賣服務(wù)從對(duì)license的需76啟發(fā)各行業(yè)對(duì)IT系統(tǒng)投資新熱點(diǎn)不同行業(yè)中，企業(yè)信息化成熟度差異明顯；政府等行業(yè)的信息化成熟度明顯領(lǐng)先，總體處于擴(kuò)展和整合優(yōu)化階段；除金融和電信之外的服務(wù)行業(yè)的信息化建設(shè)成熟度相對(duì)較低,仍處在成長(zhǎng)階段。對(duì)大數(shù)據(jù)的處理需求將啟發(fā)對(duì)于IT系統(tǒng)投資新熱點(diǎn)，證實(shí)IT推動(dòng)業(yè)務(wù)發(fā)展，增加對(duì)IT投資。從IT系統(tǒng)走向大數(shù)據(jù)決策分析未來著眼點(diǎn)在于服務(wù)2000制造業(yè)金融電信政府互聯(lián)網(wǎng)企業(yè)自動(dòng)化走向初步信息化快速發(fā)展整體解決方案需求年600億投資規(guī)模信息化走向移動(dòng)互聯(lián)化基本架構(gòu)已經(jīng)建立相對(duì)成熟500億以上投資規(guī)模手工化向自動(dòng)化轉(zhuǎn)型：成熟度低成長(zhǎng)階段中國(guó)建筑信息化投入占總收入0.03%建筑流通移動(dòng)互聯(lián)化數(shù)據(jù)智能化大數(shù)據(jù)啟發(fā)各行業(yè)對(duì)IT系統(tǒng)投資新熱點(diǎn)不同行業(yè)中，企業(yè)信息化成熟度差77更多行業(yè)的應(yīng)用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實(shí)現(xiàn)綜合治理、業(yè)務(wù)開拓等目標(biāo)；應(yīng)用到制造等更多行業(yè)。更多行業(yè)的應(yīng)用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析78未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來IT投資重點(diǎn)不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個(gè)部門創(chuàng)造重大的財(cái)務(wù)價(jià)值，未來投資傾斜。未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來I79*數(shù)據(jù)的再利用：由于在信息價(jià)值鏈中的特殊位置，有些公司可能會(huì)收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長(zhǎng)再次利用這些數(shù)據(jù)。例如，移動(dòng)電話運(yùn)營(yíng)商手機(jī)用戶的位置信息來傳輸電話信號(hào)，這對(duì)以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維谷歌公司三者兼具，在剛開始收集數(shù)據(jù)的時(shí)候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機(jī)全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動(dòng)汽車以及谷歌眼鏡等與實(shí)景交匯的產(chǎn)品。未來，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶?！洞髷?shù)據(jù)時(shí)代》傳統(tǒng)行業(yè)最終都會(huì)轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的未來和機(jī)遇*數(shù)據(jù)的再利用：大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維80*大數(shù)據(jù)賦予我們洞察未來的能力馬云成功預(yù)測(cè)2008年經(jīng)濟(jì)危機(jī)“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６裕I家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購(gòu)買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一?！洞髷?shù)