大數(shù)據(jù)引領(lǐng)我們走向數(shù)據(jù)智能時(shí)代

1、大數(shù)據(jù)引領(lǐng)我們走向數(shù)據(jù)智能化時(shí)代BigData專題報(bào)告易歡歡 yihhgjzq MSN： SAC執(zhí)業(yè)編號(hào)：2 主要內(nèi)容什么是大數(shù)據(jù)？海量非結(jié)構(gòu)化數(shù)據(jù)本身+處理方法大數(shù)據(jù)為什么重要？決定了企業(yè)是否有未來和業(yè)務(wù)可延伸范圍國(guó)外處于什么樣的一個(gè)情況？萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)由哪些方面組成？技術(shù)、改造、數(shù)據(jù)提供商、展現(xiàn)方式大數(shù)據(jù)在中國(guó)的機(jī)遇？投資重點(diǎn)、規(guī)模巨大、長(zhǎng)期大數(shù)據(jù)專題可能的演進(jìn)路徑相關(guān)投資標(biāo)的什么是大數(shù)據(jù)？ 海量數(shù)據(jù)本身+處理方法指數(shù)型增長(zhǎng)的海量數(shù)據(jù)所有研究都表明，未來數(shù)年數(shù)據(jù)量會(huì)呈現(xiàn)指數(shù)增長(zhǎng)。根據(jù)麥肯錫全球研究院（MGI）估計(jì)，全球企業(yè)2010年在硬盤上存儲(chǔ)了超過7EB（1EB等于10億

2、GB）的新數(shù)據(jù)，而消費(fèi)者在PC和筆記本等設(shè)備上存儲(chǔ)了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當(dāng)于美國(guó)國(guó)會(huì)圖書館中存儲(chǔ)的數(shù)據(jù)的4000多倍。事實(shí)上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲(chǔ)下來。例如，醫(yī)療衛(wèi)生提供商會(huì)處理掉他們所產(chǎn)生的90%的數(shù)據(jù)（比如手術(shù)過程中產(chǎn)生的幾乎所有實(shí)時(shí)視頻圖像）。存儲(chǔ)、分類、統(tǒng)計(jì)、建模、預(yù)測(cè)的技術(shù)手段能夠在不同的數(shù)據(jù)類型中，進(jìn)行交叉分析的技術(shù)，是大數(shù)據(jù)的核心技術(shù)之一。語(yǔ)義分析技術(shù)、圖文轉(zhuǎn)換技術(shù)、模式識(shí)別技術(shù)、地理信息技術(shù)等等，都在大數(shù)據(jù)分析時(shí)獲得應(yīng)用。大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務(wù)可延伸范圍更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部挖掘內(nèi)心需求經(jīng)過大數(shù)據(jù)改造的IT不再

3、是一個(gè)冷冰冰的系統(tǒng)，而變成了推動(dòng)業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求的真正推動(dòng)劑；大數(shù)據(jù)將催生更多的應(yīng)用領(lǐng)域需求。產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點(diǎn)擊，每一次評(píng)論，每一個(gè)視頻點(diǎn)播，就是大數(shù)據(jù)的典型來源。互聯(lián)網(wǎng)企業(yè)之所以取得令人矚目的成績(jī)，其核心的本質(zhì)就是包括用戶網(wǎng)絡(luò)操作的大數(shù)據(jù)，進(jìn)行記錄和分析，形成用戶“行為指紋”，從而洞悉用戶的潛在的、真實(shí)的需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費(fèi)重金都難以企及的夢(mèng)想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺(tái)級(jí)公司的附庸。國(guó)外什么情況？萬馬奔騰，搶占大數(shù)據(jù)高地衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)

4、網(wǎng)將變得越來越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求IBMOracleEMCMicrosoft角力大數(shù)據(jù) EMCEMC的大數(shù)

5、據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁(yè)上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫(kù)軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商Data Domain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了Archer Technologies, SourceLabs, FastScale Technology, Configuresoft, and Varonis Systems。IBMIBM的策略是

6、提供一個(gè)全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o論在流量、種類、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉(cāng)庫(kù)中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS, 花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG, 花費(fèi)3億4千萬美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性

7、能計(jì)算能力，并在2005年靠Windows Compute Cluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門開發(fā)了該公司的Dryad并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向Windows HPC Server的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGate Software國(guó)外已經(jīng)開始投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開發(fā)新的美國(guó)護(hù)照系統(tǒng)。IBM宣布投資1億美元用于大數(shù)據(jù)研究；美國(guó)IT公司開始意識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)楣緞?chuàng)造價(jià)值；大數(shù)據(jù)公司

8、引入汽車行業(yè)高管人員擴(kuò)展?fàn)I銷業(yè)務(wù)；大數(shù)據(jù)組成？技術(shù)改造數(shù)據(jù)提供商展現(xiàn)方式新玩家和新模式正在出現(xiàn)基于SQL語(yǔ)言: 面對(duì)OLAP的傳統(tǒng)行和列不基于SQL或map-reduce的: 由谷歌率先發(fā)起數(shù)據(jù)流: 基于運(yùn)行商數(shù)據(jù)直接生成任意圖形新平臺(tái)技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺(tái)分析不同范圍的服務(wù)前提：傳統(tǒng)交付模式-單片或基于設(shè)備的解決方案云: 能夠充分利用物理設(shè)施的彈性，以實(shí)現(xiàn)處理快速增長(zhǎng)數(shù)據(jù)的能力“數(shù)據(jù)庫(kù)將演變成一個(gè)虛擬的，基于云計(jì)算，超級(jí)可擴(kuò)展的分布式平臺(tái)?！? Forrester analyst Jim Kobielus新的傳輸方案大數(shù)據(jù)的各部分組成大數(shù)據(jù)技術(shù)：圖像、音頻、視頻、非結(jié)構(gòu)化、社交關(guān)系數(shù)據(jù)處

9、理技術(shù)商；現(xiàn)有IT系統(tǒng)改造商：大數(shù)據(jù)咨詢公司、集成商、ERP、商務(wù)智能、客戶關(guān)系管理系統(tǒng)；終端提供商向數(shù)據(jù)提供商演進(jìn)：對(duì)現(xiàn)有客戶數(shù)據(jù)的深度把握、建立客戶之間的社交和聯(lián)系；展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大特征的指引下，大數(shù)據(jù)將有新型的展現(xiàn)方式：大型控制中心和移動(dòng)終端，實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理和快速?zèng)Q策。大數(shù)據(jù)在中國(guó)的機(jī)遇？投資重點(diǎn)規(guī)模巨大長(zhǎng)期云計(jì)算、物聯(lián)網(wǎng)從政績(jī)工程變成實(shí)用工程國(guó)內(nèi)各地制定云計(jì)算“十二五”規(guī)劃云計(jì)算、物聯(lián)網(wǎng)園區(qū)中國(guó)各地制定或公布了云計(jì)算、物聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)劃；這些工程的初始著眼點(diǎn)在房地產(chǎn)，政績(jī)工程居多，大數(shù)據(jù)作為核心內(nèi)容端，使得政績(jī)工程變?yōu)槭褂霉こ?。云?jì)算、物聯(lián)網(wǎng)、

10、社交化媒體、GIS為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個(gè)用戶的身份、地點(diǎn)、時(shí)間、喜好、厭惡、社會(huì)關(guān)系等等大量的信息。伴隨數(shù)據(jù)挖掘和分析的技術(shù)發(fā)展，我們即將步入基于大數(shù)據(jù)的智能化時(shí)代。改變商業(yè)模式賣license賣服務(wù)從對(duì)license的需求到對(duì)整體解決方案、服務(wù)的需求易復(fù)制、利潤(rùn)率高邊際成本為零賣人頭盜版客戶粘度高軟硬一體化利潤(rùn)率較賣license低，需要解決復(fù)用問題因泛在計(jì)算而導(dǎo)致行業(yè)需求變化利用好海量的大數(shù)據(jù)，解決中國(guó)軟件公司賣人頭、賣授權(quán)、無粘度的商業(yè)模式，轉(zhuǎn)變?yōu)橐詳?shù)據(jù)服務(wù)為核心的新商業(yè)模式。啟發(fā)各行業(yè)對(duì)IT系統(tǒng)投資新熱點(diǎn)不同行業(yè)中，企業(yè)信息化成熟度差異明顯；政府 等行業(yè)

11、的信息 化成熟 度明顯領(lǐng)先，總 體處于擴(kuò)展和 整合優(yōu) 化階段 ；除金融和電信之外的服務(wù)行業(yè)的信息化建設(shè)成熟度相對(duì)較低,仍處 在成長(zhǎng)階段。對(duì)大數(shù)據(jù)的處理需求將啟發(fā)對(duì)于IT系統(tǒng)投資新熱點(diǎn)，證實(shí)IT推動(dòng)業(yè)務(wù)發(fā)展，增加對(duì)IT投資。從IT系統(tǒng)走向大數(shù)據(jù)決策分析未來著眼點(diǎn)在于服務(wù)2000制造業(yè)金融電信政府互聯(lián)網(wǎng)企業(yè)自動(dòng)化走向初步信息化快速發(fā)展整體解決方案需求年600億投資規(guī)模信息化走向移動(dòng)互聯(lián)化基本架構(gòu)已經(jīng)建立相對(duì)成熟500億以上投資規(guī)模手工化向自動(dòng)化轉(zhuǎn)型：成熟度低成長(zhǎng)階段中國(guó)建筑信息化投入占總收入0.03%建筑流通移動(dòng)互聯(lián)化數(shù)據(jù)智能化大數(shù)據(jù)大數(shù)據(jù)專題可能的演進(jìn)路徑中國(guó)互聯(lián)網(wǎng)重視并加大投資微博為新浪帶來巨

12、大價(jià)值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對(duì)未來的預(yù)測(cè)，是建立在對(duì)用戶行文分析的基礎(chǔ)上。通常而言，買家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購(gòu)買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。更多行業(yè)的應(yīng)用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實(shí)現(xiàn)綜合治理、業(yè)務(wù)開拓等目標(biāo)；應(yīng)用到制造等更多行業(yè)。未來IT投資重心轉(zhuǎn)移結(jié)構(gòu)化數(shù)據(jù)向非結(jié)構(gòu)化數(shù)據(jù)演進(jìn)，使得未來IT投資重點(diǎn)不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個(gè)部門創(chuàng)造重大的財(cái)物價(jià)