大數(shù)據(jù)現(xiàn)象與機(jī)遇課件

1、大數(shù)據(jù)、云計(jì)算與移動(dòng)應(yīng)用大數(shù)據(jù)、云計(jì)算第1講大數(shù)據(jù)現(xiàn)象與機(jī)遇Big Data & Cloud Computing2第1講大數(shù)據(jù)現(xiàn)象與機(jī)遇Big Data & Cloud 大數(shù)據(jù)現(xiàn)象與挑戰(zhàn)3大數(shù)據(jù)現(xiàn)象與挑戰(zhàn)3大數(shù)據(jù)成為全球新熱點(diǎn)數(shù)據(jù)來(lái)源：百度搜索量統(tǒng)計(jì)大數(shù)據(jù)成為全球新熱點(diǎn)數(shù)據(jù)來(lái)源：百度搜索量統(tǒng)計(jì)大數(shù)據(jù)現(xiàn)象大數(shù)據(jù)現(xiàn)象大數(shù)據(jù)產(chǎn)生原因來(lái)自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)來(lái)自大量傳感器的機(jī)器數(shù)據(jù)行業(yè)內(nèi)容數(shù)據(jù)多結(jié)構(gòu)專業(yè)數(shù)據(jù)大數(shù)據(jù)產(chǎn)生原因來(lái)自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)來(lái)自大量傳感器的機(jī)器全球每秒鐘發(fā)送 2.9 百萬(wàn)封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5 年每天會(huì)有 2.88 萬(wàn)個(gè)小時(shí)的視頻上傳到Y(jié)ou

2、tube，足夠一個(gè)人晝夜不息的觀看3.3 年推特上每天發(fā)布 5 千萬(wàn)條消息，假設(shè)10 秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16 年每天亞馬遜上將產(chǎn)生 6.3 百萬(wàn)筆訂單每個(gè)月網(wǎng)民在Facebook 上要花費(fèi)7 千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EBGoogle 上每天需要處理24PB 的數(shù)據(jù)在web 2.0的時(shí)代，人們從信息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者Big Data時(shí)代到來(lái)Web 2.0時(shí)代全球每秒鐘發(fā)送 2.9 百萬(wàn)封電子郵件，一分鐘讀一篇的話，足新摩爾定律全球數(shù)據(jù)總量每18個(gè)月翻番。大數(shù)據(jù)已經(jīng)成為一種自然資源大數(shù)據(jù)不被利用就是成本新摩爾定律全球數(shù)據(jù)總量每

3、18個(gè)月翻番。未來(lái)增長(zhǎng)不可限量來(lái)源：IDC數(shù)字宇宙研究報(bào)告，2011.11據(jù)IDC預(yù)測(cè)，未來(lái)10年全球數(shù)據(jù)量將以40+%的速度增長(zhǎng)，2020年全球數(shù)據(jù)量將達(dá)到35ZB （35,000,000PB），為2009年（0.8ZB）的44倍未來(lái)增長(zhǎng)不可限量來(lái)源：IDC數(shù)字宇宙研究報(bào)告，2011.11數(shù)據(jù)利用比例直降計(jì)算速度越來(lái)越快，企業(yè)卻越來(lái)越笨。今天很多企業(yè)能弄懂7%的企業(yè)數(shù)據(jù)，但這個(gè)數(shù)字很快會(huì)下降到4%，然后繼續(xù)螺旋式下降。IBM實(shí)體分析首席科學(xué)家Jeff Jonas數(shù)據(jù)利用比例直降計(jì)算速度越來(lái)越快，企業(yè)卻越來(lái)越笨。IBM實(shí)體數(shù)據(jù)使用率提升10%的影響數(shù)據(jù)使用率提升10%的影響預(yù)測(cè)2020年，大數(shù)

4、據(jù)應(yīng)用市場(chǎng)規(guī)模將達(dá)到近2600 億美元公共管理醫(yī)療制造位置服務(wù)零售大數(shù)據(jù)市場(chǎng)前景對(duì)歐洲的公共管理部門來(lái)說(shuō)，大數(shù)據(jù)每年有2500 億歐元的潛在價(jià)值-比希臘的GDP 還高對(duì)美國(guó)醫(yī)療行業(yè)來(lái)說(shuō)，大數(shù)據(jù)每年擁有3000 億美元的潛在價(jià)值生產(chǎn)商可以利用大數(shù)據(jù)使產(chǎn)品研發(fā)、組裝成本削減50%，人力成本削減7%利用全球的個(gè)人位置信息，每年可以取得6000 億美元的消費(fèi)者價(jià)值零售商可以利用大數(shù)據(jù)使經(jīng)營(yíng)利潤(rùn)取得60%的增長(zhǎng)大數(shù)據(jù)成為全球新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)預(yù)測(cè)2020年，大數(shù)據(jù)應(yīng)用市場(chǎng)規(guī)模將達(dá)到近2600 億美元公各國(guó)政府高度重視美國(guó)：奧巴馬政府3.29宣布“Big Data Research and Developme

5、nt Initiative” 將投入超過(guò)2億美元推動(dòng)大數(shù)據(jù)提取、存儲(chǔ)、分析、共享、可視化等領(lǐng)域的研究，并將其與歷史上對(duì)超級(jí)計(jì)算和互聯(lián)網(wǎng)的投資相提并論中國(guó)：工信部物聯(lián)網(wǎng)十二五規(guī)劃信息處理技術(shù)作為4 項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出包括海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘等各國(guó)政府高度重視美國(guó)：奧巴馬政府3.29宣布“Big DatIT盛宴IT盛宴1. Volume2. Variety3. value4. Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用

6、的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無(wú)法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合什么是Big Data數(shù)據(jù)量巨大全球在2010 年正式進(jìn)入ZB 時(shí)代，IDC預(yù)計(jì)到2020 年，全球?qū)⒖偣矒碛?5ZB 的數(shù)據(jù)量大數(shù)據(jù)的4V特征1. Volume2. Variety3. value4. 大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包

7、括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸Manage File Transfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來(lái)會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群

8、中運(yùn)行的Apache Hadoop。大數(shù)據(jù)的構(gòu)成大數(shù)據(jù) = 海量數(shù)據(jù) + 復(fù)雜類型的數(shù)據(jù)海量交易數(shù)據(jù)：大數(shù)據(jù)大數(shù)據(jù)涉及的關(guān)鍵技術(shù)需求技術(shù)描述關(guān)鍵技術(shù)海量數(shù)據(jù)分布式處理Hadoop 生態(tài)系統(tǒng)針對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的系統(tǒng)框架實(shí)時(shí)數(shù)據(jù)處理Streaming Data流計(jì)算引擎非結(jié)構(gòu)化數(shù)據(jù)處理文本處理技術(shù)；自然語(yǔ)言理解； 多媒體處理技術(shù)文本內(nèi)容分詞與分析；圖像、音視頻分析可視化交互界面通過(guò)交互式可視化界面輔助用戶進(jìn)行分析交互式可視化探索分析技術(shù)智能數(shù)據(jù)分析大規(guī)模機(jī)器學(xué)習(xí)技術(shù)計(jì)算機(jī)模擬人類學(xué)習(xí)行為，包括特征提取、圖形生成等保護(hù)隱私數(shù)據(jù)與信息個(gè)體的對(duì)應(yīng)關(guān)系等安全技術(shù)高效存儲(chǔ)和管理大規(guī)模數(shù)據(jù)數(shù)據(jù)存儲(chǔ)備份

9、技術(shù)、數(shù)據(jù)放置和調(diào)度技術(shù)、數(shù)據(jù)溯源存儲(chǔ)、放置、調(diào)度大規(guī)模的數(shù)據(jù)數(shù)據(jù)隱私保護(hù)數(shù)據(jù)隱私防范保護(hù)措施與數(shù)據(jù)安全技術(shù)大數(shù)據(jù)采集處理大數(shù)據(jù)分析存儲(chǔ)、組織、管理大數(shù)據(jù)涉及的關(guān)鍵技術(shù)需求技術(shù)描述關(guān)鍵技術(shù)海量數(shù)據(jù)分布式處理H大數(shù)據(jù)的技術(shù)領(lǐng)域-分布式領(lǐng)域海量存儲(chǔ)GFSHDFSAmazon S3TFSCEPH離線計(jì)算MapReduceTenzingHive/PigDremelDrillImpalaElastic MapReduce在線計(jì)算SpannerBigTableHBaseSimpleDBDynamoDBRedisMongDB流式計(jì)算S4Puma2StormStreamBase相關(guān)領(lǐng)域ChubbyZookee

10、perPregelHAMAMahoutSparkCaffineProtocolBufferAvro/Thrift大數(shù)據(jù)的技術(shù)領(lǐng)域-分布式領(lǐng)域海量存儲(chǔ)GFSAmazon S3大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)分析與挖掘相關(guān)工具: SAS，R，Rhive/Rhadoop, Mahout，Xlib，OpenMPI大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)分析與挖掘相關(guān)工具:國(guó)外運(yùn)營(yíng)商利用大數(shù)據(jù)應(yīng)用按流量種類的固定收費(fèi)，解除用戶流量后顧之憂培養(yǎng)用戶使用數(shù)據(jù)業(yè)務(wù)習(xí)慣，增強(qiáng)用戶粘性針對(duì)預(yù)付費(fèi)用戶群，擴(kuò)大流量收入面向智能終端用戶面向低端、高度同質(zhì)化競(jìng)爭(zhēng)市場(chǎng)西班牙電信：包月流量套餐定制（根據(jù)客戶訪問(wèn)內(nèi)容和SLA要求，提供不同費(fèi)率套餐） T-

11、Mobile：應(yīng)用大數(shù)據(jù)技術(shù)，降低客戶流失率。在多個(gè)IT系統(tǒng)中整合了大數(shù)據(jù)應(yīng)用，對(duì)客戶交易和互動(dòng)數(shù)據(jù)進(jìn)行綜合分析，更準(zhǔn)確地預(yù)測(cè)客戶流失率。通過(guò)將社交媒體數(shù)據(jù)和CRM和計(jì)費(fèi)系統(tǒng)中的交易數(shù)據(jù)進(jìn)行綜合分析，T-mobile在一個(gè)季度內(nèi)將客戶流失率降低了50%。國(guó)外運(yùn)營(yíng)商利用大數(shù)據(jù)應(yīng)用按流量種類的固定收費(fèi)，解除用戶流量后中移動(dòng)依托大云，試點(diǎn)經(jīng)分中國(guó)移動(dòng)：歷時(shí)多年打造大云平臺(tái)集團(tuán)組織技術(shù)驗(yàn)證：基于大云平臺(tái)，以經(jīng)分為切入點(diǎn)，利用現(xiàn)有數(shù)據(jù)，探索大數(shù)據(jù)技術(shù)，已在河北等三省試點(diǎn)應(yīng)用探索：嘗試?yán)么髷?shù)據(jù)技術(shù)識(shí)別異常話單產(chǎn)品線： 分析型PaaS產(chǎn)品，大數(shù)據(jù)處理的一個(gè)主要產(chǎn)品，包括Hadoop基礎(chǔ)平臺(tái)?；贖adoo

12、p的大數(shù)據(jù)倉(cāng)庫(kù)。并行數(shù)據(jù)挖掘工具。搜索引擎系統(tǒng)，基于中國(guó)移動(dòng)“大云”平臺(tái)，推出面向公眾的搜索業(yè)務(wù)”盤古搜索”。中移動(dòng)依托大云，試點(diǎn)經(jīng)分中國(guó)移動(dòng)：歷時(shí)多年打造大云平臺(tái)集團(tuán)組聯(lián)通試點(diǎn)流量清單查詢中國(guó)聯(lián)通：以“流量清單查詢”探索大數(shù)據(jù)技術(shù)平臺(tái)：英特爾至強(qiáng)平臺(tái)及“Hadoop開發(fā)版”大數(shù)據(jù)解決方案。功能：客戶服務(wù)人員提供客戶上網(wǎng)記錄的快速查詢服務(wù)，或?yàn)榭蛻舯救颂峁└咝У漠惓４罅髁可暇W(wǎng)記錄自助查詢服務(wù)。上線：完成北京、黑龍江、浙江、重慶試點(diǎn)，預(yù)計(jì)將會(huì)在今年10月份正式發(fā)布。 建設(shè)模式：聯(lián)通的大數(shù)據(jù)平臺(tái)是建立在數(shù)據(jù)大集中的基礎(chǔ)之上，“我們現(xiàn)在在集團(tuán)公司進(jìn)行統(tǒng)一部署，各個(gè)省分僅僅是做數(shù)據(jù)的采集，按照業(yè)務(wù)實(shí)時(shí)

13、性將數(shù)據(jù)傳送到集團(tuán)公司，由集團(tuán)公司統(tǒng)一處理。 ” 聯(lián)通試點(diǎn)流量清單查詢中國(guó)聯(lián)通：以“流量清單查詢”探索大數(shù)據(jù)技互聯(lián)網(wǎng)公司：阿里巴巴阿里巴巴的企業(yè)愿景是要做分享數(shù)據(jù)的第一平臺(tái)。大數(shù)據(jù)時(shí)代“將阿里集團(tuán)變成一家真正意義上的數(shù)據(jù)公司”知道“你是誰(shuí)，你想要什么”阿里巴巴集團(tuán)所積淀的商業(yè)數(shù)據(jù)，支付寶、淘寶、阿里金融、B2B的數(shù)據(jù)都會(huì)成為這個(gè)巨大的數(shù)據(jù)分享平臺(tái)的一部分，將會(huì)獲得深度發(fā)掘和應(yīng)用?；ヂ?lián)網(wǎng)公司：阿里巴巴阿里巴巴的企業(yè)愿景是要做分享數(shù)據(jù)的第一平馬云成功預(yù)測(cè)2008 年經(jīng)濟(jì)危機(jī)“2008 年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國(guó)采購(gòu)在下滑。海關(guān)是賣了貨，出去以后再獲得數(shù)據(jù)；我們提前半年時(shí)

14、間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！蓖ǔ６?，買家在采購(gòu)商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購(gòu)買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對(duì)的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大,保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。人類從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一。大數(shù)據(jù)時(shí)代馬云：大數(shù)據(jù)賦予我們洞察未來(lái)的能力馬云成功預(yù)測(cè)2008 年經(jīng)濟(jì)危機(jī)人類從依靠自身判斷做決定到依禽流感和板藍(lán)根禽流感和板藍(lán)根數(shù)據(jù)化運(yùn)營(yíng)數(shù)據(jù)化運(yùn)營(yíng)行業(yè)分析行業(yè)分析阿里巴巴介入金融服務(wù)領(lǐng)域，核心優(yōu)勢(shì)是其擁有

15、的龐大的客戶資源和數(shù)據(jù)，并能基于云計(jì)算平臺(tái)通過(guò)對(duì)客戶信息的充分分析、挖掘，實(shí)現(xiàn)對(duì)客戶信用水平和還款能力的準(zhǔn)確、實(shí)時(shí)把控商品供應(yīng)商（企業(yè)和個(gè)人）商品購(gòu)買者（企業(yè)和個(gè)人） 資金流資金流云計(jì)算平臺(tái)信息流交易信息信息流網(wǎng)絡(luò)數(shù)據(jù)模型在線視頻調(diào)查模式交叉檢驗(yàn)技術(shù)(輔以第三方驗(yàn)證)客戶信用水平和還款能力評(píng)估報(bào)告和結(jié)果交易信息發(fā)放貸款信息流監(jiān)控客戶現(xiàn)金流，如出現(xiàn)違約，可截?cái)嗫蛻舻默F(xiàn)金流各渠道信息和調(diào)研獲得的客戶信用記錄、交易狀況、投訴情況海量的客戶和交易數(shù)據(jù)賦予了阿里巴巴掌握客戶信息及其交易行為的強(qiáng)大的優(yōu)勢(shì)阿里巴巴介入金融服務(wù)領(lǐng)域，核心優(yōu)勢(shì)是其擁有的龐大的客戶資源和阿里小貸公司建立了多層次微貸風(fēng)險(xiǎn)預(yù)警和管理體

16、系，實(shí)現(xiàn)了貸款前、中、后三個(gè)環(huán)節(jié)的緊密結(jié)合，有效規(guī)避和防范了貸款風(fēng)險(xiǎn)貸前貸中貸后根據(jù)企業(yè)電子商務(wù)經(jīng)營(yíng)數(shù)據(jù)和第三方認(rèn)證數(shù)據(jù)，辨析企業(yè)經(jīng)營(yíng)狀況，反應(yīng)企業(yè)償債能力通過(guò)支付寶及阿里云平臺(tái)實(shí)時(shí)監(jiān)控商戶的交易狀況和現(xiàn)金流，為風(fēng)險(xiǎn)預(yù)警提供信息輸入通過(guò)互聯(lián)網(wǎng)監(jiān)控企業(yè)經(jīng)營(yíng)動(dòng)態(tài)和行為，可能影響正常履約的行為將被預(yù)警貸后監(jiān)控和網(wǎng)絡(luò)店鋪（賬號(hào)）關(guān)停機(jī)制，提高客戶違約成本，有效控制貸款風(fēng)險(xiǎn)貸前、貸中、貸后的一體化數(shù)據(jù)采集和分析線上行為：社區(qū)活動(dòng)、在線交易、增值服務(wù)、產(chǎn)品發(fā)布、企業(yè)基本資料線下行為：銀行流水、經(jīng)營(yíng)模式、財(cái)務(wù)狀況、家庭情況等阿里小貸公司建立了多層次微貸風(fēng)險(xiǎn)預(yù)警和管理體系，實(shí)現(xiàn)了貸款前阿里巴巴金融憑借強(qiáng)大的數(shù)據(jù)支持，充分發(fā)揮成本和效率的優(yōu)勢(shì)，使得微貸工廠化的運(yùn)營(yíng)模式日趨成熟，極具發(fā)展?jié)摿ι虘舭⒗镄≠J提出貸款申請(qǐng)審核客戶數(shù)據(jù)視頻遠(yuǎn)程溝通客戶資信評(píng)估發(fā)放貸款收到貸款視頻遠(yuǎn)程溝通數(shù)據(jù)支持