大數(shù)據(jù)分析趨勢淺析課件

大數(shù)據(jù)分析趨勢淺析101大數(shù)據(jù)簡介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢目錄201大數(shù)據(jù)簡介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢目錄31大數(shù)據(jù)簡介2012年初的一天，一位父親進入他家附近的某超市向超市負責人興師問罪。原因是超市把嬰兒用品的優(yōu)惠券寄給他17歲的女兒。一個月后，這位父親又向超市經(jīng)理致歉—他的女兒確實懷孕了。原來，這家超市建立了一個客戶購買體系，其中用25種典型商品的消費數(shù)據(jù)構(gòu)建了“懷孕預(yù)測指數(shù)”，這樣即可準確地辨別出孕婦群體，以便更好地為她們提供服務(wù)商品。這個故事被刊登在《紐約時報》，轟動了全美，被稱為“大數(shù)據(jù)的第一課”。41大數(shù)據(jù)簡介2012年的總統(tǒng)大選時，花銷不到3億美元的奧巴馬卻擊敗了開支近4億美元的羅姆尼，成為美國新一屆總統(tǒng)。奧巴馬的競選發(fā)言人說，對于競選

團隊來說，并不能只是面對一個籠

統(tǒng)的選民概念，而主要針對每一個

選民，深入挖掘他們被說服的因素

是什么，這種具有針對性的方式，

使得奧巴馬的募捐方案和游說計劃

得到了意外的支持。那么，到底是

什么支持了奧巴馬的募捐方案和游

說計劃昵，是大數(shù)據(jù)。51大數(shù)據(jù)簡介回顧自2009年淘寶在11月11日發(fā)起的“品牌商品五折優(yōu)惠”活動以來的5年問，當天成交額由

2009年的1億元經(jīng)過2010年的9.36億元、2011年的52億元、2012年的191億元，一直狂飄到2013年的350.19億元，正式超越美國“網(wǎng)絡(luò)星期一”創(chuàng)造的單日

120億元(人民幣)的記錄，成為全球最大的購物狂歡節(jié)。這一系列的驚人創(chuàng)舉的背后也是大數(shù)據(jù)，是大數(shù)據(jù)造就了天貓的輝煌。61.1大數(shù)據(jù)定義及特征大數(shù)據(jù)(bigdata)或稱巨量資料，這些資料的規(guī)模巨大到無法使用目前的主流軟件工具，在合理的時問內(nèi)通過采集、管理、處理并整理而成為幫助企業(yè)經(jīng)營決策的信息。維基百科將大數(shù)據(jù)定義為“無法在一定時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”。Volume大量Velocity高速Variety多樣三V特征71.2大數(shù)據(jù)處理的主要環(huán)節(jié)81.3大數(shù)據(jù)發(fā)展趨勢91.3大數(shù)據(jù)十大發(fā)展趨勢10結(jié)合智能計算的大數(shù)據(jù)分析成為熱點數(shù)據(jù)科學(xué)帶動多學(xué)科融合，但是數(shù)據(jù)科學(xué)作為新型的學(xué)科，其學(xué)科基礎(chǔ)問題體系尚不明朗，數(shù)據(jù)科學(xué)自身的發(fā)展尚未成體系與行業(yè)數(shù)據(jù)結(jié)合，實現(xiàn)跨領(lǐng)域應(yīng)用與“物云移社”融合，產(chǎn)生綜合價值大數(shù)據(jù)多樣化處理模式與軟硬件基礎(chǔ)設(shè)施逐步夯實大數(shù)據(jù)安全和隱私新的計算模式將取得突破各種可視化技術(shù)和工具提升大數(shù)據(jù)分析大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問題開源系統(tǒng)將成為大數(shù)據(jù)領(lǐng)域的主流技術(shù)和系統(tǒng)選擇01大數(shù)據(jù)簡介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢目錄112大數(shù)據(jù)分析簡介及趨勢概況大數(shù)據(jù)分析的核心是從數(shù)據(jù)中獲取價值，價值體現(xiàn)在從大數(shù)據(jù)中獲取更準確、更深層次的知識，而非對數(shù)據(jù)的簡單統(tǒng)計分析。01

02神經(jīng)計算

深度學(xué)習(xí)人工智能04語義計算03大數(shù)據(jù)分析1201大數(shù)據(jù)簡介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢目錄133.1云中的大數(shù)據(jù)分析以如今已有很多技術(shù)可用于處理云中的數(shù)據(jù)。實例包括亞馬遜Redshift所托管的BI數(shù)據(jù)倉庫、谷歌BigQuery數(shù)據(jù)分析服務(wù)、

IBM

Bluemix

云平臺，及亞馬遜Kinesis數(shù)據(jù)處理服務(wù)等?！按髷?shù)據(jù)的未來狀態(tài)將是企業(yè)端和云端的某種混合態(tài)?！?43.2

Hadoop:新的企業(yè)數(shù)據(jù)操作系統(tǒng)各種分布式分析框架，如MapReduce正在演變?yōu)榉植际劫Y源管理器，它們會逐漸地將Hadoop轉(zhuǎn)變?yōu)橐环N通用的數(shù)據(jù)操作系統(tǒng)。有了Hadoop這樣的分布式文件存儲系統(tǒng)，你就能執(zhí)行很多不同的數(shù)據(jù)操控和分析任務(wù)。153.3

大數(shù)據(jù)湖數(shù)據(jù)湖也稱之企業(yè)數(shù)據(jù)湖或企業(yè)數(shù)

據(jù)集中庫，會將各種數(shù)據(jù)資源傾倒

進一個大的Hadoop倉庫中去，而不會事先設(shè)計什么數(shù)據(jù)模型。提供各

種工具，再配上對數(shù)據(jù)湖中現(xiàn)存數(shù)

據(jù)的頂層定義，供人們?nèi)シ治鰯?shù)據(jù)。人們就可隨著對數(shù)據(jù)湖的逐步深入

而構(gòu)建起自己的數(shù)據(jù)視圖。這正是

構(gòu)建一個大規(guī)模數(shù)據(jù)庫增量化的、

有機的模型。163.4

更有預(yù)測性的分析有了大數(shù)據(jù)，分析師們不僅有了更多的數(shù)據(jù)可用，而且具備了處理

大量多屬性記錄的能力?？梢蕴?/p>

理海量的記錄，以及對每條記錄

的海量屬性進行處理，從而提高

了預(yù)測能力。大數(shù)據(jù)與計算能力

相互結(jié)合，還能讓分析師們?nèi)パ?/p>

究新的行為數(shù)據(jù)。例如消費者所

訪問的網(wǎng)站或位置信息等“稀疏

數(shù)據(jù)”。173.5 SQLon

Hadoop:更快、更好Apache

Hive

就可為Hadoop

提供一種結(jié)構(gòu)化的、類SQL的查詢語言。來自Cloudera,

Pivotal

軟件、

IBM

和其他一些廠商的產(chǎn)品，不但可提供更好的性能，而且還能讓查詢進行的更快速。這些工具讓Hadoop能更好地適用于“迭代分析”，也就是在詢問了一個問題并得到答案后，可以在此基礎(chǔ)上查詢新的問題。這樣的工作傳統(tǒng)上是需要構(gòu)建數(shù)據(jù)倉庫才能進行的。183.6 更多、更好的NoSQL可取代傳統(tǒng)基于SQL關(guān)系數(shù)據(jù)庫的技術(shù)叫做NoSQL數(shù)據(jù)庫，它正迅速普及，并用于一些特定的分析應(yīng)用中。相比于傳統(tǒng)的關(guān)系數(shù)據(jù)庫，它可提供一種更快速、更直接的方式來分析客戶或銷售人員的關(guān)系網(wǎng)絡(luò)。一個NoSQL鍵值組合數(shù)據(jù)庫則可專門用于處理這樣的情形，而且性能高，還是輕量級的。193.7

深度學(xué)習(xí)深度學(xué)習(xí)是近年來受到廣泛關(guān)注的一個機器學(xué)習(xí)子領(lǐng)域，在MTT《技術(shù)評論》中當選為Zam十大突破性技術(shù)之首。它以學(xué)習(xí)表示方式的多個層次為基礎(chǔ)，這些層次對應(yīng)于特征、因素或者是概念的分層結(jié)構(gòu)。高層次的概念由低層次的概念定義；低層次的概念可以用來形成很不同的多高層次概念。它是基于表示學(xué)習(xí)的機器學(xué)習(xí)方法，因為表示一個對象有很多種方式，而對于特定的任務(wù)，某些表示方式會使得學(xué)習(xí)任務(wù)更加容易完成。203.8

內(nèi)存分析使用內(nèi)存數(shù)據(jù)庫來提速分析處理流程已越來越流行，而且收益頗大。事實上，很多企業(yè)已經(jīng)在采用混合事務(wù)/分析處