大數(shù)據(jù)與互聯(lián)網(wǎng)經(jīng)濟(jì)解讀

1、大數(shù)據(jù)與互聯(lián)網(wǎng)經(jīng)濟(jì)解讀第1頁(yè)1.1大數(shù)據(jù)概念與意義1.2大數(shù)據(jù)起源1.3大數(shù)據(jù)應(yīng)用場(chǎng)景1.4大數(shù)據(jù)處理方法全國(guó)高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)關(guān)鍵技術(shù)和實(shí)戰(zhàn)應(yīng)用of402大數(shù)據(jù)概念與應(yīng)用第2頁(yè)1.1 大數(shù)據(jù)概念與意義第一章 大數(shù)據(jù)概念與應(yīng)用of40312008年9 月，美國(guó)自然（Nature）雜志專刊The next google,第一次正式提出“大數(shù)據(jù)”概念。22011年2月1日，科學(xué)（Science）雜志專刊Dealing with data，通過(guò)社會(huì)調(diào)查的方式，第一次綜合分析了大數(shù)據(jù)對(duì)人們生活造成的影響，詳細(xì)描述了人類面臨的“數(shù)據(jù)困境”。32011年5月，麥肯錫研究院發(fā)布報(bào)告Big

2、data: The next frontier for innovation, competition, and productivity,第一次給大數(shù)據(jù)做出相對(duì)清晰的定義：“大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫(kù)工具獲取、儲(chǔ)存、管理和分析能力的數(shù)據(jù)集?！睍r(shí)至今日，“數(shù)據(jù)”變身“大數(shù)據(jù)”，“開(kāi)啟了一次重大時(shí)代轉(zhuǎn)型”。 “大數(shù)據(jù)”這一概念形成，有三個(gè)標(biāo)志性事件：1從“數(shù)據(jù)”到“大數(shù)據(jù)”第3頁(yè)4 V特征種類多（Variety）速度快（Velocity）價(jià)值高（Value）體量大（Volume）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)起源廣、維度多、類型雜，各種機(jī)器儀表在自動(dòng)產(chǎn)生數(shù)據(jù)同時(shí)，人本身生活行為也在不停創(chuàng)造數(shù)據(jù)

3、；不但有企業(yè)組織內(nèi)部業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)外部數(shù)據(jù)。伴隨當(dāng)代感測(cè)、互聯(lián)網(wǎng)、計(jì)算機(jī)技術(shù)發(fā)展，數(shù)據(jù)生成、儲(chǔ)存、分析、處理速度遠(yuǎn)遠(yuǎn)超出人們想象力，這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)或小數(shù)據(jù)顯著特征。大數(shù)據(jù)有巨大潛在價(jià)值，但同其呈幾何指數(shù)暴發(fā)式增加相比，某一對(duì)象或模塊數(shù)據(jù)價(jià)值密度較低，這無(wú)疑給我們開(kāi)發(fā)海量數(shù)據(jù)增加了難度和成本。第一章 大數(shù)據(jù)概念與應(yīng)用of404從至年，人類數(shù)據(jù)規(guī)模將擴(kuò)大50倍，每年產(chǎn)生數(shù)據(jù)量將增加到44萬(wàn)億GB，相當(dāng)于美國(guó)國(guó)家圖書館數(shù)據(jù)量數(shù)百萬(wàn)倍，且每18個(gè)月翻一番。1.1 大數(shù)據(jù)概念與意義第4頁(yè)第一章 大數(shù)據(jù)概念與應(yīng)用大數(shù)據(jù)數(shù)據(jù)源整合進(jìn)行存放、清洗、挖掘、分析后得出結(jié)果直到優(yōu)化企業(yè)管理提升效率

4、云計(jì)算、硬件性價(jià)比提升以及軟件技術(shù)進(jìn)步智能設(shè)備、傳感器普及，推進(jìn)物聯(lián)網(wǎng)、人工智能發(fā)展計(jì)算運(yùn)行、計(jì)算速度越來(lái)越快存放 存放成本下降 智能實(shí)現(xiàn)信息對(duì)等解放腦力，機(jī)器擁有些人智慧of4051.1 大數(shù)據(jù)概念與意義2大數(shù)據(jù)技術(shù)支撐第5頁(yè)第一章 大數(shù)據(jù)概念與應(yīng)用of4061.1 大數(shù)據(jù)概念與意義1）存放：存放成本下降云計(jì)算出現(xiàn)之前云計(jì)算出現(xiàn)之后在云計(jì)算出現(xiàn)之前，數(shù)據(jù)存放成本是非常高。比如，企業(yè)要建設(shè)網(wǎng)站，需要購(gòu)置和布署服務(wù)器，安排技術(shù)人員維護(hù)服務(wù)器，確保數(shù)據(jù)存放安全性和數(shù)據(jù)傳輸通暢性，還會(huì)定時(shí)清理數(shù)據(jù)，騰出空間方便存放新數(shù)據(jù)，機(jī)房整體人力和管理成本都很高。云計(jì)算出現(xiàn)后，數(shù)據(jù)存放服務(wù)衍生出了新商業(yè)模式，數(shù)

5、據(jù)中心出現(xiàn)降低了企業(yè)計(jì)算和存放成本。比如，企業(yè)現(xiàn)在要建設(shè)網(wǎng)站，不需要去購(gòu)置服務(wù)器，不需要去雇用技術(shù)人員維護(hù)服務(wù)器，能夠經(jīng)過(guò)租用硬件設(shè)備方式處理問(wèn)題。存放成本下降，也改變了大家對(duì)數(shù)據(jù)看法，愈加愿意把1年、2年甚至更久遠(yuǎn)歷史數(shù)據(jù)保留下來(lái)，有了歷史數(shù)據(jù)沉淀，才能夠經(jīng)過(guò)對(duì)比，發(fā)覺(jué)數(shù)據(jù)之間關(guān)聯(lián)和價(jià)值。正是因?yàn)榇娣懦杀鞠陆?，才能為大?shù)據(jù)搭建最好基礎(chǔ)設(shè)施。第6頁(yè)第一章 大數(shù)據(jù)概念與應(yīng)用of4071.1 大數(shù)據(jù)概念與意義2）計(jì)算：運(yùn)算速度越來(lái)越快分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop出現(xiàn)，為大數(shù)據(jù)帶來(lái)了新曙光；HDFS為海量數(shù)據(jù)提供了存放；MapReduce則為海量數(shù)據(jù)提供了并行計(jì)算，從而大大提升了計(jì)算效率；Spar

6、k、Storm、Impala等各種各樣技術(shù)進(jìn)入人們視野。海量數(shù)據(jù)從原始數(shù)據(jù)源到產(chǎn)生價(jià)值，期間會(huì)經(jīng)過(guò)存放、清洗、挖掘、分析等多個(gè)步驟，假如計(jì)算速度不夠快，很多事情是無(wú)法實(shí)現(xiàn)。所以，在大數(shù)據(jù)發(fā)展過(guò)程中，計(jì)算速度是非常關(guān)鍵原因。第7頁(yè)第一章 大數(shù)據(jù)概念與應(yīng)用of4081.1 大數(shù)據(jù)概念與意義3）智能：機(jī)器擁有了解數(shù)據(jù)能力大數(shù)據(jù)帶來(lái)最大價(jià)值就是“智慧”，大數(shù)據(jù)讓機(jī)器變得有智慧，同時(shí)人工智能深入提升了處理和了解數(shù)據(jù)能力。比如：谷歌AlphaGo大勝世界圍棋冠軍李世石阿里云小Ai成功預(yù)測(cè)出我是歌手總決賽歌王12iPhone上智能化語(yǔ)音機(jī)器人Siri微信上與大家聊天微軟小冰34第8頁(yè)第一章 大數(shù)據(jù)概念與應(yīng)用

7、of409美國(guó)著名管理學(xué)家愛(ài)德華戴明所言：“我們信靠上帝。除了上帝，任何人都必須用數(shù)據(jù)來(lái)說(shuō)話?！保?）有數(shù)據(jù)可說(shuō) 在大數(shù)據(jù)時(shí)代，“萬(wàn)物皆數(shù)”，“量化一切”，“一切都將被數(shù)據(jù)化”。人類生活在一個(gè)海量、動(dòng)態(tài)、多樣數(shù)據(jù)世界中，數(shù)據(jù)無(wú)處不在、無(wú)時(shí)不有、無(wú)人不用，數(shù)據(jù)就像陽(yáng)光、空氣、水分一樣常見(jiàn)，好比放大鏡、望遠(yuǎn)鏡、顯微鏡那般主要。 （2）說(shuō)數(shù)據(jù)可靠 大數(shù)據(jù)中“數(shù)據(jù)”真實(shí)可靠，它實(shí)質(zhì)上是表征事物現(xiàn)象一個(gè)符號(hào)語(yǔ)言和邏輯關(guān)系，其可靠性數(shù)理哲學(xué)基礎(chǔ)是世界同構(gòu)原理。世界含有物質(zhì)統(tǒng)一性，統(tǒng)一世界中一切事物都存在著時(shí)空一致性同構(gòu)關(guān)系。這意味著任何事物屬性和規(guī)律，只要經(jīng)過(guò)適當(dāng)編碼，均能夠經(jīng)過(guò)統(tǒng)一數(shù)字信號(hào)表示出來(lái)。1.

8、1 大數(shù)據(jù)概念與意義3大數(shù)據(jù)意義 所以，“用數(shù)聽(tīng)說(shuō)話”、“讓數(shù)據(jù)發(fā)聲”，已成為人類認(rèn)知世界一個(gè)全新方法。第9頁(yè)1.1從“數(shù)據(jù)”到“大數(shù)據(jù)”第一章 大數(shù)據(jù)概念與應(yīng)用of4010風(fēng)馬?？上嗉?在大數(shù)據(jù)背景下，因海量無(wú)限、包羅萬(wàn)象數(shù)據(jù)存在，讓許多看似毫不相干現(xiàn)象之間發(fā)生一定關(guān)聯(lián)，使人們能夠更簡(jiǎn)捷、更清楚地認(rèn)知事物和把握局勢(shì)。大數(shù)據(jù)巨大潛能與作用現(xiàn)在難以進(jìn)行估量，但揭示事物相關(guān)關(guān)系無(wú)疑是其真正價(jià)值所在。經(jīng)典案例：（1）啤酒與尿布（2）谷歌與流感第10頁(yè)1.1大數(shù)據(jù)概念與意義1.2大數(shù)據(jù)起源第一章大數(shù)據(jù)概念與應(yīng)用1.3大數(shù)據(jù)應(yīng)用場(chǎng)景1.4大數(shù)據(jù)處理方法全國(guó)高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)關(guān)鍵技術(shù)和實(shí)

9、戰(zhàn)應(yīng)用of4011第11頁(yè)為何全球數(shù)據(jù)量增加如此之快？第12頁(yè)1.2 大數(shù)據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4013互聯(lián)網(wǎng)天天產(chǎn)生全部?jī)?nèi)容能夠刻滿6.4億張DVDGoogle天天需要處理24PB數(shù)據(jù)網(wǎng)民天天在Facebook上要花費(fèi)234億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收數(shù)據(jù)高達(dá)44PB全球每秒發(fā)送290萬(wàn)封電子郵件，一分鐘讀一篇話，足夠一個(gè)人晝夜不停地讀5.5年天天會(huì)有2.88萬(wàn)個(gè)小時(shí)視頻上傳到Y(jié)ouTube，足夠一個(gè)人晝夜不停地觀看3.3年Twitter上天天公布5000萬(wàn)條消息，假設(shè)10秒就瀏覽一條消息，足夠一個(gè)人晝夜不停地瀏覽大數(shù)據(jù)到底有多大？ 以上一組互聯(lián)網(wǎng)數(shù)據(jù)第13頁(yè)1.2 大數(shù)

10、據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4014來(lái)自大量傳感器機(jī)器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)數(shù)據(jù)來(lái)自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)智能終端拍照、拍視頻發(fā)微博、發(fā)微信其它互聯(lián)網(wǎng)數(shù)據(jù)海量數(shù)據(jù)產(chǎn)生伴隨人類活動(dòng)深入擴(kuò)展，數(shù)據(jù)規(guī)模會(huì)急劇膨脹，包含金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂(lè)等在內(nèi)各行業(yè)累積數(shù)據(jù)量越來(lái)越大，數(shù)據(jù)類型也越來(lái)越多、越來(lái)越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式能力范圍，于是“大數(shù)據(jù)”這么一個(gè)概念才會(huì)應(yīng)運(yùn)而生。第14頁(yè)1.2 大數(shù)據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4015按產(chǎn)生數(shù)據(jù)主體劃分1）少許企業(yè)應(yīng)用產(chǎn)生數(shù)據(jù)如關(guān)系型數(shù)據(jù)庫(kù)中數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)等。2）大量人產(chǎn)生數(shù)據(jù)如推特

11、、微博、通信軟件、移動(dòng)通信數(shù)據(jù)、電子商務(wù)在線交易日志數(shù)據(jù)、企業(yè)應(yīng)用相關(guān)評(píng)論數(shù)據(jù)等。3）巨量機(jī)器產(chǎn)生數(shù)據(jù)如應(yīng)用服務(wù)器日志、各類傳感器數(shù)據(jù)、圖像和視頻監(jiān)控?cái)?shù)據(jù)、二維碼和條形碼（條碼）掃描數(shù)據(jù)等。01第15頁(yè)1.2 大數(shù)據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4016按數(shù)據(jù)起源行業(yè)劃分1）以BAT為代表互聯(lián)網(wǎng)企業(yè)baidu企業(yè)數(shù)據(jù)總量超出了千PB級(jí)別，阿里巴巴企業(yè)保留數(shù)據(jù)量超出了百PB級(jí)別，擁有90%以上電商數(shù)據(jù)，騰訊企業(yè)總存放數(shù)據(jù)量經(jīng)壓縮處理以后依然超出了百PB級(jí)別，數(shù)據(jù)量月增加到達(dá)10%。2）電信、金融、保險(xiǎn)、電力、石化系統(tǒng)電信行業(yè)數(shù)據(jù)年度用戶數(shù)據(jù)增加超出10%，金融每年產(chǎn)生數(shù)據(jù)超出數(shù)十PB，保險(xiǎn)系統(tǒng)

12、數(shù)據(jù)量也超出了PB級(jí)別，電力與石化方面，僅國(guó)家電網(wǎng)采集取得數(shù)據(jù)總量就到達(dá)了數(shù)十PB，石油化工領(lǐng)域每年產(chǎn)生和保留下來(lái)數(shù)據(jù)量也快要百PB級(jí)別。3）公共安全、醫(yī)療、交通領(lǐng)域一個(gè)中、大型城市，一個(gè)月交通卡口統(tǒng)計(jì)數(shù)能夠到達(dá)3億條；整個(gè)醫(yī)療衛(wèi)生行業(yè)一年能夠保留下來(lái)數(shù)據(jù)就可到達(dá)數(shù)百PB級(jí)別；航班往返一次產(chǎn)生數(shù)據(jù)就到達(dá)TB級(jí)別；列車、水陸路運(yùn)輸產(chǎn)生各種視頻、文本類數(shù)據(jù)，每年保留下來(lái)也到達(dá)數(shù)十PB。024）氣象、地理、政務(wù)等領(lǐng)域中國(guó)氣象局保留數(shù)據(jù)快要10PB，每年約增數(shù)百TB；各種地圖和地理位置信息每年約數(shù)十PB；政務(wù)數(shù)據(jù)則涵蓋了旅游、教育、交通、醫(yī)療等多個(gè)門類，且多為結(jié)構(gòu)化數(shù)據(jù)。5）制造業(yè)和其它傳統(tǒng)行業(yè)制造業(yè)

13、大數(shù)據(jù)類型以產(chǎn)品設(shè)計(jì)數(shù)據(jù)、企業(yè)生產(chǎn)步驟業(yè)務(wù)數(shù)據(jù)和生產(chǎn)監(jiān)控?cái)?shù)據(jù)為主。其中產(chǎn)品設(shè)計(jì)數(shù)據(jù)以文件為主，非結(jié)構(gòu)化，共享要求較高，保留時(shí)間較長(zhǎng)；企業(yè)生產(chǎn)步驟業(yè)務(wù)數(shù)據(jù)主要是數(shù)據(jù)庫(kù)結(jié)構(gòu)化數(shù)據(jù)，而生產(chǎn)監(jiān)控?cái)?shù)據(jù)則數(shù)據(jù)量非常大。在其它傳統(tǒng)行業(yè)，即使線下商業(yè)銷售、農(nóng)林牧漁業(yè)、線下餐飲、食品、科研、物流運(yùn)輸?shù)刃袠I(yè)數(shù)據(jù)量劇增，不過(guò)數(shù)據(jù)量還處于積累期，整體體量都不算大，多則到達(dá)PB級(jí)別，少則數(shù)十TB或數(shù)百TB級(jí)別。第16頁(yè)1.2 大數(shù)據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4017按數(shù)據(jù)存放形式劃分大數(shù)據(jù)不但僅表達(dá)在數(shù)據(jù)量大，還表達(dá)在數(shù)據(jù)類型多。如此海量數(shù)據(jù)中，僅有20%左右屬于結(jié)構(gòu)化數(shù)據(jù)，80%數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)

14、網(wǎng)、電子商務(wù)等領(lǐng)域非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)簡(jiǎn)單來(lái)說(shuō)就是數(shù)據(jù)庫(kù)，如企業(yè)ERP、財(cái)務(wù)系統(tǒng)、醫(yī)療HIS數(shù)據(jù)庫(kù)、教育一卡通、政府行政審批、其它關(guān)鍵數(shù)據(jù)庫(kù)等數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包含全部格式辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻、視頻信息等數(shù)據(jù)。03第17頁(yè)1.2 大數(shù)據(jù)起源第一章 大數(shù)據(jù)概念與應(yīng)用of4018慣用大數(shù)據(jù)獲取路徑1）系統(tǒng)日志采集能夠使用海量數(shù)據(jù)采集工具，用于系統(tǒng)日志采集，如HadoopChukwa、ClouderaFlume、FacebookScribe等，這些工具均采取分布式架構(gòu)，能滿足大數(shù)據(jù)日志數(shù)據(jù)采集和傳輸需求。043）APP移動(dòng)端數(shù)據(jù)采集APP是獲取用戶移動(dòng)端數(shù)

15、據(jù)一個(gè)有效方法，APP中SDK插件能夠?qū)⒂脩羰褂肁PP信息匯總給指定服務(wù)器，即便用戶在沒(méi)有訪問(wèn)時(shí)，也能獲知用戶終端相關(guān)信息，包含安裝應(yīng)用數(shù)量和類型等。單個(gè)APP用戶規(guī)模有限，數(shù)據(jù)量有限；但數(shù)十萬(wàn)APP用戶，獲取用戶終端數(shù)據(jù)和部分行為數(shù)據(jù)也會(huì)到達(dá)數(shù)億量級(jí)。4）與數(shù)據(jù)服務(wù)機(jī)構(gòu)進(jìn)行合作數(shù)據(jù)服務(wù)機(jī)構(gòu)通常具備規(guī)范數(shù)據(jù)共享和交易渠道，人們能夠在平臺(tái)上快速、明確地獲取自己所需要數(shù)據(jù)。而對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高數(shù)據(jù)，也能夠經(jīng)過(guò)與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。2）互聯(lián)網(wǎng)數(shù)據(jù)采集經(jīng)過(guò)網(wǎng)絡(luò)爬蟲(chóng)或網(wǎng)站公開(kāi)API等方式從網(wǎng)站上獲取數(shù)據(jù)信息，該方法能夠數(shù)據(jù)從網(wǎng)頁(yè)中抽取出

16、來(lái)，將其存放為統(tǒng)一當(dāng)?shù)財(cái)?shù)據(jù)文件，它支持圖片、音頻、視頻等文件或附件采集，附件與正文能夠自動(dòng)關(guān)聯(lián)。除了網(wǎng)站中包含內(nèi)容之外，還能夠使用DPI或DFI等帶寬管理技術(shù)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量采集。第18頁(yè)1.3大數(shù)據(jù)應(yīng)用場(chǎng)景1.2大數(shù)據(jù)起源1.1大數(shù)據(jù)概念與意義第一章大數(shù)據(jù)概念與應(yīng)用1.4大數(shù)據(jù)處理方法全國(guó)高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)關(guān)鍵技術(shù)和實(shí)戰(zhàn)應(yīng)用of4019第19頁(yè)1.3 大數(shù)據(jù)應(yīng)用場(chǎng)景第一章 大數(shù)據(jù)概念與應(yīng)用of4020大數(shù)據(jù)7個(gè)應(yīng)用場(chǎng)景 環(huán)境教育行業(yè)醫(yī)療行業(yè) 農(nóng)業(yè) 智慧城市零售行業(yè)金融行業(yè)第20頁(yè)1.3 大數(shù)據(jù)應(yīng)用場(chǎng)景第一章 大數(shù)據(jù)概念與應(yīng)用of4021零售行業(yè)零售行業(yè)大數(shù)據(jù)應(yīng)用有兩個(gè)層面，一

17、個(gè)層面是零售行業(yè)能夠了解客戶消費(fèi)喜好和趨勢(shì)，進(jìn)行商品精準(zhǔn)營(yíng)銷，降低營(yíng)銷成本。另一個(gè)層面是依據(jù)客戶購(gòu)置產(chǎn)品，為客戶提供可能購(gòu)置其它產(chǎn)品，擴(kuò)大銷售額，也屬于精準(zhǔn)營(yíng)銷范圍。未來(lái)考驗(yàn)零售企業(yè)是怎樣挖掘消費(fèi)者需求，以及高效整合供給鏈滿足其需求能力，所以，信息技術(shù)水平高低成為取得競(jìng)爭(zhēng)優(yōu)勢(shì)關(guān)鍵要素。金融行業(yè)1）銀行數(shù)據(jù)應(yīng)用場(chǎng)景利用數(shù)據(jù)挖掘來(lái)分析出一些交易數(shù)據(jù)背后商業(yè)價(jià)值。2）保險(xiǎn)數(shù)據(jù)應(yīng)用場(chǎng)景用數(shù)據(jù)來(lái)提升保險(xiǎn)產(chǎn)品精算水平，提升利潤(rùn)水平和投資收益。3）證券數(shù)據(jù)應(yīng)用場(chǎng)景對(duì)客戶交易習(xí)慣和行為分析能夠幫助證券企業(yè)取得更多收益。第21頁(yè)1.3 大數(shù)據(jù)應(yīng)用場(chǎng)景第一章 大數(shù)據(jù)概念與應(yīng)用of4022醫(yī)療行業(yè)醫(yī)療行業(yè)擁有大量病

18、例、病理匯報(bào)、治愈方案、藥品匯報(bào)等，經(jīng)過(guò)對(duì)這些數(shù)據(jù)進(jìn)行整理和分析將會(huì)極大地輔助醫(yī)生提出治療方案，幫助病人早日康復(fù)。能夠構(gòu)建大數(shù)據(jù)平臺(tái)來(lái)搜集不一樣病例和治療方案，以及病人基本特征，建立針對(duì)疾病特點(diǎn)數(shù)據(jù)庫(kù)，幫助醫(yī)生進(jìn)行疾病診療。醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用一直在進(jìn)行，不過(guò)數(shù)據(jù)并沒(méi)有完全打通，基本都是孤島數(shù)據(jù)，沒(méi)方法進(jìn)行大規(guī)模應(yīng)用。未來(lái)能夠?qū)⑦@些數(shù)據(jù)統(tǒng)一采集起來(lái)，納入統(tǒng)一大數(shù)據(jù)平臺(tái)，為人類健康造福。教育行業(yè)信息技術(shù)已在教育領(lǐng)域有了越來(lái)越廣泛應(yīng)用，教學(xué)、考試、師生互動(dòng)、校園安全、家校關(guān)系等，只要技術(shù)到達(dá)地方，各個(gè)步驟都被數(shù)據(jù)包裹。經(jīng)過(guò)大數(shù)據(jù)分析來(lái)優(yōu)化教育機(jī)制，也能夠作出更科學(xué)決議，這將帶來(lái)潛在教育革命，在很快未

19、來(lái)，個(gè)性化學(xué)習(xí)終端將會(huì)更多地融入學(xué)習(xí)資源云平臺(tái)，依據(jù)每個(gè)學(xué)生不一樣興趣興趣和專長(zhǎng)，推送相關(guān)領(lǐng)域前沿技術(shù)、資訊、資源乃至未來(lái)職業(yè)發(fā)展方向。第22頁(yè)1.3 大數(shù)據(jù)應(yīng)用場(chǎng)景第一章 大數(shù)據(jù)概念與應(yīng)用of4023農(nóng)業(yè)行業(yè)環(huán)境行業(yè)借助于大數(shù)據(jù)提供消費(fèi)能力和趨勢(shì)匯報(bào)，政府可為農(nóng)業(yè)生產(chǎn)進(jìn)行合理引導(dǎo)，依據(jù)需求進(jìn)行生產(chǎn)，防止產(chǎn)能過(guò)剩造成無(wú)須要資源和社會(huì)財(cái)富浪費(fèi)。經(jīng)過(guò)大數(shù)據(jù)分析將會(huì)更準(zhǔn)確地預(yù)測(cè)未來(lái)天氣，幫助農(nóng)民做好自然災(zāi)害預(yù)防工作，幫助政府實(shí)現(xiàn)農(nóng)業(yè)精細(xì)化管理和科學(xué)決議。借助于大數(shù)據(jù)技術(shù)，天氣預(yù)報(bào)準(zhǔn)確性和實(shí)效性將會(huì)大大提升，預(yù)報(bào)及時(shí)性將會(huì)大大提升，同時(shí)對(duì)于重大自然災(zāi)害如龍卷風(fēng)，經(jīng)過(guò)大數(shù)據(jù)計(jì)算平臺(tái)，人們將會(huì)愈加準(zhǔn)確地了

20、解其運(yùn)動(dòng)軌跡和危害等級(jí)，有利于幫助人們提升應(yīng)對(duì)自然災(zāi)害能力。大數(shù)據(jù)技術(shù)能夠了解經(jīng)濟(jì)發(fā)展情況、各產(chǎn)業(yè)發(fā)展情況、消費(fèi)支出和產(chǎn)品銷售情況等，依據(jù)分析結(jié)果，科學(xué)地制訂宏觀政策，平衡各產(chǎn)業(yè)發(fā)展，防止產(chǎn)能過(guò)剩，有效利用自然資源和社會(huì)資源，提升社會(huì)生產(chǎn)效率。大數(shù)據(jù)技術(shù)也能幫助政府進(jìn)行支出管理，透明合理財(cái)政支出將有利于提升公信力和監(jiān)督財(cái)政支出。智慧城市第23頁(yè)1.3大數(shù)據(jù)應(yīng)用場(chǎng)景1.4大數(shù)據(jù)處理方法1.2大數(shù)據(jù)起源1.1大數(shù)據(jù)概念與意義第一章大數(shù)據(jù)概念與應(yīng)用全國(guó)高校標(biāo)準(zhǔn)教材云計(jì)算姊妹篇，剖析大數(shù)據(jù)關(guān)鍵技術(shù)和實(shí)戰(zhàn)應(yīng)用of4024第24頁(yè)1.4 大數(shù)據(jù)處理方法第一章 大數(shù)據(jù)概念與應(yīng)用of4025大數(shù)據(jù)正帶來(lái)一場(chǎng)信

21、息社會(huì)變革。大量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)廣泛應(yīng)用，致使人們需要重新思索已經(jīng)有IT模式；與此同時(shí)，大數(shù)據(jù)將推進(jìn)進(jìn)行又一次基于信息革命業(yè)務(wù)轉(zhuǎn)型，使社會(huì)能夠借助大數(shù)據(jù)獲取更多社會(huì)效益和發(fā)展機(jī)會(huì)；龐大數(shù)據(jù)需要我們進(jìn)行剝離、整理、歸類、建模、分析等操作，經(jīng)過(guò)這些動(dòng)作后，我們開(kāi)始建立數(shù)據(jù)分析維度，經(jīng)過(guò)對(duì)不一樣維度數(shù)據(jù)進(jìn)行分析，最終才能得到想到數(shù)據(jù)和信息。所以，怎樣進(jìn)行大數(shù)據(jù)采集、導(dǎo)入/預(yù)處理、統(tǒng)計(jì)/分析和大數(shù)據(jù)挖掘，是“做”好大數(shù)據(jù)關(guān)鍵基礎(chǔ)。第25頁(yè)1.4 大數(shù)據(jù)處理方法第一章 大數(shù)據(jù)概念與應(yīng)用of4026大數(shù)據(jù)采集1大數(shù)據(jù)采集通常采取多個(gè)數(shù)據(jù)庫(kù)來(lái)接收終端數(shù)據(jù)，包含智能硬件端、各種傳感器端、網(wǎng)頁(yè)端、移動(dòng)A

22、PP應(yīng)用端等，而且能夠使用數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)單處理工作。慣用數(shù)據(jù)采集方式主要包含以下幾個(gè)：數(shù)據(jù)抓取01數(shù)據(jù)導(dǎo)入02物聯(lián)網(wǎng)傳感設(shè)備自動(dòng)信息采集03第26頁(yè)1.4 大數(shù)據(jù)處理方法第一章 大數(shù)據(jù)概念與應(yīng)用of4027導(dǎo)入/預(yù)處理2即使采集端本身有很多數(shù)據(jù)庫(kù)，不過(guò)假如要對(duì)這些海量數(shù)據(jù)進(jìn)行有效分析，還是應(yīng)該將這些數(shù)據(jù)導(dǎo)入到一個(gè)集中大型分布式數(shù)據(jù)庫(kù)或者分布式存放集群當(dāng)中，同時(shí)，在導(dǎo)入基礎(chǔ)上完成數(shù)據(jù)清洗和預(yù)處理工作。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來(lái)自TwitterStorm來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來(lái)滿足部分業(yè)務(wù)實(shí)時(shí)計(jì)算需求。現(xiàn)實(shí)世界中數(shù)據(jù)大致上都是不完整、不一致“臟”數(shù)據(jù)，無(wú)法直接進(jìn)行數(shù)據(jù)挖掘，或挖掘結(jié)果差強(qiáng)人意，為了

23、提升數(shù)據(jù)挖掘質(zhì)量，產(chǎn)生了數(shù)據(jù)預(yù)處理技術(shù)。數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)歸約主要是到達(dá)數(shù)據(jù)格式標(biāo)準(zhǔn)化、異常數(shù)據(jù)去除、數(shù)據(jù)錯(cuò)誤糾正、重復(fù)數(shù)據(jù)去除等目標(biāo)。是將多個(gè)數(shù)據(jù)源中數(shù)據(jù)結(jié)合起來(lái)并統(tǒng)一存放，建立數(shù)據(jù)倉(cāng)庫(kù)。過(guò)平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適合用于數(shù)據(jù)挖掘形式。尋找依賴于發(fā)覺(jué)目標(biāo)數(shù)據(jù)有用特征，縮減數(shù)據(jù)規(guī)模，最大程度地精簡(jiǎn)數(shù)據(jù)量。第27頁(yè)1.4 大數(shù)據(jù)處理方法第一章 大數(shù)據(jù)概念與應(yīng)用of4028 統(tǒng)計(jì)與分析3統(tǒng)計(jì)與分析主要是利用分布式數(shù)據(jù)庫(kù)，或分布式計(jì)算集群來(lái)對(duì)存放于其內(nèi)海量數(shù)據(jù)進(jìn)行普通分析和分類匯總，以滿足大多數(shù)常見(jiàn)分析需求，在這些方面能夠使用R語(yǔ)言。R語(yǔ)言是用于統(tǒng)計(jì)分析、繪圖語(yǔ)言和操作

24、環(huán)境，屬于GNU系統(tǒng)一個(gè)自由、無(wú)償、源代碼開(kāi)放軟件，它是一個(gè)用于統(tǒng)計(jì)計(jì)算和統(tǒng)計(jì)制圖優(yōu)異工具。R語(yǔ)言在國(guó)際和國(guó)內(nèi)發(fā)展差異非常大，國(guó)際上R語(yǔ)言已然是專業(yè)數(shù)據(jù)分析領(lǐng)域標(biāo)準(zhǔn)，但在國(guó)內(nèi)依舊任重而道遠(yuǎn)，這當(dāng)然有數(shù)據(jù)學(xué)科地位原因，國(guó)內(nèi)很多人版權(quán)概念微弱，以及學(xué)術(shù)領(lǐng)域相對(duì)閉塞也是原因。R語(yǔ)言是一套完整數(shù)據(jù)處理、計(jì)算和制圖軟件系統(tǒng)。R語(yǔ)言思想是：它能夠提供一些集成統(tǒng)計(jì)工具，但更大量是它提供各種數(shù)學(xué)計(jì)算、統(tǒng)計(jì)計(jì)算函數(shù)，從而使使用者能靈活機(jī)動(dòng)地進(jìn)行數(shù)據(jù)分析，甚至創(chuàng)造出符合需要新統(tǒng)計(jì)計(jì)算方法。在大數(shù)據(jù)統(tǒng)計(jì)與分析過(guò)程中，主要面正確挑戰(zhàn)是分析包括數(shù)據(jù)量太大，其對(duì)系統(tǒng)資源，尤其是I/O會(huì)有極大占用。第28頁(yè)1.4 大數(shù)據(jù)處

25、理方法第一章 大數(shù)據(jù)概念與應(yīng)用of4029大數(shù)據(jù)挖掘4數(shù)據(jù)挖掘是創(chuàng)建數(shù)據(jù)挖掘模型一組試探法和計(jì)算方法，經(jīng)過(guò)對(duì)提供數(shù)據(jù)進(jìn)行分析，查找特定類型模式和趨勢(shì)，最終形成創(chuàng)建模型。分類樸素貝葉斯算法一個(gè)主要數(shù)據(jù)分析形式，依據(jù)主要數(shù)據(jù)類特征向量值及其它約束條件，結(jié)構(gòu)分類函數(shù)或分類模型，目標(biāo)是依據(jù)數(shù)據(jù)集特點(diǎn)把未知類別樣本映射到給定類別中。支持向量機(jī)SVM算法AdaBoost算法C4.5算法CART算法聚類BIRCH算法目標(biāo)在于將數(shù)據(jù)集內(nèi)含有相同特征屬性數(shù)據(jù)聚集在一起，同一個(gè)數(shù)據(jù)群中數(shù)據(jù)特征要盡可能相同，不一樣數(shù)據(jù)群中數(shù)據(jù)特征要有顯著區(qū)分。K-Means算法期望最大化算法（EM算法）K近鄰算法關(guān)聯(lián)規(guī)則Aprio

26、ri算法索系統(tǒng)中全部數(shù)據(jù)，找出全部能把一組事件或數(shù)據(jù)項(xiàng)與另一組事件或數(shù)據(jù)項(xiàng)聯(lián)絡(luò)起來(lái)規(guī)則，以取得預(yù)先未知和被隱藏，不能經(jīng)過(guò)數(shù)據(jù)庫(kù)邏輯操作或統(tǒng)計(jì)方法得出信息。FP-Growth算法預(yù)測(cè)模型序貫?zāi)Ｊ酵诰騍PMGC算法一個(gè)統(tǒng)計(jì)或數(shù)據(jù)挖掘方法，包含能夠在結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中使用以確定未來(lái)結(jié)果算法和技術(shù)，可為預(yù)測(cè)、優(yōu)化、預(yù)報(bào)和模擬等許多業(yè)務(wù)系統(tǒng)所使用。第29頁(yè)中國(guó)互聯(lián)網(wǎng)經(jīng)濟(jì)增加熱點(diǎn)大數(shù)據(jù)解讀趙 巖 博士 教授廣東財(cái)經(jīng)大學(xué)財(cái)稅學(xué)院中國(guó)互聯(lián)網(wǎng)經(jīng)濟(jì)研究院第30頁(yè)主題中國(guó)經(jīng)濟(jì)新常態(tài)現(xiàn)實(shí)狀況（背景）互聯(lián)網(wǎng)時(shí)代消費(fèi)者改變從互聯(lián)網(wǎng)+看經(jīng)濟(jì)增加新趨勢(shì)第31頁(yè)中國(guó)經(jīng)濟(jì)新常態(tài)下三個(gè)特點(diǎn)及消費(fèi)升級(jí)三個(gè)層次第32頁(yè)中國(guó)GDP增

27、速放緩，經(jīng)濟(jì)發(fā)展關(guān)鍵推進(jìn)力進(jìn)入更迭期第33頁(yè)中國(guó)居民收入穩(wěn)步提升，支撐消費(fèi)結(jié)構(gòu)升級(jí)，向電商、汽車、文化娛樂(lè)、醫(yī)療、旅游等領(lǐng)域傾斜第34頁(yè)需求不足僅是表象，供需錯(cuò)配才是實(shí)質(zhì)第35頁(yè)互聯(lián)網(wǎng)信息技術(shù)成為供給側(cè)改革中創(chuàng)新增加主要驅(qū)動(dòng)力量（打破信息不對(duì)稱）第36頁(yè)主題中國(guó)經(jīng)濟(jì)新常態(tài)現(xiàn)實(shí)狀況（背景）互聯(lián)網(wǎng)時(shí)代消費(fèi)者改變從互聯(lián)網(wǎng)+看經(jīng)濟(jì)增加新趨勢(shì)第37頁(yè)第三產(chǎn)業(yè)連續(xù)高速發(fā)展，新型消費(fèi)成為經(jīng)濟(jì)發(fā)展關(guān)鍵驅(qū)動(dòng)力第38頁(yè)80、90后已成長(zhǎng)為互聯(lián)網(wǎng)主力消費(fèi)人群第39頁(yè)80、90后區(qū)分于前輩社會(huì)屬性決定其消費(fèi)屬性差異化第40頁(yè)重品牌、重品質(zhì)、重服務(wù)、重享受、重個(gè)性、重精神，是當(dāng)前互聯(lián)網(wǎng)消費(fèi)主體主要人格特征第41頁(yè)不一樣

28、人格特征激發(fā)與推進(jìn)互聯(lián)網(wǎng)相關(guān)行業(yè)快速成長(zhǎng)第42頁(yè)主題中國(guó)經(jīng)濟(jì)新常態(tài)現(xiàn)實(shí)狀況（背景）互聯(lián)網(wǎng)時(shí)代消費(fèi)者改變從互聯(lián)網(wǎng)+看經(jīng)濟(jì)增加新趨勢(shì)第43頁(yè)第44頁(yè)網(wǎng)絡(luò)零售領(lǐng)域綜合電商Top App-1月第45頁(yè)跨境進(jìn)口零售火爆，折射國(guó)內(nèi)市場(chǎng)供需錯(cuò)配，消費(fèi)升級(jí)同時(shí)，產(chǎn)業(yè)升級(jí)也迫在眉睫第46頁(yè)消費(fèi)者對(duì)對(duì)應(yīng)服務(wù)能力要求，倒逼電商不停提升其服務(wù)能力，推進(jìn)全行業(yè)服務(wù)升級(jí)第47頁(yè)網(wǎng)上零售B2C業(yè)務(wù)占比超越C2C業(yè)務(wù)，消費(fèi)升級(jí)產(chǎn)業(yè)升級(jí)加速第48頁(yè)第49頁(yè)汽車領(lǐng)域汽車資訊Top App-1月第50頁(yè)汽車類電商加速增加，引領(lǐng)行業(yè)融合與變革第51頁(yè)汽車類電商加速增加，引領(lǐng)行業(yè)融合與變革第52頁(yè)第53頁(yè)分享經(jīng)濟(jì)：把傳統(tǒng)行業(yè)里面被中間

29、商、零售商賺走70%利潤(rùn)拿出來(lái)返還給消費(fèi)者（全球最吸金9個(gè)共享經(jīng)濟(jì)模式）有個(gè)開(kāi)面館老鄭，他做面很好吃!有個(gè)經(jīng)常來(lái)面館吃面食客小陳!小陳幾乎每個(gè)月都會(huì)來(lái)老鄭面館吃面!突然有一天老鄭對(duì)小陳說(shuō)：小陳同學(xué)我叫老鄭，是這家面館老板！那么我想問(wèn)你以為我家面館面好不好吃呢?小陳說(shuō)：好吃啊!我很喜歡!老鄭：那么既然好吃，我想和你談一個(gè)合作計(jì)劃!你愿意跟我合作嗎?小陳說(shuō)：先聽(tīng)聽(tīng)看是怎樣合作呢?老鄭：合作計(jì)劃是這么-你既然這么喜歡吃我家面，那么從今天開(kāi)始我正式邀請(qǐng)你成為我老鄭面館合作人，合作人呢，有以下幾點(diǎn)：你和你以前一樣，照例來(lái)吃面就能夠了，以前你來(lái)我面館吃面都不打折，再好吃也沒(méi)有打過(guò)折!現(xiàn)在你成為我合作人，你

30、來(lái)吃面我給你打七折；假如有朋友問(wèn)你小陳那里面店好吃啊?你要記得幫我講一句話就好了：老鄭面店最好吃，你報(bào)我小陳名字能夠打七折；報(bào)你名字來(lái)吃面朋友，每吃一碗，我獎(jiǎng)勵(lì)你1元，他們?cè)偻扑]朋友來(lái)吃面，每吃一碗，我獎(jiǎng)勵(lì)你0.5元。小陳說(shuō)：好啊!好啊!于是小陳下月就介紹了一些朋友來(lái)吃面!到了月底，老鄭對(duì)小陳說(shuō)：因?yàn)槟氵@個(gè)月介紹本店生意興隆，他們一共來(lái)本店吃了碗面!這是按約定給你1800元!小陳以為好棒，平時(shí)我只是來(lái)吃吃面，現(xiàn)在能吃到這么好吃面條同時(shí)還能賺外快，真好贊。過(guò)了段日子，小陳要準(zhǔn)備考試了，這個(gè)月他很忙，沒(méi)有時(shí)間去幫老鄭介紹人來(lái)面館了，不過(guò)忙里偷閑他還是會(huì)來(lái)面館吃面，和大家聊聊天。有一天，老鄭拉著小陳

31、，遞給他6000塊，小陳很詫異，果斷不收這錢，這時(shí)老鄭說(shuō)到：你上次介紹那些朋友啊，他們吃了面后，感覺(jué)味道確實(shí)不一樣于其它面館，從那以后他們經(jīng)常會(huì)來(lái)光臨，而且他們也介紹他們朋友來(lái)吃，我一樣也給他們獎(jiǎng)勵(lì)了，這些是你應(yīng)得，當(dāng)初多虧你介紹，我面館才會(huì)有現(xiàn)在這么興隆生意啊。小陳竟說(shuō)不出感激話來(lái)，從此之后，小陳就和老鄭面館，長(zhǎng)長(zhǎng)久久地合作下去。第54頁(yè)第55頁(yè)母嬰領(lǐng)域母嬰電商Top App-1月第56頁(yè)中國(guó)母嬰行業(yè)整體市場(chǎng)規(guī)模突破2萬(wàn)億第57頁(yè)母嬰電商交易規(guī)模快速擴(kuò)大，線上成為用戶主要購(gòu)置渠道，第58頁(yè)移動(dòng)母嬰小區(qū)用戶滲透率快速提升第59頁(yè)“小區(qū)+電商”模式完善母嬰市場(chǎng)生態(tài)第60頁(yè)互聯(lián)網(wǎng)深度影響母嬰用戶消費(fèi)行為第61頁(yè)海淘興起，跨境特賣成為母嬰電商標(biāo)配第62頁(yè)第63頁(yè)旅游領(lǐng)域出行預(yù)定Top App-1月第64頁(yè)經(jīng)濟(jì)發(fā)展帶動(dòng)旅游消費(fèi)升級(jí)，中國(guó)進(jìn)入多元化度假旅游新階段第65頁(yè)中國(guó)出境游人次突破1億，度假旅游消費(fèi)增加大幅推升因私出境百分比第66頁(yè)購(gòu)物花費(fèi)：國(guó)外自由行購(gòu)物花費(fèi)高，超3成用戶消費(fèi)萬(wàn)元以上第67頁(yè)度假旅游產(chǎn)品進(jìn)入3.0階段，多元化度假旅游需求促進(jìn)產(chǎn)品供需結(jié)構(gòu)