大數(shù)據(jù)時(shí)代課件

大數(shù)據(jù)時(shí)代Iscoming……

二0一5年6月讀書觀后感大數(shù)據(jù)時(shí)代迄今為止全世界最好的一本大數(shù)據(jù)專著。

·《大數(shù)據(jù)時(shí)代》作者維克托·邁爾-舍恩伯格，大數(shù)據(jù)時(shí)代的預(yù)言家，《科學(xué)》《自然》等著名學(xué)術(shù)期刊最推崇的互聯(lián)網(wǎng)研究者之一，“大數(shù)據(jù)商業(yè)應(yīng)用第一人”，擁有在哈佛大學(xué)、牛津大學(xué)、耶魯大學(xué)和新加坡國立大學(xué)等多個(gè)互聯(lián)網(wǎng)研究重鎮(zhèn)任教的經(jīng)歷。內(nèi)容簡介

維克托·爾耶·舍恩伯格在本書中前瞻性地指出，大數(shù)據(jù)帶來的信息風(fēng)暴正在變革我們的生活、工作和思維，大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型，并用三個(gè)部分講述了大數(shù)據(jù)時(shí)代的思維變革、商業(yè)變革和管理變革。

維克托最具洞見之處在于，他明確指出，大數(shù)據(jù)時(shí)代最大的轉(zhuǎn)變就是，放棄對因果關(guān)系的渴求，而取而代之關(guān)注相關(guān)關(guān)系。也就是說只要知道“是什么”，而不需要知道“為什么”。這顛覆了千百年來人類的思維慣例，對人類的認(rèn)知和與世界交流的方式提出了全新的挑戰(zhàn)。

《大數(shù)據(jù)時(shí)代》認(rèn)為大數(shù)據(jù)的核心就是預(yù)測。大數(shù)據(jù)將為人類的生活創(chuàng)造前所未有的可量化的維度。大數(shù)據(jù)已經(jīng)成為了新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄勢待發(fā)。書中展示了谷歌、微軟、亞馬遜、IBM、蘋果、facebook、twitter、VISA等大數(shù)據(jù)先鋒們最具價(jià)值的應(yīng)用案例。大數(shù)據(jù)★《亞洲周刊》“年度十大好書”，持續(xù)暢銷；從0到1，開中國先河，領(lǐng)跑大數(shù)據(jù)時(shí)代最好的書，經(jīng)典之作——第一次詳盡講述“大數(shù)據(jù)浪潮”的來龍去脈；第一次深入解讀“大數(shù)據(jù)時(shí)代”如何改變政府、商業(yè)和我們每個(gè)人的生活；第一次犀利闡明“數(shù)據(jù)”怎樣推動(dòng)民主進(jìn)程……

涂子沛，著名信息管理專家，江西吉安人，曾在美國學(xué)習(xí)、工作多年，2014年12月從美國硅谷回國，出任阿里巴巴集團(tuán)副總裁。本科畢業(yè)于華中科技大學(xué)計(jì)算機(jī)系，研究生就讀于卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息技術(shù)科學(xué)碩士學(xué)位。赴美留學(xué)前，曾在武警部隊(duì)和公共部門磨礪10年，深刻洞悉中美兩國的科技動(dòng)態(tài)和文化理念。作者還先后擔(dān)任上海真愛夢想基金會(huì)理事、中國旅美科技協(xié)會(huì)副主席等職務(wù)，并在國內(nèi)多所大學(xué)有客座教職?！洞髷?shù)據(jù)》這本書在中國社會(huì)開大數(shù)據(jù)之先河，引發(fā)了對大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國和開放數(shù)據(jù)的討論，被盛贊“為華文世界開創(chuàng)了一個(gè)重要話題”。作者的另一本著作《數(shù)據(jù)之巔》，提出當(dāng)前信息技術(shù)的發(fā)展，已經(jīng)讓中國獲得了后發(fā)優(yōu)勢，中國要在大數(shù)據(jù)時(shí)代的全球競爭中勝出，需要把大數(shù)據(jù)從科技符號提升成為文化符號，在全社會(huì)倡導(dǎo)數(shù)據(jù)文化。大數(shù)據(jù)時(shí)代認(rèn)識(shí)大數(shù)據(jù)大數(shù)據(jù)帶來的變革大數(shù)據(jù)背景下的企業(yè)管理大數(shù)據(jù)的商業(yè)價(jià)值大數(shù)據(jù)的風(fēng)險(xiǎn)facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動(dòng)互聯(lián)21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大。互聯(lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：半個(gè)世紀(jì)以來，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念*。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景迎接大數(shù)據(jù)時(shí)代的到來硬件成本的降低網(wǎng)絡(luò)帶寬的提升云計(jì)算的興起網(wǎng)絡(luò)技術(shù)的發(fā)展智能終端的普及電子商務(wù)、社交網(wǎng)絡(luò)、電子地圖等的全面應(yīng)用物聯(lián)網(wǎng)1.Volume2.Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，對處理能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合什么是BigData數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量大數(shù)據(jù)精髓大數(shù)據(jù)的關(guān)鍵并非是數(shù)據(jù)的大，而是數(shù)據(jù)的全。我們通過多角度/多維度的記錄一個(gè)人的行為軌跡來判斷原本的本來面目，通過互聯(lián)網(wǎng)的數(shù)據(jù)歸集來對世界進(jìn)行判斷。大數(shù)據(jù)能給我們帶來什么？？大數(shù)據(jù)時(shí)代全新的生活方式購物：不受時(shí)空限制，隨時(shí)隨地購物。在看不到商品的情況下，口碑就是質(zhì)量。大數(shù)據(jù)時(shí)代全新的生活方式旅行：足不出戶，安排好一切。大數(shù)據(jù)時(shí)代全新的思維方式分析事物時(shí)，依賴該事物的所有數(shù)據(jù)，不再是進(jìn)行樣本分析。在大數(shù)據(jù)時(shí)代，允許不精確。更注重相關(guān)關(guān)系，而不是因果關(guān)系。TARGET公司與懷孕少女根據(jù)2012年6月16號紐約時(shí)報(bào)的一篇報(bào)道介紹了一個(gè)美國的父親很生氣的找到美國TARGET公司，因?yàn)門ARGET公司說她女兒懷孕了，而他的女兒才15歲。但是1個(gè)月后他又來到了TARGET公司道歉承認(rèn)他的女兒確實(shí)懷孕了，TARGET是一家優(yōu)惠券發(fā)行及網(wǎng)上零售公司，TARGET公司利用大數(shù)據(jù)發(fā)現(xiàn)懷孕的婦女有不同的購買習(xí)慣，比如懷孕3個(gè)月后會(huì)購買無香料的洗發(fā)水等，5-6個(gè)月后會(huì)買補(bǔ)品等，通過類似的搜索，發(fā)現(xiàn)相應(yīng)的客戶。大數(shù)據(jù)時(shí)代全新的商業(yè)模式《紙牌屋》。Netflix并不是任何一個(gè)電視臺(tái)，而是電視臺(tái)和電影院的平臺(tái)，是北美最大的付費(fèi)訂閱視頻網(wǎng)站?；谄?000萬北美用戶觀看視頻時(shí)留下的行為數(shù)據(jù)，預(yù)測出凱文·史派西、大衛(wèi)·芬奇和“BBC出品”三種元素結(jié)合在一起的電視劇產(chǎn)品將會(huì)大火特火。此外，Netflix還通過“大數(shù)據(jù)”觀測到另一流行趨勢：越來越多的人不再像30年前那樣，在固定晚上的固定時(shí)刻守在電視機(jī)前，等著收看電視劇的最新劇集，而是“攢”起來，直到整季劇情全部播放完畢之后，才選一個(gè)自己方便的時(shí)間段和地點(diǎn)，在方便的設(shè)備（多數(shù)是網(wǎng)絡(luò)設(shè)備，如電腦、iPad）上一次性觀看。小時(shí)代小時(shí)代火爆-排片率達(dá)到了45%，為什么呢？我們在吐槽故事情節(jié)的狗血，空洞之余，為什么火爆？郭敬明的粉絲4000萬人+楊冪的粉絲/微博沃爾瑪啤酒與尿布沃爾瑪調(diào)查發(fā)現(xiàn)啤酒與尿布的銷量正相關(guān)，啤酒賣的多的時(shí)候，尿布的相應(yīng)也增加。此外沃爾瑪還發(fā)現(xiàn)刮暴風(fēng)雨的時(shí)候，蛋撻賣的好，雨天的時(shí)候蛋糕賣的好，隨著氣溫的升高，三明治賣的好。=大數(shù)據(jù)與因果關(guān)系大數(shù)據(jù)將我們原來以原來思考問題的因果關(guān)系的判斷，直接打破，不需要推導(dǎo)的過程，不需要因果關(guān)系，直接要結(jié)果。商業(yè)社會(huì)直接利用啤酒與尿布/蛋糕與天氣來推銷與調(diào)劑庫存。在賣啤酒的柜臺(tái)附近放置尿布廣告/在雨天的時(shí)候，多庫存蛋糕，晴天少配置蛋糕，氣溫高的時(shí)候多賣三明治，正是這樣大數(shù)據(jù)分析使歐洲的蛋糕店利潤率提高了20%。馬云對2008年經(jīng)濟(jì)危機(jī)的預(yù)測話說馬云成功預(yù)測2008年經(jīng)濟(jì)危機(jī)，并幫助他成千上萬的中小制造商準(zhǔn)備過冬的糧食。讓馬云贏得了崇高的聲譽(yù)?！?008年初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！卑⒗锇桶偷拇髷?shù)據(jù)力量馬云對未來的預(yù)測，是建立在對用戶行文分析的基礎(chǔ)上。通常而言，買家在采購商品前，會(huì)比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購買點(diǎn)擊的數(shù)量會(huì)保持一個(gè)相對的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降大數(shù)據(jù)時(shí)代的企業(yè)管理數(shù)據(jù)從哪里來？數(shù)據(jù)怎么用？除了上帝，任何人都必須用數(shù)據(jù)來說話。數(shù)據(jù)來源于業(yè)務(wù)。量化一切，數(shù)據(jù)化的核心。大數(shù)據(jù)時(shí)代的企業(yè)信息化企業(yè)信息化管理的是大數(shù)據(jù)中的結(jié)構(gòu)化數(shù)據(jù)的那部分，因此精確度可以達(dá)到100%。管理設(shè)計(jì)合理+業(yè)務(wù)操作正確=正確的數(shù)據(jù)企業(yè)管理的數(shù)據(jù)數(shù)據(jù)是企業(yè)最寶貴的財(cái)富。2、基于業(yè)務(wù)數(shù)據(jù)的BI，分析數(shù)據(jù)挖掘數(shù)據(jù)寶藏，為決策提供數(shù)據(jù)依據(jù)。---數(shù)據(jù)的價(jià)值在于應(yīng)用！3、大數(shù)據(jù)在企業(yè)管理中的應(yīng)用1）預(yù)測

預(yù)測對企業(yè)的各項(xiàng)職能活動(dòng)包括采購原材料、擴(kuò)充機(jī)器設(shè)備、補(bǔ)充人員等需要……3、大數(shù)據(jù)在企業(yè)管理中的應(yīng)用2）更有效地組織企業(yè)以節(jié)省資金

把ERP作為整個(gè)企業(yè)的通訊系統(tǒng)，使得企業(yè)整體合作的意識(shí)和作用加強(qiáng)。通過準(zhǔn)確和及時(shí)的信息傳遞，把大家的精力集中在同一個(gè)方向上，以工作流程的觀點(diǎn)和方式來運(yùn)營和管理企業(yè)，而不是把企業(yè)看作是一個(gè)個(gè)部門的組合。在這種情況下，特別是在市場銷售和生產(chǎn)制造部門之間可以形成從未有過的、深刻的合作，共同努力滿足客戶需求，贏得市場。

案例：使用新的大數(shù)據(jù)源，可以使供應(yīng)鏈中的物流業(yè)可以變得更高效。送貨的卡車內(nèi)的電子車載定位功能可以告訴我們他們在哪里、通過結(jié)合道路狀況、交通信息和天氣條件以及客戶的位置等數(shù)據(jù)，驅(qū)動(dòng)送貨的卡車進(jìn)行最優(yōu)路徑的運(yùn)送，可以大大節(jié)省您的時(shí)間和金錢。3、大數(shù)據(jù)在企業(yè)管理中的應(yīng)用3）真正實(shí)時(shí)的了解客戶案例：亞馬遜已然將這一點(diǎn)做到了極致，他們?yōu)榭蛻敉扑]的產(chǎn)品絕不是一個(gè)巧合。亞馬遜的推薦引擎完全是基于客戶在過去一段時(shí)間的購買行為所做的：客戶的購物車中所收藏的商品、客戶喜歡的商品、其它用戶瀏覽或購買的商品。亞馬遜使用的該算法，為每位客戶定制了專屬的個(gè)人主頁。利用該策略是：該公司在其第三財(cái)政季度期間銷售增長27%，達(dá)到了131.8億美元，而去年同期的銷售額則為96億美元。使用互連的社交媒體數(shù)據(jù)、移動(dòng)數(shù)據(jù)、網(wǎng)絡(luò)分析和其他數(shù)據(jù)分析，企業(yè)可以充分了解每一位客戶，實(shí)時(shí)的知道他們想要什么，以及何時(shí)想要。真正了解客戶，意味著可以結(jié)合客戶的個(gè)性化特點(diǎn)，給出有針對性的建議或顯示廣告。PRADA的芯片PRADA在紐約的旗艦店每件衣服上安裝了一個(gè)芯片，在每件衣服在拿到試衣室的時(shí)候會(huì)在試衣室的門上感應(yīng)一下，同時(shí)利用每件衣服最終銷售了哪些，通過這些數(shù)據(jù)的交叉就會(huì)發(fā)現(xiàn)哪些衣服看上去款式很好，可能因?yàn)橐恍┘?/p>

cai等原因就不好銷售，因此就容易發(fā)現(xiàn)問題，進(jìn)行相應(yīng)的調(diào)整，通過這樣的方法PRADA就上升了15%.互聯(lián)網(wǎng)金融互聯(lián)網(wǎng)金融在服務(wù)中小企業(yè)融資及個(gè)人消費(fèi)貸款等方面具有獨(dú)特的優(yōu)勢，包括貸款審批流程簡單、放款速度快、產(chǎn)品類型豐富多樣等。例如，專注于小微企業(yè)融資服務(wù)的阿里信貸，利用其天然優(yōu)勢，即阿里巴巴B2B、淘寶、支付寶等電子商務(wù)平臺(tái)上客戶積累的信用數(shù)據(jù)及行為數(shù)據(jù)，引入網(wǎng)絡(luò)數(shù)據(jù)模型和在線資信調(diào)查模式，通過交叉檢驗(yàn)技術(shù)輔以第三方驗(yàn)證確認(rèn)客戶信息的真實(shí)性，將客戶在電子商務(wù)網(wǎng)絡(luò)平臺(tái)上的行為數(shù)據(jù)映射為企業(yè)和個(gè)人的信用評價(jià)，向這些通常無法在傳統(tǒng)金融渠道獲得貸款的弱勢群體批量發(fā)放“金額小、期限短、隨借隨還”的小額貸款。其淘寶商戶貸流程包括：3分鐘申請、沒有人工審批、1秒到款到賬。近年來，互聯(lián)網(wǎng)金融發(fā)展勢頭異常迅猛，其中阿里金融自2010年成立以來，已累計(jì)為超過13萬家的中小企業(yè)提供融資服務(wù)，貸款總額達(dá)280億，2012年上半年就累計(jì)發(fā)放貸款130億，新增獲貸企業(yè)4萬家，不良貸款率為僅為0.72%。

互聯(lián)網(wǎng)金融模式不僅可以達(dá)到與直接融資和間接融資一樣的資源配置效率，而且還能大幅減少交易成本。中國投資有限責(zé)任公司副總經(jīng)理謝平指出，20年后“互聯(lián)網(wǎng)直接融資市場”或“互聯(lián)網(wǎng)金融模式”，可能形成一個(gè)既不同于商業(yè)銀行間接融資、也不同于資本市場直接融資的第三種金融運(yùn)行機(jī)制。GOOLGO的無人駕駛汽車GoogleDriverlessCar是谷歌公司的GoogleX實(shí)驗(yàn)室研發(fā)中的全自動(dòng)駕駛汽車，不需要駕駛者就能啟動(dòng)、行駛以及停止。目前正在測試，已駕駛了48萬公里。項(xiàng)目由Google街景的共同發(fā)明人塞巴斯蒂安·特龍（SebastianThrun）領(lǐng)導(dǎo)。這些車輛使用照相機(jī)、雷達(dá)感應(yīng)器和激光測距機(jī)來“看”其他的交通狀況，并且使用詳細(xì)地圖來為前方的道路導(dǎo)航。谷歌說，這些車輛比有人駕駛的車更安全，因?yàn)樗鼈兡芨杆?、更有效地作出反?yīng)。車頂上的掃描器發(fā)射64束激光射線，然后激光碰到車輛周圍的物體，又反射回來，這樣就計(jì)算出了物體的距離。另一套在底部的系統(tǒng)測量出車輛在三個(gè)方向上的加速度、角速度等數(shù)據(jù)，然后再結(jié)合GPS數(shù)據(jù)計(jì)算出車輛的位置，所有這些數(shù)據(jù)與車載攝像機(jī)捕獲的圖像一起輸入計(jì)算機(jī)，軟件以極高的速度處理這些數(shù)據(jù)。這樣，系統(tǒng)就可以非常迅速的作出判斷。將谷歌地圖/谷歌街景等測繪的大量數(shù)據(jù)與汽油相結(jié)合。未來的將翻譯人員及律師等白領(lǐng)將失業(yè)目前IBM已經(jīng)研發(fā)出來了一個(gè)及時(shí)翻譯的穿戴式設(shè)備，通過該穿戴式設(shè)備，可以在0.7秒內(nèi)將阿拉伯語翻譯成英文。當(dāng)這樣的設(shè)備將會(huì)迅速的替代翻譯人員。故宮的電子導(dǎo)覽器與導(dǎo)游律師/中介，通過互聯(lián)網(wǎng)大數(shù)據(jù)的信息流逐漸的壓扁了，減少了原來的信息流的不對稱等。大數(shù)據(jù)的市場空間及對社會(huì)的貢獻(xiàn)數(shù)據(jù)的再利用：由于在信息價(jià)值鏈中的特殊位置，有些公司可能會(huì)收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動(dòng)電話運(yùn)營商手機(jī)用戶的位置信息來傳輸電話信號，這對以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)的公司再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維其中三者兼具的有谷歌公司，谷歌在剛開始收集數(shù)據(jù)的時(shí)候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機(jī)全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建谷歌地圖，也是為了制成全自動(dòng)汽車以及谷歌眼鏡等與實(shí)景交匯的產(chǎn)品。未來，企業(yè)會(huì)依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶?！洞髷?shù)據(jù)時(shí)代》傳統(tǒng)行業(yè)最終都會(huì)轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的應(yīng)用互聯(lián)網(wǎng)公司受益于大數(shù)據(jù)中國工程院院士鄔賀銓說道，“智慧城市是使用智能計(jì)算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代?！敝腔壅?wù)智慧交通智慧電網(wǎng)智慧教育智慧醫(yī)療……公共管理部門受益于大數(shù)據(jù)根據(jù)國家信息中心信息化研究部統(tǒng)計(jì)，目前我國提出智慧城市建設(shè)的城市總數(shù)已達(dá)到154個(gè)，預(yù)計(jì)投資規(guī)模超過1.5萬億元。智慧城市必將產(chǎn)生大數(shù)據(jù)，利用大數(shù)據(jù)的思維來改變公共管理部門的形象。醫(yī)療可利用多種大數(shù)據(jù)手段臨床操作