大數(shù)據(jù)時(shí)代的大數(shù)據(jù)思維

大數(shù)據(jù)時(shí)代的大數(shù)據(jù)思維茅寧南京大學(xué)管理學(xué)院不講大數(shù)據(jù)就“OUT”了如何理解大數(shù)據(jù)技術(shù)：大云平移產(chǎn)業(yè)：商業(yè)革命資產(chǎn)：數(shù)據(jù)資產(chǎn)思維：管理革命和思維革命大數(shù)據(jù)時(shí)代：改變我們的生活、工作和思維方式Gartner公司（3V+1）：大數(shù)據(jù)是指數(shù)量大、變化快和（或）多樣化的信息資產(chǎn)，需要新的處理形式，從而強(qiáng)化決策、促進(jìn)洞察力和優(yōu)化流程數(shù)據(jù)量（Volume）全量超大規(guī)模（海量）K、MB（兆）、G、T、P、E、Z、Y、N、D、C大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）不僅是規(guī)模，更重要的是增長(zhǎng)速度到2012年，人類生產(chǎn)的所有印刷材料數(shù)據(jù)量是200PB，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍速度（Velocity）：實(shí)時(shí)變化（輸入和處理速度快）對(duì)處理時(shí)間的要求種類（Variety)）：多樣化（多源異構(gòu)）結(jié)構(gòu)化非結(jié)構(gòu)化：文本、圖象等價(jià)值（Value）:價(jià)值密度低大海撈針？數(shù)據(jù)本身不產(chǎn)生價(jià)值，如何分析和利用大數(shù)據(jù)對(duì)業(yè)務(wù)產(chǎn)生幫助才是關(guān)鍵例：Facebook上市前有形資產(chǎn)價(jià)值66億美元，但估值1040億美元2009年-2011年間收集了2.1萬(wàn)億條獲利信息大有大的道理戴明：除了上帝，任何人都必須用數(shù)據(jù)來(lái)說(shuō)話對(duì)大部分事物來(lái)說(shuō)，平均值都差強(qiáng)人意但在決策中，大量個(gè)體的平均值往往是最好的猜猜瓶子里有多少錢？猜得最準(zhǔn)的個(gè)人距離正確答案10美元所有猜測(cè)的平均值距離正確答案3美元365美元數(shù)據(jù)、模型和理論的關(guān)系光大是不夠的數(shù)據(jù)并不是越多越好對(duì)數(shù)據(jù)分析能力的挑戰(zhàn)：由人來(lái)解讀轉(zhuǎn)化為洞察見(jiàn)解科斯：如果你總是拷問(wèn)數(shù)據(jù)，數(shù)據(jù)遲早會(huì)招供的有一位美國(guó)數(shù)學(xué)家最怕坐飛機(jī)他研究了近20年的統(tǒng)計(jì)數(shù)據(jù)，發(fā)現(xiàn)恐怖分子帶炸彈上飛機(jī)的概率非常低但他還是不放心，又做進(jìn)一步研究，發(fā)現(xiàn)兩個(gè)人同時(shí)帶炸彈上飛機(jī)的概率為零于是他坐飛機(jī)都自己攜帶一枚炸彈水生動(dòng)物不要羨慕陸生動(dòng)物的四個(gè)蹄子，它真正需要的是生出一個(gè)肺，而不是用腮呼吸林彪的大數(shù)據(jù)思維遼沈戰(zhàn)役期間，林彪要求每天要進(jìn)行“軍情匯報(bào)”由值班參謀讀出各單位用電臺(tái)報(bào)告的當(dāng)日戰(zhàn)況和繳獲幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù)一天，參謀匯報(bào)當(dāng)日戰(zhàn)況時(shí)，林彪突然打斷他：“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲，你們聽(tīng)到了嗎?”見(jiàn)無(wú)人回答，接連問(wèn)了三句為什么那里繳獲的短槍與長(zhǎng)槍比例比其它戰(zhàn)斗略高為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?為什么在那里俘虜和擊斃軍官與士兵的比例比其它戰(zhàn)斗略高?“我猜想，不，我斷定!敵人的指揮所就在這里!果然，部隊(duì)很快就抓住了敵方指揮官廖耀湘大數(shù)據(jù)內(nèi)涵的三維度解析技術(shù)實(shí)踐理論數(shù)據(jù)信息采集、傳輸、存貯、處理和分析能力——云技術(shù)、分布式處理技術(shù)、存貯技術(shù)、感知技術(shù)——分析技術(shù)：可視化分析、數(shù)據(jù)挖掘算法、語(yǔ)義搜索引擎、數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理、預(yù)測(cè)性分析大數(shù)據(jù)特征大數(shù)據(jù)價(jià)值大數(shù)據(jù)思維公共（互聯(lián)網(wǎng)）數(shù)據(jù)政務(wù)數(shù)據(jù)產(chǎn)業(yè)（企業(yè)）數(shù)據(jù)個(gè)人（用戶）數(shù)據(jù)（i-data)大數(shù)據(jù)的本質(zhì)用母體代替抽樣統(tǒng)計(jì)抽樣的局限性用數(shù)量代替精確擁抱混雜性：容錯(cuò)性更強(qiáng)用相關(guān)性代替因果性知道是什么比知道為什么更重要演繹與歸納的區(qū)別演繹：通過(guò)一般規(guī)律推導(dǎo)出具體事實(shí)（從因到果）歸納：從具體事實(shí)中總結(jié)出一般規(guī)律大數(shù)據(jù)據(jù)的啟啟示：：決策策分析析觀念念的轉(zhuǎn)轉(zhuǎn)變傳統(tǒng)抽樣數(shù)數(shù)據(jù)、、局部部數(shù)據(jù)據(jù)和片片面數(shù)數(shù)據(jù)經(jīng)驗(yàn)、、假設(shè)設(shè)和價(jià)價(jià)值觀觀未來(lái)要全體體不要要抽樣樣要效率率不要要絕對(duì)對(duì)精確確要相關(guān)關(guān)不要要因果果分析過(guò)過(guò)去，，提醒醒現(xiàn)在在，展展望未未來(lái)GaryLoveman博博士的的經(jīng)歷歷1989年在MIT獲經(jīng)濟(jì)濟(jì)學(xué)博博士學(xué)學(xué)位后后在哈哈佛商商學(xué)院院任教教專長(zhǎng)是是數(shù)據(jù)據(jù)挖掘掘和服服務(wù)管管理：：客戶戶心理理分析析數(shù)學(xué)只是象象牙塔里學(xué)學(xué)究們出于于個(gè)人興趣趣的消遣，，而對(duì)真實(shí)實(shí)世界的決決策沒(méi)有幫幫助，這讓讓他一度感感到沮喪1994年在HBR發(fā)表一篇文文章引起企企業(yè)關(guān)注1997年接受主營(yíng)營(yíng)賭場(chǎng)業(yè)務(wù)務(wù)的哈拉斯斯娛樂(lè)公司司（Harrah’sEntertainment）邀請(qǐng)，擔(dān)擔(dān)任該公司司COO他只準(zhǔn)備待待兩年，為為此請(qǐng)了兩兩年學(xué)術(shù)假假期再?zèng)]有返回回哈佛大學(xué)學(xué)，2003年接任該公公司CEO關(guān)鍵：使用用數(shù)學(xué)運(yùn)營(yíng)營(yíng)賭場(chǎng)哈拉斯娛樂(lè)樂(lè)公司的特特色每年在信息息系統(tǒng)上的的投資超過(guò)過(guò)1億美元推行了一套套名為“完完全回饋””（TotalReward）的會(huì)員卡卡制度，所所有消費(fèi)都都用卡到2010年，已積累累超過(guò)4000萬(wàn)會(huì)員的信信息，是博博彩業(yè)最大大的客戶數(shù)數(shù)據(jù)庫(kù)公司從地方方性企業(yè)成成長(zhǎng)為全球球最大的博博彩公司（（擁有39家本土賭場(chǎng)場(chǎng)、13家海外賭場(chǎng)場(chǎng)）2010年改名為凱凱撒娛樂(lè)公公司(CaesarsEntertainment）利用大數(shù)據(jù)據(jù)提供優(yōu)質(zhì)質(zhì)服務(wù)通過(guò)對(duì)顧客客消費(fèi)模式式的分析，，計(jì)算出顧顧客的長(zhǎng)期期價(jià)值（customerworth）一個(gè)顧客理理論上長(zhǎng)期期會(huì)在Harrah’s總共消費(fèi)多多少26%的客戶貢獻(xiàn)獻(xiàn)了82%的收入：前前者并不是是大多數(shù)賭賭場(chǎng)一直在在爭(zhēng)取的金金領(lǐng)豪客，，而是中產(chǎn)產(chǎn)階級(jí)的中中老年顧客客（教師、、醫(yī)生、銀銀行職員等等）系統(tǒng)能根根據(jù)顧客客背景資資料及歷歷史消費(fèi)費(fèi)模式計(jì)計(jì)算出顧顧客的痛痛苦點(diǎn)（（painpoint）如果他輸輸錢超過(guò)過(guò)痛苦點(diǎn)點(diǎn)，今晚晚的賭博博會(huì)成為為一個(gè)痛痛苦的回回憶，離離開(kāi)Harrah’’s后一去不不返實(shí)時(shí)做出出對(duì)策：：提供免免費(fèi)餐券券勸退投資決策策電影《永無(wú)止境境》的故事一位落魄魄的作家家?guī)扃攴昧艘灰环N可以以迅速提提升智力力的神奇奇藍(lán)色藥藥物，然然后他將將這種高高智商用用于炒股股在短時(shí)間間掌握無(wú)無(wú)數(shù)公司司資料和和背景：：將世界界上已經(jīng)經(jīng)存在的的海量數(shù)數(shù)據(jù)（包包括公司司財(cái)報(bào)、、電視、、互聯(lián)網(wǎng)網(wǎng)、小道道消息等等）挖掘掘出來(lái)甚至將FaceBook、Twitter的海量社交數(shù)數(shù)據(jù)挖掘得到到普通大眾對(duì)對(duì)某種股票的的感情傾向通過(guò)海量信息息的挖掘、分分析，使一切切內(nèi)幕都不是是內(nèi)幕，使一一切趨勢(shì)都在在眼前在10天內(nèi)贏得了200萬(wàn)美元，神奇奇的表現(xiàn)讓身身邊的職業(yè)投投資者目瞪口口呆啟示：如果人人類將剩余80％的大腦潛能能激發(fā)出來(lái)大數(shù)據(jù)實(shí)踐廣泛應(yīng)用數(shù)據(jù)據(jù)、使用統(tǒng)計(jì)計(jì)與量化分析析方法、使用用描述性與預(yù)預(yù)測(cè)性模型以以及基于事實(shí)實(shí)的管理方法法影響決策和和行動(dòng)核心：用大數(shù)數(shù)據(jù)思維去發(fā)發(fā)掘大數(shù)據(jù)的的潛在價(jià)值以基于大數(shù)據(jù)據(jù)的預(yù)測(cè)分析析為例消費(fèi)行為：營(yíng)營(yíng)銷人的社交活動(dòng)動(dòng)：戀愛(ài)、離離婚、生育人的思考與決決策：競(jìng)選、、論文評(píng)分、、情緒人的放棄：惠惠普對(duì)30多萬(wàn)員工的離離職風(fēng)險(xiǎn)評(píng)估估事故：保險(xiǎn)、、破產(chǎn)疾病和死亡撒謊、欺詐、、犯罪西格爾，《大數(shù)據(jù)預(yù)測(cè)》，中信出版社社，2014年4月大數(shù)據(jù)預(yù)測(cè)的的147項(xiàng)案例Google流感預(yù)測(cè)：：國(guó)家、地區(qū)區(qū)是分析過(guò)去，，提醒現(xiàn)在，，展望未來(lái)。。百度預(yù)測(cè)景點(diǎn)預(yù)測(cè)疾病預(yù)測(cè)城市預(yù)測(cè)房地產(chǎn)預(yù)測(cè)票房預(yù)測(cè)就業(yè)預(yù)測(cè)金融預(yù)測(cè)世界杯預(yù)測(cè)高考預(yù)測(cè)百度大數(shù)據(jù)產(chǎn)產(chǎn)品百度司南：一一站式營(yíng)銷決決策平臺(tái)人群分析品牌分析媒體分析輿情分析百度統(tǒng)計(jì)百度精算百度推薦百度筷搜？大數(shù)據(jù)：價(jià)值值潛力與捕捉捉難度大數(shù)據(jù)對(duì)企業(yè)業(yè)的革命性影影響有能力從以自自我為中心改改變?yōu)橐钥蛻魬魹橹行膹漠a(chǎn)品創(chuàng)新到到需求創(chuàng)新：：強(qiáng)需求勝過(guò)過(guò)好產(chǎn)品導(dǎo)致管理方式式的重構(gòu)業(yè)務(wù)本身就可可以自決策，，不必要依靠靠膨大的組織織和復(fù)雜的流流程改變了商業(yè)邏邏輯從觀察、思考考、推理、決決策到直接獲獲得答案決策文化變革革：讓數(shù)據(jù)做做主從全新視角來(lái)來(lái)發(fā)現(xiàn)新的商商業(yè)機(jī)會(huì)和重重構(gòu)新的商業(yè)業(yè)模式廣角鏡+顯微鏡農(nóng)夫山泉用大大數(shù)據(jù)賣礦泉泉水“大自然搬運(yùn)運(yùn)工”，在在全國(guó)有十多多個(gè)水源地“搬上搬下，，銀子嘩嘩””：一瓶超市市售價(jià)2元的550ml飲用水，其中中3毛錢花在了運(yùn)運(yùn)輸上如何根據(jù)不同同的變量因素素來(lái)控制物流流成本道路等級(jí)、天天氣、配送中中心輻射半徑徑、季節(jié)性變變化、不同市市場(chǎng)的售價(jià)、、不同渠道的的費(fèi)用、各地地的人力成本本、甚至突發(fā)發(fā)性的需求業(yè)務(wù)員每天例例行公事：到到銷售點(diǎn)拍攝攝10張照片：水怎怎么擺放、位位置有什么變變化、高度如如何……一天要跑15個(gè)，下班之前前150張照片傳回總總部，產(chǎn)生的的數(shù)據(jù)量在10M全公司1萬(wàn)個(gè)業(yè)務(wù)員，，每天100G，每月3TB基因測(cè)序與個(gè)個(gè)性化醫(yī)療的的實(shí)現(xiàn)一種新型基因因檢測(cè)技術(shù)，，能夠從血液液或唾液中分分析測(cè)定基因因全序列意義：預(yù)知未未來(lái)健康狀況況，有針對(duì)性性地進(jìn)行保健健和治療，幫幫助人們從被被動(dòng)預(yù)防治療療走向主動(dòng)預(yù)預(yù)知健康喬布斯和影星星安吉麗娜·朱莉市場(chǎng)比保健市市場(chǎng)更為龐大大，未來(lái)將達(dá)達(dá)到幾百萬(wàn)億億美元問(wèn)題：消耗時(shí)時(shí)間、代價(jià)昂昂貴一個(gè)腫瘤患者者的基因組容容量是2-3T借助于大數(shù)據(jù)據(jù)，基因測(cè)序序的成本已經(jīng)經(jīng)從幾十萬(wàn)美美元逼近1000美元大關(guān)大數(shù)據(jù)實(shí)踐為為企業(yè)創(chuàng)造價(jià)價(jià)值的可能途途徑客戶群體細(xì)分分，量身定制制特別服務(wù)發(fā)現(xiàn)隱藏線索索，進(jìn)行產(chǎn)品品和服務(wù)創(chuàng)新新模擬現(xiàn)實(shí)環(huán)境境，發(fā)掘新的的需求加強(qiáng)部門聯(lián)系系，提高管理理和產(chǎn)業(yè)鏈條條效率例1：提供個(gè)個(gè)性化定制性性服務(wù)美國(guó)明尼阿波波利斯市郊外外的一位父親親收到了美國(guó)國(guó)第二大零售售商Target寄來(lái)的有關(guān)養(yǎng)養(yǎng)育嬰兒的優(yōu)優(yōu)惠券收件人是他那那還讀高中的的女兒這位父親起初初勃然大怒，，準(zhǔn)備同該商商家理論但后來(lái)發(fā)現(xiàn)女女兒確實(shí)不小小心懷了孕根據(jù)25種典型消費(fèi)品品的消費(fèi)大數(shù)數(shù)據(jù)構(gòu)建了““懷孕預(yù)測(cè)指指數(shù)”商家正是根據(jù)據(jù)這位少女在在該店的購(gòu)物物記錄，通過(guò)過(guò)該指數(shù)，準(zhǔn)準(zhǔn)確無(wú)誤地預(yù)預(yù)測(cè)到了她的的預(yù)產(chǎn)期于是立即啟動(dòng)動(dòng)了個(gè)性化服服務(wù)例2：把握居民電電力消費(fèi)行為為特征人類對(duì)自身能能源消耗的細(xì)細(xì)節(jié)并不了解解在這些細(xì)節(jié)中中暗藏了大量量無(wú)效率的能能源浪費(fèi)不同的消費(fèi)形形態(tài)造成不同同的發(fā)電成本本不同發(fā)電成本本負(fù)擔(dān)的消費(fèi)費(fèi)者支付了相相同價(jià)格，從從而造成巨大大的無(wú)效率現(xiàn)有定價(jià)機(jī)制制無(wú)法根據(jù)消消費(fèi)形態(tài)不同同區(qū)分不同價(jià)價(jià)格通常假設(shè)居民民電力消費(fèi)行行為具有“雙雙峰”特點(diǎn)由智能電表得得到的大數(shù)據(jù)據(jù)分析不支持持：每隔15分鐘測(cè)量雖然總體呈現(xiàn)現(xiàn)此模式，但但個(gè)體模式各各異（只有10%）通過(guò)大數(shù)據(jù)技技術(shù)設(shè)計(jì)高效效節(jié)能電力消消費(fèi)模式例3再現(xiàn)現(xiàn)場(chǎng)環(huán)境境發(fā)現(xiàn)新的需需求PRADA在紐約的旗艦艦店中每件衣衣服上都有RFID碼每當(dāng)一一個(gè)顧顧客拿拿起一一件PRADA進(jìn)試衣衣間，，RFID會(huì)被自自動(dòng)識(shí)識(shí)別，，數(shù)據(jù)據(jù)會(huì)傳傳至PRADA總部每一件件衣服服在哪哪個(gè)城城市哪哪個(gè)旗旗艦店店什么么時(shí)間間被拿拿進(jìn)試試衣間間停留留多長(zhǎng)長(zhǎng)時(shí)間間，數(shù)數(shù)據(jù)都都被存存儲(chǔ)起起來(lái)加加以分分析如果有有一件件衣服服銷量量很低低，以以往的的作法法是直直接干干掉如果RFID傳回的的數(shù)據(jù)據(jù)顯示示這件件衣服服雖然然銷量量低，，但進(jìn)進(jìn)試衣衣間的的次數(shù)數(shù)多某個(gè)個(gè)細(xì)細(xì)節(jié)節(jié)的的微微小小改改變變就就會(huì)會(huì)重重新新創(chuàng)創(chuàng)造造出出一一件件非非常常流流行行的的產(chǎn)產(chǎn)品品大數(shù)數(shù)據(jù)據(jù)相相關(guān)關(guān)技技術(shù)術(shù)蘇珊珊.朗格格，，《哲學(xué)學(xué)新新解解》某些些觀觀念念有有時(shí)時(shí)會(huì)會(huì)以以驚驚人人的的力力量量給給知知識(shí)識(shí)狀狀況況帶帶來(lái)來(lái)巨巨大大的的沖沖擊擊由于于這這些些觀觀念念能能夠夠一一下下子子解解決決許許多多問(wèn)問(wèn)題題，，所所以以，，它它似似乎乎將將有有希希望望解解決決所所有有基基本本問(wèn)問(wèn)題題，，澄澄清清所所有有不不明明了了的的疑疑點(diǎn)點(diǎn)每個(gè)個(gè)人人都都想想迅迅速速地地抓抓住住它它們們，，作作為為進(jìn)進(jìn)入入某某種種新新實(shí)實(shí)證證科科學(xué)學(xué)的的法法寶寶，，作作為為可可以以用用來(lái)來(lái)建建構(gòu)構(gòu)一一個(gè)個(gè)綜綜合合分分析析體體系系的的概概念念