大數(shù)據(jù)思維與決策范文慧

范文慧清華大學(xué)自動化系大數(shù)據(jù)思維與決策個(gè)人簡介清華大學(xué)自動化系教授/博導(dǎo)中國仿真學(xué)會副理事長中國仿真學(xué)會組織工作委員會主任委員中國仿真學(xué)會復(fù)雜系統(tǒng)建模與仿真專業(yè)委員會主任委員中國仿真學(xué)會仿真技術(shù)應(yīng)用專業(yè)委員會副主任委員中國仿真學(xué)會仿真科普與教育工作委員會副主任委員中國自動化學(xué)會系統(tǒng)仿真專業(yè)委員會副主任委員北京市復(fù)雜產(chǎn)品先進(jìn)制造系統(tǒng)工程技術(shù)研究中心專家委委員中國標(biāo)準(zhǔn)化研究院科學(xué)技術(shù)專家委委員中國智慧城市發(fā)展研究中心西北分中心（克拉瑪依）特邀研究員聯(lián)系方式：地址：北京市海淀區(qū)清華大學(xué)中央主樓601室郵編：100084

電話：;手機(jī)：;傳真：提綱一、大數(shù)據(jù)時(shí)代二、大數(shù)據(jù)內(nèi)涵三、大數(shù)據(jù)思維四、大數(shù)據(jù)技術(shù)五、結(jié)束語大數(shù)據(jù)訂外賣披薩的案例一、大數(shù)據(jù)時(shí)代請看視頻01-3分鐘41、數(shù)據(jù)定義一、大數(shù)據(jù)時(shí)代5宇宙構(gòu)成的元素：物質(zhì)、能量、信息2、信息革命一、大數(shù)據(jù)時(shí)代63、能源革命一、大數(shù)據(jù)時(shí)代7杰里米·里夫金新的通信技術(shù)（ICT）和新的能源系統(tǒng)結(jié)合將再次出現(xiàn)——互聯(lián)網(wǎng)技術(shù)和可再生能源融合美國華盛頓特區(qū)經(jīng)濟(jì)趨勢基金會總裁，享有國際聲譽(yù)的社會批評家和暢銷書作家一、大數(shù)據(jù)時(shí)代4、數(shù)據(jù)爆炸（1）8一、大數(shù)據(jù)時(shí)代94、數(shù)據(jù)爆炸（2）最早提出“大數(shù)據(jù)時(shí)代”到來的是麥肯錫：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。

《紐約時(shí)報(bào)》2012年2月的一篇專欄中稱“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中決策將日益基于數(shù)據(jù)和分析而作出而并非基于經(jīng)驗(yàn)和直覺。一、大數(shù)據(jù)時(shí)代5、大數(shù)據(jù)時(shí)代（1）2012年3月奧巴馬政府發(fā)布了“大數(shù)據(jù)研究和發(fā)展倡議”擬投資2億美元啟動“大數(shù)據(jù)發(fā)展計(jì)劃”以期在科學(xué)研究、環(huán)境、生物醫(yī)學(xué)等領(lǐng)域利用大數(shù)據(jù)技術(shù)進(jìn)行突破。2012年5月聯(lián)合國發(fā)表《大數(shù)據(jù)促發(fā)展挑戰(zhàn)與機(jī)遇》政務(wù)白皮書，指出大數(shù)據(jù)對于世界各國是一個(gè)歷史機(jī)遇，探討如何利用包括社交網(wǎng)絡(luò)在內(nèi)的大數(shù)據(jù)資源造福人類。102014年10月29日，國務(wù)院院常務(wù)務(wù)會議議特別強(qiáng)強(qiáng)調(diào)了了要擴(kuò)擴(kuò)大移移動互互聯(lián)網(wǎng)網(wǎng)、物物聯(lián)網(wǎng)網(wǎng)等信信息消消費(fèi)，，提升升寬帶帶速度度，支支持網(wǎng)網(wǎng)購發(fā)發(fā)展和和農(nóng)村村電商商配送送。加加快健健康醫(yī)醫(yī)療、、企業(yè)業(yè)監(jiān)管管等大數(shù)據(jù)據(jù)應(yīng)用用。2015年的《政府工工作報(bào)報(bào)告》也強(qiáng)調(diào)調(diào)，要要制定定“互聯(lián)網(wǎng)網(wǎng)+”行動計(jì)計(jì)劃，，推動動移動動互聯(lián)聯(lián)網(wǎng)、、云計(jì)算算、大大數(shù)據(jù)據(jù)、物聯(lián)網(wǎng)網(wǎng)等與與現(xiàn)代代制造造業(yè)結(jié)結(jié)合，，促進(jìn)進(jìn)電子子商務(wù)務(wù)、工工業(yè)互互聯(lián)網(wǎng)網(wǎng)和互互聯(lián)網(wǎng)網(wǎng)金融融健康康發(fā)展展。一、大大數(shù)據(jù)據(jù)時(shí)代代5、大數(shù)據(jù)據(jù)時(shí)代代（2）11如果一一個(gè)個(gè)人拒絕大數(shù)數(shù)據(jù)時(shí)時(shí)代，，可能能會失失去生生命；如果一一個(gè)國家拒絕大數(shù)數(shù)據(jù)時(shí)時(shí)代，可可能會會失去這個(gè)個(gè)國家家的未未來！一、大大數(shù)據(jù)據(jù)時(shí)代代6、小結(jié)結(jié)12無論論你你知知道道與與不不知知道道，，無無論論你你接接受受與與不不接接受受大數(shù)數(shù)據(jù)據(jù)時(shí)時(shí)代代已已經(jīng)經(jīng)來來臨臨??！1、大大數(shù)數(shù)據(jù)據(jù)的的定定義義二、、什什么么是是大大數(shù)數(shù)據(jù)據(jù)麥肯錫錫全全球球研研究究所所：：一種種規(guī)規(guī)模模大大到到在在獲獲取取、、存存儲儲、、管管理理、、分分析析方方面面大大大大超出出了了傳傳統(tǒng)統(tǒng)數(shù)數(shù)據(jù)據(jù)庫庫軟軟件件工工具具能能力力范范圍圍的的數(shù)數(shù)據(jù)據(jù)集集合合。Gartner定義義：：是需需要要新新處處理理模模式式才才能能具具有有更更強(qiáng)強(qiáng)的的決決策策力力、、洞洞察察發(fā)發(fā)現(xiàn)現(xiàn)力力和和流流程程優(yōu)優(yōu)化化能能力力的的海量量、、高高增增長長率率和和多多樣樣化化的的信信息息資資產(chǎn)1Byte=8bit進(jìn)率1024（2的10次方）計(jì)計(jì)算Mega[兆]M.10^03Giga[吉]G.10^06Tera[太]T.10^09Peta[拍]P.10^12Exa[艾]E.10^15Zetta[澤]Z.10^18Yotta[堯]Y.10^21進(jìn)制制單單位位全全稱稱及及譯譯音音13?涂子沛沛《《數(shù)數(shù)據(jù)據(jù)之之巔巔》》《《大大數(shù)數(shù)據(jù)據(jù)》2、大大數(shù)數(shù)據(jù)據(jù)的的特征征二、、什什么么是是大大數(shù)數(shù)據(jù)據(jù)Volume大量量14Velocity高速6000萬用戶戶登登錄錄/天20億次次頁面面訪訪問問/天每天天1.2億次次網(wǎng)站站訪訪問問響響應(yīng)應(yīng)時(shí)時(shí)間間小小于于100毫秒秒由于于輸輸入入速速度度加加快快，，所所以以要要求求輸輸出出速速度度也也要要加加快大數(shù)據(jù)據(jù)的的驚驚人人不不止止是是在在數(shù)數(shù)量量上上，，同同時(shí)時(shí)數(shù)數(shù)據(jù)據(jù)還還是是巨巨量量具具有有動態(tài)態(tài)分分析析價(jià)價(jià)值值的數(shù)數(shù)據(jù)據(jù)。訪問響應(yīng)應(yīng)時(shí)時(shí)間間的的加加快快，數(shù)數(shù)據(jù)據(jù)庫庫讀讀寫寫速速度度的的加加快快，，對對電電商商企企業(yè)業(yè)來來說說就就等等于于多多成成交交。。對于很很多多情情況況下下，，動態(tài)態(tài)的的數(shù)數(shù)據(jù)據(jù)價(jià)價(jià)值值遠(yuǎn)大大于于靜靜態(tài)態(tài)數(shù)數(shù)據(jù)據(jù)，，比比如如氣氣象象預(yù)預(yù)測測，，災(zāi)災(zāi)難難預(yù)預(yù)測測，，快銷行業(yè)業(yè)等。。2、大大數(shù)數(shù)據(jù)據(jù)的的特征征二、、什什么么是是大大數(shù)數(shù)據(jù)據(jù)152、大大數(shù)數(shù)據(jù)據(jù)的的特征征二、、什什么么是是大大數(shù)數(shù)據(jù)據(jù)16Veracity真實(shí)數(shù)據(jù)的重要性性就在于對決決策的支持；數(shù)據(jù)的真實(shí)性和和質(zhì)量才是獲得真知知和思路最重重要的因素，，是制定成功功決策最堅(jiān)實(shí)實(shí)的基礎(chǔ)；準(zhǔn)確源自于對全全部數(shù)據(jù)的處處理分析；大數(shù)據(jù)的核心心思想之一。2、大數(shù)據(jù)的特征二、什么是大大數(shù)據(jù)17大數(shù)據(jù)能做一一個(gè)預(yù)言家谷歌和推特都曾曾用大數(shù)據(jù)，，提前7天到一個(gè)月，，在2009年準(zhǔn)確預(yù)測當(dāng)當(dāng)年的流感趨趨勢一小時(shí)的視頻頻，在不間斷斷的監(jiān)控過程程中，可能有有用的數(shù)據(jù)僅僅僅只有一兩兩秒大數(shù)據(jù)分析猶如如“大海撈針針”Value價(jià)值2、大數(shù)據(jù)的特征二、什么是大大數(shù)據(jù)182、大數(shù)據(jù)的特征二、什么是大大數(shù)據(jù)5V規(guī)模性（Volume）價(jià)值性（Value）真實(shí)性（Veracity）高速性（Velocity）多樣性（Variety）193、大數(shù)據(jù)的應(yīng)用用（1）二、什么是大大數(shù)據(jù)2021丹麥風(fēng)輪機(jī)制造商商維斯塔斯，，在世界上最最大的超級計(jì)計(jì)算機(jī)上部署署IBM大數(shù)據(jù)解決方案，通通過分析包括括PB量級氣象報(bào)告、潮潮汐相位、地地理空間、衛(wèi)衛(wèi)星圖像等結(jié)構(gòu)化及非結(jié)結(jié)構(gòu)化的海量量數(shù)據(jù)優(yōu)化風(fēng)力渦輪輪機(jī)布局，有有效提高風(fēng)力力渦輪機(jī)的性性能，為客戶提供供精確和優(yōu)化化的風(fēng)力渦輪輪機(jī)配置方案案；幫助客戶降低每千瓦時(shí)的成本；提高客戶投資回報(bào)報(bào)估計(jì)的準(zhǔn)確度；將業(yè)務(wù)用戶請請求的響應(yīng)時(shí)間從幾星期縮短到幾小時(shí)。3、大數(shù)據(jù)的應(yīng)用用（2）二、什么是大大數(shù)據(jù)電力大數(shù)據(jù)22數(shù)據(jù)即能量（（Energy）：電力大數(shù)據(jù)使使用過程中不不斷精煉而增增值數(shù)據(jù)即交互（（Exchange）：電力數(shù)據(jù)同行行業(yè)外數(shù)據(jù)的的交互融合數(shù)據(jù)即共情（（Empathy）：挖掘和滿足電電力用戶，建建立情感聯(lián)系系，提供電力力服務(wù)3、大數(shù)據(jù)的應(yīng)用用（3）二、什么是大大數(shù)據(jù)3、大數(shù)據(jù)的應(yīng)用用（3）二、什么是大大數(shù)據(jù)23電力大數(shù)據(jù)5、大數(shù)據(jù)的好處二、什么是大大數(shù)據(jù)請看視頻03-15分鐘24肯尼斯·庫克耶給我們展現(xiàn)了由由大數(shù)據(jù)給機(jī)機(jī)器學(xué)習(xí)和人人類知識帶來來的翻天覆地地的變化。我們可以從我們能收集的信息中中來了解這個(gè)世界界以及人類在這個(gè)世界中中所處的地位。大數(shù)據(jù)即將改改變我們的生活、工作和和思考方式，可以幫助我們管理理事業(yè)、過想要的充滿希望幸福和健健康的生活大數(shù)據(jù)核心是預(yù)測什么大數(shù)據(jù)思維三、大數(shù)據(jù)思思維大數(shù)據(jù)思維，是是指一種意識識，認(rèn)為公開開的數(shù)據(jù)一旦旦處理得當(dāng)就就能為千百萬萬人急需解決的問題提供答案。251、不是隨機(jī)樣本，，而是全體數(shù)數(shù)據(jù)三、大數(shù)據(jù)思思維?《大數(shù)據(jù)時(shí)代》26小數(shù)據(jù)的隨機(jī)機(jī)采樣，統(tǒng)計(jì)學(xué)用盡可可能少的數(shù)據(jù)據(jù)來證實(shí)盡可可能重大的發(fā)發(fā)現(xiàn)；統(tǒng)計(jì)學(xué)本身存存在許多固有有的缺陷。全數(shù)據(jù)模式，，樣本=總體數(shù)據(jù)深度探討討，抽樣幾乎乎無法；用所有數(shù)據(jù)，，抽樣會淹沒沒掉的信息；；所有數(shù)據(jù)的方方法，非隨機(jī)機(jī)分析法。諾貝爾獎自1901年創(chuàng)辦至2016年共110屆的諾貝爾數(shù)數(shù)據(jù)，排除48次空缺或無生生辰資料及23個(gè)機(jī)構(gòu)獲獎外外，提供了877份科學(xué)家的案案例，統(tǒng)計(jì)如下：三、大數(shù)據(jù)思思維大數(shù)據(jù)諾貝爾獎案例27三、大數(shù)據(jù)思思維大數(shù)據(jù)諾貝爾獎案例諾貝爾獎大數(shù)數(shù)據(jù)告訴你：：最聰明的星星座是誰？28騰訊科技訊2月8日，猴年除夕紅包：紅包收發(fā)總量：：微信80.8億個(gè)；QQ：42億個(gè)，雙雙創(chuàng)下下歷史新高。微信：共有4.2億人收發(fā)紅包，QQ：在“刷一刷”搶搶紅包中吸引3.08億人。微信，廣東人發(fā)送的紅包最最多，收到的的也最多；除夕當(dāng)天，有人收收到5279個(gè)紅包，也有人人發(fā)出79193個(gè)紅包。“年度最值錢””的紅包照片片，共收到597個(gè)紅包；來自河南的的29歲女性用戶，為了看看照片共發(fā)出出了219個(gè)紅包，當(dāng)日最多。。三、大數(shù)據(jù)思思維大數(shù)據(jù)紅包案案例29允許不精確“小數(shù)據(jù)”最基本、最重要要的是減少錯(cuò)誤，保保證質(zhì)量；大數(shù)據(jù)的簡單算算法比小數(shù)據(jù)據(jù)的復(fù)雜算法法更有效數(shù)據(jù)多比少好，，更多數(shù)據(jù)比比算法系統(tǒng)更更智能還要重重要；2、不是精確性性，而是是混雜性三、大數(shù)數(shù)據(jù)思維維谷歌翻譯好不是因?yàn)闉樗鼡碛杏幸粋€(gè)更更好的算算法機(jī)制，利用成千上上萬數(shù)據(jù)據(jù)，它接接受了有有錯(cuò)誤的的數(shù)據(jù)。。?《大數(shù)據(jù)時(shí)時(shí)代》30紛繁的數(shù)數(shù)據(jù)越多多越好大數(shù)據(jù)用概率說話話，要學(xué)會擁抱抱混亂。。掌握了大大量新型型數(shù)據(jù)時(shí)時(shí)，精確確性就不不那么重重要；錯(cuò)誤并不不是大數(shù)數(shù)據(jù)固有有的特性性，而是是現(xiàn)實(shí)問問題。大數(shù)據(jù)與葡萄萄酒品質(zhì)質(zhì)預(yù)測三、大數(shù)數(shù)據(jù)思維維小數(shù)據(jù)專專家（直直覺與經(jīng)經(jīng)驗(yàn)）：：羅伯特·帕克使用傳統(tǒng)的的“品咂咂并吐掉掉”的方方法。葡萄酒在在裝瓶之之前盛放放在橡木木桶里發(fā)發(fā)酵18-24個(gè)月，評酒家家在4個(gè)月后才才能第一一次品嘗嘗，很難得出酒品品質(zhì)的準(zhǔn)準(zhǔn)確信息息。大數(shù)據(jù)專專家：奧利·阿什菲爾爾特在品酒師師第一次次嘗酒的的數(shù)月之前前，是在賣賣出的數(shù)年之前，葡萄收獲時(shí)就能預(yù)測測出葡萄萄酒的未來品質(zhì)。奧利預(yù)測：：1989年法國波爾多酒酒（僅僅在木桶放了了3個(gè)月）將成為“世紀(jì)佳佳釀”;如果1961年評級為為100，那么1989年將會達(dá)達(dá)到149；“1989年能夠賣出35年中所生產(chǎn)的的葡萄酒的最最高價(jià)”事實(shí)證明，奧奧利是對的。?《大數(shù)據(jù)思維與與實(shí)踐》31正確的觀點(diǎn)不一定定總是受歡迎迎的！大數(shù)據(jù)與葡萄酒品品質(zhì)預(yù)測遭到譏諷和鄙視視：“這個(gè)公式顯然然是可笑的，，我們無法重重視它”“介入極端和滑滑稽可笑之間間”“一個(gè)徹頭徹尾尾的騙子”“其實(shí)是在用尼安德特人的思維來看待待葡萄酒，這這是非常荒謬謬甚至非?？煽尚Φ摹薄叭绻埼椅胰ニ液染凭疲視械降綈盒摹薄熬拖衲承┯霸u評一樣，根據(jù)據(jù)演員和導(dǎo)演演來告訴你電電影有多好，，實(shí)際上卻從從來沒有看過過那部電影”“愚蠢可笑”“既憤怒又恐懼懼，他確實(shí)讓讓人感到恐慌慌?！碑?dāng)他在酒行演講講時(shí)，后面噓噓聲一片三、大數(shù)據(jù)思思維?《大數(shù)據(jù)思維與與實(shí)踐》32大數(shù)據(jù)與葡萄酒品品質(zhì)預(yù)測根據(jù)1952年～1980年期間6家波爾多名莊（（白馬、拉圖圖、拉菲、愛愛士圖爾、蒙蒙特羅斯、碧碧尚女爵）10個(gè)年份的60款葡萄酒在1990年～1999年期間的倫敦敦市場拍賣價(jià)價(jià)格曲線，推導(dǎo)出一條葡葡萄酒價(jià)格公公式：超級大數(shù)據(jù)分分析的崛起，，并不意味著直覺覺判斷的消亡亡，也不是說工工作中累計(jì)的的經(jīng)驗(yàn)不重要要。最優(yōu)秀、、最聰明的人人對于運(yùn)用統(tǒng)統(tǒng)計(jì)與直覺都都游刃有余。。葡萄酒價(jià)格被被解釋變量=0.0240AGE（酒齡）+0.608TEMP（葡萄生長期期平均氣溫）-0.0038RAIN（8月至9月的降水量））+0.00115WRAIN（上年10月至本年3月的降水量））三、大數(shù)據(jù)思維?《大數(shù)據(jù)思維與與實(shí)踐》33“是什么”而不是“為為什么”相關(guān)關(guān)系核心是量化兩個(gè)個(gè)數(shù)據(jù)值之間間的數(shù)理關(guān)系相關(guān)關(guān)系通過識識別有用的關(guān)聯(lián)物來幫助我們分分析一個(gè)現(xiàn)象，捕捉現(xiàn)在和預(yù)測測未來；而不是揭示其內(nèi)部的運(yùn)運(yùn)作機(jī)制相關(guān)關(guān)系幫助助更好地了解解這個(gè)世界3、不是因果關(guān)系，，而是相關(guān)關(guān)關(guān)系三、大數(shù)據(jù)思思維?《大數(shù)據(jù)時(shí)代》34人類通過因果果關(guān)系與相關(guān)關(guān)關(guān)系分析而而了解世界在小數(shù)據(jù)中，相相關(guān)關(guān)系也是是有用的大數(shù)據(jù)折扣零零售商與懷孕孕預(yù)測案例三、大數(shù)據(jù)思思維美國折扣零售售商塔吉特與與懷孕預(yù)測?《大數(shù)據(jù)時(shí)代》35大數(shù)據(jù)流感傳播預(yù)預(yù)測案例5000萬條美國人最頻頻繁檢索的詞條4.5億個(gè)不同的數(shù)學(xué)學(xué)模型與實(shí)際流感病病例對比后，，軟件發(fā)現(xiàn)45條檢索詞條的的組合用于一個(gè)特定的的數(shù)學(xué)模型后后，預(yù)測與官方數(shù)據(jù)據(jù)的相關(guān)性高達(dá)97%唯一關(guān)注：特定檢索詞條的的使用頻率與與流感在時(shí)間間和空間上的的傳播之間的的聯(lián)系。?大數(shù)據(jù)時(shí)代-一場生活、工工作與思維的的大變革36小數(shù)據(jù)專家（（直覺與經(jīng)驗(yàn)驗(yàn)）專家：流感爆發(fā)一兩兩周之后才可可以做到。大數(shù)據(jù)專家：：谷歌公司在2009年甲型H1N1流感爆發(fā)的幾幾周前，預(yù)測測流感是從哪哪里傳播出來來的，判斷非非常及時(shí)。三、大數(shù)據(jù)思思維大數(shù)據(jù)與機(jī)票價(jià)格格預(yù)測建立在12000個(gè)價(jià)格樣本基基礎(chǔ)之上，而而這些數(shù)據(jù)都都是從一個(gè)旅旅游網(wǎng)站上爬爬取過來的到2012年為為止止，，用了將將近近十萬萬億億條價(jià)價(jià)格格記記錄錄來來幫幫助助預(yù)預(yù)測測美美國國國國內(nèi)內(nèi)航航班班的的票票價(jià)，，準(zhǔn)準(zhǔn)確度度已已經(jīng)經(jīng)高高達(dá)75％，平平均每每張機(jī)機(jī)票可可節(jié)節(jié)省省50美元不需需要要去解開機(jī)機(jī)票票價(jià)格格差差異異的的奧奧秘秘，只推推測測會會發(fā)發(fā)生生什什么么，未未來來時(shí)時(shí)間間內(nèi)內(nèi)上上漲漲還還是是下下降世界就就是是一一系系列列的的大大數(shù)數(shù)據(jù)據(jù)問問題題，，而而且且他他認(rèn)認(rèn)為為自自己己有有能能力力解解決決這這些些問問題37小數(shù)數(shù)據(jù)據(jù)專專家家（（直直覺覺與與經(jīng)經(jīng)驗(yàn)驗(yàn)））：：無法法完完成成大數(shù)數(shù)據(jù)據(jù)專專家家：：埃齊齊奧奧尼尼，，2003年創(chuàng)創(chuàng)立立機(jī)機(jī)票票價(jià)價(jià)格格預(yù)預(yù)測測系系統(tǒng)統(tǒng)Farecast，微微軟軟公公司司以以1.1億美元元收收購購三、、大大數(shù)數(shù)據(jù)據(jù)思思維維4、小小結(jié)結(jié)三、、大大數(shù)數(shù)據(jù)據(jù)思思維維大數(shù)數(shù)據(jù)據(jù)的的精精髓髓在在于三個(gè)思維維轉(zhuǎn)變（認(rèn)識世界界與改造世世界的方法法）第一個(gè)轉(zhuǎn)變：分析樣本=>分析全集第二個(gè)轉(zhuǎn)變：追求精確=>接受混雜第三個(gè)轉(zhuǎn)變：尋尋找因果=>探求相關(guān)?《大數(shù)據(jù)時(shí)代代》3839ETL（Extract-Transform-Load）數(shù)據(jù)眾包CrowdSouring結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)關(guān)系數(shù)據(jù)庫非關(guān)系數(shù)據(jù)庫（NoSQL）數(shù)據(jù)倉庫云計(jì)算和云存儲實(shí)時(shí)流處理MapReduceR語言關(guān)聯(lián)規(guī)則分析分類聚類遺傳算法神經(jīng)網(wǎng)絡(luò)預(yù)測模型模式識別時(shí)間序列分析回歸分析系統(tǒng)仿真機(jī)器學(xué)習(xí)社會網(wǎng)絡(luò)分析標(biāo)簽云TagCloud聚類圖Clustergram空間信息流Spatialinformationflow熱圖（Heatmap）四、大數(shù)據(jù)據(jù)技術(shù)1、大數(shù)據(jù)技技術(shù)40四、大數(shù)據(jù)據(jù)技術(shù)2、大數(shù)據(jù)工工具41四、大數(shù)據(jù)據(jù)技術(shù)2、大數(shù)據(jù)工工具AutoGrid——由前斯坦福福大學(xué)智能能電網(wǎng)研究究室負(fù)責(zé)人人AmitNarayan創(chuàng)創(chuàng)辦的服務(wù)務(wù)于電力、、能源行業(yè)業(yè)的大數(shù)據(jù)據(jù)公司。通過建立能源源數(shù)據(jù)平臺臺，收集并并處理其客客戶接入智智能電網(wǎng)的的智能儀表表等設(shè)備的的數(shù)據(jù)，面面向其客戶戶或合作方方提供需求求響應(yīng)優(yōu)化化及管理系系統(tǒng)，實(shí)現(xiàn)現(xiàn)實(shí)時(shí)資源預(yù)測、、資源優(yōu)化化、自動需需求響應(yīng)、、客戶通知知引擎和事事后分析等等功能。單個(gè)DROMS集群群每天可以以產(chǎn)生數(shù)以億計(jì)的能能源消費(fèi)的的預(yù)測數(shù)據(jù)據(jù)。42四、大數(shù)據(jù)據(jù)技術(shù)3、能源大數(shù)數(shù)據(jù)軟件平平臺Opower——Opower公司是于于2007年創(chuàng)辦的的一家家庭庭能源數(shù)據(jù)據(jù)分析公司司。Opower與與電力公司司合作，搶搶占家庭消消費(fèi)者“入入口”，獲獲取家庭消消費(fèi)者的能能源使用數(shù)數(shù)據(jù)，進(jìn)行消費(fèi)者用用電行為分析析，并為其提供供節(jié)能減耗的的方案，推動動節(jié)能的互聯(lián)聯(lián)網(wǎng)應(yīng)用。433、能源大數(shù)據(jù)據(jù)軟件平臺四、大數(shù)據(jù)技技術(shù)法國電力公司(EDF)基基于大數(shù)據(jù)的的分析預(yù)測：目前全法已經(jīng)安安裝3500萬智能電表表，電表產(chǎn)生生的數(shù)據(jù)量將將在5-10年內(nèi)達(dá)到PB級。智能電表采集集的主要是個(gè)個(gè)體家庭的用用電負(fù)荷數(shù)據(jù)據(jù)。以每個(gè)電電表每10分鐘抄表表1次計(jì)算，3500萬智智能電表每年年產(chǎn)生1.8萬億次次抄表記錄和600TB壓縮前數(shù)據(jù)；3500萬智智能電表每天天產(chǎn)生5億次抄表記錄和大大約2TB的抄表數(shù)據(jù)。這些電表數(shù)據(jù)，，結(jié)合氣象數(shù)數(shù)據(jù)、用電合合同信息及電電網(wǎng)數(shù)據(jù)，構(gòu)構(gòu)成了法國電電力的大數(shù)據(jù)，用于生成用戶用電負(fù)荷荷曲線及其關(guān)關(guān)聯(lián)數(shù)據(jù)。443、能源大數(shù)據(jù)據(jù)軟件平臺四、大數(shù)據(jù)技技術(shù)C3IoTPlatformPoweringData：電網(wǎng)實(shí)時(shí)監(jiān)測和和即時(shí)數(shù)據(jù)分分析453、能源大數(shù)據(jù)據(jù)軟件平臺四、大數(shù)據(jù)技技術(shù)Acompleteplatform-as-a-servicesolutionthatenablestherapiddesign,development,deployment,andoperationofenterprise-scalesoftwareapplicationsWithanelasticcloud,distributed-computingarchitecturecapableofhandlingdatasetsgrowingbyhundredsofTerabytesperdayandmillionsofMessagespersecond,theplatformhas70millionsmartdevicesandsensorsundermanagementatmorethan20productiondeploymentsworldwide數(shù)據(jù)就像一一個(gè)神奇的鉆石礦，當(dāng)它的首首要價(jià)值被被發(fā)掘后仍仍能不斷給給予。它的的真實(shí)價(jià)值就就像漂浮在海洋中中的冰山，第一眼只只能看到冰冰山的一角角，而絕大大部分都隱隱藏在表面面之下。一旦世界被數(shù)數(shù)據(jù)化，只有想不到的，沒有信息做不不到的數(shù)據(jù)“無所不有”五、結(jié)束語語我的思考46數(shù)據(jù)“無所不說”第一個(gè)轉(zhuǎn)變：分析樣本=>分析全集；不拒絕樣本本第二個(gè)轉(zhuǎn)變：追求精確=>接受混雜；；不丟棄精確確第三個(gè)轉(zhuǎn)變：尋尋找因果=>探求相關(guān)；不否定因果果五、結(jié)束語語我的思考47像望遠(yuǎn)鏡，讓我們能夠感感受宇宙；像顯微鏡，讓我們能夠觀測微生物；正在改變我們們的生活以以及理解世世界的方式！大數(shù)據(jù)未來（有人人說）：所所有的公司司都是大數(shù)數(shù)據(jù)公司：：所有產(chǎn)業(yè)業(yè)要么數(shù)字字化、要么么不存在五、結(jié)束語語我的思考數(shù)據(jù)“無所不在”數(shù)據(jù)奧妙只只為謙遜、、愿意聆聽聽且掌握聆聆聽手段的的人所知?。?8行業(yè)業(yè)和和技術(shù)術(shù)專專家家的