我眼中的大數(shù)據(jù)

大數(shù)據(jù)(bigdata)1大數(shù)據(jù)背景大數(shù)據(jù)帶來(lái)的好處數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)可視化facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動(dòng)互聯(lián)21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車(chē)聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話(huà)、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。“大數(shù)據(jù)”的誕生：半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類(lèi)智力與發(fā)展的領(lǐng)域中。大數(shù)據(jù)時(shí)代的背景GBTBPBEBZB想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶(hù)才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場(chǎng)研究機(jī)構(gòu)預(yù)測(cè)：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長(zhǎng)44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB

=2^50字節(jié)1EB

=2^60字節(jié)1ZB=2^70字節(jié)大數(shù)據(jù)時(shí)代的爆炸增長(zhǎng)“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。VolumeVelocityValueVariety大數(shù)據(jù)的4V特征:大數(shù)據(jù)背景大數(shù)據(jù)帶來(lái)的好處數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)可視化用途？互聯(lián)網(wǎng)上的數(shù)據(jù)看起來(lái)數(shù)量龐大卻用處寥寥，但事實(shí)上，只要處理好這些數(shù)據(jù)，就能給商家?guī)?lái)巨大的利益。舉一個(gè)簡(jiǎn)單的例子：商家消費(fèi)意向通過(guò)網(wǎng)頁(yè)瀏覽記錄通過(guò)人人、微博等消費(fèi)水平通過(guò)淘寶等消費(fèi)記錄通過(guò)社交平臺(tái)信息消費(fèi)位置通過(guò)手機(jī)軟件定位客戶(hù)針對(duì)性地給客戶(hù)提供廣告與優(yōu)惠信息消費(fèi)服務(wù)7前瞻來(lái)看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來(lái)越智能。它在滿(mǎn)足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線(xiàn)的。用戶(hù)在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線(xiàn)越豐富，他對(duì)用戶(hù)的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶(hù)的理解；通過(guò)精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣(mài)軟件拷貝賺錢(qián)的模式。成為互聯(lián)網(wǎng)的巨擘。互聯(lián)網(wǎng)越來(lái)越智能Google精確掌握用戶(hù)行為、獲取需求8政治經(jīng)濟(jì)監(jiān)控手機(jī)的使用狀況和賬單的繳付模式如果數(shù)據(jù)突然發(fā)生變化，那可能預(yù)示著經(jīng)濟(jì)困境正在加劇國(guó)情調(diào)控對(duì)Twitter和Facebook等社交媒體網(wǎng)站的數(shù)據(jù)篩查若社交媒體提及糧食或種族沖突，那可能預(yù)示爆發(fā)了饑荒或者國(guó)內(nèi)騷亂醫(yī)療保衛(wèi)社交媒體上提到某地區(qū)受到感染，是對(duì)疫情流行的有效早期預(yù)警9經(jīng)典案例：10在一家超市中，人們發(fā)現(xiàn)了一個(gè)特別有趣的現(xiàn)象：尿布與啤酒這兩種風(fēng)馬牛不相及的商品居然擺在一起。但這一奇怪的舉措居然使尿布和啤酒的銷(xiāo)量大幅增加了。這可不是一個(gè)笑話(huà)，而是一直被商家所津津樂(lè)道的發(fā)生在美國(guó)沃爾瑪連鎖超市的真實(shí)案例。原來(lái)，美國(guó)的婦女通常在家照顧孩子，所以她們經(jīng)常會(huì)囑咐丈夫在下班回家的路上為孩子買(mǎi)尿布，而丈夫在買(mǎi)尿布的同時(shí)又會(huì)順手購(gòu)買(mǎi)自己愛(ài)喝的啤酒。這個(gè)發(fā)現(xiàn)為商家?guī)?lái)了大量的利潤(rùn)，但是如何從浩如煙海卻又雜亂無(wú)章的數(shù)據(jù)中，發(fā)現(xiàn)啤酒和尿布銷(xiāo)售之間的聯(lián)系呢？這又給了我們什么樣的啟示呢？美國(guó)超市Target基于數(shù)據(jù)挖掘的精準(zhǔn)銷(xiāo)售案例11消費(fèi)者每一次進(jìn)行消費(fèi)，其實(shí)都將自己的消費(fèi)模式細(xì)節(jié)透露給銷(xiāo)售方。現(xiàn)在銷(xiāo)售商、尤其是電子商務(wù)銷(xiāo)售公司，致力于利用數(shù)據(jù)挖掘分析出消費(fèi)者的個(gè)人偏好、需求、對(duì)不同優(yōu)惠券的反應(yīng)等，進(jìn)行客戶(hù)信息管理，向客戶(hù)精準(zhǔn)推銷(xiāo)，提高銷(xiāo)售效率。Target超市的數(shù)據(jù)庫(kù)系統(tǒng)給每個(gè)顧客分配一個(gè)TargetGuestID，在該條目下詳細(xì)記錄顧客的信用卡信息、網(wǎng)上注冊(cè)信、在Target官網(wǎng)瀏覽的每一個(gè)頁(yè)面和停留時(shí)間長(zhǎng)短、每次的購(gòu)買(mǎi)行為等信息，數(shù)據(jù)挖掘團(tuán)隊(duì)專(zhuān)門(mén)分析這些收集到的歷史信息，預(yù)測(cè)顧客將來(lái)的購(gòu)物行為和需求甚至生活方式，然后發(fā)郵件給顧客。吃貨集中營(yíng)12數(shù)據(jù)化運(yùn)營(yíng)…13啤酒和尿布ORACLE2012年3月29日奧巴馬政府公布了”大數(shù)據(jù)研發(fā)計(jì)劃”。該計(jì)劃的目標(biāo)是改進(jìn)現(xiàn)有人們從海量和復(fù)雜的數(shù)據(jù)中獲取知識(shí)的能力，從而加速美國(guó)在科學(xué)與工程領(lǐng)域發(fā)明的步伐，增強(qiáng)國(guó)家安全，轉(zhuǎn)變現(xiàn)有的教學(xué)和學(xué)習(xí)方式。大數(shù)據(jù)的浪潮BI商業(yè)智能人工智能數(shù)據(jù)分析

ETL大數(shù)據(jù)可視化互聯(lián)網(wǎng)Googlefacebook基于海量數(shù)據(jù)云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)個(gè)人隱私IBM實(shí)際上，你的數(shù)據(jù)，不管用什么樣的方式計(jì)算出來(lái)，如果不能很快去查，你的數(shù)據(jù)永遠(yuǎn)只是一些數(shù)字而已，產(chǎn)生不了任何的商業(yè)價(jià)值。提到大數(shù)據(jù)，你會(huì)想到什么呢？大數(shù)據(jù)背景大數(shù)據(jù)帶來(lái)的好處數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)可視化數(shù)據(jù)倉(cāng)庫(kù)的基本概念數(shù)據(jù)倉(cāng)庫(kù)的概念由被譽(yù)為“數(shù)據(jù)倉(cāng)庫(kù)之父”的WilliamH.Inmon提出的：數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、隨時(shí)間變化的、信息相對(duì)穩(wěn)定的數(shù)據(jù)集合，它用于對(duì)企業(yè)管理和決策提供支持。所謂主題：是指用戶(hù)使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，如：客戶(hù)、產(chǎn)品、賬務(wù)、事件、服務(wù)使用、資源、客戶(hù)服務(wù)、地域等；所謂面向主題，是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的；16數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目過(guò)程:ETL工具展現(xiàn)分析工具數(shù)據(jù)庫(kù)WEB服務(wù)器數(shù)據(jù)庫(kù)建模工具COGNOSBOSSRSORACLEDB2NETEZZATomcatWeblogicPowerDesignerERWinInformaticaDataStageJBoss解決方案方法論行業(yè)模型典型分析項(xiàng)目控制項(xiàng)目建設(shè)物理模型數(shù)據(jù)加載應(yīng)用開(kāi)發(fā)上線(xiàn)加載產(chǎn)品選購(gòu)方案選擇項(xiàng)目工作SSIS17數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求-ETL數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求包含如下幾個(gè)方面：ETL(Extract/Transformation/Load)：用戶(hù)從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去；ETL是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中最重要的概念之一，ETL在一個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)項(xiàng)目中要花一半以上的時(shí)間。18ETL在技術(shù)上涉及到：增量、全量、定時(shí)、調(diào)度、監(jiān)控等方面技術(shù)。增量數(shù)據(jù)：流水類(lèi)數(shù)據(jù)、話(huà)單類(lèi)數(shù)據(jù)的抽取方式；全量數(shù)據(jù)：用戶(hù)信息類(lèi)數(shù)據(jù)，狀態(tài)會(huì)更新發(fā)生變化的數(shù)據(jù)；定時(shí)抽?。簲?shù)據(jù)抽取一般在生產(chǎn)系統(tǒng)比較閑暇的時(shí)候進(jìn)行，凌晨時(shí)候比較多，而且按照要分析數(shù)據(jù)的周期，還分為按日、按月數(shù)據(jù)；作業(yè)調(diào)度：由于涉及到的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)量龐大，需要分批進(jìn)行抽取，以及抽取數(shù)據(jù)后面的一系列處理過(guò)程；作業(yè)監(jiān)控：對(duì)所有作業(yè)執(zhí)行的監(jiān)控；數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求-ETL19大數(shù)據(jù)背景大數(shù)據(jù)帶來(lái)的好處數(shù)據(jù)倉(cāng)庫(kù)大數(shù)據(jù)可視化大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)可視化數(shù)據(jù)可視化主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息為了有效地傳達(dá)思想概念，美學(xué)形式與功能需要齊頭并進(jìn)，通過(guò)直觀地傳達(dá)關(guān)鍵的方面與特征，從而實(shí)現(xiàn)對(duì)于相當(dāng)稀疏而又復(fù)雜的數(shù)據(jù)集的深入洞察數(shù)據(jù)可視化的根本目的:傳達(dá)與溝通信息Echarts簡(jiǎn)介Echarts舉例Echarts模塊化引入大數(shù)據(jù)可視化IntrductionECharts，純Javascript圖表庫(kù)，基于Canvas，底層依賴(lài)ZRender，商業(yè)產(chǎn)品通用圖表庫(kù)，提供直觀，生動(dòng)，可交互，可個(gè)性化定制的數(shù)據(jù)可視化圖表，支持折線(xiàn)圖（區(qū)域圖）、柱狀圖（條狀圖）、散點(diǎn)圖（氣泡圖）、K線(xiàn)圖、餅圖（環(huán)形圖）、雷達(dá)圖（填充雷達(dá)圖）、和弦圖、力導(dǎo)向布局圖、地圖（內(nèi)置世界地圖、中國(guó)及全國(guó)34個(gè)省市自治區(qū)地理數(shù)據(jù)），同時(shí)支持任意維度的堆積和多圖表混合展現(xiàn)。23Echarts舉例Echarts模塊化引入大數(shù)據(jù)可視化Echarts簡(jiǎn)介單圖表類(lèi)型：Pie單圖表類(lèi)型：Pie

單圖表類(lèi)型：Bar

單圖表類(lèi)型：Bar

單圖表類(lèi)型：force單圖表類(lèi)型：forceEcharts簡(jiǎn)介Echarts模塊化引入大數(shù)據(jù)可視化Echarts舉例模塊化引入Echarts:引入一個(gè)模塊加載器，如esl.js或者require.js為ECharts準(zhǔn)備一個(gè)具備大?。▽捀撸┑腄om（當(dāng)然可以是動(dòng)態(tài)生成的）為模塊加載器配置echarts的路徑，從當(dāng)前頁(yè)面鏈接到echarts.js動(dòng)態(tài)加載echarts然后在回調(diào)函數(shù)中開(kāi)始使用（當(dāng)你確保同一頁(yè)面已經(jīng)加載過(guò)echarts，再使用時(shí)直接require('echarts').init(dom)就行）<scriptsrc="/r/www/cache/ecom/esl/1-6-10/esl.js"></script><divid="main"style="height:400px"></div>require.config({paths:{'echarts':'/build/echarts','echarts/chart/bar':'/build/echarts'}});varmyChart=ec.init(document.getElementById('main'));...myChart.setOption(option);32大數(shù)據(jù)的技術(shù)領(lǐng)域-數(shù)據(jù)可視化數(shù)據(jù)可視化相關(guān)工具:GooglePublicData

ExplorerInstantatlasDataDeskDAVIXEye-SysFerretDataVisualizationandAnalysisGGobiIBMOpenDXIDL(programminglanguage)StyleIntelligenceOpenLinkAJAXToolkitParaViewSmile(software)信息可視化的相關(guān)方法:Cladogram

(phylogeny)分支圖Coloralphabet

色彩字母表Dendrogram

(classification)樹(shù)狀圖