淺析：大數(shù)據(jù)漫談之多樣性和混雜性

淺析：大數(shù)據(jù)漫談之多樣性和混雜性

1.大數(shù)據(jù)是一種新的數(shù)據(jù)形態(tài)和實(shí)踐，它與當(dāng)前主流的數(shù)據(jù)應(yīng)用實(shí)踐并存，而非取代。而且，它在相當(dāng)長(zhǎng)的時(shí)間內(nèi)仍然是個(gè)新鮮事物，即使年復(fù)合增長(zhǎng)率高達(dá)32%，到2016年全球大數(shù)據(jù)技術(shù)和服務(wù)市場(chǎng)總額也就是240億美金左右(IDC在2012年底的預(yù)測(cè))。不切實(shí)際、一窩蜂地上大數(shù)據(jù)項(xiàng)目不應(yīng)鼓勵(lì)。明明不算大數(shù)據(jù)，要裝成有，偏要削足適履上馬Hadoop和NoSQL，更不足取。2.大數(shù)據(jù)也是一種戰(zhàn)略、世界觀(guān)和習(xí)慣。即使今天沒(méi)有大體量的數(shù)據(jù)，還是可以盡可能自覺(jué)、客觀(guān)、全面地測(cè)量世界，為未來(lái)的大數(shù)據(jù)實(shí)踐做準(zhǔn)備。對(duì)于一個(gè)企業(yè)或系統(tǒng)來(lái)說(shuō)，挑戰(zhàn)在數(shù)據(jù)采集，而非存儲(chǔ)。微信在設(shè)計(jì)之初就把數(shù)據(jù)監(jiān)控精細(xì)化，并納入基礎(chǔ)框架，這是意識(shí)和實(shí)力的體現(xiàn)。有多少公司像彭博社那樣“如饑似渴”地采集數(shù)據(jù)？它能夠雇傭一個(gè)衛(wèi)星每周對(duì)位于俄克拉何馬的美國(guó)最大原油儲(chǔ)備庫(kù)拍照，根據(jù)油罐浮動(dòng)頂?shù)年幱伴L(zhǎng)度來(lái)判斷原油儲(chǔ)備量的變化。成功者有成功的必然性。3.“數(shù)據(jù)即價(jià)值”的價(jià)值觀(guān)早已存在，Value不是大數(shù)據(jù)專(zhuān)享的屬性，小數(shù)據(jù)照樣有大價(jià)值。大數(shù)據(jù)的功勞在于喚醒大家的意識(shí)和覺(jué)悟。同樣，從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值的實(shí)踐也由來(lái)已久，橫跨數(shù)據(jù)庫(kù)、統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)交叉學(xué)科的數(shù)據(jù)分析是大數(shù)據(jù)分析的基礎(chǔ)，但傳統(tǒng)的數(shù)據(jù)分析實(shí)踐是無(wú)法適應(yīng)大數(shù)據(jù)的發(fā)展的，這一點(diǎn)我會(huì)在分析這一部分中細(xì)談。總之，不能神化大數(shù)據(jù)是萬(wàn)靈藥，也不能矮化大數(shù)據(jù)就是包裝舊概念。對(duì)一部分人來(lái)說(shuō)，大數(shù)據(jù)已經(jīng)是個(gè)客觀(guān)存在和競(jìng)爭(zhēng)優(yōu)勢(shì)；對(duì)絕大多數(shù)人來(lái)說(shuō)，大數(shù)據(jù)可以是一種“從現(xiàn)在做起”的世界觀(guān)，和未雨綢繆、決戰(zhàn)未來(lái)的戰(zhàn)略。本系列確有為大數(shù)據(jù)推波助瀾之意，但不會(huì)隨波逐流兜售概念；相反，我會(huì)剝開(kāi)每一個(gè)概念，追溯它的源頭和發(fā)展過(guò)程，并給出個(gè)人的見(jiàn)解。正文：上回說(shuō)到對(duì)大數(shù)據(jù)大體量的界定，只有少數(shù)產(chǎn)業(yè)和企業(yè)能夠?qū)Υ篌w量感同身受，對(duì)更多的憧憬者來(lái)說(shuō)，大數(shù)據(jù)不是進(jìn)行時(shí)，而是未來(lái)時(shí)。這讓無(wú)數(shù)空有一身Hadoop技藝的架構(gòu)師和程序猿/媛扼腕太息。且慢，聽(tīng)聽(tīng)微軟研究院這位老哥的吐槽：根據(jù)微軟和Yahoo的統(tǒng)計(jì)，所有Hadoop任務(wù)放一起一平均，輸入數(shù)據(jù)集的大小也就是十幾個(gè)GB；即使是Facebook，90%的任務(wù)數(shù)據(jù)集小于100GB。這這這？這又讓言必稱(chēng)ZB的布道者們情何以堪？說(shuō)來(lái)說(shuō)去還是要回到大數(shù)據(jù)的定義上來(lái)。上回說(shuō)IDC為業(yè)界巨擘搖旗吶喊ZB時(shí)代，旋即又用100TB作為大數(shù)據(jù)的門(mén)檻。其實(shí)，100TB不是故事的全部。這次好好擺一擺IDC對(duì)大數(shù)據(jù)的界定。IDC高手論道，一張圖搞定：它的三步界定法是這樣講的：1.三個(gè)數(shù)據(jù)源場(chǎng)景：數(shù)據(jù)要么不小于100TB，要么來(lái)自于超高速的數(shù)據(jù)流，或者年增速大于60%。這三者是OR的關(guān)系，滿(mǎn)足其一即可。這下好，很多中小企業(yè)可以進(jìn)入大數(shù)據(jù)的候選隊(duì)伍了。王侯將相，寧有種乎？數(shù)據(jù)少但速度可以快，基數(shù)小但增速可以大，只要秉持自覺(jué)、客觀(guān)、全面測(cè)量世界的大數(shù)據(jù)觀(guān)。2.無(wú)論你有哪種或哪幾種數(shù)據(jù)，必須部署在可動(dòng)態(tài)適應(yīng)的基礎(chǔ)設(shè)施(dynamicallyadaptableinfrastructure)上。IDC專(zhuān)門(mén)強(qiáng)調(diào)，此基礎(chǔ)設(shè)施并非一定要水平擴(kuò)展架構(gòu)(scale-outinfrastructure)，傳統(tǒng)的scale-up架構(gòu)也行。更重要的是，這個(gè)新名詞把基于云的基礎(chǔ)設(shè)施也包括了進(jìn)去。要做大數(shù)據(jù)并非一定要自己部署Hadoop或NoSQL，把基礎(chǔ)設(shè)施的事情留給云，自己專(zhuān)心從數(shù)據(jù)里提煉價(jià)值，不亦樂(lè)乎？有了AmazonAWS，四個(gè)人就可以做一個(gè)大數(shù)據(jù)初創(chuàng)企業(yè)Prismatic。3.第三步兩個(gè)數(shù)據(jù)部署場(chǎng)景：部署中必須有不少于兩個(gè)的數(shù)據(jù)格式或數(shù)據(jù)源，或者高速流數(shù)據(jù)源(如點(diǎn)擊流或機(jī)器產(chǎn)生的數(shù)據(jù)流)。好吧，不用執(zhí)念于Volume了，我們接著這第三步講Variety。自道哥(DougLaney)開(kāi)立“三V經(jīng)”伊始，Variety在大數(shù)據(jù)五個(gè)大V(前幾天某人又提了第六個(gè)V，Viability，以后再表)排名老三，為什么Variety拿到系列第二篇講呢？在下不是百曉生，自然不敢亂排座次。雖然在下確實(shí)自賦過(guò)順口溜一句：“大(Volume)、雜(Variety)、快(Velocity)、真(Veracity)、值(Value)”(大雜膾真值)，但這萬(wàn)萬(wàn)不是Variety排第二的理由。Variety能做老二的最大底氣來(lái)自于占大數(shù)據(jù)體量八成以上的非結(jié)構(gòu)化數(shù)據(jù)。天知道這“八成”是怎么算出來(lái)的，但既然美林從98年就開(kāi)始在企業(yè)數(shù)據(jù)市場(chǎng)這么說(shuō)，十幾年過(guò)去應(yīng)該有增無(wú)減。Variety從本義來(lái)說(shuō)是指數(shù)據(jù)種類(lèi)的多樣性，我把數(shù)據(jù)質(zhì)量的多樣性即混雜性(舍恩伯格《大數(shù)據(jù)時(shí)代》中對(duì)messy的翻譯正好是“混雜”)也放入這一篇講。按理說(shuō)混雜性也可以放在Veracity篇，但我感覺(jué)從方法論上多樣性和混雜性有更多的相通之處。多樣性如果一定要把數(shù)據(jù)分類(lèi)，最簡(jiǎn)單的方法是分兩類(lèi)，結(jié)構(gòu)化與非結(jié)構(gòu)化。再深究下去，非結(jié)構(gòu)化事實(shí)上是未必成立的概念。信息里的“結(jié)構(gòu)”是永遠(yuǎn)存在的，只不過(guò)結(jié)構(gòu)尚未被發(fā)現(xiàn)，或結(jié)構(gòu)變化無(wú)定(半結(jié)構(gòu)化或多結(jié)構(gòu)化)，或者結(jié)構(gòu)存在但機(jī)器卻處理不了。就像最典型的非結(jié)構(gòu)化數(shù)據(jù)—文本，它有語(yǔ)言學(xué)意義上的結(jié)構(gòu)(語(yǔ)法和語(yǔ)義)，又有敘事意義上的結(jié)構(gòu)(三段式、先破后立等)，還具有結(jié)構(gòu)化的元數(shù)據(jù)(作者、標(biāo)題、發(fā)布時(shí)間等)，但文本一直是非結(jié)構(gòu)化數(shù)據(jù)的典型。有老學(xué)究一本正經(jīng)說(shuō)：非結(jié)構(gòu)化？此言差矣；應(yīng)該說(shuō)非模型化(unmodeled)，結(jié)構(gòu)本在，只是未建模而已。早期的非結(jié)構(gòu)化數(shù)據(jù)，在企業(yè)數(shù)據(jù)的語(yǔ)境里主要是文本，如電子郵件，文檔，健康/醫(yī)療記錄。隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，又?jǐn)U展到網(wǎng)頁(yè)、社交媒體、感知數(shù)據(jù)，涵蓋音頻、圖片、視頻、模擬信號(hào)等等，真正詮釋了數(shù)據(jù)的多樣性。從另一個(gè)維度上看，數(shù)據(jù)的多樣性又表現(xiàn)在數(shù)據(jù)來(lái)源和用途上。拿衛(wèi)生保健數(shù)據(jù)來(lái)講，大致有藥理學(xué)科研數(shù)據(jù)，臨床數(shù)據(jù)，個(gè)人行為和情感數(shù)據(jù)，就診/索賠記錄和開(kāi)銷(xiāo)數(shù)據(jù)四類(lèi)。麥肯錫在《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)前沿》里關(guān)于美國(guó)衛(wèi)生保健行業(yè)如何利用多樣化數(shù)據(jù)給出了精彩的建議，有興趣的可以去讀一讀。又如交通領(lǐng)域。北京市交通智能化分析平臺(tái)數(shù)據(jù)源來(lái)自路網(wǎng)攝像頭/傳感器、地面公交、軌道交通、出租車(chē)以及省際客運(yùn)、旅游、化危運(yùn)輸、停車(chē)、租車(chē)等運(yùn)輸行業(yè)，還有問(wèn)卷調(diào)查和GIS數(shù)據(jù)。從數(shù)據(jù)體量和速度上也達(dá)到了大數(shù)據(jù)的規(guī)模：4萬(wàn)輛浮動(dòng)車(chē)每天產(chǎn)生2000萬(wàn)條記錄；交通卡刷卡記錄每天1900萬(wàn)條；手機(jī)定位數(shù)據(jù)每天1800萬(wàn)條；出租車(chē)運(yùn)營(yíng)數(shù)據(jù)每天100萬(wàn)條；高速ETC數(shù)據(jù)每天50萬(wàn)條；針對(duì)8萬(wàn)戶(hù)家庭的定期調(diào)查，等等。發(fā)掘這些形態(tài)各異、快慢不一的數(shù)據(jù)流之間的相關(guān)性，是大數(shù)據(jù)做前人之未做、前人所不能的機(jī)會(huì)。更甚者，交通狀況與其它領(lǐng)域的數(shù)據(jù)都存在較強(qiáng)的關(guān)聯(lián)性：有研究發(fā)現(xiàn)，可以從供水系統(tǒng)數(shù)據(jù)中發(fā)現(xiàn)晨洗的高峰時(shí)間，加上一個(gè)偏移量(通常是40-45分鐘)就是交通早高峰時(shí)間；同樣可以從電網(wǎng)數(shù)據(jù)中統(tǒng)計(jì)出傍晚辦公樓集中關(guān)燈的時(shí)間，加上偏移量來(lái)估計(jì)出晚上的堵車(chē)時(shí)點(diǎn)。國(guó)外的研究還發(fā)現(xiàn)了交通事故率與睡眠質(zhì)量的關(guān)聯(lián)，不一而足。有人說(shuō)咖啡館的好處是“l(fā)etideashavesex”，大數(shù)據(jù)產(chǎn)生價(jià)值的關(guān)鍵是“l(fā)etdatahavesex”。尤其是對(duì)不能坐擁大數(shù)據(jù)的企業(yè)來(lái)說(shuō)，跳出自己的圈子，尋找新的相關(guān)數(shù)據(jù)源(如社交媒體，上下游企業(yè)或廣告、應(yīng)用聯(lián)盟，數(shù)據(jù)市場(chǎng))是出奇制勝的策略。即使牛如Apple，它也要雜湊Google、WolframAlpha、Wikipedia、Yelp等不同的外部數(shù)據(jù)源來(lái)讓Siri足夠聰明?；祀s性我把混雜性作為數(shù)據(jù)質(zhì)量的一個(gè)考量(數(shù)據(jù)質(zhì)量的問(wèn)題，在漫談第五個(gè)V即Veracity的時(shí)候，還要涉及)，即數(shù)據(jù)里混有雜質(zhì)的特性。數(shù)據(jù)的混雜性是不可避免的，既可能有數(shù)據(jù)產(chǎn)生主體的問(wèn)題，又可能有采集手段、存儲(chǔ)方式的問(wèn)題。有人說(shuō)這不是個(gè)新問(wèn)題，我們很早以前就搞數(shù)據(jù)清洗。話(huà)是沒(méi)錯(cuò)，只是在大數(shù)據(jù)時(shí)代，我們完全可以用一種更輕松的心態(tài)看待混雜性，并接受它帶來(lái)的精確性的問(wèn)題。試想，如果雜質(zhì)是偶然的，它一定會(huì)被更多的正確的數(shù)據(jù)淹沒(méi)掉；如果噪音存在規(guī)律，足夠多的數(shù)據(jù)可以發(fā)現(xiàn)這個(gè)規(guī)律，從而把噪音過(guò)濾；如果誤差是內(nèi)在的必然性，更多樣化的數(shù)據(jù)采集和信息融合也必然能糾正誤差。拿幾個(gè)我在Intel做過(guò)的項(xiàng)目作為例子：1.定位：GPS有幾十米的誤差，但加上了地圖數(shù)據(jù)可以保證你導(dǎo)航無(wú)虞；GPS信號(hào)在城市環(huán)境里時(shí)斷時(shí)續(xù)，基于慣性導(dǎo)航的系統(tǒng)可以維持導(dǎo)航系統(tǒng)的工作；基于運(yùn)動(dòng)傳感器的室內(nèi)慣性導(dǎo)航有累積誤差，而且辦公室環(huán)境里磁傳感器受干擾嚴(yán)重，辦法是跟基于Wifi的室內(nèi)定位和地圖匹配結(jié)合起來(lái)；通過(guò)SLAM(SimultaneousLocalizationandMapping)構(gòu)建室內(nèi)地圖同樣受慣性導(dǎo)航傳感器精度的限制，但如果有Wifi的幫忙，或者有大量路徑軌跡，完全可以把誤差糾正，等等。2.智慧城市里的視覺(jué)分析：基于單個(gè)攝像頭的車(chē)牌抓取和識(shí)別可能受光照條件、空氣能見(jiàn)度、車(chē)輛運(yùn)行速度和遮擋情況的影響，但獲得的部分信息(不完整車(chē)牌和車(chē)輛特征)可以跟其它攝像頭獲取的信息進(jìn)行對(duì)照和相互印證。3.PM2.5的檢測(cè)儀太貴，5000美刀，很準(zhǔn)很穩(wěn)定。買(mǎi)個(gè)灰塵傳感器，幾十塊人民幣，不準(zhǔn)不穩(wěn)定。那兩個(gè)傳感器放一起呢，平均、平滑過(guò)的數(shù)據(jù)穩(wěn)定了很多。再把這個(gè)數(shù)據(jù)跟官方的數(shù)據(jù)做關(guān)聯(lián)，跟開(kāi)放遙感數(shù)據(jù)(MODIS)推測(cè)的PM2.5值做關(guān)聯(lián)，跟區(qū)域溫濕度、氣壓和風(fēng)向做關(guān)聯(lián)，也許你就有了個(gè)200塊人民幣的個(gè)人PM2.5檢測(cè)儀。類(lèi)似數(shù)據(jù)融合的例子有很多，涉及連續(xù)時(shí)/空軸的同質(zhì)數(shù)據(jù)和同一時(shí)/空點(diǎn)的異構(gòu)數(shù)據(jù)。時(shí)空關(guān)系是最典型的一種上下文語(yǔ)境(context)。在數(shù)據(jù)全集前提下，通過(guò)上下文語(yǔ)境來(lái)組織、過(guò)濾和呈現(xiàn)具有相關(guān)性的數(shù)據(jù)集/數(shù)據(jù)流是提升管理和分析效率的一種重要方式。大數(shù)據(jù)采集和存儲(chǔ)盡量要全集，而管理和分析未必是多多益善(以后在分析篇中詳述)，抓住context很關(guān)鍵。在數(shù)據(jù)管理上，geocodeddata或timeseries數(shù)據(jù)庫(kù)就是利用時(shí)空語(yǔ)境來(lái)組織和優(yōu)化多源數(shù)據(jù)的例子。對(duì)于數(shù)據(jù)擁有者而言，數(shù)據(jù)的多樣性和混雜性具有多重含義：1.原始數(shù)據(jù)層面，多樣性是不因意志轉(zhuǎn)移的事實(shí)，必須準(zhǔn)備好多種采集和存儲(chǔ)手段，保留這種多樣性。首先是采集。彭博社近乎偏執(zhí)地采集數(shù)據(jù)，從用戶(hù)使用彭博終端的每一次按鍵，到每一個(gè)員工的即時(shí)位置，從公司創(chuàng)始人每一次訪(fǎng)問(wèn)家族基金的記錄，到前文所述石油庫(kù)存的照片，甚至發(fā)展到丑聞。對(duì)絕大多數(shù)企業(yè)來(lái)說(shuō)，除了前面所說(shuō)的外部數(shù)據(jù)源，仔細(xì)研究一下IT系統(tǒng)的日志和歸檔功能，也許無(wú)需大動(dòng)干戈就有意外的收獲。對(duì)于個(gè)人來(lái)說(shuō)，基督教有諺云“凡走過(guò)必留下痕跡”。大可不必像MITGeekDebRoy那樣把自家過(guò)日子的分分秒秒都錄下來(lái)，也不用像Bell定律的提出者GordonBell那樣把生活工作的點(diǎn)滴事無(wú)巨細(xì)記錄到MyLifeBits里，“TotalRecall”(電影《全面記憶》，Bell在2009年寫(xiě)的一篇文章以此為標(biāo)題)還太遙遠(yuǎn)，但有了手機(jī)，我們真的可以更好地記錄自己、量化自我。Smalldata是Bigdata的一個(gè)有趣側(cè)面，以后也許還會(huì)述及。其次是存儲(chǔ)。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，文件系統(tǒng)是主流的存儲(chǔ)選擇，但是在存取、索引以及元數(shù)據(jù)管理上不是最優(yōu)。而結(jié)構(gòu)化數(shù)據(jù)主要依靠關(guān)系型數(shù)據(jù)庫(kù)，主要問(wèn)題是結(jié)構(gòu)變化時(shí)太折騰，當(dāng)數(shù)據(jù)在TB級(jí)是也太慢。NoSQL數(shù)據(jù)庫(kù)應(yīng)時(shí)而生，一是能支持靈活的結(jié)構(gòu)(schema)和非結(jié)構(gòu)化數(shù)據(jù)，二是針對(duì)大數(shù)據(jù)體量可擴(kuò)展性更好。同時(shí)，文件系統(tǒng)也得到了發(fā)展，與對(duì)象存儲(chǔ)相映生輝，不僅在效率上提升(如FacebookHaystack對(duì)小圖片文件)，也能更好地支持管理和分析(如支持SQL-like語(yǔ)言來(lái)操作)。由于NoSQL數(shù)據(jù)庫(kù)和文件/對(duì)象存儲(chǔ)不能很好地支持?jǐn)?shù)據(jù)庫(kù)事務(wù)(ACID)，不但關(guān)系型數(shù)據(jù)庫(kù)還有用武之地，NewSQL數(shù)據(jù)庫(kù)也因此脫穎而出。2.數(shù)據(jù)準(zhǔn)備層面，怎么對(duì)多樣化的數(shù)據(jù)建模，怎么在把多樣化的原始數(shù)據(jù)轉(zhuǎn)換為元數(shù)據(jù)，怎么在元數(shù)據(jù)里保留數(shù)據(jù)多樣性、又能夠保證數(shù)據(jù)處理手段的統(tǒng)一性。這是一個(gè)很大的課題。數(shù)據(jù)處理前會(huì)有大量的時(shí)間做數(shù)據(jù)準(zhǔn)備(到達(dá)80%)，涉及到抽取、清洗、轉(zhuǎn)換和集成，做得不好就只能是悲慘的“garbagein，garbageout”了。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)而言，最大的問(wèn)題是究竟抽取什么出來(lái)，是一些特定的低階特征、還是具有高階語(yǔ)義的標(biāo)記或元數(shù)據(jù)？到頭來(lái)，非結(jié)構(gòu)化數(shù)據(jù)的“結(jié)構(gòu)”很容易受到主觀(guān)假設(shè)的影響。多樣化數(shù)據(jù)的存儲(chǔ)有幾個(gè)問(wèn)題，一個(gè)是多類(lèi)數(shù)據(jù)放一起還是分開(kāi)存，二是元數(shù)據(jù)怎么存儲(chǔ)、與源數(shù)據(jù)如何關(guān)聯(lián)，還有就是怎么能夠最好地支持未來(lái)的分析。BoozAllen的DataLake是把幾方面做得比較好的。對(duì)于非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō)，ApacheUIMA(UnstructuredInformationManagementArchitecture)是不錯(cuò)的選擇，IBM的Watson主機(jī)在《Jeopardy》里戰(zhàn)勝人類(lèi)，軍功章里有UIMA的一份。3.數(shù)據(jù)處理層面，主要是怎么在處理中利用好數(shù)據(jù)的多樣性。這個(gè)在數(shù)據(jù)分析篇