大數(shù)據(jù)分析與實踐-社會研究與數(shù)字治理第4章 基本原則與生命周期

第4章基本原則與生命周期QQ：81505050楊武劍周蘇大數(shù)據(jù)分析與實踐——社會研究與數(shù)字治理我們的衣食住行都與大數(shù)據(jù)有關(guān)，每天的生活都離不開大數(shù)據(jù)。同時，大數(shù)據(jù)也提高了我們的生活品質(zhì)，為每個人提供創(chuàng)新平臺和機會。通過大數(shù)據(jù)的整合分析和深度挖掘，發(fā)現(xiàn)規(guī)律，創(chuàng)造價值，進而建立起物理世界到數(shù)字世界到網(wǎng)絡(luò)世界的無縫鏈接。大數(shù)據(jù)時代，線上與線下，虛擬與現(xiàn)實、軟件與硬件、跨界融合，將重塑我們的認(rèn)知和實踐模式，

開啟一場新的產(chǎn)業(yè)突進與經(jīng)濟轉(zhuǎn)型。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下國家行政學(xué)院常務(wù)副院長馬建堂說，大數(shù)據(jù)其實就是海量的、非結(jié)構(gòu)化的、電子形態(tài)存在的數(shù)據(jù)，通過數(shù)據(jù)分析，能產(chǎn)生價值，帶來商機的數(shù)據(jù)。大數(shù)據(jù)是“21世紀(jì)的石油和金礦”工業(yè)和信息化部原部長苗圩在為《大數(shù)據(jù)領(lǐng)導(dǎo)干部讀本》作序時，形容大數(shù)據(jù)為“21世紀(jì)的石油和金礦”，是一個國家提升綜合競爭力的又一關(guān)鍵資源?！皬馁Y源的角度看，大數(shù)據(jù)是‘未來的石油’；從國家治理的角度看，大數(shù)據(jù)可以提升治理效率、重構(gòu)治理模式，將掀起一場國家治理革命；從經(jīng)濟增長角度看，大數(shù)據(jù)是全球經(jīng)濟低迷環(huán)境下的產(chǎn)業(yè)亮點；從國家安全角度看，大數(shù)據(jù)能成為大國之間博弈和較量的利器?！瘪R建堂在《大數(shù)據(jù)領(lǐng)導(dǎo)干部讀本》序言中這樣界定大數(shù)據(jù)的戰(zhàn)略意義。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下馬建堂指出，大數(shù)據(jù)可以大幅提升人類認(rèn)識和改造世界的能力，正以前所未有的速度顛覆人類探索世界的方法，煥發(fā)出變革經(jīng)濟社會的巨大力量?！暗脭?shù)據(jù)者得天下”已成為全球的普遍共識?？傊瑖腋偁幗裹c因大數(shù)據(jù)而改變，國家間競爭將從資本、土地、人口、資源轉(zhuǎn)向?qū)Υ髷?shù)據(jù)的爭奪，全球競爭版圖將分成數(shù)據(jù)強國和數(shù)據(jù)弱國兩大新陣營。苗圩說，數(shù)據(jù)強國主要表現(xiàn)為擁有數(shù)據(jù)的規(guī)模、活躍程度及解釋、處置、運用的能力。數(shù)字主權(quán)將成為繼邊防、海防、空防之后另一大國博弈的空間。誰掌握了數(shù)據(jù)的主動權(quán)和主導(dǎo)權(quán)，誰就能贏得未來。新一輪的大國競爭，并不只是在硝煙彌漫的戰(zhàn)場，更是通過大數(shù)據(jù)增強對整個世界局勢的影響力和主導(dǎo)權(quán)。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下大數(shù)據(jù)可促進國家治理變革專家們普遍認(rèn)為，大數(shù)據(jù)的滲透力遠超人們想象，它正改變甚至顛覆我們所處的時代，將對經(jīng)濟社會發(fā)展、企業(yè)經(jīng)營和政府治理等方方面面產(chǎn)生深遠影響。的確，大數(shù)據(jù)不僅是一場技術(shù)革命，還是一場管理革命。它提升人們認(rèn)知能力，是促進國家治理變革的基礎(chǔ)性力量。在國家治理領(lǐng)域，打造陽光政府、責(zé)任政府、智慧政府建設(shè)上都離不開大數(shù)據(jù)，大數(shù)據(jù)為解決以往的“頑疾”和“痛點”提供強大支撐；大數(shù)據(jù)還能將精準(zhǔn)醫(yī)療、個性化教育、社會監(jiān)管、輿情檢測預(yù)警等以往無法實現(xiàn)的環(huán)節(jié)變得簡單、可操作。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下中國行政體制改革研究會副會長周文彰認(rèn)同大數(shù)據(jù)是一場治理革命。他說：“大數(shù)據(jù)將通過全息數(shù)據(jù)呈現(xiàn)，使政府從‘主觀主義’‘經(jīng)驗主義’的模糊治理方式，邁向‘實事求是’‘?dāng)?shù)據(jù)驅(qū)動’的精準(zhǔn)治理方式。在大數(shù)據(jù)條件下，‘人在干、云在算、天在看’，數(shù)據(jù)驅(qū)動的‘精準(zhǔn)治理體系’‘智慧決策體系’‘陽光權(quán)力平臺’都將逐漸成為現(xiàn)實?！瘪R建堂也說，對于決策者而言，大數(shù)據(jù)能實現(xiàn)整個蒼穹盡收眼底，可以解決“坐井觀天”“一葉障目”“盲人摸象”和“城門失火，殃及池魚”問題。另外，大數(shù)據(jù)是人類認(rèn)識世界和改造世界能力的升華，它能提升人類“一葉知秋”“運籌帷幄，決勝千里”的能力。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下專家們認(rèn)為，大數(shù)據(jù)時代開辟了政府治理現(xiàn)代化的新途徑：大數(shù)據(jù)助力決策科學(xué)化，公共服務(wù)個性化、精準(zhǔn)化；實現(xiàn)信息共享融合，推動治理結(jié)構(gòu)變革，從一元主導(dǎo)到多元合作；大數(shù)據(jù)催生社會發(fā)展和商業(yè)模式變革，加速產(chǎn)業(yè)融合。中國具備數(shù)據(jù)強國潛力2012年是世界的大數(shù)據(jù)元年。而2015年是中國建設(shè)制造強國和網(wǎng)絡(luò)強國承前啟后的關(guān)鍵之年。此后的中國，大數(shù)據(jù)充當(dāng)著越來越重要的角色，中國也具備成為數(shù)據(jù)強國的優(yōu)勢條件。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下馬建堂說，黨中央、國務(wù)院高度重視大數(shù)據(jù)的創(chuàng)新發(fā)展，準(zhǔn)確把握大融合、大變革的發(fā)展趨勢，制定發(fā)布了《中國制造2025》和“互聯(lián)網(wǎng)+”行動計劃，出臺了《關(guān)于促進大數(shù)據(jù)發(fā)展的行動綱要》，為我國大數(shù)據(jù)的發(fā)展指明了方向，可以看作是大數(shù)據(jù)發(fā)展“頂層設(shè)計”和“戰(zhàn)略部署”，具有劃時代的深遠影響。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下工信部正在構(gòu)建大數(shù)據(jù)產(chǎn)業(yè)鏈，推動公共數(shù)據(jù)資源開放共享，將大數(shù)據(jù)打造成經(jīng)濟提質(zhì)增效的新引擎。另外，中國是人口大國、制造大國、互聯(lián)網(wǎng)大國、物聯(lián)網(wǎng)大國，這些都是最活躍的數(shù)據(jù)生產(chǎn)主體，未來幾年成為數(shù)據(jù)大國也是邏輯上的必然結(jié)果。中國成為數(shù)據(jù)強國的潛力極為突出，例如2010年中國數(shù)據(jù)占全球比例為10%，2013年占比為13%，2020年占比就達18%，至此，中國的數(shù)據(jù)規(guī)模超過美國，位居世界第一。專家指出，中國許多應(yīng)用領(lǐng)域已與主要發(fā)達國家處于同一起跑線上，具備了厚積薄發(fā)、登高望遠的條件，在新一輪國際競爭和大國博弈中具有超越的潛在優(yōu)勢。中國應(yīng)順應(yīng)時代發(fā)展趨勢，抓住大數(shù)據(jù)發(fā)展帶來的契機，擁抱大數(shù)據(jù)，充分利用大數(shù)據(jù)提升國家治理能力和國際競爭力。第4章導(dǎo)讀案例得數(shù)據(jù)者得天下目錄大數(shù)據(jù)分析生命周期大數(shù)據(jù)的分析原則12大數(shù)據(jù)分析生命周期PART014.14.1大數(shù)據(jù)分析生命周期從組織上講，采用大數(shù)據(jù)會改變商業(yè)分析的途徑。大數(shù)據(jù)分析的生命周期從大數(shù)據(jù)項目商業(yè)案例的創(chuàng)立開始，到保證分析結(jié)果部署在組織中并最大化地創(chuàng)造價值時結(jié)束。在數(shù)據(jù)識別、獲取、過濾、轉(zhuǎn)換、清洗和聚合過程中有許多步驟，這些都是在數(shù)據(jù)分析之前所必需的。4.1大數(shù)據(jù)分析生命周期由于被處理數(shù)據(jù)的容量、速率和多樣性的特點，大數(shù)據(jù)分析不同于傳統(tǒng)的數(shù)據(jù)分析。為了處理大數(shù)據(jù)分析需求的多樣性，需要一步步地使用采集、處理、分析和重用數(shù)據(jù)等方法。大數(shù)據(jù)分析生命周期可以組織和管理與大數(shù)據(jù)分析相關(guān)的任務(wù)和活動。從大數(shù)據(jù)的采用和規(guī)劃的角度來看，除了生命周期以外，還必須考慮數(shù)據(jù)分析團隊的培訓(xùn)、教育、工具和人員配備的問題。生命周期的執(zhí)行需要組織重視培養(yǎng)或者雇傭新的具有相關(guān)能力的人。4.1大數(shù)據(jù)分析生命周期大數(shù)據(jù)分析的生命周期可以分為九個階段。4.1.2銷售和營銷4.1.1數(shù)據(jù)可視化4.1.3在線廣告4.1.5數(shù)據(jù)可視化4.1.4數(shù)據(jù)可視化4.1.7銷售和營銷4.1.6數(shù)據(jù)可視化4.1.8在線廣告4.1.9數(shù)據(jù)可視化由于被處理數(shù)據(jù)的容量、速率和多樣性的特點，需要一步步地使用采集、處理、分析和重用數(shù)據(jù)等方法。4.1大數(shù)據(jù)分析生命周期4.1.1

商業(yè)案例評估在分析階段中，每一個大數(shù)據(jù)分析生命周期都必須起始于一個被很好定義的商業(yè)案例，它有著清晰的執(zhí)行分析的理由、動機和目標(biāo)，并且應(yīng)該在著手分析之前就被創(chuàng)建、評估和改進。商業(yè)分析案例的評估能夠幫助決策者了解需要使用哪些商業(yè)資源，需要面臨哪些挑戰(zhàn)。另外，在這個環(huán)節(jié)中詳細區(qū)分關(guān)鍵績效指標(biāo)，能夠更好地明確分析結(jié)果的評估標(biāo)準(zhǔn)和評估路線。如果關(guān)鍵績效指標(biāo)不容易獲取，則需要努力使這個分析項目變得SMART，即Specific（具體的）、Measurable（可衡量的）、Attainable（可實現(xiàn)的）、Relevant（相關(guān)的）和Timely（及時的）。4.1.1

商業(yè)案例評估基于商業(yè)案例中記錄的商業(yè)需求，我們可以確定所定位的商業(yè)問題是否是真正的大數(shù)據(jù)問題。為此，這個商務(wù)問題必須直接與一個或多個大數(shù)據(jù)的特點相關(guān)。同樣還要注意的是，本階段的另一個結(jié)果是確定執(zhí)行這個分析項目的基本預(yù)算。任何如工具、硬件、培訓(xùn)等需要購買的東西都要提前確定，以保證可以對預(yù)期投入和最終實現(xiàn)目標(biāo)所產(chǎn)生的收益進行衡量。比起能夠反復(fù)使用前期投入的后期迭代，大數(shù)據(jù)分析生命周期的初始迭代需要在大數(shù)據(jù)技術(shù)、產(chǎn)品和訓(xùn)練上有更多的前期投入。4.1.2

數(shù)據(jù)標(biāo)識數(shù)據(jù)標(biāo)識階段主要用來標(biāo)識分析項目所需要的數(shù)據(jù)集和所需的資源。標(biāo)識種類眾多的數(shù)據(jù)資源可能會提高找到隱藏模式和相互關(guān)系的可能性。例如，為了提供洞察能力，盡可能多地標(biāo)識出各種類型的相關(guān)數(shù)據(jù)資源非常有用，尤其是當(dāng)我們探索的目標(biāo)并不是那么明確的時候。4.1.2

數(shù)據(jù)標(biāo)識根據(jù)分析項目的業(yè)務(wù)范圍和業(yè)務(wù)問題的性質(zhì)，我們需要的數(shù)據(jù)集和它的數(shù)據(jù)源可能是企業(yè)內(nèi)部和/或企業(yè)外部的。在內(nèi)部數(shù)據(jù)集的情況下，像是數(shù)據(jù)集市和操作系統(tǒng)等一系列可供使用的內(nèi)部資源數(shù)據(jù)集，往往靠預(yù)定義的數(shù)據(jù)集規(guī)范來進行收集和匹配。在外部數(shù)據(jù)集的情況下，像是數(shù)據(jù)市場和公開可用的數(shù)據(jù)集這樣的一系列可能的第三方數(shù)據(jù)集會被收集。一些外部數(shù)據(jù)的形式則會內(nèi)嵌到博客和一些基于內(nèi)容的網(wǎng)站中，這些數(shù)據(jù)需要通過自動化工具來獲取。4.1.3

數(shù)據(jù)獲取與過濾在數(shù)據(jù)獲取和過濾階段，前一階段標(biāo)識的數(shù)據(jù)已經(jīng)從所有的數(shù)據(jù)資源中獲取和集成，這些數(shù)據(jù)接下來會被歸類并進行自動過濾，以去掉被污染的數(shù)據(jù)和對分析對象毫無價值的數(shù)據(jù)。根據(jù)數(shù)據(jù)集的類型，數(shù)據(jù)可能會是檔案文件，如購入的第三方數(shù)據(jù)；可能需要API集成，像是微博、微信上的數(shù)據(jù)。在許多情況下，我們得到的數(shù)據(jù)常常是并不相關(guān)的數(shù)據(jù)，特別是外部的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)會在過濾程序中被丟棄。4.1.3

數(shù)據(jù)獲取與過濾被定義為“壞”數(shù)據(jù)的，是其包括遺失或毫無意義的值或是無效的數(shù)據(jù)類型。但是，被一種分析過程過濾掉的數(shù)據(jù)集還有可能對于另一種不同類型的分析過程具有價值。因此，在執(zhí)行過濾前存儲一份原文拷貝是個不錯的選擇。為了節(jié)省存儲空間，可以對原文拷貝進行壓縮。內(nèi)部數(shù)據(jù)或外部數(shù)據(jù)在生成或進入企業(yè)邊界后都需要繼續(xù)保存。為了滿足批處理分析的要求，數(shù)據(jù)必須在分析之前存儲在磁盤中，而在實時分析之后，數(shù)據(jù)需要再存儲到磁盤中。4.1.3

數(shù)據(jù)獲取與過濾元數(shù)據(jù)會通過自動操作添加到內(nèi)部和外部的數(shù)據(jù)資源中來改善分類和查詢。擴充的元數(shù)據(jù)例子主要包括數(shù)據(jù)集的大小和結(jié)構(gòu)、資源信息、日期、創(chuàng)建或收集的時間、特定語言的信息等。確保元數(shù)據(jù)能夠被機器讀取并傳送

到數(shù)據(jù)分析的下一個階段是至關(guān)重要的，它能

夠幫助我們在大數(shù)據(jù)分析的生命周期中保留數(shù)

據(jù)的起源信息，保證數(shù)據(jù)的精確性和高質(zhì)量。

圖4-3元數(shù)據(jù)從內(nèi)部資源和外部資源中添加到數(shù)據(jù)中4.1.4

數(shù)據(jù)轉(zhuǎn)換為分析而輸入的一些數(shù)據(jù)可能會與大數(shù)據(jù)解決方案產(chǎn)生格式上的不兼容，這樣的數(shù)據(jù)往往來自于外部資源。數(shù)據(jù)轉(zhuǎn)換階段主要是要住轉(zhuǎn)換不同的數(shù)據(jù)，并將其轉(zhuǎn)化為大數(shù)據(jù)解決方案中可用于數(shù)據(jù)分析的格式。需要轉(zhuǎn)換的程度取決于分析的類型和大數(shù)據(jù)解決方案的能力。例如，如果相關(guān)的大數(shù)據(jù)解決方案已經(jīng)能夠直接加工文件，那么從有限的文本數(shù)據(jù)（如網(wǎng)絡(luò)服務(wù)器日志文件）中轉(zhuǎn)換需要的域，可能就不必要了。類似的，如果大數(shù)據(jù)解決方案可以直接以本地格式讀取文稿的話，對于需要總覽整個文稿的文本分析而言，文本的轉(zhuǎn)換過程就會簡化許多。4.1.4

數(shù)據(jù)轉(zhuǎn)換圖4-4顯示了從沒有更多轉(zhuǎn)化需求的XML文檔中對注釋和內(nèi)嵌用戶ID的轉(zhuǎn)換提取。圖4-4從XML文檔中轉(zhuǎn)換提取注釋和用戶編號4.1.4

數(shù)據(jù)轉(zhuǎn)換圖4-5顯示了從單個JSON字段中轉(zhuǎn)換提取用戶的經(jīng)緯度坐標(biāo)。為了滿足大數(shù)據(jù)解決方案的需求，將數(shù)據(jù)分為兩個不同的域，這就需要做進一步的數(shù)據(jù)轉(zhuǎn)化。圖4-5從單個JSON文件中轉(zhuǎn)換提取用戶編號和相關(guān)信息4.1.5

數(shù)據(jù)驗證與清洗無效數(shù)據(jù)會歪曲和偽造分析的結(jié)果。和傳統(tǒng)的企業(yè)數(shù)據(jù)那種數(shù)據(jù)結(jié)構(gòu)被提前定義好、數(shù)據(jù)也被提前校驗的方式不同，大數(shù)據(jù)分析的數(shù)據(jù)輸入往往沒有任何的參考和驗證來進行結(jié)構(gòu)化操作，其復(fù)雜性會進一步使數(shù)據(jù)集的驗證約束變得困難。數(shù)據(jù)驗證和清洗階段是為了整合驗證規(guī)則并移除已知的無效數(shù)據(jù)。大數(shù)據(jù)經(jīng)常會從不同的數(shù)據(jù)集中接收到冗余的數(shù)據(jù)，這些冗余數(shù)據(jù)往往會為了整合驗證字段、填充無效數(shù)據(jù)而被用來探索有聯(lián)系的數(shù)據(jù)集。數(shù)據(jù)驗證會檢驗具有內(nèi)在聯(lián)系的數(shù)據(jù)集，填充遺失的有效數(shù)據(jù)4.1.5

數(shù)據(jù)驗證與清洗對于批處理分析，數(shù)據(jù)驗證與抽取可以通過離線ETL（抽取/轉(zhuǎn)換/加載）來執(zhí)行。對于實時分析，則需要一個更加復(fù)雜的在內(nèi)存中的系統(tǒng)來對從資源中得到的數(shù)據(jù)進行處理，在確認(rèn)問題數(shù)據(jù)的準(zhǔn)確性和質(zhì)量時，來源信息往往扮演著十分重要的角色。有的時候，看起來無效的數(shù)據(jù)可能在其他隱藏模式和趨勢中具有價值，在新的模式中可能有意義。圖4-6無效數(shù)據(jù)的存在造成了一個峰值4.1.6

數(shù)據(jù)聚合與表示數(shù)據(jù)可以在多個數(shù)據(jù)集中傳播，這要求這些數(shù)據(jù)集通過相同的域被連接在一起，就像日期和ID。在其他情況下，相同的數(shù)據(jù)域可能會出現(xiàn)在不同的數(shù)據(jù)集中，如出生日期。無論哪種方式都需要對數(shù)據(jù)進行核對的方法或者需要確定表示正確值的數(shù)據(jù)集。數(shù)據(jù)聚合和表示階段是專門為了將多個數(shù)據(jù)集進行聚合，從而獲得一個統(tǒng)一的視圖。在這個階段會因為以下情況變得復(fù)雜：（1）數(shù)據(jù)結(jié)構(gòu)——數(shù)據(jù)格式相同時，數(shù)據(jù)模型可能不同。（2）語義——在兩個不同的數(shù)據(jù)集中，具有不同標(biāo)記的值可能表示同樣的內(nèi)容，比如“姓”和“姓氏”。4.1.6

數(shù)據(jù)聚合與表示通過大數(shù)據(jù)解決方案處理的大量數(shù)據(jù)能夠使數(shù)據(jù)聚合變成一個時間和勞動密集型的操作。調(diào)和這些差異需要可以自動執(zhí)行的無需人工干預(yù)的復(fù)雜邏輯。在此階段，需要考慮未來的數(shù)據(jù)分析需求，以幫助數(shù)據(jù)的可重用性。是否需要對數(shù)據(jù)進行聚合，了解同樣的數(shù)據(jù)能以不同形式來存儲十分重要。一種形式可能比另一種更適合特定的分析類型。例如，如果需要訪問個別數(shù)據(jù)字段，以BLOB（二進制大對象）存儲的數(shù)據(jù)就會變得沒有多大的用處。BLOB是一個可以存儲二進制文件的容器。在計算機中，BLOB常常是數(shù)據(jù)庫中用來存儲二進制文件的字段類型。BLOB是一個大文件，典型的BLOB是一張圖片或一個聲音文件，由于它們的尺寸，必須使用特殊的方式來處理（例如上傳、下載或者存放到一個數(shù)據(jù)庫）。在MySQL中，BLOB是個類型系列，例如TinyBlob等。4.1.6

數(shù)據(jù)聚合與表示由大數(shù)據(jù)解決方案進行標(biāo)準(zhǔn)化的數(shù)據(jù)結(jié)構(gòu)可以作為一個標(biāo)準(zhǔn)的共同特征被用于一系列的分析技術(shù)和項目。這可能需要建立一個像非結(jié)構(gòu)化數(shù)據(jù)庫一樣的中央標(biāo)準(zhǔn)分析倉庫。

圖4-7使用ID域聚集兩個數(shù)據(jù)域的簡單例子4.1.6

數(shù)據(jù)聚合與表示圖4-8展示了存儲在兩種不同格式中的相同數(shù)據(jù)塊。數(shù)據(jù)集A包含所需的數(shù)據(jù)塊，但是由于它是BLOB的一部分而不容易訪問。數(shù)據(jù)集B包含有相同的以列為基礎(chǔ)來存儲的數(shù)據(jù)塊，使得每個字段都被單獨查詢到。圖4-8數(shù)據(jù)集A和B能通過大數(shù)據(jù)解決方案結(jié)合起來創(chuàng)建一個標(biāo)準(zhǔn)化的數(shù)據(jù)結(jié)構(gòu)4.1.7

數(shù)據(jù)分析數(shù)據(jù)分析階段致力于執(zhí)行實際的分析任務(wù)，通常會涉及一種或多種類型的數(shù)據(jù)分析。在這個階段，數(shù)據(jù)可以自然迭代，尤其在數(shù)據(jù)分析是探索性分析的情況下，分析過程會一直重復(fù)，直到適當(dāng)?shù)哪Ｊ交蛘呦嚓P(guān)性被發(fā)現(xiàn)。根據(jù)所需的分析結(jié)果的類型，這個階段可以被盡可能地簡化為查詢數(shù)據(jù)集以實現(xiàn)用于比較的聚合。另一方面，它可以像結(jié)合數(shù)據(jù)挖掘和復(fù)雜統(tǒng)計分析技術(shù)來發(fā)現(xiàn)各種模式和異常，或是生成一個統(tǒng)計或是數(shù)學(xué)模型來描述變量關(guān)系一樣具有挑戰(zhàn)性。數(shù)據(jù)分析可以分為驗證分析和探索分析兩類，后者常常與數(shù)據(jù)挖掘相聯(lián)系。4.1.7

數(shù)據(jù)分析驗證性數(shù)據(jù)分析是一種演繹方法，即先提出被調(diào)查現(xiàn)象的原因，被提出的原因或者假說稱為一個假設(shè)。接下來使用數(shù)據(jù)分析以驗證和反駁這個假設(shè)，并為這些具體的問題提供明確的答案。我們常常會使用數(shù)據(jù)采樣技術(shù)，意料之外的發(fā)現(xiàn)或異常經(jīng)常會被忽略，因為預(yù)定的原因是一個假設(shè)。探索性數(shù)據(jù)分析是一種與數(shù)據(jù)挖掘緊密結(jié)合的歸納法。在這個過程中沒有假想的或是預(yù)定的假設(shè)產(chǎn)生。相反，數(shù)據(jù)會通過分析探索來發(fā)展一種對于現(xiàn)象起因的理解。盡管它可能無法提供明確的答案，但這種方法會提供一個大致的方向以便發(fā)現(xiàn)模式或異常。4.1.8

數(shù)據(jù)可視化如果只有分析師才能解釋數(shù)據(jù)分析結(jié)果的話，那么分析海量數(shù)據(jù)并發(fā)現(xiàn)有用的見解的能力就沒有什么價值了。數(shù)據(jù)可視化階段致力于使用數(shù)據(jù)可視化技術(shù)和工具，并通過圖形表示有效的分析結(jié)果。為了從分析中獲

取價值并在隨后擁有從向下一階段提供

反饋的能力，商務(wù)用戶必須充分理解數(shù)

據(jù)分析的結(jié)果。

圖4-9數(shù)據(jù)分析儀表盤4.1.8

數(shù)據(jù)可視化完成數(shù)據(jù)可視化階段得到的結(jié)果能夠為用戶提供執(zhí)行可視化分析的能力，這能夠讓用戶去發(fā)現(xiàn)一些未曾預(yù)估到的問題的答案。相同的結(jié)果可能會以許多不同的方式來呈現(xiàn)，這會影響最終結(jié)果的解釋。因此，重要的是保證商務(wù)域在相應(yīng)環(huán)境中使用最合適的可視化技術(shù)。另一個必須要記住的方面是：為了讓用戶了解最終的積累或者匯總結(jié)果是如何產(chǎn)生的，提供一種相對簡單的統(tǒng)計方法也是至關(guān)重要的。4.1.9

分析結(jié)果的使用大數(shù)據(jù)分析結(jié)果可以用來為商業(yè)使用者提供商業(yè)決策支持，像是使用圖表之類的工具，可以為使用者提供更多使用這些分析結(jié)果的機會。在分析結(jié)果的使用階段，致力于確定如何以及在哪里處理分析數(shù)據(jù)能保證產(chǎn)出更大的價值?；谝鉀Q的分析問題本身的性質(zhì)，分析結(jié)果很可能會產(chǎn)生對被分析的數(shù)據(jù)內(nèi)部一些模式和關(guān)系有著新的看法的“模型”。這個模型可能看起來會比較像一些數(shù)據(jù)公式和規(guī)則的集合，它們可以用來改進商業(yè)進程的邏輯和應(yīng)用系統(tǒng)的邏輯，也可以作為新的系統(tǒng)或者軟件的基礎(chǔ)。4.1.9

分析結(jié)果的使用在這個階段常常會被探索的領(lǐng)域主要有以下幾種：（1）企業(yè)系統(tǒng)的輸入——數(shù)據(jù)分析結(jié)果可以自動或者手動輸入到企業(yè)系統(tǒng)中，用來改進系統(tǒng)的行為模式。例如，在線商店可以通過處理用戶關(guān)系分析結(jié)果來改進產(chǎn)品推薦方式。新的模型可以在現(xiàn)有的企業(yè)系統(tǒng)或是在新系統(tǒng)的基礎(chǔ)上改善操作邏輯。（2）商務(wù)進程優(yōu)化——在數(shù)據(jù)分析過程中識別出的模式、關(guān)系和異常能夠用來改善商務(wù)進程。例如作為供應(yīng)鏈的一部分整合運輸線路。模型也有機會能夠改善商務(wù)流程邏輯。（3）警報——數(shù)據(jù)分析的結(jié)果可以作為現(xiàn)有警報的輸入或者是新警報的基礎(chǔ)。例如，可以創(chuàng)建通過電子郵件或者短信的警報來提醒用戶采取糾正措施。大數(shù)據(jù)的分析原則PART024.24.2大數(shù)據(jù)的分析原則隨著大數(shù)據(jù)時代的到來，人們逐漸開始放棄使用傳統(tǒng)單一數(shù)據(jù)倉庫的想法，因為單一數(shù)據(jù)庫難以駕馭數(shù)據(jù)的復(fù)雜多樣性，而人們面臨著各類令人眼花繚亂的平臺以及無處不在的數(shù)據(jù)：本地的、第三方托管的、云端的。數(shù)據(jù)的這種巨變給分析學(xué)領(lǐng)域帶來了顛覆式的改變：新的業(yè)務(wù)問題、應(yīng)用、用例、技術(shù)、工具和平臺。過去一家軟件開發(fā)商可以壟斷分析軟件，而如今開發(fā)分析軟件的初創(chuàng)公司層出不窮，多數(shù)分析師更加喜歡開源分析方式而不只是流行的商業(yè)軟件。4.2大數(shù)據(jù)的分析原則大數(shù)據(jù)時代，企業(yè)運轉(zhuǎn)的節(jié)奏呈指數(shù)級加速，如果還是像過去那樣花不少時間才實施一個分析預(yù)測模型，企業(yè)就會被市場淘汰。其次，

因為沒有任何一家廠商能夠滿足所有的分析需

求，企業(yè)搭建起通過開放標(biāo)準(zhǔn)連接在一起的基

于各種商業(yè)和開源工具的開放分析平臺。相應(yīng)

的，組織必須定義一個獨特的分析架構(gòu)和路線

圖，以支持現(xiàn)代組織和經(jīng)營戰(zhàn)略的復(fù)雜性。

圖4-10一個數(shù)據(jù)分析框架示例4.2大數(shù)據(jù)的分析原則為此，大數(shù)據(jù)分析專家提出九項核心原則作為建立分析方法的基礎(chǔ)。這九項原則是：（1）實現(xiàn)商業(yè)價值和影響——構(gòu)建并持續(xù)改進分析方法，實現(xiàn)高價值業(yè)務(wù)影響力。（2）專注于最后一公里——將分析部署到生產(chǎn)中，實現(xiàn)可復(fù)制、持續(xù)的商業(yè)價值。（3）持續(xù)改善——從小處開始進而走向成功。（4）加速學(xué)習(xí)能力和執(zhí)行力——行動、學(xué)習(xí)、適應(yīng)、重復(fù)。（5）差異化分析——反思你的分析方法從而產(chǎn)生新的結(jié)果。（6）嵌入分析——將分析嵌入業(yè)務(wù)流程。（7）建立分析架構(gòu)——利用通用硬件和下一代技術(shù)來降低成本。（8）構(gòu)建人力因素——培養(yǎng)并充分發(fā)揮人才潛力。（9）利用消費化趨勢——利用不同的選擇進行創(chuàng)新。4.2大數(shù)據(jù)的分析原則今天的商界正在打造下一代業(yè)務(wù)模式，即側(cè)重自上而下的自動化、基于事實的決策、執(zhí)行和結(jié)果。這九條分析原則自下而上地重塑分析方法，為組織繪制了一條通向分析方法的轉(zhuǎn)型和成熟的道路。圖4-11大數(shù)據(jù)時代的廣告精準(zhǔn)投放4.2大數(shù)據(jù)的分析原則為了增強自己的競爭優(yōu)勢，企業(yè)必須為自己的商業(yè)戰(zhàn)略建立一個獨特的分析路線圖，以產(chǎn)生一些新的推動力，實現(xiàn)從信息時代向下一個新時代的轉(zhuǎn)型，這是業(yè)務(wù)升級實現(xiàn)繁榮的關(guān)鍵因素。這個獨特的分析框架還可以讓企業(yè)系統(tǒng)性地識別各種機會，發(fā)現(xiàn)商業(yè)中的隱藏價值，這與其特定的商業(yè)策略和目標(biāo)是一致的。4.2.2銷售和營銷4.2.1數(shù)據(jù)可視化4.2.3在線廣告4.2.5數(shù)據(jù)可視化4.2.4數(shù)據(jù)可視化4.2.7銷售和營銷4.2.6數(shù)據(jù)可視化4.2.8在線廣告4.2.9數(shù)據(jù)可視化組織必須定義一個獨特的分析架構(gòu)和路線圖，以支持現(xiàn)代組織和經(jīng)營戰(zhàn)略的復(fù)雜性。4.2大數(shù)據(jù)的分析原則4.2.1

原則1：實現(xiàn)商業(yè)價值和影響分析方法的原則之一，就是聚焦分析那些具有潛在的改變組織游戲規(guī)則價值的項目。要保證組織能夠?qū)崿F(xiàn)價值，需要評估目前的狀態(tài)來確定基線，并設(shè)定初始的、可以量化的和持續(xù)的業(yè)務(wù)目標(biāo)。例如，目前的收入是每年1億元，復(fù)合增長率是4%。初步設(shè)定實現(xiàn)15%的新增收入，并且希望未來每年貢獻10%的新增業(yè)務(wù)收入。這樣的指標(biāo)可以很容易地識別和衡量，而那些潛在的指標(biāo)在識別和衡量上就有一定難度，需要確定商業(yè)決策通常是由哪些因素決定的。首先要衡量這些因素的影響，然后有目的地建立對業(yè)務(wù)有直接影響的指標(biāo)。過去，公司常常只是想有一個收益指標(biāo)或者是一個運營成本指標(biāo)，而不是兩者兼顧。而如今，成熟的分析型組織通常建立起會兼顧資產(chǎn)負債表兩頭的衡量標(biāo)準(zhǔn)，即實現(xiàn)收益增長的同時必須有效地控制成本。4.2.1

原則1：實現(xiàn)商業(yè)價值和影響精明的企業(yè)可以通過逆向思維找到潛在的分析機遇。通常情況下，在一個行業(yè)或公司內(nèi)最難以解決的、根深蒂固的問題長時間存在，員工們已經(jīng)把這些問題看作是工作中最難改變的限制條件。然而，在過去看似不可能解決的問題，其壁壘可能已不復(fù)存在，從瓶頸中釋放出來后通常會創(chuàng)造出大量的商業(yè)價值。分析驅(qū)動型的組織敢于打破條條框框，并在他們所面臨的行業(yè)或企業(yè)中尋找出最具挑戰(zhàn)性的問題。做到這一點，就將開始確定如何通過創(chuàng)新數(shù)據(jù)、技術(shù)手段來解決或減少這類問題。例如分析團隊會尋找潛在的新資源——數(shù)據(jù)、共生關(guān)系的合作者或技術(shù)來幫助他們實現(xiàn)業(yè)務(wù)目標(biāo)，而不是使用樣本或回溯測試來找到解決方案。4.2.1

原則1：實現(xiàn)商業(yè)價值和影響要在最初和一段較長時間內(nèi)實現(xiàn)商業(yè)價值，需要將分析應(yīng)用到生產(chǎn)。在任何分析展開之前，需要驗證分析模型結(jié)果的準(zhǔn)確性。以往這項研究經(jīng)常在一個“沙箱”中進行。所謂“沙箱”是使用原始數(shù)據(jù)的一個有限子集，在一個人工的、非生產(chǎn)的環(huán)境中進行演練。但一個十分普遍的現(xiàn)象是：“沙箱”分析模型能夠滿足甚至超過各項業(yè)務(wù)測試指標(biāo)，在實際生產(chǎn)環(huán)境中卻表現(xiàn)得不盡如人意。所以，要爭取在實際實施的環(huán)境中對分析模型進行評估，而不是在理想的環(huán)境中評估?，F(xiàn)在，部署是全生命周期分析過程的一部分。一旦所有的潛在技術(shù)部署確定之后，在投入生產(chǎn)前要獲得批準(zhǔn)或程序確認(rèn)。分析模型部署后，評估最初的業(yè)務(wù)影響并確定快速方法以便不斷改善結(jié)果。4.2.2

原則2：專注于最后一公里事實上，現(xiàn)實中很少有團隊實現(xiàn)了將分析結(jié)果部署到生產(chǎn)環(huán)境和承諾為組織實現(xiàn)改變游戲規(guī)則后的商業(yè)價值。為了實現(xiàn)這個終極目標(biāo)，我們可以進行逆向思維。通過與一線工人交流從戰(zhàn)略到執(zhí)行的每一個細節(jié)，了解組織中每一層級、每一天面臨的挑戰(zhàn)。這些領(lǐng)域的專家能敏銳地意識到制約他們成功的問題，清楚地認(rèn)識到取得成功的代價。有了這樣的認(rèn)識，就為你的分析方法建立起量化的、遠大的目標(biāo)。例如：·要獲得的企業(yè)目標(biāo)價值是多少？收益提高3%？庫存每年節(jié)省1000萬元？部署的第一年總費用節(jié)省1億元？4.2.2

原則2：專注于最后一公里·業(yè)務(wù)預(yù)期的服務(wù)水平是什么？隔夜重新評估信用等級？5分鐘內(nèi)完成投資組合評價？·運作模式是什么？如何將模型運用到生產(chǎn)？這個分析模型需要與其他業(yè)務(wù)系統(tǒng)結(jié)合嗎？如果需要，操作流程和決策如何改變？分析模型是否由其他商業(yè)系統(tǒng)引發(fā)？這個分析模型部署在一個地點還是多個地點？是否有跨國或本地的要求？模型更新的頻率是多少？4.2.2

原則2：專注于最后一公里·什么是衡量商業(yè)影響的關(guān)鍵成功因素？如何衡量成功？什么是失?。繄F隊要經(jīng)歷多長時間才能取得成功？·什么是模型的準(zhǔn)確性？模型準(zhǔn)確性是否“足夠好”可以馬上實現(xiàn)商業(yè)價值？模型需要多少改進以及在什么時間改進？4.2.2

原則2：專注于最后一公里傳統(tǒng)上，一個團隊的定量分析師、統(tǒng)計人員或數(shù)據(jù)挖掘人員負責(zé)模型的創(chuàng)建，而第二個團隊，通常是信息技術(shù)團隊來負責(zé)生產(chǎn)部署。因為這往往會跨越組織邊界，所以有可能在模型創(chuàng)建和模型部署或評分之間存在較長時間的滯后和割裂。這兩個團隊必須像一個團隊一樣發(fā)揮作用，即使組織邊界存在且會持續(xù)下去。完整的生命周期方法可以使這兩個團隊進入合作狀態(tài)，要求分析方法不僅僅是創(chuàng)建和評估初始分析模型，還要涵蓋分析模型的實際生產(chǎn)部署和為了實現(xiàn)企業(yè)的經(jīng)營目標(biāo)而持續(xù)地重新評估。4.2.2

原則2：專注于最后一公里運用分析方法，團隊專注于提供快速的結(jié)果，而不是等待打造出“完美的”分析模型。他們通常以概念性驗證或是原型開始，雖然項目范圍有局限，但是可以幫助團隊加快實現(xiàn)商業(yè)價值。他們迅速完善并改進概念性驗證或原型，使其可以進行生產(chǎn)部署，取得系統(tǒng)性的收益。4.2.3

原則3：持續(xù)改善持續(xù)改善，即在生產(chǎn)活動中不斷提高，其核心是：（1）從小處入手；（2）去除過于復(fù)雜的工作；（3）進行實驗以確定和消除無用之處。重點在于快速實現(xiàn)價值而不在于完美。測試和學(xué)習(xí)可以帶來許多小的改進并通向最終目標(biāo)。這與花費較長的開發(fā)周期建設(shè)“完美”模型的現(xiàn)狀形成鮮明的對比。構(gòu)建和部署分析方法是十分復(fù)雜的定制項目，涉及多個不同的功能領(lǐng)域。分析團隊要轉(zhuǎn)變傳統(tǒng)分析方法，消除項目周期中不必要的耗時步驟，這有助于提高在將商業(yè)反饋納入流程的過程中的靈活性和響應(yīng)能力，從而改善結(jié)果。4.2.3

原則3：持續(xù)改善有持續(xù)改善作為指導(dǎo)原則，分析團隊可以立即構(gòu)建、部署模型，然后在很短的周期里提高模型在分析和信息技術(shù)方面的應(yīng)用，從而不斷地提供商業(yè)價值。由此，分析團隊經(jīng)常使用混合型敏捷或快速應(yīng)用開發(fā)方法來縮短周期，降低與跨部門團隊合作的障礙。4.2.4

原則4：加速學(xué)習(xí)能力和執(zhí)行力分析團隊需要通過新的組合的方法、工具、可視化以及算法來揭示不斷增長的數(shù)據(jù)中的模式。通過嘗試新的事物，將一個產(chǎn)業(yè)和問題的經(jīng)驗運用到完全不同的另一個產(chǎn)業(yè)和問題中去，分析團隊將加快學(xué)習(xí)過程并創(chuàng)造出新的商業(yè)價值。但是，要孵化通過實驗進行創(chuàng)新的水平，必須培養(yǎng)容錯文化以便不斷鼓勵學(xué)習(xí)和改進。例如，隨著數(shù)據(jù)量的增加，分析團隊從局限的、僅依靠統(tǒng)計的方法轉(zhuǎn)移到有預(yù)測性的、機器學(xué)習(xí)的方法，這樣可以完全利用所有數(shù)據(jù)。隨著數(shù)據(jù)的劇增，應(yīng)注意基礎(chǔ)工具和基礎(chǔ)設(shè)施需要盡可能減少數(shù)據(jù)的移動來實現(xiàn)商業(yè)目標(biāo)。4.2.4

原則4：加速學(xué)習(xí)能力和執(zhí)行力根據(jù)行業(yè)標(biāo)準(zhǔn)，一個分析師60%~80%的開發(fā)時間將花在數(shù)據(jù)的準(zhǔn)備和加工上。分析工作中，前期的手動數(shù)據(jù)加工應(yīng)盡量減少，取而代之的是，數(shù)據(jù)準(zhǔn)備工作實現(xiàn)自動化，也可以作為分析過程的一部分進行處理。這與企業(yè)加快發(fā)展步伐并在競爭中領(lǐng)先的需求相吻合。組織盡可能建立近乎實時學(xué)習(xí)的能力是一個越來越強得發(fā)展趨勢。現(xiàn)代商業(yè)世界需要這樣的能力，即能夠?qū)崟r發(fā)現(xiàn)規(guī)律并迅速采取措施，然后繼續(xù)挖掘更深刻的洞察來改進下一周期。4.2.5

原則5：差異化分析企業(yè)力求將推向市場的產(chǎn)品、客戶服務(wù)和運營過程組合起來創(chuàng)造差異化競爭。分析可以通過簡單地提供可比較的競爭分析洞察來支持每項獨立活動?；蛘?，它們可以用來高度差異化競爭策略，這也許意味著成為一個先行者——第一個在行業(yè)中使用分析方法，也可能意味著你的分析方法或你將分析部署到生產(chǎn)環(huán)境中的速度是差異化的。4.2.5

原則5：差異化分析許多企業(yè)在市場上觀察并嘗試學(xué)習(xí)其他企業(yè)的競爭格局。然而，這種典型的山寨做法通常意味著將自己置于市場的次要位置而不是領(lǐng)先地位。相反，分析領(lǐng)導(dǎo)型企業(yè)觀察其他行業(yè)，并思考他們?nèi)绾问褂梅治龇椒āＫ麄兘梃b其他行業(yè)的問題，并與其所處行業(yè)的問題進行類比，發(fā)現(xiàn)其他公司是如何使用分析來解決他們的問題的。他們開始尋找組織之外的新數(shù)據(jù)和方法，結(jié)成新的共同聯(lián)盟以獲得有利于組織的數(shù)據(jù)和方法，在行業(yè)或業(yè)務(wù)問題上應(yīng)用新知識。4.2.5

原則5：差異化分析要做到這一點，他們要超越自己的團隊、部門或地域范圍，找機會與其他數(shù)據(jù)和流程整合，建立對組織影響更廣泛的分析解決方案。他們摒棄一直以來所遵守的約束規(guī)則，并找到新的方法來激發(fā)創(chuàng)新性分析。他們利用可用的組合分析方法的全部來創(chuàng)造改變游戲規(guī)則的價值，他們不只是創(chuàng)建預(yù)測，而是用自己的預(yù)測模型并通過優(yōu)化預(yù)測模型確定最佳行動方案，以達到系統(tǒng)的最佳執(zhí)行狀態(tài)。這樣持續(xù)不斷地驅(qū)動最佳的行動方向，幫助他們實現(xiàn)差異化競爭優(yōu)勢。4.2.6

原則6：嵌入分析按需分析或?qū)０阜治鍪潜慌紶枅?zhí)行的分析模型，它提供一個一次性洞察來幫助人們決策并采取行動。盡管這種方法是有用的并提供價值，卻由于人工交互而速度緩慢。例如，過去金融交易員通過交易大廳的桌面工具來理解復(fù)雜的金融市場的相互依存關(guān)系。該工具會產(chǎn)生一個時點的市場狀況，交易員用這些信息決定買或賣。如今，資本市場由“算法交易”主導(dǎo)，這是一個在桌面工具中體現(xiàn)了新一代算法的復(fù)雜程序，可以自動進行交易。淘汰人為交互和在復(fù)雜的金融市場中嵌入分析消除了整個系統(tǒng)中的摩擦。當(dāng)分析模型內(nèi)置于流程中，就可實現(xiàn)可重復(fù)性和可擴展性，這種強制性的執(zhí)行帶來了不可估量的市場商業(yè)價值。4.2.7

原則7：建立分析架構(gòu)經(jīng)過數(shù)十年的發(fā)展，分析架構(gòu)經(jīng)歷了從獨立的桌面到企業(yè)級

數(shù)據(jù)倉庫再到大數(shù)據(jù)平臺的實質(zhì)性轉(zhuǎn)變。高性能計算環(huán)境，

如集群和網(wǎng)格曾經(jīng)被認(rèn)為是專業(yè)環(huán)境，正逐漸演變成為主流

的分析環(huán)境，這在全球的數(shù)據(jù)中心創(chuàng)造了一個綜合的硬件和

軟件財富。該模式正朝著全面建設(shè)精簡分析架構(gòu)的方向轉(zhuǎn)變，右圖所展

現(xiàn)的，基于簡單性和開放標(biāo)準(zhǔn)，充分利用便宜的硬件和開源

軟件，降低架構(gòu)成本，提供平臺的可擴展性和創(chuàng)新性。圖4-12分析架構(gòu)4.2.7

原則7：建立分析架構(gòu)這一創(chuàng)新支持?jǐn)?shù)以千計的計算和數(shù)據(jù)密集型預(yù)測模型在生產(chǎn)部署上的執(zhí)行，且具有不同的分析和服務(wù)水平要求的大型用戶群。建設(shè)、管理和支持實現(xiàn)這些需求的生態(tài)系