大數(shù)據(jù)基礎(chǔ)-第七章-大數(shù)據(jù)可視化

大數(shù)據(jù)基礎(chǔ)第七章大數(shù)據(jù)可視化2目錄一、數(shù)據(jù)可視化概述二、可視化工具與應(yīng)用案例3引入案例大數(shù)據(jù)與銀行貸款信用評價2015年1月4日，李克強總理來到深圳前海微眾銀行考察，一位微眾銀行的

負責(zé)人模擬一位個體創(chuàng)業(yè)者，向李克強總理演示了微眾銀行在線放款的全流程。首先是“刷臉”認證。該負責(zé)人拿起手機并將攝像頭對準自己，很快軟件系統(tǒng)識別出了他的身份，并與公安部身份數(shù)據(jù)匹配成功。與此同時，通過大數(shù)據(jù)分析，軟件將其信用評定為83分，同意授予貸款3.5萬元。該負責(zé)人稱，微眾銀行的大數(shù)據(jù)系統(tǒng)匯集了40萬億條數(shù)據(jù)信息，因此微眾銀行不需要調(diào)查信用、上門擔(dān)保，整個服務(wù)完全依托于互聯(lián)網(wǎng)。（資料來源：中國政府網(wǎng)，“李克強見證互聯(lián)網(wǎng)銀行‘吃螃蟹’”，/xinwen/2015-01/05/content_2799933.htm.）47.1數(shù)據(jù)可視化概述數(shù)據(jù)可視化的概念是什么？這里所稱的數(shù)據(jù)可視化就是大數(shù)據(jù)可視化，它與計算機圖形學(xué)的發(fā)展密不可分。20世紀60年代，隨著計算機圖形學(xué)的發(fā)展，人們擁有了通過計算機構(gòu)建各種數(shù)據(jù)圖像的能力。其核心思想可以概括成：第一，通過可視化，人們對數(shù)據(jù)的屬性和特征進行提取和呈現(xiàn)。第二，數(shù)據(jù)可視化的定義從狹義上來說是指將數(shù)據(jù)用統(tǒng)計圖表的方式呈現(xiàn)。第三，廣義上的數(shù)據(jù)可視化是信息可視化中的一類，因為信息是包含了數(shù)字和非數(shù)字的。57.1數(shù)據(jù)可視化的概述數(shù)據(jù)可視化的的特征與趨勢大數(shù)據(jù)的本質(zhì)在于預(yù)測，通過可視化可以預(yù)測趨勢與走向，這種趨勢可能是時間上的，也可能是空間上的。數(shù)據(jù)可視化市場與發(fā)展據(jù)MRC統(tǒng)計并預(yù)測，在未來幾年全球數(shù)據(jù)可視化應(yīng)用市場的復(fù)合年增長率保持在10.3%左右。數(shù)據(jù)可視化最早、最普遍的應(yīng)用是針對IT管理人員的。數(shù)據(jù)可視化的另一個成熟的應(yīng)用市場在醫(yī)療健康領(lǐng)域。實際上隨著數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展與成熟，數(shù)據(jù)可視化的快速發(fā)展是可以預(yù)期的，其應(yīng)用市場包含的范圍也越來越廣泛，上到天文觀測，下到地理觀測和礦藏分析，還有人類社會、經(jīng)濟的方方面面。67.2可視化工具與應(yīng)用案例

人類無法像理解自然語言一樣來閱讀和理解網(wǎng)絡(luò)世界中的大數(shù)據(jù)，因此不得不借助各種數(shù)據(jù)可視化工具來直觀和直接地感知原始數(shù)據(jù)及其蘊含的特征與模式。為了滿足人們能夠“暢游”數(shù)據(jù)海洋，高效獲取所需的信息與知識，數(shù)據(jù)可視化工具應(yīng)該具備一些基本特征。能夠處理不同類型的傳入數(shù)據(jù)能夠應(yīng)用不同種類的過濾器來調(diào)整結(jié)果能夠在分析過程中與數(shù)據(jù)集進行交互能夠連接其他軟件接收輸入數(shù)據(jù)或為其他軟件提供輸入數(shù)據(jù)能夠為用戶提供協(xié)作選項77.2可視化工具與應(yīng)用案例盡管大數(shù)據(jù)時代對于可視化工具的要求越來越高，但仍有大量專門的可視化工具可用于實踐，本節(jié)簡單介紹以下工具。Polymaps是一個免費的Java庫，也是SimpleGeo和Stamen聯(lián)合開發(fā)的一個項目。在測試上，新的設(shè)計方案都是在多次審慎測試后的最優(yōu)結(jié)果。

NodeBox是實驗媒介研究小組（Experimental

Media

Research

Group）開發(fā)的一組開源工具。Flot是JQuery的一個Java繪圖庫，F(xiàn)lot是一個基于瀏覽器的應(yīng)用程序，并且能夠兼容大多數(shù)常見的瀏覽器，包括IE、Chrome、Firefox、Safari和Opera。87.2可視化工具與應(yīng)用案例Processing創(chuàng)建之初是為計算機基礎(chǔ)知識提供的一種視覺環(huán)境創(chuàng)建與開發(fā)手段，但現(xiàn)在由學(xué)生、設(shè)計師、研究者、藝術(shù)家和業(yè)余愛好者使用，用于創(chuàng)造學(xué)習(xí)模型和實際產(chǎn)品的原型。Processing的姐妹工具，Processing.js可以處理復(fù)雜的數(shù)據(jù)視覺化、圖形、圖表或其他視覺效果，是網(wǎng)頁可用的形式，并不需要任何擴展程序或插件。FFChartwell可將簡單數(shù)字串轉(zhuǎn)換為可編輯的數(shù)據(jù)可視化模型，并進一步自定義使用OpenTy功能。97.2可視化工具與應(yīng)用案例GoogleMaps能提供一些APIs給開發(fā)者，如谷歌地球、谷歌地圖圖像和谷歌地方信息。SAS視覺分析（SASVisualAnalytics）可以更加全面地分析探索各種尺寸的數(shù)據(jù)集可視化，擁有直觀的平臺和自動化預(yù)測工具。Crossfilter使我們能夠在瀏覽器里探索大量多元的數(shù)據(jù)集，也是Java庫，可處理超過一百萬個記錄的數(shù)據(jù)集。Kartograph既是Python庫也是Java庫，迎合了想要創(chuàng)建友好型IllustratorSVG地圖和交互式地圖的開發(fā)者，并且能夠在主要瀏覽器上運行。107.2可視化工具與應(yīng)用案例Excel因為它的數(shù)據(jù)處理和分析功能而聞名，但是它經(jīng)常用于創(chuàng)建強大的數(shù)據(jù)可視化。CartoDB允許你在數(shù)分鐘內(nèi)上傳并視覺化數(shù)億個數(shù)據(jù)值。它還具有地理空間分析功能，并能從你的數(shù)據(jù)獲得信息。GoogleCharts提供大量數(shù)據(jù)可視化格式，從簡單的散點圖到分層樹地圖。Envision.js庫可用于創(chuàng)建具有高性能和交互能力的HTML5可視化圖表，能夠展示實時數(shù)據(jù)、時間序列、財務(wù)可視化、AJAX驅(qū)動財務(wù)圖表和自定義可視化。117.2可視化工具與應(yīng)用案例RProject是在UNIX、Windows和MacOS上運作的統(tǒng)計計算軟件主要用于統(tǒng)計計算和統(tǒng)計制圖。TimelineJS作為開源工具，能夠運用40種不同語言建立交互式時間軸。Quadrigram使用戶能夠創(chuàng)建自定義可視化效果，運用它們的數(shù)據(jù)和來自內(nèi)置圖表、圖形等各種組件。127.2可視化工具與應(yīng)用案例Many

Eyes是IBM研究所和IBM

Cognos軟件小組的試驗成果。iCharts是基于網(wǎng)絡(luò)端的應(yīng)用程序，能夠在網(wǎng)頁上實現(xiàn)數(shù)據(jù)可視化。Jupyter是一個開源項目，支持通過十多種編程語言實現(xiàn)大數(shù)據(jù)分析、可視化和軟件開發(fā)的實時協(xié)作。Tableau是數(shù)據(jù)可視化的市場領(lǐng)導(dǎo)者之一，在為大數(shù)據(jù)操作、深度學(xué)習(xí)算法和多種類型的AI應(yīng)用程序提供交互式數(shù)據(jù)可視化方面尤為高效。137.2可視化工具與應(yīng)用案例ExcelExcel是微軟公司推出的Office辦公軟件套裝的重要構(gòu)成組件之一，是一種電子表格軟件，可用于制作各種各樣的電子表格，實現(xiàn)數(shù)據(jù)的規(guī)整與結(jié)構(gòu)化處理，并提供大量的數(shù)據(jù)統(tǒng)計和計算處理函數(shù)與功能。Excel工具為數(shù)據(jù)可視化提供四種基本類型的可視化分析方法，包括對比分析、結(jié)構(gòu)分析、透視分析和其他種類分析和可視化方法。147.2可視化工具與應(yīng)用案例對比分析對比分析，顧名思義就是通過可視化的方式鮮明地對多個相關(guān)聯(lián)事項進行比較，從而突出某些關(guān)鍵信息，展示決策中所需的優(yōu)劣條件。對比分析包括具體圖表樣式和圖表樣式下的子分類，圖表樣式包括預(yù)警分析與可視化、進度分析可視化、縱向與橫向?qū)Ρ确治雠c可視化和其他類型的對比分析可視化等。結(jié)構(gòu)分析結(jié)構(gòu)分析一般用于數(shù)據(jù)集構(gòu)成一個完整系統(tǒng)的環(huán)境下使用，主要呈現(xiàn)系統(tǒng)結(jié)構(gòu)中不同組成部分或者對象之間的關(guān)系。157.2可視化工具與應(yīng)用案例透視分析Excel是一款基于二維表的可視化工具，但在實際應(yīng)用過程中經(jīng)常需要涉及多維度、多層次、多方面與多規(guī)則的分析需求，這需要通過透視圖表、切片器分析和可視化方法進行處理。其他種類分析和可視化方法除了對比分析、結(jié)構(gòu)分析和透視分析三種特征比較明顯的可視化方法，Excel還提供了其他種類的圖表和可視化模式，比如：變化分析、分組分析、矩陣分析、三維立體圖和嵌套圖表分析等。167.2可視化工具與應(yīng)用案例MatplotlibPython語言是大數(shù)據(jù)處理的重要工具和編程語言之一，具有功能強大、易于學(xué)習(xí)、編程效率高等特點。Matplotlib是基于Python語言的可視化繪圖庫。所謂繪圖庫，就是為Python語言提供的針對數(shù)據(jù)可視化和圖形繪制最常用的功能和操作，Matplotlib將這些功能與操作以一定的方式封裝起來，并為Python開發(fā)和使用人員提供使用這些功能、操作的接口，比如提供可以調(diào)用的函數(shù)和使用的對象等，這樣，相關(guān)人員在使用Python處理數(shù)據(jù)的過程中就可以很簡單、高效地繪制出各種各樣的漂亮圖形，實現(xiàn)大數(shù)據(jù)的可視化。177.2可視化工具與應(yīng)用案例Matplotlib的代碼整體架構(gòu)在邏輯關(guān)系上可以分為三個不同層級的組成部分。各層之間的通信方向有嚴格的限制，只能由上而下，不可反向通信，這簡化了各層之間的邏輯關(guān)聯(lián)。這三層分別是：腳本（scripting）層、表現(xiàn)（Artist）層、后端（Backend）層。187.2可視化工具與應(yīng)用案例

腳本層提供了pyplot接口。腳本層適用于數(shù)據(jù)分析與可視化過程中的計算。因為該層提供了與Matlab非常相似的函數(shù)集和函數(shù)用法，因此熟悉Matlab

的用戶可以很快上手Matplotlib。而后端層與表現(xiàn)層更適合Web和其他應(yīng)用程序的開發(fā)者使用。

表現(xiàn)層是Matplotlib的前端，是用戶在使用庫過程中必須面對和處理的部分。盡管Matplotlib對數(shù)據(jù)可視化過程中的很多功能和處理進行了封裝，簡化了用戶圖形繪制的復(fù)雜度，但其中的一些內(nèi)容仍需要用戶根據(jù)自己的需求進行處理。

最下面一層為后端層。Matplotlib

API即位于該層，這些API是用來在底層實現(xiàn)圖形元素的一個個類。197.2可視化工具與應(yīng)用案例Matplotlib是基于Python語言的一個繪圖庫，因此本實驗需要先構(gòu)建Python開發(fā)環(huán)境（可以參考6.3節(jié)安裝與配置），其具體實驗過程如下。完成Python開發(fā)環(huán)境的下載、搭建與配置安裝Matplotlib模塊基于Matplotlib的可視化繪圖207.2可視化工具與應(yīng)用案例HighchartsHighcharts使用基于Javascript腳本的圖表庫，廣泛應(yīng)用于各種基于Web的數(shù)據(jù)可視化應(yīng)用程序中。Highcharts可以為網(wǎng)站和網(wǎng)頁提供直觀的、互動式的圖表，它目前支持線、面積、Areaspline、柱形圖、條形圖、餅圖和散點圖等類型。Highcharts為調(diào)用應(yīng)用程序提供了豐富的API，但在具體使用之前一般需要引入相應(yīng)的包。217.2可視化工具與應(yīng)用案例由于Highcharts圖表庫完全是由Javascript開發(fā)的，因此其具有以下基本特征。①Highcharts是網(wǎng)頁報表工具，開發(fā)語言是Javascript，因此可以在大多數(shù)的Web應(yīng)用中使用，并且針對非商業(yè)使用是完全免費的。②Highcharts是一個簡單易用、美觀、跨平臺、跨瀏覽器的圖表工具，因此具有很強的兼容性，可以運行于當今主要的瀏覽器中。③Highcharts支持多種圖表類型的繪制（多達20種圖表），并且允許多圖表集成在統(tǒng)一圖形中形成組合圖，滿足各種數(shù)據(jù)可視化的需求。227.2可視化工具與應(yīng)用案例由于Highcharts圖表庫完全是由Javascript開發(fā)的，因此其具有以下基本特征。④Highcharts支持提示功能。④Highcharts具有動態(tài)縮放功能。④Highcharts圖表支持高精度時間跨度。④支持多種格式的圖表文件輸出。④支持多方向文字旋轉(zhuǎn)。④具有動態(tài)交互性。237.2可視化工具與應(yīng)用案例使用Highcharts之前必須首先獲取Highcharts.js資源。獲取該資源有兩種基本方式。一種是如上文所述，直接通過<scriptsrc="/

highcharts.js"></script>方式獲取。這種方式需要運行圖表繪制的計算機能夠連接到Internet上，否則將會失效。第二種方式不要求計算機在線，而是先下載Highcharts資源，然后在本機使用。本案例為了更為詳細地說明，采用了第二種方式。如果采用第一種方式，下面的第一步可以省略，繪圖的代碼只需要將前行語句替換為正文描述的內(nèi)容即可。案例247.2可視化工具與應(yīng)用案例

接下來給出一個使用Highcharts進行圖表繪制的具體案例，主要內(nèi)容和步驟如下。1，Highcharts插件下載①打開官網(wǎng)http://www.highcharts.co

m/257.2可視化工具與應(yīng)用案例② 單擊頁面中的Download按鈕，進入Highcharts下載頁面267.2可視化工具與應(yīng)用案例③選擇某個版本進行下載，下載完成之后解壓下載文件Highcharts-7.1.1.zip。解壓后的文件夾結(jié)構(gòu)：27