知識點數(shù)據(jù)可視化概述拓展

第1章數(shù)據(jù)可視化拓展主要內(nèi)容數(shù)據(jù)可視化的基本流程數(shù)據(jù)可視化身邊案例優(yōu)秀案例展示一、數(shù)據(jù)可視化的基本流程1、數(shù)據(jù)采集2、數(shù)據(jù)處理和變換3、可視化映射4、人機交互5、用戶感知1、數(shù)據(jù)采集數(shù)據(jù)采集是數(shù)據(jù)分析和可視化的第一步，俗話說“巧婦難為無米之炊”，數(shù)據(jù)采集的方法和質(zhì)量，很大程度上就決定了數(shù)據(jù)可視化的最終效果。數(shù)據(jù)采集的分類方法有很多，從數(shù)據(jù)的來源來看，可以分為內(nèi)部數(shù)據(jù)采集和外部數(shù)據(jù)采集。1、數(shù)據(jù)采集（1）內(nèi)部數(shù)據(jù)采集：指的是采集企業(yè)內(nèi)部經(jīng)營活動的數(shù)據(jù)，通常數(shù)據(jù)來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單的交易情況。如果要分析用戶的行為數(shù)據(jù)、APP的使用情況，還需要一部分行為日志數(shù)據(jù)，這個時候就需要用「埋點」這種方法來進行APP或Web的數(shù)據(jù)采集。（2）外部數(shù)據(jù)采集：指的數(shù)通過一些方法獲取企業(yè)外部的一些數(shù)據(jù)，具體目的包括，獲取競品的數(shù)據(jù)、獲取官方機構(gòu)官網(wǎng)公布的一些行業(yè)數(shù)據(jù)等。獲取外部數(shù)據(jù)，通常采用的數(shù)據(jù)采集方法為「網(wǎng)絡(luò)爬蟲」。1、數(shù)據(jù)采集以上的兩類數(shù)據(jù)采集方法得來的數(shù)據(jù)，都是二手數(shù)據(jù)。而在市場調(diào)研和科學(xué)研究中，常常需要一手數(shù)據(jù)，需要通過調(diào)查和實驗來采集數(shù)據(jù)。2、數(shù)據(jù)處理和變換數(shù)據(jù)處理和數(shù)據(jù)變換，是進行數(shù)據(jù)可視化的前提條件，包括數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘兩個過程。一方面，通過前期的數(shù)據(jù)采集得到的數(shù)據(jù)，不可避免的含有噪聲和誤差，數(shù)據(jù)質(zhì)量較低；另一方面，數(shù)據(jù)的特征、模式往往隱藏在海量的數(shù)據(jù)中，需要進一步的數(shù)據(jù)挖掘才能提取出來。2、數(shù)據(jù)的處理和變換常見的數(shù)據(jù)質(zhì)量問題包括：（1）數(shù)據(jù)收集錯誤，遺漏了數(shù)據(jù)對象，或者包含了本不應(yīng)包含的其他數(shù)據(jù)對象。（2）數(shù)據(jù)中的離群點，即不同于數(shù)據(jù)集中其他大部分數(shù)據(jù)對象特征的數(shù)據(jù)對象。（3）存在遺漏值，數(shù)據(jù)對象的一個或多個屬性值缺失，導(dǎo)致數(shù)據(jù)收集不全。（4）數(shù)據(jù)不一致，收集到的數(shù)據(jù)明顯不合常理，或者多個屬性值之間互相矛盾。例如，體重是負數(shù)，或者所填的郵政編碼和城市之間并沒有對應(yīng)關(guān)系。（5）重復(fù)值的存在，數(shù)據(jù)集中包含完全重復(fù)或幾乎重復(fù)的數(shù)據(jù)。2、數(shù)據(jù)的處理和變換正是因為有以上問題的存在，直接拿采集的數(shù)據(jù)進行分析or可視化，得出的結(jié)論往往會誤導(dǎo)用戶做出錯誤的決策。因此，對采集到的原始數(shù)據(jù)進行數(shù)據(jù)清洗和規(guī)范化，是數(shù)據(jù)可視化流程中不可缺少的在大數(shù)據(jù)時代，我們所采集到的數(shù)據(jù)通常具有4V特性：Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價值）。如何從高維、海量、多樣化的數(shù)據(jù)中，挖掘有價值的信息來支持決策，除了需要對數(shù)據(jù)進行清洗、去除噪聲之外，還需要依據(jù)業(yè)務(wù)目的對數(shù)據(jù)進行二次處理。常用的數(shù)據(jù)處理方法包括：降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計學(xué)和機器學(xué)習(xí)中的方法。一環(huán)。3、可視化映射對數(shù)據(jù)進行清洗、去噪，并按照業(yè)務(wù)目的進行數(shù)據(jù)處理之后，接下來就到了可視化映射環(huán)節(jié)。可視化映射是整個數(shù)據(jù)可視化流程的核心，是指將處理后的數(shù)據(jù)信息映射成可視化元素的過程。可視化元素由3部分組成：可視化空間+標記+視覺通道3、可視化映射-可視化空間數(shù)據(jù)可視化的顯示空間，通常是二維。三維物體的可視化，通過圖形繪制技術(shù)，解決了在二維平面顯示的問題，如3D環(huán)形圖、3D地圖等。標記，是數(shù)據(jù)屬性到可視化幾何圖形元素的映射，用來代表數(shù)據(jù)屬性的歸類。根據(jù)空間自由度的差別，標記可以分為點、線、面、體，分別具有零自由度、一維、二維、三維自由度。如我們常見的散點圖、折線圖、矩形樹圖、三維柱狀圖，分別采用了點、線、面、體這四種不同類型的標記。3、可視化映射-標記數(shù)據(jù)屬性的值到標記的視覺呈現(xiàn)參數(shù)的映射，叫做視覺通道，通常用于展示數(shù)據(jù)屬性的定量信息。常用的視覺通道包括：標記的位置、大小（長度、面積、體積...）、形狀（三角形、圓、立方體...）、方向、顏色（色調(diào)、飽和度、亮度、透明度...）等?！笜擞洝?、「視覺通道」是可視化編碼元素的兩個方面，兩者的結(jié)合，可以完整的將數(shù)據(jù)信息進行可視化表達，從而完成可視化映射這一過程。3、可視化映射-視覺通道4、人機交互可視化的目的，是為了反映數(shù)據(jù)的數(shù)值、特征和模式，以更加直觀、易于理解的方式，將數(shù)據(jù)背后的信息呈現(xiàn)給目標用戶，輔助其作出正確的決策。但是通常，我們面對的數(shù)據(jù)是復(fù)雜的，數(shù)據(jù)所蘊含的信息是豐富的。如果在可視化圖形中，將所有的信息不經(jīng)過組織和篩選，全部機械的擺放出來，不僅會讓整個頁面顯得特別臃腫和混亂，缺乏美感；而且模糊了重點，分散用戶的注意力，降低用戶單位時間獲取信息的能力。常見的交互方式包括：（1）滾動和縮放：當(dāng)數(shù)據(jù)在當(dāng)前分辨率的設(shè)備上無法完整展示時，滾動和縮放是一種非常有效的交互方式，比如地圖、折線圖的信息細節(jié)等。但是，滾動與縮放的具體效果，除了與頁面布局有關(guān)系外，還與具體的顯示設(shè)備有關(guān)。（2）顏色映射的控制：一些可視化的開源工具，會提供調(diào)色板，如D3。用戶可以根據(jù)自己的喜好，去進行可視化圖形顏色的配置。這個在自助分析等平臺型工具中，會相對多一點，但是對一些自研的可視化產(chǎn)品中，一般有專業(yè)的設(shè)計師來負責(zé)這項工作，從而使可視化的視覺傳達具有美感。4、人機交互（3）數(shù)據(jù)映射方式的控制：這個是指用戶對數(shù)據(jù)可視化映射元素的選擇，一般一個數(shù)據(jù)集，是具有多組特征的，提供靈活的數(shù)據(jù)映射方式給用戶，可以方便用戶按照自己感興趣的維度去探索數(shù)據(jù)背后的信息。這個在常用的可視化分析工具中都有提供，如tableau、PowerBI等。（4）數(shù)據(jù)細節(jié)層次控制：比如隱藏數(shù)據(jù)細節(jié)，hover或點擊才出現(xiàn)。4、人機交互5、用戶感知可視化的結(jié)果，只有被用戶感知之后，才可以轉(zhuǎn)化為知識和靈感。用戶在感知過程，除了被動接受可視化的圖形之外，還通過與可視化各模塊之間的交互，主動獲取信息。如何讓用戶更好的感知可視化的結(jié)果，將結(jié)果轉(zhuǎn)化為有價值的信息用來指導(dǎo)決策，這個里面涉及到的影響因素太多了，心理學(xué)、統(tǒng)計學(xué)、人機交互等多個學(xué)科的知識。二、數(shù)據(jù)可視化案例分析數(shù)據(jù)可視化聽起來距離我們很遙遠，但是其實經(jīng)過上面的介紹，我們能夠發(fā)現(xiàn)，數(shù)據(jù)可視化其實就在我們身邊。二、數(shù)據(jù)可視化案例分析——身邊的案例籃球賽的投籃點統(tǒng)計：實驗的數(shù)據(jù)處理：Origin，matlab等軟件作圖二、數(shù)據(jù)可視化案例分析——身邊的案例約翰霍普金斯大學(xué)的新冠疫情可視化統(tǒng)計：二、數(shù)據(jù)可視化案例分析——身邊的案例三、案例展示——優(yōu)秀案例按年齡組劃分的美國人口百分比這是如何以令人信服的方式呈現(xiàn)單個數(shù)據(jù)集的好例子。PewResearch創(chuàng)建了這個動畫，以顯示人口統(tǒng)計數(shù)據(jù)隨時間的變化。這種類型的微內(nèi)容很容易在社交上分享或嵌入到博客中，從而擴展了內(nèi)容的傳播范圍。美國風(fēng)圖：它實時顯示了美國所有當(dāng)前的風(fēng)速和方向。這是直觀設(shè)計的一個很好的例子：速度由緩慢或快速移動的線條表示，方向由線條移動的方向表示。三、案例展示——優(yōu)秀案例谷歌感恩節(jié)航班：這是一種在給定時間內(nèi)，將太空中移動的東西進行可視化的好方法。這個由Google趨勢提供支持，該趨勢跟蹤了感恩節(jié)前一天飛往美國的航班。從第一天開始，隨著時間的推移像電影一樣播放，顯示在全國各地移動的航班。在沒有顯示任何數(shù)字的情況下，觀眾可以看到一天中哪些時段更適合國際航班，國內(nèi)航班以及往返全國不同樞紐的航班。三、案例展示——優(yōu)秀案例U.S.GunDeaths：在這個案例中，每一條線的灰色代表是一個人原來可以活到多少歲，但因為槍支卻提前死亡了，死之前用桔色表現(xiàn)。一開始只是一兩條線來讓用戶說明線條的含義，然后突然加快速度若干線線條一起出現(xiàn)，每條線條的顏色匯集在一起，從而直觀的表現(xiàn)出因為槍支死亡的是中青年。三、案例展示——優(yōu)秀案例“ListentoWikipedia”是對維基百科最近更新數(shù)據(jù)的視覺和聲音展示網(wǎng)站。用聲音表示增加或刪除詞，不同的音調(diào)代表不同的編輯量。綠色圓圈表示未注冊的貢獻者在編輯，紫色圓圈表示自動機器人在編輯。所有的用戶都會產(chǎn)生一些小噪音，而每個編輯者會有一個特別的聲音。三、案例展示——優(yōu)秀案例“TheRefugeeProject”是闡