大數(shù)據(jù)可視化技術(shù)與應(yīng)用 課件 第1、2章 數(shù)據(jù)可視化概述、拓展；數(shù)據(jù)可視化基礎(chǔ)、拓展

第1章數(shù)據(jù)可視化概述主要內(nèi)容什么是數(shù)據(jù)可視化數(shù)據(jù)可視化的發(fā)展歷史大數(shù)據(jù)可視化的分類大數(shù)據(jù)可視化作用大數(shù)據(jù)可視化發(fā)展方向什么是數(shù)據(jù)（泛指）數(shù)據(jù)是指對客觀事件進(jìn)行記錄并可以鑒別的符號，主要記載客觀事物的性質(zhì)、狀態(tài)以及相互關(guān)系。它是可識別的、抽象的符號。

數(shù)據(jù)不僅指狹義上的數(shù)字，還可以是具有一定意義的文字、字母、數(shù)字符號的組合、圖形、圖像、視頻、音頻等，也是客觀事物的屬性、數(shù)量、位置及其相互關(guān)系的抽象表示。什么是數(shù)據(jù)（特指）在計算機(jī)科學(xué)中，數(shù)據(jù)是指所有能輸入到計算機(jī)并被計算機(jī)程序處理的符號的介質(zhì)的總稱，是用于輸入電子計算機(jī)進(jìn)行處理，具有一定意義的數(shù)字、字母、符號和模擬量等的通稱。計算機(jī)存儲和處理的對象十分廣泛，表示這些對象的數(shù)據(jù)也隨之變得越來越復(fù)雜。什么是信息數(shù)據(jù)經(jīng)過加工后就成為信息。兩者既有聯(lián)系，又有區(qū)別。數(shù)據(jù)是信息的表現(xiàn)形式和載體，而信息是數(shù)據(jù)的內(nèi)涵，信息是加載于數(shù)據(jù)之上，對數(shù)據(jù)作具有含義的解釋。數(shù)據(jù)和信息是不可分離的，信息依賴數(shù)據(jù)來表達(dá)，數(shù)據(jù)則生動具體表達(dá)出信息。數(shù)據(jù)是符號，是物理性的，信息是對數(shù)據(jù)進(jìn)行加工處理之后所得到的并對決策產(chǎn)生影響的數(shù)據(jù)，是邏輯性和觀念性的；數(shù)據(jù)是信息的表現(xiàn)形式，信息是數(shù)據(jù)有意義的表示。數(shù)據(jù)本身沒有意義，數(shù)據(jù)只有對實體行為產(chǎn)生影響時才成為信息。信息可視化數(shù)據(jù)可視化就是數(shù)據(jù)中信息的可視化。人類對圖形、圖像等可視化符號的處理效率要比對數(shù)字、文本的處理效率高很多。經(jīng)過可視化的數(shù)據(jù)，可以讓人更直觀、清晰的了解到數(shù)據(jù)中蘊含的信息，從而最大化數(shù)據(jù)的價值。數(shù)據(jù)可視化是一門科學(xué)。它主要借助圖形化的手段，達(dá)到有效傳達(dá)與溝通信息的目的。它與信息圖形化、信息可視化、科學(xué)可視化和統(tǒng)計圖形化等領(lǐng)域密切相關(guān)。近些年，數(shù)據(jù)可視化已經(jīng)在商業(yè)中發(fā)揮了巨大的價值，是商務(wù)智能重要的一部分，其主要形式包括報表、圖表，以及各種用于制作計分卡(scorecards)和儀表盤（dashboards）的可視化元素。數(shù)據(jù)可視化又是一門藝術(shù)。它需要在功能與美學(xué)形式之間達(dá)到一種平衡。太注重實現(xiàn)復(fù)雜的功能會令可視化結(jié)果枯燥乏味，太注重美學(xué)形式會將信息埋沒在絢麗多彩的圖形中，讓人難以捕捉。三個主要方面模式：指數(shù)據(jù)中的規(guī)律。比如，城市交通流量在不同時刻差異很大，而流量變化的規(guī)律就蘊含在海量傳感器源源不斷的傳來的數(shù)據(jù)中。如果能及時從中發(fā)現(xiàn)交通運行模式，就可以為交通的管理和調(diào)控提供依據(jù)，進(jìn)而減輕堵塞現(xiàn)象。三個主要方面關(guān)系：指數(shù)據(jù)之間的相關(guān)性。統(tǒng)計學(xué)中，通常代表關(guān)聯(lián)性和因果關(guān)系。無論數(shù)據(jù)的總量和復(fù)雜程度如何大，數(shù)據(jù)間的關(guān)系大多可分為三類：數(shù)據(jù)間的比較、數(shù)據(jù)的構(gòu)成，以及數(shù)據(jù)的分布或聯(lián)系。比如，收入水平與幸福感之間的關(guān)系是否成正比，經(jīng)統(tǒng)計，對于月收入在1萬元以下的人來說，一旦收入増加，幸福感會隨之提升，但對于月收入水平在1萬元以上的人來說，幸福感并不會隨著收入水平的提高而提升，這種非線性關(guān)系也是一種關(guān)系。三個主要方面異常：指有問題的數(shù)據(jù)。異常的數(shù)據(jù)不一定都是錯誤的數(shù)據(jù)，有些異常數(shù)據(jù)可能是設(shè)備出錯或者人為錯誤輸入，有些可能就是正確的數(shù)據(jù)。通過異常分析，用戶可以及時發(fā)現(xiàn)各種異常情況。如右圖所示，圖中大部分點都集中在一個區(qū)域，極少數(shù)點分散在其他區(qū)域，這些點可能會影響對數(shù)據(jù)相關(guān)性的判斷，通過可視化可以初步將其識別出來。數(shù)據(jù)可視化的發(fā)展歷史數(shù)據(jù)可視化的起源可追溯到公元2世紀(jì)，但是在之后的很長一段時間并沒有特別大的發(fā)展。數(shù)據(jù)可視化的主要進(jìn)展都是在最近兩個半世紀(jì)才出現(xiàn)，尤其是近四十年。雖然可視化作為一門學(xué)科很晚才被廣泛認(rèn)可，但是目前最熱門的可視化形式可以追溯到17世紀(jì)，那時的地質(zhì)探索、數(shù)學(xué)和歷史的普及促進(jìn)了早期的地圖、圖表和時間線的出現(xiàn)?，F(xiàn)代圖表的發(fā)明者威廉?普萊費爾（WilliamPlayfair）在1786年出版了《商業(yè)和政治地圖集》（CommercialandPoliticalAtlas）中發(fā)明了廣泛流傳的折線圖和柱狀圖，在1801年出版的《統(tǒng)計摘要》（StatisticalBreviary）中發(fā)明了餅狀圖，如右圖所示。數(shù)據(jù)可視化的發(fā)展歷史隨著工藝技術(shù)的完善，到19世紀(jì)上半葉，人們已經(jīng)掌握了整套統(tǒng)計數(shù)據(jù)可視化工具（包括柱狀圖、餅圖、直方圖、折線圖、時間線、輪廓線等），關(guān)于社會、地理、醫(yī)學(xué)和基金的統(tǒng)計數(shù)據(jù)越來越多。將國家的統(tǒng)計數(shù)據(jù)與其可視表達(dá)放在地圖上，從而產(chǎn)生了概念制圖的方式。這種方式開始體現(xiàn)在政府規(guī)劃和運營中。人們在采用統(tǒng)計圖表來輔助思考的同時衍生了可視化思考的新方式：圖表用于表達(dá)數(shù)據(jù)證明和函數(shù)，列線圖用于輔助計算，各類可視化顯示用于表達(dá)數(shù)據(jù)的趨勢和分布。這些方式便于人們進(jìn)行交流、數(shù)據(jù)獲取和可視化觀察。數(shù)據(jù)可視化的發(fā)展歷史到19世紀(jì)下半葉，系統(tǒng)構(gòu)建可視化方法的條件日漸成熟，人類社會進(jìn)入了統(tǒng)計圖形學(xué)的黃金時期。其中，法國人查爾斯?約瑟夫·密納德(CharlesJosephMinard)是將可視化應(yīng)用于工程和統(tǒng)計的先驅(qū)。他用圖形描繪了1812年拿破侖的軍隊在俄國戰(zhàn)役中遭受的損失，如右圖所示。開始在波蘭與俄國，粗帶狀圖形代表了每個地點上軍隊的規(guī)模。拿破侖軍隊在苦寒的冬天從莫斯科撤退的路徑則用下方較暗的帶狀圖形表示，圖中標(biāo)注了對應(yīng)的溫度和時間。著名的可視化專家、作家和評論家愛德華?塔夫特（EdwardTufte）評論該圖說：“這是迄今為止最好的統(tǒng)計圖?！痹谶@張圖中，密納德用一種藝術(shù)的方式，詳盡地表達(dá)了多個數(shù)據(jù)的維度（軍隊的規(guī)模、行軍方向、軍隊匯聚、分散和重聚的時間與地點、軍隊減員過程、地理位置和溫度等）。19世紀(jì)出現(xiàn)了許多偉大的可視化作品，其中許多都記載在塔夫特的網(wǎng)站和可視化書籍中。數(shù)據(jù)可視化的發(fā)展歷史到了20世紀(jì)上半葉，政府、商業(yè)機(jī)構(gòu)和科研部門開始大量使用可視化統(tǒng)計圖形。同時，可視化在航空、物理、天文和生物等科學(xué)與工程領(lǐng)域的應(yīng)用也取得突破性進(jìn)展?？梢暬膹V泛應(yīng)用讓人們意識到圖形可視化的巨大潛力。這個時期的一個重要特點是多維數(shù)據(jù)可視化和心理學(xué)的引入，人們要求可視化更加嚴(yán)謹(jǐn)和實用，更傾向于關(guān)注圖表的顏色、數(shù)值比例和標(biāo)簽。20世紀(jì)中期，制圖師和理論家賈可?伯金(JacquesBergin)出版了《圖形符號學(xué)》（SémiologieGraphique），在某種程度上可以認(rèn)為該書是現(xiàn)代信息可視化的理論基礎(chǔ)。注：現(xiàn)已不適用于數(shù)字媒體數(shù)據(jù)可視化的發(fā)展歷史進(jìn)入21世紀(jì)，新的可視化媒介互聯(lián)網(wǎng)出現(xiàn)，這催生了許多新的可視化技術(shù)和功能。隨著互聯(lián)網(wǎng)的普及，數(shù)據(jù)和可視化傳播的受眾越來越大，許多數(shù)據(jù)有著全球范圍的可視化傳播需求，進(jìn)一步促進(jìn)了各種新形式的可視化快速發(fā)展。現(xiàn)在的屏幕媒體中大多融入了各種交互、動畫和圖像渲染技術(shù)，并加入了實時的數(shù)據(jù)反饋，可以創(chuàng)建出沉浸式（immersive）的數(shù)據(jù)交流和實用環(huán)境。除了商業(yè)機(jī)構(gòu)、科研部門和政府外，普羅大眾每天也要在自己的屏幕上接觸大量的經(jīng)過可視化的數(shù)據(jù)，可以說可視化已經(jīng)滲透到了互聯(lián)網(wǎng)上每個人的生活。數(shù)據(jù)可視化的發(fā)展歷史在媒體的推波助瀾的宣傳下，現(xiàn)在似乎所有企業(yè)和個人都對數(shù)據(jù)非常感興趣，這激發(fā)了使用可視化工具更好地理解數(shù)據(jù)的需求。廉價的硬件傳感器和自己動手創(chuàng)建系統(tǒng)的框架降低了收集與處理數(shù)據(jù)的成本。出現(xiàn)了數(shù)不勝數(shù)的應(yīng)用、軟件工具和底層代碼庫，幫助人們收集、組織、操作、可視化和理解各種來源的數(shù)據(jù)?；ヂ?lián)網(wǎng)還扮演了可視化的傳播通道，來自不同社區(qū)的設(shè)計師、程序員、制圖師、游戲設(shè)計者和數(shù)據(jù)分析師聚在一起，分享各種處理數(shù)據(jù)的新思路和新工具，包含可視化與非可視化方法。數(shù)據(jù)可視化的發(fā)展歷史直到現(xiàn)在，可視化技術(shù)的發(fā)展也不曾停下。谷歌地圖使界面操作的習(xí)慣（點擊平移、雙擊縮放）和交互式地圖的顯示技術(shù)變得大眾化，這使得大部分人在面對在線地圖時都知道如何使用。Flash已作為一種跨瀏覽器的平臺，在上面可以開發(fā)豐富、漂亮的應(yīng)用，融入可交互的數(shù)據(jù)可視化和地圖?，F(xiàn)在，出現(xiàn)了新型的瀏覽器顯示技術(shù)，例如canvas和SVG（有時統(tǒng)稱HTML5技術(shù)），正在挑戰(zhàn)Flash的主導(dǎo)地位，同時也將動態(tài)的可視化界面擴(kuò)展到移動設(shè)備上。大數(shù)據(jù)可視化的分類數(shù)據(jù)可視化的處理對象是數(shù)據(jù)。根據(jù)所處理的數(shù)據(jù)對象的不同，數(shù)據(jù)可視化可分為科學(xué)可視化與信息可視化?？茖W(xué)可視化面向科學(xué)和工程領(lǐng)域數(shù)據(jù)，如三維空間測量數(shù)據(jù)、計算模擬數(shù)據(jù)和醫(yī)學(xué)影像數(shù)據(jù)等，重點探索如何以幾何、拓?fù)浜托螤钐卣鱽沓尸F(xiàn)數(shù)據(jù)中蘊含的規(guī)律；信息可視化的處理對象則是非結(jié)構(gòu)化的數(shù)據(jù)，如金融交易、社交網(wǎng)絡(luò)和文本數(shù)據(jù)，其核心挑戰(zhàn)是如何從大規(guī)模高維復(fù)雜數(shù)據(jù)中提取出有用信息。由于數(shù)據(jù)分析的重要性，將可視化與數(shù)據(jù)分析結(jié)合，可形成一個新的學(xué)科：可視分析學(xué)（VisualAnalytics）?？茖W(xué)可視化科學(xué)可視化是可視化領(lǐng)域發(fā)展最早、最成熟的一個學(xué)科，其應(yīng)用領(lǐng)域包括物理、化學(xué)、氣象氣候、航空航天、醫(yī)學(xué)、生物學(xué)等各個學(xué)科，涉及對這些學(xué)科中數(shù)據(jù)和模型的解釋、操作與處理，旨在尋找其中的模式、特點、關(guān)系以及異常情況。科學(xué)可視化的基礎(chǔ)理論與方法已經(jīng)相對成熟，其中有一些方法已廣泛應(yīng)用于各個領(lǐng)域。最簡單的科學(xué)可視化方法是顏色映射法，它將不同的值映射成不同的顏色，熱力圖就是其中一種。科學(xué)可視化方法還包括輪廓法（Contouring),輪廓法是將數(shù)值等于某一指定閾值的點連接起來的可視化方法，地圖上的等高線，天氣預(yù)報中的等溫線都是典型的輪廓可視化的例子。信息可視化與科學(xué)可視化相比，信息可視化的數(shù)據(jù)更貼近我們的生活與工作，包括地理信息可視化、時變數(shù)據(jù)可視化、層次數(shù)據(jù)可視化、網(wǎng)絡(luò)數(shù)據(jù)可視化、非結(jié)構(gòu)化數(shù)據(jù)可視化等我們常見的地圖是地理信息數(shù)據(jù)，屬于信息可視化的范疇。現(xiàn)在很多地圖不僅僅有地理信息，還有很多其他信息，如交通流量數(shù)據(jù)等。信息可視化時變數(shù)據(jù)可視化采用多視角、數(shù)據(jù)比較等方法體現(xiàn)數(shù)據(jù)隨時間變化的趨勢和規(guī)律。在層次數(shù)據(jù)可視化中，層次數(shù)據(jù)表達(dá)各個個體之間的層次關(guān)系。樹圖是層次數(shù)據(jù)可視化的典型案例，樹圖是對現(xiàn)實世界事物關(guān)系的抽象，其數(shù)據(jù)本身具有層次結(jié)構(gòu)的信息。在網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)可視化中，網(wǎng)絡(luò)數(shù)據(jù)不具備層次結(jié)構(gòu)，關(guān)系更加復(fù)雜和自由，如人與人之間的關(guān)系、城市道路連接、科研論文的引用等。非結(jié)構(gòu)化數(shù)據(jù)可視化通常是將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)再進(jìn)行可視化顯示?？梢暦治鰧W(xué)可視分析學(xué)被定義為一門以可視交互界面為基礎(chǔ)的分析推理科學(xué)，綜合了圖形學(xué)、數(shù)據(jù)挖掘和人機(jī)交互等技術(shù)?？梢暦治鰧W(xué)是一門綜合性學(xué)科，與多個領(lǐng)域相關(guān)：在可視化領(lǐng)域，與信息可視化、科學(xué)可視化、計算機(jī)圖形學(xué)相關(guān)；在數(shù)據(jù)分析相關(guān)的領(lǐng)域，與信息獲取、數(shù)據(jù)處理、數(shù)據(jù)挖掘相關(guān)；在交互領(lǐng)域，則與人機(jī)交互、認(rèn)知科學(xué)和感知等學(xué)科融合?？梢暦治鰧W(xué)可視分析學(xué)所包含的研究內(nèi)容非常廣泛，其中，感知與認(rèn)知科學(xué)研究在可視化分析學(xué)起到重要作用；數(shù)據(jù)管理和知識表達(dá)是可視分析構(gòu)建數(shù)據(jù)到知識轉(zhuǎn)換的基礎(chǔ)理論；地理分析、信息分析、科學(xué)分析、統(tǒng)計分析、知識發(fā)現(xiàn)等是可視分析學(xué)的核心分析方法；在整個可視分析過程中，人機(jī)交互必不可少，用于控制模型構(gòu)建、分析推理和信息呈現(xiàn)等整個過程；可視分析流程中推導(dǎo)出的結(jié)論與知識最終需要由用戶傳播和應(yīng)用。可視分析學(xué)可視化分析的含義包括可視化和預(yù)測性分析兩部分。信息可視化的目的是回答“發(fā)生了什么”和“正在發(fā)生什么”，這與商務(wù)智能（日常報表、計分卡、儀表盤）有密切聯(lián)系。而可視化分析主要回答“為什么會發(fā)生”和“將來可能發(fā)生什么”，與業(yè)務(wù)分析（預(yù)測、分割、關(guān)聯(lián)分析）有關(guān)。許多數(shù)據(jù)可視化供應(yīng)商都在產(chǎn)品中加入了相關(guān)功能，使它們可以被稱為可視化分析供應(yīng)商。比如，最著名的、創(chuàng)立最久的數(shù)據(jù)分析提供商SAS，將分析技術(shù)嵌入一個高性能數(shù)據(jù)可視化環(huán)境中，稱之為可視化分析。數(shù)據(jù)可視化作用記錄信息分析推理信息傳播與協(xié)同記錄信息用圖形的方式描述各種具體或抽象的事物是最早的可視化，這種可視化的目的就是將抽象的事物和信息記錄下來。例如，古代將觀察到的星象信息記錄下來，用以推算歷法，如右圖所示。分析推理數(shù)據(jù)可視化極大地降低了數(shù)據(jù)理解的復(fù)雜度，有效地提升了信息認(rèn)知的效率，從而有助于人們更快地分析和推理出有效信息。1854年，倫敦爆發(fā)了一場霍亂，英國醫(yī)生JohnSnow繪制了一張街區(qū)地圖，如右圖所示，這就是著名的“倫敦鬼圖”。該圖分析了霍亂患者的分布與水井分布之間的關(guān)系，發(fā)現(xiàn)在一口井的供水范圍內(nèi)患者明顯偏多，據(jù)此找到了霍亂爆發(fā)的根源個被污染的水泵。信息傳播與協(xié)同一張好的可視化圖可以讓人留下深刻印象，更好的理解數(shù)據(jù)中的信息，進(jìn)而帶來更多傳播流量，這對互聯(lián)網(wǎng)時代的媒體尤為重要。右圖是對某一售賣熱干面店鋪評論的可視化。對于消費者來說，這樣一張圖能夠更好的幫助其了解店鋪的情況。即使是時間緊張的人也可以一眼從這張圖中大致了解到這家店鋪的特色，不需要逐條的閱讀大量評論。在信息碎片化的時代，這就能帶來更快的傳播與關(guān)注。這樣一張圖也有助于老板快速發(fā)現(xiàn)自己店鋪的優(yōu)勢和劣勢，對自己的營銷策略做出調(diào)整，在市場競爭中搶占先機(jī)。大數(shù)據(jù)產(chǎn)生的問題隨著計算機(jī)技術(shù)的普及，數(shù)據(jù)無論從數(shù)量上還是從維度層次上都變得日益繁雜。面對海量而又復(fù)雜的數(shù)據(jù)，各個科研機(jī)構(gòu)和商業(yè)組織普遍遇到以下問題。1.大量數(shù)據(jù)不能有效利用，棄之可惜，想用卻不知如何下手。2.數(shù)據(jù)展示模式繁雜晦澀，無法快速甄別有效信息。數(shù)據(jù)可視化就是將海量數(shù)據(jù)經(jīng)過抽取、加工、提煉，通過可視化方式展示出來，改變傳統(tǒng)的文字描述識別模式，達(dá)到更高效地掌握重要信息和了解重要細(xì)節(jié)的目的。數(shù)據(jù)可視化的優(yōu)勢動作更快。使用圖表來總結(jié)復(fù)雜的數(shù)據(jù)，可以確保對關(guān)系的理解要比那些混亂的報告或電子表格更快?？梢暬峁┝艘环N非常清晰的交互方式，從而能夠使用戶更快地理解和處理這些信息。數(shù)據(jù)可視化的優(yōu)勢以建設(shè)性方式提供結(jié)果。大數(shù)據(jù)可視化工具能夠用一些簡短的圖形描述復(fù)雜的信息。通過可交互的圖表界面，輕松地理解各種不同類型的數(shù)據(jù)。例如，許多企業(yè)通過收集消費者行為數(shù)據(jù)，再使用大數(shù)據(jù)可視化來監(jiān)控關(guān)鍵指標(biāo)，從而更容易發(fā)現(xiàn)各種市場變化和趨勢。例如，一家服裝企業(yè)發(fā)現(xiàn)，在西南地區(qū)，深色西裝和領(lǐng)帶的銷量正在上升，這促使該企業(yè)在全國范圍內(nèi)推銷這兩類產(chǎn)品。通過這種策略，這家企業(yè)的產(chǎn)品銷量遠(yuǎn)遠(yuǎn)領(lǐng)先于那些尚未注意到這一潮流的競爭對手。數(shù)據(jù)可視化的優(yōu)勢理解數(shù)據(jù)之間的聯(lián)系。在市場競爭環(huán)境中，找到業(yè)務(wù)和市場之間的相關(guān)性是至關(guān)重要的。例如，一家軟件公司的銷售總監(jiān)在條形圖中看到，他們的旗艦產(chǎn)品在西南地區(qū)的銷售額下降了8%,銷售總監(jiān)可以深入了解問題出現(xiàn)在哪里，并著手制訂改進(jìn)計劃。通過這種方式，數(shù)據(jù)可視化可以讓管理人員立即發(fā)現(xiàn)問題并采取行動。1.數(shù)據(jù)規(guī)模大，已超越單機(jī)、外存模型甚至小型計算集群處理能力的極限，而當(dāng)前軟件和工具運行效率不高，需探索全新思路解決該問題。2.在數(shù)據(jù)獲取與分析處理過程中，易產(chǎn)生數(shù)據(jù)質(zhì)量問題，需特別關(guān)注數(shù)據(jù)的不確定性。3.數(shù)據(jù)快速動態(tài)變化，常以流式數(shù)據(jù)形式存在，需要尋找流數(shù)據(jù)的實時分析與可視化方法。4.面臨復(fù)雜高維數(shù)據(jù)，當(dāng)前的軟件系統(tǒng)以統(tǒng)計和基本分析為主，分析能力不足。5.多來源數(shù)據(jù)的類型和結(jié)構(gòu)各異，已有方法難以滿足非結(jié)構(gòu)化、異構(gòu)數(shù)據(jù)方面的處理需求。大數(shù)據(jù)可視化面臨的挑戰(zhàn)可視化技術(shù)與數(shù)據(jù)挖掘技術(shù)的緊密結(jié)合。數(shù)據(jù)可視化可以幫助人類洞察出數(shù)據(jù)背后隱藏的潛在規(guī)律，進(jìn)而提高數(shù)據(jù)挖掘的效率，因此，可視化與數(shù)據(jù)挖掘緊密結(jié)合是可視化研究的一個重要方向。大數(shù)據(jù)可視化的發(fā)展可視化技術(shù)與人機(jī)交互技術(shù)的緊密結(jié)合。用戶有自行地探索動態(tài)數(shù)據(jù)，創(chuàng)建報表，以及分享自己信息的需求。更好地實現(xiàn)人機(jī)交互、方便的控制數(shù)據(jù)是人類一直追求的目標(biāo)。因此，可視化與人機(jī)交互相結(jié)合是可視化研究的重要發(fā)展方向。而且近些年移動終端的快速發(fā)展，隨時隨地提供可視化數(shù)據(jù)訪問與交互已經(jīng)成為了商業(yè)可視化產(chǎn)品的一大賣點。大數(shù)據(jù)可視化的發(fā)展可視化技術(shù)廣泛應(yīng)用于大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)的處理與分析。目前，我們處在大數(shù)據(jù)時代，大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)層出不窮，若將這些數(shù)據(jù)以可視化形式完美地展示出來，將提高可視化技術(shù)展示抽象信息、解決復(fù)雜決策問題的能力。因此，可視化與大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)結(jié)合是可視化研究的一個重要發(fā)展方向。大數(shù)據(jù)可視化的發(fā)展TheEnd謝謝！第1章數(shù)據(jù)可視化拓展主要內(nèi)容數(shù)據(jù)可視化的基本流程數(shù)據(jù)可視化身邊案例優(yōu)秀案例展示一、數(shù)據(jù)可視化的基本流程1、數(shù)據(jù)采集2、數(shù)據(jù)處理和變換3、可視化映射4、人機(jī)交互5、用戶感知1、數(shù)據(jù)采集數(shù)據(jù)采集是數(shù)據(jù)分析和可視化的第一步，俗話說“巧婦難為無米之炊”，數(shù)據(jù)采集的方法和質(zhì)量，很大程度上就決定了數(shù)據(jù)可視化的最終效果。數(shù)據(jù)采集的分類方法有很多，從數(shù)據(jù)的來源來看，可以分為內(nèi)部數(shù)據(jù)采集和外部數(shù)據(jù)采集。1、數(shù)據(jù)采集（1）內(nèi)部數(shù)據(jù)采集：指的是采集企業(yè)內(nèi)部經(jīng)營活動的數(shù)據(jù)，通常數(shù)據(jù)來源于業(yè)務(wù)數(shù)據(jù)庫，如訂單的交易情況。如果要分析用戶的行為數(shù)據(jù)、APP的使用情況，還需要一部分行為日志數(shù)據(jù)，這個時候就需要用「埋點」這種方法來進(jìn)行APP或Web的數(shù)據(jù)采集。（2）外部數(shù)據(jù)采集：指的數(shù)通過一些方法獲取企業(yè)外部的一些數(shù)據(jù)，具體目的包括，獲取競品的數(shù)據(jù)、獲取官方機(jī)構(gòu)官網(wǎng)公布的一些行業(yè)數(shù)據(jù)等。獲取外部數(shù)據(jù)，通常采用的數(shù)據(jù)采集方法為「網(wǎng)絡(luò)爬蟲」。1、數(shù)據(jù)采集以上的兩類數(shù)據(jù)采集方法得來的數(shù)據(jù)，都是二手?jǐn)?shù)據(jù)。而在市場調(diào)研和科學(xué)研究中，常常需要一手?jǐn)?shù)據(jù)，需要通過調(diào)查和實驗來采集數(shù)據(jù)。2、數(shù)據(jù)處理和變換數(shù)據(jù)處理和數(shù)據(jù)變換，是進(jìn)行數(shù)據(jù)可視化的前提條件，包括數(shù)據(jù)預(yù)處理和數(shù)據(jù)挖掘兩個過程。一方面，通過前期的數(shù)據(jù)采集得到的數(shù)據(jù)，不可避免的含有噪聲和誤差，數(shù)據(jù)質(zhì)量較低；另一方面，數(shù)據(jù)的特征、模式往往隱藏在海量的數(shù)據(jù)中，需要進(jìn)一步的數(shù)據(jù)挖掘才能提取出來。2、數(shù)據(jù)的處理和變換常見的數(shù)據(jù)質(zhì)量問題包括：（1）數(shù)據(jù)收集錯誤，遺漏了數(shù)據(jù)對象，或者包含了本不應(yīng)包含的其他數(shù)據(jù)對象。（2）數(shù)據(jù)中的離群點，即不同于數(shù)據(jù)集中其他大部分?jǐn)?shù)據(jù)對象特征的數(shù)據(jù)對象。（3）存在遺漏值，數(shù)據(jù)對象的一個或多個屬性值缺失，導(dǎo)致數(shù)據(jù)收集不全。（4）數(shù)據(jù)不一致，收集到的數(shù)據(jù)明顯不合常理，或者多個屬性值之間互相矛盾。例如，體重是負(fù)數(shù)，或者所填的郵政編碼和城市之間并沒有對應(yīng)關(guān)系。（5）重復(fù)值的存在，數(shù)據(jù)集中包含完全重復(fù)或幾乎重復(fù)的數(shù)據(jù)。2、數(shù)據(jù)的處理和變換正是因為有以上問題的存在，直接拿采集的數(shù)據(jù)進(jìn)行分析or可視化，得出的結(jié)論往往會誤導(dǎo)用戶做出錯誤的決策。因此，對采集到的原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和規(guī)范化，是數(shù)據(jù)可視化流程中不可缺少的在大數(shù)據(jù)時代，我們所采集到的數(shù)據(jù)通常具有4V特性：Volume（大量）、Variety（多樣）、Velocity（高速）、Value（價值）。如何從高維、海量、多樣化的數(shù)據(jù)中，挖掘有價值的信息來支持決策，除了需要對數(shù)據(jù)進(jìn)行清洗、去除噪聲之外，還需要依據(jù)業(yè)務(wù)目的對數(shù)據(jù)進(jìn)行二次處理。常用的數(shù)據(jù)處理方法包括：降維、數(shù)據(jù)聚類和切分、抽樣等統(tǒng)計學(xué)和機(jī)器學(xué)習(xí)中的方法。一環(huán)。3、可視化映射對數(shù)據(jù)進(jìn)行清洗、去噪，并按照業(yè)務(wù)目的進(jìn)行數(shù)據(jù)處理之后，接下來就到了可視化映射環(huán)節(jié)。可視化映射是整個數(shù)據(jù)可視化流程的核心，是指將處理后的數(shù)據(jù)信息映射成可視化元素的過程。可視化元素由3部分組成：可視化空間+標(biāo)記+視覺通道3、可視化映射-可視化空間數(shù)據(jù)可視化的顯示空間，通常是二維。三維物體的可視化，通過圖形繪制技術(shù)，解決了在二維平面顯示的問題，如3D環(huán)形圖、3D地圖等。標(biāo)記，是數(shù)據(jù)屬性到可視化幾何圖形元素的映射，用來代表數(shù)據(jù)屬性的歸類。根據(jù)空間自由度的差別，標(biāo)記可以分為點、線、面、體，分別具有零自由度、一維、二維、三維自由度。如我們常見的散點圖、折線圖、矩形樹圖、三維柱狀圖，分別采用了點、線、面、體這四種不同類型的標(biāo)記。3、可視化映射-標(biāo)記數(shù)據(jù)屬性的值到標(biāo)記的視覺呈現(xiàn)參數(shù)的映射，叫做視覺通道，通常用于展示數(shù)據(jù)屬性的定量信息。常用的視覺通道包括：標(biāo)記的位置、大小（長度、面積、體積...）、形狀（三角形、圓、立方體...）、方向、顏色（色調(diào)、飽和度、亮度、透明度...）等?！笜?biāo)記」、「視覺通道」是可視化編碼元素的兩個方面，兩者的結(jié)合，可以完整的將數(shù)據(jù)信息進(jìn)行可視化表達(dá)，從而完成可視化映射這一過程。3、可視化映射-視覺通道4、人機(jī)交互可視化的目的，是為了反映數(shù)據(jù)的數(shù)值、特征和模式，以更加直觀、易于理解的方式，將數(shù)據(jù)背后的信息呈現(xiàn)給目標(biāo)用戶，輔助其作出正確的決策。但是通常，我們面對的數(shù)據(jù)是復(fù)雜的，數(shù)據(jù)所蘊含的信息是豐富的。如果在可視化圖形中，將所有的信息不經(jīng)過組織和篩選，全部機(jī)械的擺放出來，不僅會讓整個頁面顯得特別臃腫和混亂，缺乏美感；而且模糊了重點，分散用戶的注意力，降低用戶單位時間獲取信息的能力。常見的交互方式包括：（1）滾動和縮放：當(dāng)數(shù)據(jù)在當(dāng)前分辨率的設(shè)備上無法完整展示時，滾動和縮放是一種非常有效的交互方式，比如地圖、折線圖的信息細(xì)節(jié)等。但是，滾動與縮放的具體效果，除了與頁面布局有關(guān)系外，還與具體的顯示設(shè)備有關(guān)。（2）顏色映射的控制：一些可視化的開源工具，會提供調(diào)色板，如D3。用戶可以根據(jù)自己的喜好，去進(jìn)行可視化圖形顏色的配置。這個在自助分析等平臺型工具中，會相對多一點，但是對一些自研的可視化產(chǎn)品中，一般有專業(yè)的設(shè)計師來負(fù)責(zé)這項工作，從而使可視化的視覺傳達(dá)具有美感。4、人機(jī)交互（3）數(shù)據(jù)映射方式的控制：這個是指用戶對數(shù)據(jù)可視化映射元素的選擇，一般一個數(shù)據(jù)集，是具有多組特征的，提供靈活的數(shù)據(jù)映射方式給用戶，可以方便用戶按照自己感興趣的維度去探索數(shù)據(jù)背后的信息。這個在常用的可視化分析工具中都有提供，如tableau、PowerBI等。（4）數(shù)據(jù)細(xì)節(jié)層次控制：比如隱藏數(shù)據(jù)細(xì)節(jié)，hover或點擊才出現(xiàn)。4、人機(jī)交互5、用戶感知可視化的結(jié)果，只有被用戶感知之后，才可以轉(zhuǎn)化為知識和靈感。用戶在感知過程，除了被動接受可視化的圖形之外，還通過與可視化各模塊之間的交互，主動獲取信息。如何讓用戶更好的感知可視化的結(jié)果，將結(jié)果轉(zhuǎn)化為有價值的信息用來指導(dǎo)決策，這個里面涉及到的影響因素太多了，心理學(xué)、統(tǒng)計學(xué)、人機(jī)交互等多個學(xué)科的知識。二、數(shù)據(jù)可視化案例分析數(shù)據(jù)可視化聽起來距離我們很遙遠(yuǎn)，但是其實經(jīng)過上面的介紹，我們能夠發(fā)現(xiàn)，數(shù)據(jù)可視化其實就在我們身邊。二、數(shù)據(jù)可視化案例分析——身邊的案例籃球賽的投籃點統(tǒng)計：實驗的數(shù)據(jù)處理：Origin，matlab等軟件作圖二、數(shù)據(jù)可視化案例分析——身邊的案例約翰霍普金斯大學(xué)的新冠疫情可視化統(tǒng)計：二、數(shù)據(jù)可視化案例分析——身邊的案例三、案例展示——優(yōu)秀案例按年齡組劃分的美國人口百分比這是如何以令人信服的方式呈現(xiàn)單個數(shù)據(jù)集的好例子。PewResearch創(chuàng)建了這個動畫，以顯示人口統(tǒng)計數(shù)據(jù)隨時間的變化。這種類型的微內(nèi)容很容易在社交上分享或嵌入到博客中，從而擴(kuò)展了內(nèi)容的傳播范圍。美國風(fēng)圖：它實時顯示了美國所有當(dāng)前的風(fēng)速和方向。這是直觀設(shè)計的一個很好的例子：速度由緩慢或快速移動的線條表示，方向由線條移動的方向表示。三、案例展示——優(yōu)秀案例谷歌感恩節(jié)航班：這是一種在給定時間內(nèi)，將太空中移動的東西進(jìn)行可視化的好方法。這個由Google趨勢提供支持，該趨勢跟蹤了感恩節(jié)前一天飛往美國的航班。從第一天開始，隨著時間的推移像電影一樣播放，顯示在全國各地移動的航班。在沒有顯示任何數(shù)字的情況下，觀眾可以看到一天中哪些時段更適合國際航班，國內(nèi)航班以及往返全國不同樞紐的航班。三、案例展示——優(yōu)秀案例U.S.GunDeaths：在這個案例中，每一條線的灰色代表是一個人原來可以活到多少歲，但因為槍支卻提前死亡了，死之前用桔色表現(xiàn)。一開始只是一兩條線來讓用戶說明線條的含義，然后突然加快速度若干線線條一起出現(xiàn)，每條線條的顏色匯集在一起，從而直觀的表現(xiàn)出因為槍支死亡的是中青年。三、案例展示——優(yōu)秀案例“ListentoWikipedia”是對維基百科最近更新數(shù)據(jù)的視覺和聲音展示網(wǎng)站。用聲音表示增加或刪除詞，不同的音調(diào)代表不同的編輯量。綠色圓圈表示未注冊的貢獻(xiàn)者在編輯，紫色圓圈表示自動機(jī)器人在編輯。所有的用戶都會產(chǎn)生一些小噪音，而每個編輯者會有一個特別的聲音。三、案例展示——優(yōu)秀案例“TheRefugeeProject”是闡述難民問題的網(wǎng)站，展示難民的時間和地點，以及他們背后政治、經(jīng)濟(jì)和社會的復(fù)雜故事。通過將歷史背景融入到到移民的數(shù)據(jù)變化中，表達(dá)每次危機(jī)對人類生活的影響。通過一開始的數(shù)據(jù)變化，我們可以發(fā)現(xiàn)難民數(shù)據(jù)竟然是上升的，僅2000年到2006年數(shù)據(jù)下降了，這說明這個世界并不太平。通過點擊我們可以發(fā)現(xiàn)為了避難，有的人甚至跨過了半個地球。三、案例展示——優(yōu)秀案例第2章數(shù)據(jù)可視化基礎(chǔ)可視化流程原始數(shù)據(jù)數(shù)據(jù)分析準(zhǔn)備好的數(shù)據(jù)過濾重點數(shù)據(jù)可視映射幾何數(shù)據(jù)渲染繪制圖像數(shù)據(jù)可視化流程數(shù)據(jù)采集可視化的對象是數(shù)據(jù)，而采集的數(shù)據(jù)涉及數(shù)據(jù)格式、維度、分辨率和精確度等重要特性，這些都決定了可視化的效果。數(shù)據(jù)處理和變換原始數(shù)據(jù)中含有噪聲和誤差，還會有一些信息被隱藏?？梢暬靶枰獙⒃紨?shù)據(jù)轉(zhuǎn)換成用戶可以理解的模式和特征并顯示出來。可視化流程可視化映射讓用戶通過可視化結(jié)果去理解數(shù)據(jù)信息以及數(shù)據(jù)背后隱含的規(guī)律。將數(shù)據(jù)的數(shù)值、空間坐標(biāo)、不同位置數(shù)據(jù)間的聯(lián)系等映射為可視化視覺通道的不同元素，如標(biāo)記、位置、形狀、大小和顏色等。因此可視化映射是與數(shù)據(jù)、感知、人機(jī)交互等方面相互依托，共同實現(xiàn)的。用戶感知可視化映射后的結(jié)果只有通過用戶感知才能轉(zhuǎn)換成知識和靈感。用戶從數(shù)據(jù)的可視化結(jié)果中進(jìn)行信息融合、提煉、總結(jié)知識和獲得靈感。數(shù)據(jù)可視化可讓用戶從數(shù)據(jù)中探索新的信息，也可證實自己的想法是否與數(shù)據(jù)所展示的信息相符合?？梢暬O(shè)計工具和原則可視化數(shù)據(jù)組織與管理工具可視化設(shè)計原則可視化數(shù)據(jù)組織與管理工具分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件在物理上可能被分散存儲在不同地點的節(jié)點上，各節(jié)點通過計算機(jī)網(wǎng)絡(luò)進(jìn)行通信和數(shù)據(jù)傳輸，但在邏輯上仍然是一個完整的文件。用戶在使用分布式文件系統(tǒng)時，無須知道數(shù)據(jù)存儲在哪個具體的節(jié)點上，只需像操作本地文件系統(tǒng)一樣進(jìn)行管理和存儲數(shù)據(jù)即可。文檔存儲文檔存儲支持對結(jié)構(gòu)化數(shù)據(jù)的訪問，一般以鍵值對的方式進(jìn)行存儲。文檔存儲模型支持嵌套結(jié)構(gòu)。例如，文檔存儲模型支持XML和JSON文檔，字段的“值”又可以嵌套存儲其他文檔。Mongodb數(shù)據(jù)庫通過支持在查詢中指定JSON字段路徑實現(xiàn)類似的功能。可視化數(shù)據(jù)組織與管理工具列式存儲列式存儲是指以流的方式在列中存儲所有的數(shù)據(jù)。列式數(shù)據(jù)庫把一列中的數(shù)據(jù)值串在一起存儲，然后再存儲下一列的數(shù)據(jù)，以此類推。列式數(shù)據(jù)庫由于查詢時需要讀取的數(shù)據(jù)塊少，所以查詢速度快。因為同一類型的列存儲在一起，所以數(shù)據(jù)壓縮比高，簡化了數(shù)據(jù)建模的復(fù)雜性。但它是按列存儲的，插入更新的速度比較慢，不太適合用于數(shù)據(jù)頻繁變化的數(shù)據(jù)庫。它適合用于決策支持系統(tǒng)、數(shù)據(jù)集市、數(shù)據(jù)倉庫，不適合用于聯(lián)機(jī)事務(wù)處理（OLTP)鍵值存儲鍵值存儲，即Key-value存儲，簡稱KV存儲。它是NOSQL存儲的一種方式。它的數(shù)據(jù)按照鍵值對的形式進(jìn)行組織、索引和存儲。鍵值存儲能有效地減少讀寫磁盤的次數(shù)，比SQL數(shù)據(jù)庫存儲擁有更好的讀寫性能?？梢暬瘮?shù)據(jù)組織與管理工具圖形數(shù)據(jù)庫當(dāng)事物與事物之間呈現(xiàn)復(fù)雜的網(wǎng)絡(luò)關(guān)系（這些關(guān)系可以簡單地稱為圖形數(shù)據(jù)）時，最常見例子就是社會網(wǎng)絡(luò)中人與人之間的關(guān)系，用關(guān)系型數(shù)據(jù)庫存儲這種“關(guān)系型”數(shù)據(jù)的效果并不好，其查詢復(fù)雜、緩慢，并超出預(yù)期，而圖形數(shù)據(jù)庫的出現(xiàn)則彌補了這個缺陷。關(guān)系數(shù)據(jù)庫關(guān)系模型是最傳統(tǒng)的數(shù)據(jù)存儲模型，數(shù)據(jù)按行存儲在有架構(gòu)界定的表中。表中的每個列都有名稱和類型，表中的所有記錄都要符合表的定義。用戶可使用基于關(guān)系代數(shù)演算的結(jié)構(gòu)化查詢語言（StructuredQueryLanguage,SQL）提供相應(yīng)的語法查找符合條件的記錄，通過表連接在多表之間查詢記錄，表中的記錄可以被創(chuàng)建和除，記錄中的字段也可以單獨更新?？梢暬瘮?shù)據(jù)組織與管理工具內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫（MainMemoryDatabase,MMDB）就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫。相對于磁盤數(shù)據(jù)，內(nèi)存數(shù)據(jù)的讀寫速度要高出幾個數(shù)量級。MMDB的最大特點是其數(shù)據(jù)常駐內(nèi)存，即活動事務(wù)只與實時內(nèi)存數(shù)據(jù)庫的內(nèi)存數(shù)據(jù)“打交道”，所處理的數(shù)據(jù)通常是“短暫”的，有一定的有效時間，過時則有新的數(shù)據(jù)產(chǎn)生。所以，實際應(yīng)用中采用內(nèi)存數(shù)據(jù)庫來處理實時性強的業(yè)務(wù)邏輯?？梢暬O(shè)計原則數(shù)據(jù)篩選原則可視化展示的信息要適度，以保證用戶獲取數(shù)據(jù)信息的效率。數(shù)據(jù)到可視化的直觀映射原則設(shè)計者能夠在可視化設(shè)計時預(yù)測用戶在使用可視化結(jié)果時的行為和期望，就可以提高可視化設(shè)計的可用性和功能性，有助于幫助用戶理解可視化結(jié)果。設(shè)計者利用已有的先驗知識可以減少用戶對信息的感知和認(rèn)知所需的時間。視圖選擇與交互設(shè)計原則簡單的數(shù)據(jù)可以使用基本的可視化視圖，復(fù)雜的數(shù)據(jù)則需要使用或開發(fā)新的較為復(fù)雜的可視化視圖?？梢暬O(shè)計原則美學(xué)原則可視化設(shè)計者在完成可視化的基本功能后，需要對其形式表達(dá)（可視化的美學(xué)）方面進(jìn)行設(shè)計。有美感的可視化設(shè)計會更加吸引用戶的注意，促使其進(jìn)行更深入的探索。適當(dāng)運用隱喻原則用一種事物去理解和表達(dá)另一種事物的方法稱為隱喻（metaphor)，隱喻作為一種認(rèn)知方式，參與人對外界的認(rèn)知過程。顏色與透明度選擇原則顏色在數(shù)據(jù)可視化領(lǐng)域通常被用于編碼數(shù)據(jù)的分類或定序?qū)傩浴Ｓ袝r，為了便于用戶在觀察和探索數(shù)據(jù)可視化時從整體進(jìn)行把握，可以給顏色增加一個表示不透明度的分量通道，用于表示離觀察者更近的顏色對背景顏色的透過程度。謝謝大家第2章數(shù)據(jù)可視化拓展主要內(nèi)容空間場數(shù)據(jù)可視化地理數(shù)據(jù)可視化時變數(shù)據(jù)可視化樹結(jié)構(gòu)可視化圖結(jié)構(gòu)可視化空間場數(shù)據(jù)可視化

空間場數(shù)據(jù)根據(jù)空間的維度與屬性值的特征共同命名多元結(jié)構(gòu)→屬性值多維結(jié)構(gòu)→空間的維度濕度數(shù)據(jù)——三維標(biāo)量場風(fēng)場數(shù)據(jù)——三維矢量場

核磁數(shù)據(jù)——三維張量場空間數(shù)據(jù)可視化單元格結(jié)構(gòu)與在空間中進(jìn)行采樣的方法息息相關(guān)，進(jìn)行采樣時