大數(shù)據(jù)可視化技術(shù)與應(yīng)用 課件 第2章 數(shù)據(jù)可視化基礎(chǔ)、拓展

第2章數(shù)據(jù)可視化基礎(chǔ)可視化流程原始數(shù)據(jù)數(shù)據(jù)分析準(zhǔn)備好的數(shù)據(jù)過濾重點(diǎn)數(shù)據(jù)可視映射幾何數(shù)據(jù)渲染繪制圖像數(shù)據(jù)可視化流程數(shù)據(jù)采集可視化的對(duì)象是數(shù)據(jù)，而采集的數(shù)據(jù)涉及數(shù)據(jù)格式、維度、分辨率和精確度等重要特性，這些都決定了可視化的效果。數(shù)據(jù)處理和變換原始數(shù)據(jù)中含有噪聲和誤差，還會(huì)有一些信息被隱藏?？梢暬靶枰獙⒃紨?shù)據(jù)轉(zhuǎn)換成用戶可以理解的模式和特征并顯示出來(lái)?？梢暬鞒炭梢暬成渥層脩敉ㄟ^可視化結(jié)果去理解數(shù)據(jù)信息以及數(shù)據(jù)背后隱含的規(guī)律。將數(shù)據(jù)的數(shù)值、空間坐標(biāo)、不同位置數(shù)據(jù)間的聯(lián)系等映射為可視化視覺通道的不同元素，如標(biāo)記、位置、形狀、大小和顏色等。因此可視化映射是與數(shù)據(jù)、感知、人機(jī)交互等方面相互依托，共同實(shí)現(xiàn)的。用戶感知可視化映射后的結(jié)果只有通過用戶感知才能轉(zhuǎn)換成知識(shí)和靈感。用戶從數(shù)據(jù)的可視化結(jié)果中進(jìn)行信息融合、提煉、總結(jié)知識(shí)和獲得靈感。數(shù)據(jù)可視化可讓用戶從數(shù)據(jù)中探索新的信息，也可證實(shí)自己的想法是否與數(shù)據(jù)所展示的信息相符合?？梢暬O(shè)計(jì)工具和原則可視化數(shù)據(jù)組織與管理工具可視化設(shè)計(jì)原則可視化數(shù)據(jù)組織與管理工具分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件在物理上可能被分散存儲(chǔ)在不同地點(diǎn)的節(jié)點(diǎn)上，各節(jié)點(diǎn)通過計(jì)算機(jī)網(wǎng)絡(luò)進(jìn)行通信和數(shù)據(jù)傳輸，但在邏輯上仍然是一個(gè)完整的文件。用戶在使用分布式文件系統(tǒng)時(shí)，無(wú)須知道數(shù)據(jù)存儲(chǔ)在哪個(gè)具體的節(jié)點(diǎn)上，只需像操作本地文件系統(tǒng)一樣進(jìn)行管理和存儲(chǔ)數(shù)據(jù)即可。文檔存儲(chǔ)文檔存儲(chǔ)支持對(duì)結(jié)構(gòu)化數(shù)據(jù)的訪問，一般以鍵值對(duì)的方式進(jìn)行存儲(chǔ)。文檔存儲(chǔ)模型支持嵌套結(jié)構(gòu)。例如，文檔存儲(chǔ)模型支持XML和JSON文檔，字段的“值”又可以嵌套存儲(chǔ)其他文檔。Mongodb數(shù)據(jù)庫(kù)通過支持在查詢中指定JSON字段路徑實(shí)現(xiàn)類似的功能?？梢暬瘮?shù)據(jù)組織與管理工具列式存儲(chǔ)列式存儲(chǔ)是指以流的方式在列中存儲(chǔ)所有的數(shù)據(jù)。列式數(shù)據(jù)庫(kù)把一列中的數(shù)據(jù)值串在一起存儲(chǔ)，然后再存儲(chǔ)下一列的數(shù)據(jù)，以此類推。列式數(shù)據(jù)庫(kù)由于查詢時(shí)需要讀取的數(shù)據(jù)塊少，所以查詢速度快。因?yàn)橥活愋偷牧写鎯?chǔ)在一起，所以數(shù)據(jù)壓縮比高，簡(jiǎn)化了數(shù)據(jù)建模的復(fù)雜性。但它是按列存儲(chǔ)的，插入更新的速度比較慢，不太適合用于數(shù)據(jù)頻繁變化的數(shù)據(jù)庫(kù)。它適合用于決策支持系統(tǒng)、數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)，不適合用于聯(lián)機(jī)事務(wù)處理（OLTP)鍵值存儲(chǔ)鍵值存儲(chǔ)，即Key-value存儲(chǔ)，簡(jiǎn)稱KV存儲(chǔ)。它是NOSQL存儲(chǔ)的一種方式。它的數(shù)據(jù)按照鍵值對(duì)的形式進(jìn)行組織、索引和存儲(chǔ)。鍵值存儲(chǔ)能有效地減少讀寫磁盤的次數(shù)，比SQL數(shù)據(jù)庫(kù)存儲(chǔ)擁有更好的讀寫性能?？梢暬瘮?shù)據(jù)組織與管理工具圖形數(shù)據(jù)庫(kù)當(dāng)事物與事物之間呈現(xiàn)復(fù)雜的網(wǎng)絡(luò)關(guān)系（這些關(guān)系可以簡(jiǎn)單地稱為圖形數(shù)據(jù)）時(shí)，最常見例子就是社會(huì)網(wǎng)絡(luò)中人與人之間的關(guān)系，用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)這種“關(guān)系型”數(shù)據(jù)的效果并不好，其查詢復(fù)雜、緩慢，并超出預(yù)期，而圖形數(shù)據(jù)庫(kù)的出現(xiàn)則彌補(bǔ)了這個(gè)缺陷。關(guān)系數(shù)據(jù)庫(kù)關(guān)系模型是最傳統(tǒng)的數(shù)據(jù)存儲(chǔ)模型，數(shù)據(jù)按行存儲(chǔ)在有架構(gòu)界定的表中。表中的每個(gè)列都有名稱和類型，表中的所有記錄都要符合表的定義。用戶可使用基于關(guān)系代數(shù)演算的結(jié)構(gòu)化查詢語(yǔ)言（StructuredQueryLanguage,SQL）提供相應(yīng)的語(yǔ)法查找符合條件的記錄，通過表連接在多表之間查詢記錄，表中的記錄可以被創(chuàng)建和除，記錄中的字段也可以單獨(dú)更新?？梢暬瘮?shù)據(jù)組織與管理工具內(nèi)存數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)（MainMemoryDatabase,MMDB）就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫(kù)。相對(duì)于磁盤數(shù)據(jù)，內(nèi)存數(shù)據(jù)的讀寫速度要高出幾個(gè)數(shù)量級(jí)。MMDB的最大特點(diǎn)是其數(shù)據(jù)常駐內(nèi)存，即活動(dòng)事務(wù)只與實(shí)時(shí)內(nèi)存數(shù)據(jù)庫(kù)的內(nèi)存數(shù)據(jù)“打交道”，所處理的數(shù)據(jù)通常是“短暫”的，有一定的有效時(shí)間，過時(shí)則有新的數(shù)據(jù)產(chǎn)生。所以，實(shí)際應(yīng)用中采用內(nèi)存數(shù)據(jù)庫(kù)來(lái)處理實(shí)時(shí)性強(qiáng)的業(yè)務(wù)邏輯?？梢暬O(shè)計(jì)原則數(shù)據(jù)篩選原則可視化展示的信息要適度，以保證用戶獲取數(shù)據(jù)信息的效率。數(shù)據(jù)到可視化的直觀映射原則設(shè)計(jì)者能夠在可視化設(shè)計(jì)時(shí)預(yù)測(cè)用戶在使用可視化結(jié)果時(shí)的行為和期望，就可以提高可視化設(shè)計(jì)的可用性和功能性，有助于幫助用戶理解可視化結(jié)果。設(shè)計(jì)者利用已有的先驗(yàn)知識(shí)可以減少用戶對(duì)信息的感知和認(rèn)知所需的時(shí)間。視圖選擇與交互設(shè)計(jì)原則簡(jiǎn)單的數(shù)據(jù)可以使用基本的可視化視圖，復(fù)雜的數(shù)據(jù)則需要使用或開發(fā)新的較為復(fù)雜的可視化視圖?？梢暬O(shè)計(jì)原則美學(xué)原則可視化設(shè)計(jì)者在完成可視化的基本功能后，需要對(duì)其形式表達(dá)（可視化的美學(xué)）方面進(jìn)行設(shè)計(jì)。有美感的可視化設(shè)計(jì)會(huì)更加吸引用戶的注意，促使其進(jìn)行更深入的探索。適當(dāng)運(yùn)用隱喻原則用一種事物去理解和表達(dá)另一種事物的方法稱為隱喻（metaphor)，隱喻作為一種認(rèn)知方式，參與人對(duì)外界的認(rèn)知過程。顏色與透明度選擇原則顏色在數(shù)據(jù)可視化領(lǐng)域通常被用于編碼數(shù)據(jù)的分類或定序?qū)傩?。有時(shí)，為了便于用戶在觀察和探索數(shù)據(jù)可視化時(shí)從整體進(jìn)行把握，可以給顏色增加一個(gè)表示不透明度的分量通道，用于表示離觀察者更近的顏色對(duì)背景顏色的透過程度。謝謝大家第2章數(shù)據(jù)可視化拓展主要內(nèi)容空間場(chǎng)數(shù)據(jù)可視化地理數(shù)據(jù)可視化時(shí)變數(shù)據(jù)可視化樹結(jié)構(gòu)可視化圖結(jié)構(gòu)可視化空間場(chǎng)數(shù)據(jù)可視化

空間場(chǎng)數(shù)據(jù)根據(jù)空間的維度與屬性值的特征共同命名多元結(jié)構(gòu)→屬性值多維結(jié)構(gòu)→空間的維度濕度數(shù)據(jù)——三維標(biāo)量場(chǎng)風(fēng)場(chǎng)數(shù)據(jù)——三維矢量場(chǎng)

核磁數(shù)據(jù)——三維張量場(chǎng)空間數(shù)據(jù)可視化單元格結(jié)構(gòu)與在空間中進(jìn)行采樣的方法息息相關(guān)，進(jìn)行采樣時(shí)單元格的劃分策略稱為柵格常見的采樣策略包括以相同間隔采樣的均勻柵格，非均勻分布的直線型柵格，基于地理坐標(biāo)的采樣等雖然空間場(chǎng)數(shù)據(jù)通過采樣的形式獲取，但它的值并非對(duì)應(yīng)某個(gè)特定的點(diǎn)，而是對(duì)空間中一定范圍的度量，所有的采樣連續(xù)且相鄰的分布在整個(gè)空間域中地理數(shù)據(jù)的可視化地圖投影：將地理信息數(shù)據(jù)投影到地球表面的方法地圖投影是地理數(shù)據(jù)可視化的基礎(chǔ)?目的是將球面映射到某種曲面上，將球面上的每一個(gè)點(diǎn)與平面某點(diǎn)建立對(duì)應(yīng)關(guān)系，即實(shí)現(xiàn)球面的參數(shù)化地理數(shù)據(jù)的可視化常見的地圖投影方法墨卡托投影——等角度投影地理數(shù)據(jù)的可視化常見的地圖投影方法墨卡托投影——等角度投影地理數(shù)據(jù)的可視化常見的地圖投影方法阿爾伯斯投影——等面積圓錐投影地理數(shù)據(jù)的可視化常見的地圖投影方法方位角投影地理數(shù)據(jù)的可視化對(duì)象屬性信息的表達(dá)：對(duì)不同類型的地理數(shù)據(jù)使用不同種類的表達(dá)方法時(shí)變數(shù)據(jù)的可視化隨時(shí)間變化，帶有時(shí)間屬性的數(shù)據(jù)稱為時(shí)變數(shù)據(jù)主要分為兩類以時(shí)間軸排列的時(shí)間序列數(shù)據(jù)：股票走勢(shì)圖、奧運(yùn)會(huì)的日程不以時(shí)間為變量，但具有內(nèi)在的排列順序：文本、DNA測(cè)序時(shí)變型數(shù)據(jù)特點(diǎn)實(shí)際應(yīng)用中量大、維數(shù)多、變量多，而且類型豐富，分布范圍廣泛時(shí)變數(shù)據(jù)的可視化時(shí)變化數(shù)據(jù)的可視化涉及三個(gè)維度：表達(dá)、比例和布局時(shí)變數(shù)據(jù)的可視化表達(dá)維度線性以典型的閱讀方式呈現(xiàn)內(nèi)容；將時(shí)間數(shù)據(jù)作為二維的線圖顯示；x軸表示時(shí)間、y軸表示其他的變量。徑向?qū)r(shí)間序列編碼為弧形；沿圓周排列；適合呈現(xiàn)周期性的時(shí)變型數(shù)據(jù)。比如：南丁格爾玫瑰圖。網(wǎng)格和日歷相對(duì)應(yīng)；一般采用表格映射的方式。螺旋可用條形、線條或數(shù)據(jù)點(diǎn)、沿著螺旋路徑顯示。隨機(jī)兩類：1、基于排版形式的隨機(jī)；2、時(shí)間曲線的隨機(jī)，使相似的時(shí)間點(diǎn)彼此接近。時(shí)變數(shù)據(jù)的可視化比例維度比例維度（按時(shí)間順序）可以被用來(lái)表示事件的順序，或者事件的持續(xù)時(shí)間。相對(duì)順序是指存在一個(gè)基線事件在時(shí)間零點(diǎn)，可以被用在多時(shí)間線的對(duì)比。對(duì)數(shù)的比列從按時(shí)間的前后順序排列的比例轉(zhuǎn)換而來(lái)，強(qiáng)調(diào)了最早的或最近的事件，對(duì)數(shù)比例適用于長(zhǎng)范圍或不均勻的事件布局。次序，次序比例中連續(xù)事件之間的距離是相等的，只表達(dá)事件的順序。次序+中間時(shí)長(zhǎng)，這種形式可以用來(lái)表示長(zhǎng)時(shí)間和不均勻分布的事件。時(shí)變數(shù)據(jù)的可視化布局維度單一時(shí)間線多個(gè)時(shí)間線分段時(shí)間線，在這種形式中，一個(gè)時(shí)間線被有意義的進(jìn)行劃分，進(jìn)行另一種形式的比較。多個(gè)時(shí)間線加上分段時(shí)間線，指不同屬性時(shí)間線加上分割的時(shí)間段，可以進(jìn)行多種形式的比較。樹結(jié)構(gòu)的可視化樹結(jié)構(gòu)：表達(dá)個(gè)體間的層次關(guān)系樹結(jié)構(gòu)的可視化樹結(jié)構(gòu)表達(dá)方法：結(jié)點(diǎn)鏈接法：結(jié)構(gòu)清晰空間嵌套填充法：有效利用空間混合方法：既結(jié)構(gòu)清晰又有效利用空間圖結(jié)構(gòu)的可視化并不具有自底向上或自頂向下的層次結(jié)構(gòu)表達(dá)的關(guān)系更加自由和復(fù)雜社交網(wǎng)絡(luò)、電話網(wǎng)絡(luò)、郵件網(wǎng)絡(luò)、合作網(wǎng)絡(luò)等圖結(jié)構(gòu)的可視化節(jié)點(diǎn)鏈接法(Node-Link)