大數(shù)據(jù)分析與應(yīng)用_數(shù)據(jù)可視化基礎(chǔ)

1、數(shù)據(jù)可視化基礎(chǔ)內(nèi)容提綱可視化介紹數(shù)據(jù)科學(xué)高維數(shù)據(jù)可視化什么是可視化？定義定義 使某物、某事可見的動作或事實；對某個原本使某物、某事可見的動作或事實；對某個原本眼睛不可見的事物形成一副可感知的心理圖片眼睛不可見的事物形成一副可感知的心理圖片或視覺的過程或能力；一副因此而形成的圖片或視覺的過程或能力；一副因此而形成的圖片. .繪制出可見圖片的動作或過程繪制出可見圖片的動作或過程. .可視化通過使用電腦，對數(shù)據(jù)進(jìn)行交互的可視表達(dá)以增強認(rèn)知 Card, Mackinlay Shneiderman 98 通常被認(rèn)為是一個生成圖形圖像的過程，實為認(rèn)知過程形成某個物體的感知圖像強化認(rèn)知理解 可視化的目的是洞

2、悉，而非圖像洞察：發(fā)現(xiàn)，決策，解釋，分析，探索，學(xué)習(xí)4可視化的應(yīng)用范圍數(shù)據(jù)分析技術(shù)數(shù)據(jù)挖掘，數(shù)據(jù)庫查詢，機器學(xué)習(xí)可視化尤擅于探索性數(shù)據(jù)的分析不知道里面有什么沒有一個預(yù)先的探索假設(shè)想知道存在那些疑問I see what youre saying 我明白你的意思Seeing is believing 眼見為實A picture is worth a thousand words 一圖勝千言5為什么我們需要可視化揭示想法和關(guān)系揭示想法和關(guān)系形成論點或意見形成論點或意見觀察事物演化的趨勢觀察事物演化的趨勢總結(jié)或積聚數(shù)據(jù)總結(jié)或積聚數(shù)據(jù)存檔、匯整存檔、匯整信賴、信任、求真信賴、信任、求真?zhèn)鞑ブR傳播知識探

3、索性數(shù)據(jù)分析探索性數(shù)據(jù)分析為什么我們需要可視化回答問題做出決定在上下文里看數(shù)據(jù)擴(kuò)充記憶和內(nèi)存空間支持圖形化計算尋找模式展示論據(jù)講故事激發(fā)智力和洞察力可視化的三個功能記錄信息記錄信息成像、藍(lán)圖設(shè)計、支持對信息的推理和分析支持對信息的推理和分析過程與計算數(shù)據(jù)推理反饋與交互信息傳遞信息傳遞共享與說服協(xié)作與修正突出數(shù)據(jù)的重要部分信息記錄 繪圖：月亮周期繪圖：月亮周期伽利略于1616年關(guān)于月亮周期的繪圖/sci/observations/moon.html信息記錄攝像：月亮周期數(shù)據(jù)推理：4個數(shù)據(jù)集X均值 = 9.0 Y均值 = 7.5 最小二乘法回歸線方程 y

4、 = 3 + 0.5x誤差的平方和 = 110.0X值的方差的回歸和 = 27.5均方誤差的誤差和 (相對于回歸線) = 13.75相關(guān)系數(shù) = 0.8211數(shù)值表示1 2 3 410.0, 8.04 10.0,9.14 10.0, 7.46 8.0, 6.58 8.0, 6.95 8.0,8.14 8.0, 6.77 8.0, 5.7613.0, 7.58 13.0,8.74 13.0,12.74 8.0, 7.719.0, 8.81 9.0,8.77 9.0, 7.11 8.0, 8.84 11.0, 8.33 11.0,9.26 11.0, 7.81 8.0, 8.4714.0, 9.9

5、6 14.0,8.10 14.0, 8.84 8.0, 7.046.0, 7.24 6.0,6.13 6.0, 6.08 8.0, 5.254.0, 4.26 4.0,3.10 4.0, 5.39 19.0,12.5012.0,10.84 12.0,9.13 12.0, 8.15 8.0, 5.567.0, 4.82 7.0,7.26 7.0, 6.42 8.0, 7.915.0, 5.68 5.0,4.74 5.0, 5.73 8.0, 6.891213回答問題Gallop, Bay Horse “Daisy” Muybridge 1884-86其他記錄設(shè)備Mareys sphygmogra

6、ph脈波計脈波計, , 脈搏記錄脈搏記錄儀儀from Braun 83支持推理分析: 挑戰(zhàn)者號案例 1986年1月28日，美國“挑戰(zhàn)者”號航天飛機在升空以后不久爆炸，全世界的人們在電視機前目睹了這一悲壯的情景。這一事件不僅再次向世人表明人類科學(xué)技術(shù)進(jìn)步的艱巨與困難，也揭示了復(fù)雜組織內(nèi)部正式的傳播系統(tǒng)是何等脆弱。這一災(zāi)難的直接起因是兩個O形橡膠圈的故障，它們是由猶他州的莫頓塞奧科公司（Morton Thiokol）生產(chǎn)的，用來密封發(fā)射器上固體燃料箱上的接縫。“挑戰(zhàn)者”號點火升空后，由于氣溫太低，發(fā)射器上的橡膠圈無法按照設(shè)計要求迅速膨脹以彌合部件之間的縫隙，導(dǎo)致大量燃?xì)馔庑梗谥魅剂舷渖蠠┝艘粋€

7、洞，使這一最先進(jìn)的航天工具變成了一副燃燒的棺材。在這一顯而易見的技術(shù)問題背后，人們要追問的是組織決策問題：決策者是否知曉相關(guān)技術(shù)信息？為何以及在何種情況之下做出了發(fā)射決定？也許我們不能將所有問題歸咎于傳播故障，但是正如“挑戰(zhàn)者”號事故調(diào)查總統(tǒng)委員會的報告所說:“信息溝通渠道的障礙導(dǎo)致做出了發(fā)射的決定，這一決定建立在不完全甚至是使人容易誤解的信息基礎(chǔ)之上”（轉(zhuǎn)引自Conrad, 2001）。確實，決策失誤往往是組織的結(jié)構(gòu)、傳播習(xí)慣等多種問題積累的結(jié)果。支持推理分析決策：Challenger; 由Morton Thiokol傳真到 NASA的13頁紙中的2頁 Tufte 1997支持推理分析Tuf

8、te教授繪制的演示低溫如何摧毀O形密封圈 Tufte 97支持推理分析Tufte教授繪制的演示低溫如何摧毀O形密封圈 Tufte 97上下文中數(shù)據(jù)理解上下文中數(shù)據(jù)理解: : 霍亂流行霍亂流行1854 John Snow Tufte 1983擴(kuò)充記憶和內(nèi)存空間: : 乘法計算乘法計算 34 34x 72x 72 68 682380238024482448圖示化計算圖示化計算: : 水的蒸發(fā)水的蒸發(fā)Johannes Lambert 采用圖來研究水蒸發(fā)與溫度的關(guān)系 Tufte 1983圖示化計算圖示化計算: : 視覺證據(jù)視覺證據(jù)奇數(shù)的和：1 + 3 + 5 + 7 + 9 = 52Pythagore

9、an 定理定理中國古代的剖切證明尋找模式尋找模式: : 紐約天氣紐約天氣New York Times 1981展示論據(jù):出口與進(jìn)口Playfair 1786信息表達(dá)雙螺旋模型 Watson and Crick 53生理衛(wèi)生 1918可視化研究的挑戰(zhàn)越來越多不可見數(shù)據(jù)模擬數(shù)據(jù)數(shù)字城市規(guī)劃流體模擬可視化研究的挑戰(zhàn)越來越多不可見數(shù)據(jù)實測數(shù)據(jù)Sloan digital sky 傳感器網(wǎng)絡(luò)傳感器網(wǎng)絡(luò)Hill 數(shù)字?jǐn)z像儀可視化研究的挑戰(zhàn)越來越多不可見數(shù)據(jù)信息快速傳播可視化研究的挑戰(zhàn)越來越多不可見數(shù)據(jù)20022002年年5 exabytes5 exabytes新信息新信息

10、 Lyman 03Lyman 0320062006年年161 exabytes Gantz 07161 exabytes Gantz 07需要新的更好的工具和算法以傳播信息需要新的更好的工具和算法以傳播信息注意力“What information consumes is rather obvious: itconsumes the attention of its recipients. Hence awealth of information creates a poverty ofattention, and a need to allocate that attentionefficie

11、ntly among the overabundance ofinformation sources that might consume it.”Herb Simonas quoted by Hal VarianScientific AmericanSeptember 1995可視化研究的目標(biāo)理解可視化是如何傳遞給人們的理解可視化是如何傳遞給人們的人們感知和理解什么？可視化是如何對應(yīng)于數(shù)據(jù)的智能模型的？開發(fā)能有效創(chuàng)造可視化的原理與技術(shù)開發(fā)能有效創(chuàng)造可視化的原理與技術(shù) 增強認(rèn)知與感知增強可視化與數(shù)據(jù)的智能模型之間的聯(lián)系1. 1. 數(shù)據(jù)與成像模型數(shù)據(jù)與成像模型Bertin, Graphics a

12、nd Graphic Information Processing 19812. 2. 好的和壞的可視化好的和壞的可視化謬誤的可視化與其修正效果3. 3. 感知感知感應(yīng)功能的心理物理學(xué) Stevens 614. 4. 交互交互FilmFinder Ahlberg 945. 5. 空間布局空間布局London 地鐵 Beck 336. 6. 樹與圖樹與圖興趣度樹Heer & Card, 20047. 7. 顏色顏色Cynthia Brewer /faculty/c/a/cab38/ 8. 8. 協(xié)同可視化協(xié)同可視化Sense.us He

13、er 079. 9. 設(shè)計原理設(shè)計原理測試三種組裝儀器的有效性Heiser 0410. 10. 形狀的表意性繪制形狀的表意性繪制Lumbosacral and Sacro-iliac fusionRussell Drake, medical illustrator,Mayo Foundation, 1932.11. 11. 結(jié)構(gòu)的表意性繪制結(jié)構(gòu)的表意性繪制Principal Organs & Vascular SystemLeonardo da Vinci ca. 1490上：世界上第一副流場可視化效果-達(dá)芬奇下：表意性可視化NASA X38數(shù)據(jù)12. 12. 攝像攝像Shadowgraph of a .22-caliber bullet in flightTaken by an MIT freshman in 1962, in Edgertons lab. NASA X38數(shù)據(jù)的模擬物理攝像實驗的可視化效果。(a) 二維平切Schlieren效果； (b)60度刀角情況下的Schlieren效果； 圓形Schlieren效果；(d)Shadowgraphy效果13. 13. 過程與動作可視化過程與動作可視化穿著紗麗 Mijksenaar 99舞蹈步驟的可視化 Tufte 9014. 14. 動畫動畫Outsi