商務(wù)數(shù)據(jù)分析課件：數(shù)據(jù)可視化

數(shù)據(jù)可視化第一節(jié)可視化的作用數(shù)據(jù)可視化是指通過圖形的方式展示數(shù)據(jù)，讓人們能夠直觀的看到數(shù)據(jù)的整體和細(xì)節(jié)特征。大量的研究表明人們通過圖形獲得的信息要比通過文字獲得的信息多且快速。有以下作用：第一、相較于文字描述的方式，人們能夠從數(shù)據(jù)可視化中接收到更多的信息，從數(shù)據(jù)可視化的結(jié)果獲得信息的速度要更快一些。數(shù)據(jù)可視化可以更加清晰的展示各個數(shù)據(jù)的分布或者數(shù)據(jù)的變化情況，使業(yè)務(wù)負(fù)責(zé)人能夠更快地理解和處理信息。第二、數(shù)據(jù)可視化更能夠便于人們發(fā)現(xiàn)數(shù)據(jù)之間的規(guī)律和聯(lián)系，并引導(dǎo)人們進(jìn)行數(shù)據(jù)的深層次的挖掘。第三、對于數(shù)據(jù)分析來說，數(shù)據(jù)可視化也是后續(xù)模型展示的重要方面。第二節(jié)數(shù)據(jù)可視化的常用圖表１．適合單特征展示的圖形在進(jìn)行數(shù)據(jù)分析時(shí)，很多時(shí)候需要對每個特征單獨(dú)進(jìn)行理解。（1）餅圖當(dāng)需要對顧客、產(chǎn)品群體中不同類別的分布進(jìn)行直觀對比時(shí)，餅圖（piechart）是一個有用的工具。它通過圓形以及圓內(nèi)各個扇形的角度來表示數(shù)據(jù)占比大小的圖形。餅圖主要用于顯示數(shù)據(jù)的組成部分以及各部分所對應(yīng)的比例，對于研究數(shù)據(jù)的結(jié)構(gòu)性問題非常有幫助。１．適合單特征展示的圖形（2）折線圖折線圖（linechart）是將各個數(shù)據(jù)點(diǎn)繪制到圖表中并將各個點(diǎn)連接成線所形成的圖形。折線圖通過坐標(biāo)的大小來對應(yīng)數(shù)據(jù)的大小，主要用于反映時(shí)間序列上數(shù)據(jù)的趨勢和變化特征，利用折線圖可以很容易發(fā)現(xiàn)變化劇烈的點(diǎn)，產(chǎn)生進(jìn)一步分析的焦點(diǎn)。繪制折線圖時(shí)，時(shí)間一般繪制在橫軸，觀測的變量值繪制在縱軸。１．適合單特征展示的圖形（3）條形圖條形圖（barchart）是通過用寬度相同、高度不同的條形來表示數(shù)據(jù)量大小的圖形。條形圖可以用于顯示不同分類的數(shù)據(jù)比較，也可以用于顯示一段時(shí)間的數(shù)據(jù)。當(dāng)類別數(shù)量較多時(shí)，條形圖是更好的選擇。水平條形圖可以給出更多的空間用于放置文本標(biāo)簽。１．適合單特征展示的圖形（4）直方圖直方圖（histogram）也叫頻率直方圖（frequencyhistogram）是一種用矩形面積來表示頻數(shù)分布的圖形。只有數(shù)值型的數(shù)據(jù)才能使用直方圖來進(jìn)行展示。利用直方圖可以將數(shù)值型數(shù)據(jù)分組，轉(zhuǎn)變?yōu)闃?biāo)稱性數(shù)據(jù)；可以將多個數(shù)值根據(jù)其所在區(qū)間進(jìn)行匯總，實(shí)現(xiàn)了數(shù)據(jù)規(guī)約。在繪制直方圖時(shí)，用橫軸來表示數(shù)據(jù)分組，縱軸表示組別的頻數(shù)或者頻率。橫軸X被劃分為不相交的等寬連續(xù)子域，每個子域是一個組，被稱為一個箱（bin）。每一個子域?qū)?yīng)一個矩形，其高度代表了屬于該子域的樣本數(shù)（頻數(shù)），這就形成了一個直方圖。直方圖可以很清晰地顯示各組別中頻數(shù)的大小。在選用直方圖時(shí)，要注意子域?qū)挾鹊倪x擇。１．適合單特征展示的圖形（5）箱型圖箱型圖（boxplot）又稱為盒圖，用于揭示數(shù)據(jù)分布的情況。它是由數(shù)據(jù)的最小值、下四分位數(shù)、中位數(shù)、上四分位數(shù)和最大值共5個特征繪制而成的，是一種顯示數(shù)據(jù)分散情況的圖形。在繪制箱線圖時(shí)，首先找出以上5個特征點(diǎn)，然后連接上四分位數(shù)和下四分位數(shù)繪制出一個矩形箱子，中位數(shù)在箱子的中間，最后將最大值和最小值與箱子連接。由于箱線圖包含了位置特征點(diǎn)，所以，通過箱線圖的形狀，我們能夠看出數(shù)據(jù)分布形狀的一些特征，發(fā)現(xiàn)某些異常點(diǎn)。2.適合多個特征展示的圖表（1）散點(diǎn)圖散點(diǎn)圖（scatterdiagram）是將兩個數(shù)值變量的值繪制在同一個坐標(biāo)系下，以此來判斷兩個變量之間關(guān)系的一種圖形。散點(diǎn)圖可以表示一個變量隨另一個變量而變化的趨勢，因此，散點(diǎn)圖是判斷兩個數(shù)值變量之間是否可能有聯(lián)系的最有效圖形之一，它在回歸分析中經(jīng)常被用于判斷變量之間是否存在相關(guān)性。散點(diǎn)圖還可以用于觀察點(diǎn)簇和離群點(diǎn)。但畫散點(diǎn)圖的數(shù)據(jù)點(diǎn)不能太多，數(shù)據(jù)點(diǎn)過于密集時(shí)無法辨別出數(shù)據(jù)的真實(shí)情況。（2）氣泡圖氣泡圖（bubblechart），顧名思義，是由一組像氣泡的圖標(biāo)組成的圖形，主要用于展示三個變量之間的關(guān)系。在繪制氣泡圖時(shí)，選擇三個變量中的其中一個變量作為橫坐標(biāo)的變量，另一個變量作為縱坐標(biāo)的變量，最后利用坐標(biāo)系下氣泡的大小來表示第三個變量。2.適合多個特征展示的圖表（3）雷達(dá)圖雷達(dá)圖（radarchart）也叫蜘蛛圖（spiderchart），是用于展示多個變量的常用圖示方法。雷達(dá)圖在對比各個變量的數(shù)值以及多個樣本之間的相似度方面是非常有效的。在繪制n個變量的雷達(dá)圖時(shí)，首先畫一個圓并將這個圓n等分，可以得到n條輻射狀的半徑，每條半徑對應(yīng)一個變量。將這n條半徑分別作為n個變量的坐標(biāo)軸，每個變量的值由半徑上的點(diǎn)到圓心的距離表示。最后將同一樣本下P個坐標(biāo)上的點(diǎn)連接成線，得到的多邊形即為雷達(dá)圖。第三節(jié)用圖形展示模型結(jié)果１．模型結(jié)果展示展示模型效果時(shí)除了用數(shù)據(jù)制表展示結(jié)果外，也可以使用可視化的方式直觀的展示。例如在分類問題中，可以用ROC曲線展示模型分類效果。在預(yù)測問題中，可以用折線圖表示在應(yīng)用模型進(jìn)行預(yù)測時(shí)，預(yù)測值和真實(shí)值之間的差距。此外，在社交網(wǎng)絡(luò)分析，圖片處理和文本處理也常用可視化展示模型結(jié)果。２．模型與變量間關(guān)系展示利用可視化工具展示模型效果隨著一些重要變量的變化趨勢，可以幫助我們了解變量或找到變量的最優(yōu)解。折線圖或者柱狀圖能夠清晰的表示出變化的趨勢與對比，因此最常被選擇用于展示同一個模型，因?yàn)樽兞窟x擇不同的不同表現(xiàn)。右圖展示某預(yù)測模型結(jié)果的可視化橫軸是模型訓(xùn)練次數(shù)，縱軸是模型的準(zhǔn)確率，1、5、10、20、30是某一參數(shù)的不同設(shè)定對應(yīng)的模型表現(xiàn)。該模型可視化既展示出了隨著訓(xùn)練次數(shù)的增加，模型表現(xiàn)趨于穩(wěn)定，且展示了參數(shù)對于模型的影響。３．模型間對比展示要展示最后得到的變量間的關(guān)系，在維數(shù)較低的情況下也可以選用散點(diǎn)圖來進(jìn)行表示，比如聚類分析的結(jié)果就可以用散點(diǎn)圖展示出來。如果是進(jìn)行低維度的回歸擬合，那么也可以采用線圖和散點(diǎn)圖結(jié)合的方式進(jìn)行表示。對多個模型進(jìn)行對比，選擇當(dāng)前情景下最合適的模型，這時(shí)候也可以用柱狀圖來表示他們之間的對比關(guān)系。右圖中，有三個模型針對于三個數(shù)據(jù)集合進(jìn)行了訓(xùn)練，將三個模型在訓(xùn)練建模時(shí)間上的表現(xiàn)用柱狀圖表示，結(jié)果表明模型m1的運(yùn)行時(shí)間在三個模型中是最優(yōu)的。第四節(jié)常用可視化工具Excel很常見的可視化工具，該工具是可視化工作者必須掌握的技能，雖然常用，但是它難度不小、門檻也不低?？梢詣?chuàng)建基本的統(tǒng)計(jì)圖表和專業(yè)的數(shù)據(jù)透視表。語言代碼內(nèi)作圖工具許多開放的源碼可視化工具可用，如常見的用R語言、python、D3.js等等都可以實(shí)現(xiàn)可視化，但是這些工具的使用在一定程度上需要編程語言的基礎(chǔ)。界面化可視化工具Tableau、FineBI都是數(shù)據(jù)可視化工具和交互式商業(yè)智能(BusinessIntelligence,BI)工具。由于數(shù)據(jù)的大幅度的增長，企業(yè)更加重視和強(qiáng)調(diào)BI的易用性和可視化。這些工具使可視化變得容易，