數(shù)據(jù)分析與可視化知識(shí)點(diǎn)梳理匯總

數(shù)據(jù)分析是基于商業(yè)目的，有目的的進(jìn)行收集、整理、加工和分析數(shù)據(jù)，提煉有價(jià)信據(jù)分析、數(shù)據(jù)展現(xiàn)和撰寫報(bào)告等6個(gè)階段。一個(gè)分析項(xiàng)目，你的數(shù)據(jù)對象是誰?商業(yè)目的是什么?要解決什么業(yè)務(wù)問題?數(shù)據(jù)分?jǐn)?shù)據(jù)收集是按照確定的數(shù)據(jù)分析和框架內(nèi)容，有目的的收集、整合相關(guān)數(shù)據(jù)的一個(gè)過數(shù)據(jù)處理是指對收集到的數(shù)據(jù)進(jìn)行加工、整理，以便開展數(shù)據(jù)分析，它是數(shù)據(jù)分析前數(shù)據(jù)分析是指通過分析手段、方法和技巧對準(zhǔn)備好的數(shù)據(jù)進(jìn)行探索、分析，從中發(fā)現(xiàn)到了這個(gè)階段，要能駕馭數(shù)據(jù)、開展數(shù)據(jù)分析，就要涉及到工具和方法的使用。其一等多元和數(shù)據(jù)分析方法的原理、使用范圍、優(yōu)缺點(diǎn)和結(jié)果的解釋；其二一般情況下，數(shù)據(jù)分析的結(jié)果都是通過圖、表的方式來呈現(xiàn)，俗話說：字不如表，表常用的圖表包括餅圖、折線圖、柱形圖/條形圖、散點(diǎn)圖一份好的數(shù)據(jù)分析報(bào)告，首先需要有一個(gè)好的分析框架，并且圖文并茂，層次明晰，另外，數(shù)據(jù)分析報(bào)告需要有明確的結(jié)論、建議和解決方案，不僅僅是找出問題，后者2.數(shù)據(jù)分析常用的方法有哪些?他們多用來分析哪些類型的數(shù)據(jù)?通過分析可以得到怎樣的結(jié)果和結(jié)論?怎樣得到保證其信度和效度?數(shù)據(jù)分析常用的圖表方法：柏拉圖(排列圖)、直方圖(Histogram)、散點(diǎn)圖(scatter標(biāo)表示頻數(shù)(如件數(shù)金額等),右邊縱坐標(biāo)表示頻率(如百分比表示)。分折線表示累積頻捷實(shí)用，深入直觀。它看上去有些象魚骨，問題或缺陷(即后果)標(biāo)在"魚頭"外。FMEA是一種可靠性設(shè)計(jì)的重要方法。它實(shí)際上是FMA(故障模式分析)和FEA(故障影響分析)的組合。它對各種可能的風(fēng)險(xiǎn)進(jìn)行評(píng)價(jià)SPSS:SPSS是世界上最早采用圖形菜單驅(qū)動(dòng)界面的統(tǒng)minitab:MINITAB功能菜單包括：假設(shè)檢驗(yàn)(參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)),回歸分析(一元回歸和多元回歸、線性回歸和非線性回歸),方差分析(單因子、多因子、一般線性模型等),時(shí)間序列分析，圖表(散點(diǎn)圖、點(diǎn)圖、矩陣圖、直方圖、莖葉圖、箱線圖、概率圖、等)等。說，Cronbach’a僅大于0.7為高信度，低于0.35為低信度(Cuieford,1965),0.5為用以測試各構(gòu)面衡量題項(xiàng)的聚合效度(convergentvalidity)與區(qū)別效度賴區(qū)間是否包含1.0,若不包含1.0,則可確認(rèn)為具有區(qū)別效度(Anderson,1987)。大似然估計(jì)法(MaximumLikelihood,ML);在模型的適等指標(biāo)；模型內(nèi)在結(jié)構(gòu)擬合優(yōu)度則參考Bagozzi和Yi(1988)的標(biāo)準(zhǔn)，考察所估計(jì)的參數(shù)是信度(Reliability)即可靠性，是指采用同一方法對同一對象進(jìn)行結(jié)果的穩(wěn)定性和一致性，即測量工具(間卷或量表)能否穩(wěn)定地測量所測的事物或變量。信度指標(biāo)多以相關(guān)系數(shù)表示，具體評(píng)價(jià)方法大致可分為三類：穩(wěn)定系數(shù)(跨時(shí)間的一致性),等值系數(shù)(跨形式的一致性)和內(nèi)在一致性系數(shù)(跨項(xiàng)目的一致性)。信度分析的方法主要值，取值在0-1之間，系數(shù)越高一致性越好，常用在量表的信度分析K為量表做包含的總題目數(shù)si2為量表題項(xiàng)的方差總和計(jì)算出的KR20系數(shù)是克朗巴哈系數(shù)的一個(gè)<1>隨機(jī)抽取一些問卷，由兩位評(píng)分者評(píng)分，然后根據(jù)<2>一位評(píng)分者兩次或兩次以上進(jìn)行評(píng)分，然后計(jì)算這幾次評(píng)分的Kendall和諧系數(shù)或5.測量程序要統(tǒng)一1.效度具有相對性，任何測驗(yàn)的效度都是針對一定的目標(biāo)而言2.效度具有連續(xù)性?測驗(yàn)效度通常用相關(guān)系數(shù)表示，它只有程度上的不同，不是“全有”如如果測量結(jié)果能區(qū)分A/B兩類人群，那么對這兩類人群做t檢驗(yàn)或方差分析，比較差異是否具有統(tǒng)計(jì)學(xué)意義，以此判斷測量是否具有區(qū)分效度。信度與效度的關(guān)系：1.可信的測量未必有效，而有效的測量必定可信。2.沒有信度就不可能有效度，沒有效度，信度也就毫無意義情況1:過于分散，既沒有效度也沒有信度情況2:點(diǎn)很集中，雖然有一致性，但是沒有命中中心，有信度但是無效度情況3:即有信度也有效度3.影響數(shù)據(jù)分析的結(jié)果因素有哪些?舉例說明?預(yù)期結(jié)果分析(1)描述性模式：該方法通過挖掘歷史和當(dāng)前數(shù)據(jù)，分析過去展現(xiàn)情況來決定接下來的計(jì)劃步驟。描述性模式能確定許多不同客戶或產(chǎn)品之間的關(guān)系，來決定需要采取什么方法向前發(fā)展。幾乎所有的報(bào)表，如：銷售、市場、操作以及財(cái)務(wù)都適用這樣的模式進(jìn)行事后分析，來提出這些問題：發(fā)什么什么?多少?頻率如何?什么地方?何時(shí)?問題關(guān)鍵是什么?應(yīng)該采取怎樣的行動(dòng)?(2)預(yù)測模式：分析過去可以知道客戶可能會(huì)有的操作，這樣可以預(yù)測單一用戶的操作。他可以陳述這樣的問題：將會(huì)發(fā)生什么?如果這個(gè)趨勢持續(xù)會(huì)怎樣?如果..,下一次會(huì)怎(3)規(guī)范模式：又叫做決定模式。這個(gè)模式闡述了所有的決定因素之間的關(guān)系，來預(yù)測決定可能帶來的結(jié)果。我們可以預(yù)測這樣的問題：怎樣才能達(dá)到最好的效果?怎樣應(yīng)對變數(shù)?客戶可能感興趣的其他商品是什么?重復(fù)篩選重復(fù)篩選都是一樣的，我們認(rèn)為數(shù)據(jù)挖掘是指從各種數(shù)據(jù)庫或觀察的數(shù)據(jù)集合中提取人們事先未知是知識(shí)發(fā)現(xiàn)過程中的一個(gè)特定步驟。知識(shí)發(fā)現(xiàn)是從數(shù)據(jù)庫中發(fā)現(xiàn)知識(shí)的全部過程.而數(shù)據(jù)化和知識(shí)表示技術(shù)，向用戶提供挖掘的知識(shí)。從這7個(gè)步驟，可以看出，數(shù)據(jù)挖掘只是知(其實(shí)數(shù)據(jù)分析的范圍廣，包含了數(shù)據(jù)挖掘，在這里區(qū)別主要是指統(tǒng)計(jì)分析)據(jù)中提取一定的規(guī)律(即認(rèn)知)往往需要數(shù)據(jù)分析和數(shù)據(jù)挖掘結(jié)合使用。5.第(4)題中所列出的概念有哪些數(shù)學(xué)模型?(寫出這些模型的形式化描述),那些是新近的數(shù)據(jù)分析的模型：(1.)PEST分析模型(2.)5W2H分析模型(3.)邏輯樹分析模型(4.)4P營(1.)PEST分析模型主要針對宏觀市場環(huán)境進(jìn)行分析AHP方法把相互關(guān)聯(lián)的要素按隸屬關(guān)系分為若干層次，請有經(jīng)驗(yàn)的專家對各層次各因素值，作為綜合分析的基礎(chǔ)。例如要比較n個(gè)因素y={yl,y2,…,yn}對目標(biāo)Z的影響，確聚類分析的主要依據(jù)是把相似的樣本歸為一類，而把差異大的樣本區(qū)分開來。在由m個(gè)變量組成為m維的空間中可以用多種方法定義樣本之間的相似性和差異性統(tǒng)計(jì)量。判別分析就是在已知研究對象分為若干類型(組別)并已經(jīng)取得各種類型的一批已知樣快速聚類，系統(tǒng)聚類(3.)關(guān)聯(lián)，apriori算法等(4.)異常值處理。(1.)教育數(shù)據(jù)挖掘及其應(yīng)用。課程通過情況等),教育數(shù)據(jù)挖據(jù)教育數(shù)據(jù)挖據(jù)可可成等數(shù)據(jù)預(yù)處理聚勇身析和用結(jié)學(xué)習(xí)T上與圖1網(wǎng)絡(luò)學(xué)習(xí)過程監(jiān)管的教育數(shù)據(jù)挖掘模型現(xiàn)象上分析，大數(shù)據(jù)所呈現(xiàn)出來的狀態(tài)復(fù)雜多樣，這是因?yàn)楝F(xiàn)象是由據(jù)的結(jié)構(gòu)是一個(gè)多層次、交織關(guān)聯(lián)的復(fù)雜系統(tǒng)結(jié)構(gòu)，數(shù)據(jù)是分布在節(jié)點(diǎn)上的構(gòu)成物質(zhì)，數(shù)據(jù)位于同一個(gè)節(jié)點(diǎn)時(shí)，就可以獲得相同的關(guān)聯(lián)關(guān)系。確度，而迅速地進(jìn)階到數(shù)據(jù)分析的步驟。(不過這種情況當(dāng)然不包括人為因素扭曲了數(shù)據(jù)的情況)7.怎樣使用并行計(jì)算的方法(模型)實(shí)現(xiàn)并行數(shù)據(jù)的處理與分析?p-DOT模型在設(shè)計(jì)時(shí)將BPS模型作為基礎(chǔ)，模型的基本組成是一系列iteration,該模們就可以根據(jù)該函數(shù)計(jì)算出整個(gè)運(yùn)算過程所需要的機(jī)器數(shù)量(這里將最短運(yùn)行時(shí)間作為計(jì)算標(biāo)準(zhǔn));三是該并行計(jì)算模型是可以擴(kuò)展的，模型也自帶容錯(cuò)功能，具有一定的普如模型AlexNet的基礎(chǔ)是卷積神經(jīng)網(wǎng)絡(luò)，其迭代次數(shù)可以達(dá)到45萬，耗費(fèi)系統(tǒng)大量通信開8.什么是數(shù)據(jù)可視化?有哪些可視化方法?有哪些可視化工具?①數(shù)據(jù)空間：是由n維屬性和m個(gè)元素組成的數(shù)據(jù)集所構(gòu)成的多維信息空間；(1)、面積&尺寸可視化對同一類圖形(例如柱狀、圓環(huán)和蜘蛛圖等)的長度、高度或面積加以區(qū)別，來清晰的(2)、顏色可視化(3)、圖形可視化(5)、概念可視化標(biāo)hover展示)。discovery)等。關(guān)系挖掘(relationshipdiscovery)用于發(fā)現(xiàn)數(shù)據(jù)中不同變量(如教育因素的趨勢是允許研究者積累大unstructureddata內(nèi)容排因內(nèi)容排因力空件系牌圖1大數(shù)據(jù)系統(tǒng)流程圖大數(shù)據(jù)系統(tǒng)實(shí)際上就是數(shù)據(jù)的生命周期，即數(shù)據(jù)采集、存儲(chǔ)、查找、分析和可視化的過程，大數(shù)據(jù)系統(tǒng)流程圖，如圖1所示，其中Hadoop是一種開源實(shí)現(xiàn)平臺(tái)，其結(jié)構(gòu)如圖2IntelIntelHadoopManager安裝部客、配置、監(jiān)控、告答和訪問控制Mahout-statistigThyg數(shù)據(jù)能批數(shù)概分析數(shù)據(jù)倉剛分Mag/educe分布式計(jì)算框第Hhase.實(shí)時(shí)、分布式、高維數(shù)據(jù)庫HDFS分都式文件系統(tǒng)數(shù)據(jù)庫同步工第具以及一種社會(huì)狀態(tài)存在狀態(tài)的最為關(guān)鍵性的維度，并且這些維度之間的關(guān)聯(lián)方式是怎樣的能聚合模型(用于特定的分析對象)以及數(shù)據(jù)的標(biāo)簽化技術(shù)，是大數(shù)據(jù)分析的技術(shù)關(guān)鍵。六個(gè)步驟，如圖3所示，一是學(xué)生使用在線系統(tǒng)進(jìn)行學(xué)習(xí)；二是系統(tǒng)收集和記錄學(xué)生的在線學(xué)習(xí)行為，存入數(shù)據(jù)庫；三是進(jìn)行數(shù)據(jù)分析和處理、預(yù)測學(xué)生的學(xué)業(yè)表現(xiàn)；四是對預(yù)測和反饋結(jié)果進(jìn)行可視化處理；五是提供適合學(xué)生個(gè)人的學(xué)習(xí)材料；六是教師、管理人員和5-←-得優(yōu)秀學(xué)業(yè)表