第三章-數(shù)據(jù)分類匯總分析

第三章數(shù)據(jù)分類匯總分析Client\Server結(jié)構(gòu)Client:聯(lián)機(jī)事物處理(OLTP)Server:聯(lián)機(jī)分析處理(OLAP)內(nèi)容簡介聯(lián)機(jī)分析處理數(shù)據(jù)分類匯總分析的意義和作用數(shù)據(jù)分類匯總的三種方法數(shù)據(jù)透視表2預(yù)備知識：聯(lián)機(jī)分析處理當(dāng)今的數(shù)據(jù)處理大致可以分成兩大類：聯(lián)機(jī)事務(wù)處理OLTP（on-linetransactionprocessing）、聯(lián)機(jī)分析處理OLAP（On-LineAnalyticalProcessing）。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫的主要應(yīng)用，主要是基本的、日常的事務(wù)處理，例如銀行交易。OLAP是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。3數(shù)據(jù)倉庫抽取轉(zhuǎn)換加載更新OLAP引擎分析查詢報表數(shù)據(jù)挖掘監(jiān)測集成元數(shù)據(jù)數(shù)據(jù)源(OLTP)前端工具數(shù)據(jù)集市操作數(shù)據(jù)庫其它數(shù)據(jù)源數(shù)據(jù)存儲OLAP服務(wù)器數(shù)據(jù)倉庫的體系結(jié)構(gòu)圖5聯(lián)機(jī)事務(wù)處理系統(tǒng)(OLTP)OLTP也稱為面向交易的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計算中心進(jìn)行處理，并在很短的時間內(nèi)給出處理結(jié)果。這樣做的最大優(yōu)點是可以即時地處理輸入的數(shù)據(jù)，及時地回答,也稱為實時系統(tǒng)。衡量聯(lián)機(jī)事務(wù)處理系統(tǒng)的一個重要性能指標(biāo)是系統(tǒng)性能，具體體現(xiàn)為實時響應(yīng)時間，即用戶在終端上送入數(shù)據(jù)之后，到計算機(jī)對這個請求給出答復(fù)所需要的時間。OLTP數(shù)據(jù)庫旨在使事務(wù)應(yīng)用程序僅寫入所需的數(shù)據(jù)，以便盡快處理單個事務(wù)。6OLTP系統(tǒng)中的數(shù)據(jù)主要被組織為支持如下事務(wù)：記錄來自銷售點終端或通過網(wǎng)站輸入的訂單。當(dāng)庫存量降到指定級別時，訂購更多的貨物。在制造廠中將零部件組裝為成品時對零部件進(jìn)行跟蹤。記錄雇員數(shù)據(jù)。7隨著數(shù)據(jù)庫技術(shù)的廣泛應(yīng)用，企業(yè)信息系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，如何從這些海量數(shù)據(jù)中提取對企業(yè)決策分析有用的信息成為企業(yè)決策管理人員所面臨的重要難題。傳統(tǒng)的企業(yè)數(shù)據(jù)庫系統(tǒng)(管理信息系統(tǒng))即聯(lián)機(jī)事務(wù)處理系統(tǒng)（On-LineTransactionProcessing,簡稱OLTP）作為數(shù)據(jù)管理手段，主要用于事務(wù)處理，但它對分析處理的支持一直不能令人滿意。數(shù)據(jù)倉庫（DataWarehouse）技術(shù)就是在這樣的背景下發(fā)展起來的。8業(yè)界公認(rèn)的數(shù)據(jù)倉庫概念創(chuàng)始人W.H.Inmon在《BuildingtheDataWarehouse》一書中對數(shù)據(jù)倉庫的定義是：“數(shù)據(jù)倉庫是支持管理決策過程的、面向主題的、集成的、隨時間變化的持久的數(shù)據(jù)集合”。ETL:構(gòu)建數(shù)據(jù)倉庫的過程就是根據(jù)預(yù)先設(shè)計好的邏輯模式從分布在企業(yè)內(nèi)部各處的OLTP數(shù)據(jù)庫中提取數(shù)據(jù)并對經(jīng)過必要的變換最終形成全企業(yè)統(tǒng)一模式數(shù)據(jù)的過程。9聯(lián)機(jī)分析處理(OLAP)聯(lián)機(jī)分析處理（OLAP）系統(tǒng)是數(shù)據(jù)倉庫系統(tǒng)最主要的應(yīng)用，專門設(shè)計用于支持復(fù)雜的分析操作，側(cè)重對決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)（公司）的經(jīng)營狀況，了解對象的需求，制定正確的方案。10聯(lián)機(jī)分析處理具有靈活的分析功能、直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu)點，從而使用戶對基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效，以利于迅速做出正確判斷。它可用于證實人們提出的復(fù)雜的假設(shè)，其結(jié)果是以圖形或者表格的形式來表示的對信息的總結(jié)。11OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息進(jìn)行快速、一致、交互地存取,從而獲得對數(shù)據(jù)的更深入了解的一類技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定的查詢和報表需求,它的技術(shù)核心是"維"這個概念。“維”是人們觀察客觀世界的角度,是一種高層次的類型劃分?！熬S”一般包含著層次關(guān)系,這種層次關(guān)系有時會相當(dāng)復(fù)雜。通過把一個實體的多項重要的屬性定義為多個維(dimension)，使用戶能對不同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。12在過去的二十年中，大量的企業(yè)利用關(guān)系型數(shù)據(jù)庫來存儲和管理業(yè)務(wù)數(shù)據(jù)，并建立相應(yīng)的應(yīng)用系統(tǒng)來支持日常業(yè)務(wù)運作。這種應(yīng)用以支持業(yè)務(wù)處理為主要目的，被稱為聯(lián)機(jī)事務(wù)處理(OLTP)應(yīng)用，它所存儲的數(shù)據(jù)被稱為操作數(shù)據(jù)或者業(yè)務(wù)數(shù)據(jù)。隨著市場競爭的日趨激烈，企業(yè)更加強(qiáng)調(diào)決策的及時性和準(zhǔn)確性，這使得以支持決策管理分析為主要目的的應(yīng)用迅速崛起，這類應(yīng)用被稱為聯(lián)機(jī)分析處理(OLAP)，它所存儲的數(shù)據(jù)被稱為信息數(shù)據(jù)。13聯(lián)機(jī)分析處理的用戶是企業(yè)中的專業(yè)分析人員及管理決策人員，他們在分析業(yè)務(wù)經(jīng)營的數(shù)據(jù)時，從不同的角度來審視業(yè)務(wù)的衡量指標(biāo)是一種很自然的思考模式。例如分析銷售數(shù)據(jù)，可能會綜合時間周期、產(chǎn)品類別、分銷渠道、地理分布、客戶群類等多種因素來考量。這些分析角度雖然可以通過報表來反映，但每一個分析的角度可以生成一張報表，各個分析角度的不同組合又可以生成不同的報表，使得IT人員的工作量相當(dāng)大，而且往往難以跟上管理決策人員思考的步伐。14聯(lián)機(jī)分析處理的主要特點，是直接仿照用戶的多角度思考模式，預(yù)先為用戶組建多維的數(shù)據(jù)模型，維指的是用戶的分析角度。例如對銷售數(shù)據(jù)的分析，時間周期是一個維度，產(chǎn)品類別、分銷渠道、地理分布、客戶群類也分別是一個維度。一旦多維數(shù)據(jù)模型建立完成，用戶可以快速地從各個分析角度獲取數(shù)據(jù)，也能動態(tài)的在各個角度之間切換或者進(jìn)行多角度綜合分析，具有極大的分析靈活性。這也是聯(lián)機(jī)分析處理被廣泛關(guān)注的根本原因，它從設(shè)計理念和真正實現(xiàn)上都與舊有的管理信息系統(tǒng)有著本質(zhì)的區(qū)別。15事實上，隨著數(shù)據(jù)倉庫理論的發(fā)展，數(shù)據(jù)倉庫系統(tǒng)已逐步成為新型的決策管理信息系統(tǒng)的解決方案。數(shù)據(jù)倉庫系統(tǒng)的核心是聯(lián)機(jī)分析處理，但數(shù)據(jù)倉庫包括更為廣泛的內(nèi)容。概括來說，數(shù)據(jù)倉庫系統(tǒng)是指具有綜合企業(yè)數(shù)據(jù)的能力，能夠?qū)Υ罅科髽I(yè)數(shù)據(jù)進(jìn)行快速和準(zhǔn)確分析，輔助做出更好的商業(yè)決策的系統(tǒng)。它本身包括三部分內(nèi)容：161、數(shù)據(jù)層：實現(xiàn)對企業(yè)操作數(shù)據(jù)的抽取、轉(zhuǎn)換、清洗和匯總，形成信息數(shù)據(jù)，并存儲在企業(yè)級的中心信息數(shù)據(jù)庫中。2、應(yīng)用層：通過聯(lián)機(jī)分析處理，甚至是數(shù)據(jù)挖掘等應(yīng)用處理，實現(xiàn)對信息數(shù)據(jù)的分析。3、表現(xiàn)層：通過前臺分析工具，將查詢報表、統(tǒng)計分析、多維聯(lián)機(jī)分析和數(shù)據(jù)挖掘的結(jié)論展現(xiàn)在用戶面前。17從應(yīng)用角度來說，數(shù)據(jù)倉庫系統(tǒng)除了聯(lián)機(jī)分析處理外，還可以采用傳統(tǒng)的報表，或者采用數(shù)理統(tǒng)計和人工智能等數(shù)據(jù)挖掘手段，涵蓋的范圍更廣；就應(yīng)用范圍而言，聯(lián)機(jī)分析處理往往根據(jù)用戶分析的主題進(jìn)行應(yīng)用分割，例如：銷售分析、市場推廣分析、客戶利潤率分析等等，每一個分析的主題形成一個OLAP應(yīng)用，而所有的OLAP應(yīng)用實際上只是數(shù)據(jù)倉庫系統(tǒng)的一部分。18第一節(jié)數(shù)據(jù)分類匯總分析的意義和作用獲得銷售額分類匯總值獲得各類銷售額排行榜獲得各類銷售額的時間序列獲得各經(jīng)濟(jì)量之間的相關(guān)性獲得各種產(chǎn)品需求量的頻率分布19一.獲得銷售額分類匯總值利用分類匯總，可以獲得不同地區(qū)的銷售額、不同類別產(chǎn)品的庫存量、不同生產(chǎn)人員的次品數(shù)量、不同客戶的運貨費、不同類型貸款的客戶數(shù)等信息20二.獲得各類銷售額排行榜利用分類匯總，企業(yè)可以獲得銷售額排行榜、各種商品質(zhì)量指標(biāo)排行榜、銷售人員完成銷售任務(wù)排行榜、各種產(chǎn)品庫存量與庫存積壓資金排行榜……21三.

獲得各類銷售額的時間序列利用分類匯總，企業(yè)可以獲得某產(chǎn)品銷售數(shù)量的時間序列、某地區(qū)銷售額的時間序列或客戶訂貨量的時間序列……22四.獲得各經(jīng)濟(jì)量之間的相關(guān)性利用分類匯總，企業(yè)可以獲得獲得各經(jīng)濟(jì)量之間的相關(guān)性信息……23五.獲得各種產(chǎn)品需求量的頻率分布利用分類匯總，企業(yè)可以獲得獲得獲得各種產(chǎn)品需求量的頻率分布……24第二節(jié)數(shù)據(jù)分類匯總的方法數(shù)據(jù)透視表：小數(shù)據(jù)Tableau：大數(shù)據(jù)25一.

Excel數(shù)據(jù)列表功能數(shù)據(jù)列表被定義為“包含相關(guān)數(shù)據(jù)的一系列工作表數(shù)據(jù)行”。數(shù)據(jù)列表的首行為字段名，首行下的各行是各個記錄。數(shù)據(jù)列表中不能出現(xiàn)空行。數(shù)據(jù)列表可以像數(shù)據(jù)庫中的表一樣使用，行對應(yīng)于表中的記錄，列對應(yīng)用于表中的字段。26一.

Excel數(shù)據(jù)列表功能排序功能可以按照某個字段的升序或降序?qū)?shù)據(jù)列表中的所有記錄進(jìn)行排序。篩選功能篩選就是通過設(shè)定條件，挑選出滿足條件的記錄：自動篩選功能；高級篩選功能。高級篩選需首先在工作表中設(shè)定篩選條件。27二.

數(shù)據(jù)透視表PivotTable創(chuàng)建數(shù)據(jù)透視表容易，且可以對數(shù)據(jù)透視表進(jìn)行旋轉(zhuǎn)、變換匯總角度，選擇各種匯總形式，求和、計數(shù)、求平均值等。數(shù)據(jù)透視表使用方便、匯總能力強(qiáng)。28第三節(jié)數(shù)據(jù)透視表數(shù)據(jù)透視表匯總數(shù)據(jù)數(shù)據(jù)透視表的靈活性數(shù)據(jù)透視圖的靈活性利用數(shù)據(jù)透視表生成時間序列統(tǒng)計各銷量組銷售次數(shù)的頻率分布計算百分比29一.數(shù)據(jù)透視表匯總數(shù)據(jù)【例3-3】利用Excel獲取外部數(shù)據(jù)功能，獲取ABC公司2010年的銷售數(shù)據(jù)，使用Excel數(shù)據(jù)透視表功能，制作分類匯總表。30一.數(shù)據(jù)透視表匯總數(shù)據(jù)31三.數(shù)據(jù)透視圖的靈活性創(chuàng)建數(shù)據(jù)透視圖的靈活性利用數(shù)據(jù)列表創(chuàng)建數(shù)據(jù)透視圖；直接創(chuàng)建數(shù)據(jù)透視圖；32數(shù)據(jù)透視表匯總數(shù)據(jù)33四.利用數(shù)據(jù)透視表生成時間序列按照一定時間間隔匯總的數(shù)據(jù)序列，稱為時間序列。時間序列可以幫助企業(yè)了解經(jīng)營狀況、預(yù)測未來的變化趨勢。數(shù)據(jù)透視表能從不同的角度匯總數(shù)據(jù)，它也是生成時間序列的有效工具。34四.利用數(shù)據(jù)透視表生成時間序列【例3-5】利用數(shù)據(jù)透視表，對Northwind公司的銷售數(shù)據(jù)按月匯總各產(chǎn)品的銷售額。35五.統(tǒng)計各銷量組銷售次數(shù)的頻率分布頻率信息可以幫助管理人員預(yù)測未來情況，合理安排生產(chǎn)和銷售活動?！纠?-6】利用數(shù)據(jù)透視表，對Northwind公司的銷售數(shù)據(jù)按照產(chǎn)品、年月匯總，統(tǒng)計各規(guī)模銷量組銷售次數(shù)的頻率分布。36六.計算百分比【例3-7】Northwind公司計劃，根據(jù)客戶總銷售額，將客戶劃分為不同級別。銷售額超過10000元的客戶為重要客戶，10000元以下的為普通客