基于數(shù)據(jù)倉庫的高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺研究

基于數(shù)據(jù)倉庫高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺研究第1頁提要

背景需求分析平臺設(shè)計(jì)平臺實(shí)現(xiàn)平臺布署第2頁背景

各高校建成信息管理系統(tǒng)越來越多，海量數(shù)據(jù)背后隱藏著許多主要信息，是學(xué)校正常運(yùn)轉(zhuǎn)關(guān)鍵資源，以靈活便捷方式對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析，進(jìn)而為高校管理與決議提供支持需求日益強(qiáng)烈第3頁背景

商業(yè)智能(BI,

business

intelligence)

Gartner

Group,

Howard

Dresner,

1996：一類由

數(shù)據(jù)倉庫(或數(shù)據(jù)集市)、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成，以幫助企業(yè)決議為目標(biāo)技術(shù)及其應(yīng)用。第4頁背景

微軟BI體系框架第5頁背景

IBMBI體系框架第6頁背景

建立BI系統(tǒng)基本步驟包含：

確認(rèn)和解讀數(shù)據(jù)源；

進(jìn)行數(shù)據(jù)采集和存放管理；

構(gòu)建模型并在此基礎(chǔ)上分析數(shù)據(jù)第7頁背景

商業(yè)智能基礎(chǔ)是數(shù)據(jù)倉庫(DW

,

Data

Warehouse)

數(shù)據(jù)倉庫是一個(gè)面向主題、集成、相對穩(wěn)定、反應(yīng)歷史改變數(shù)據(jù)集合。

數(shù)據(jù)倉庫為有效地為BI系統(tǒng)提供了全局一致數(shù)據(jù)環(huán)境，也為歷史數(shù)據(jù)綜合數(shù)據(jù)處理提出了一個(gè)行之有效處理方法。第8頁背景

國外:BI應(yīng)用已經(jīng)進(jìn)入了數(shù)據(jù)分析階段，有些已經(jīng)積累了高端數(shù)據(jù)挖掘經(jīng)驗(yàn)；

國內(nèi):BI應(yīng)用則還停留在數(shù)據(jù)整合初級階段，應(yīng)用主要領(lǐng)域集

中在電信、保險(xiǎn)、銷售等行業(yè)，

國內(nèi)高校情況不容樂觀：

數(shù)據(jù)分散在不一樣源系統(tǒng)中，數(shù)據(jù)規(guī)范性和共享性還存在很大問題；

數(shù)據(jù)統(tǒng)計(jì)和分析基本上是基于單個(gè)系統(tǒng)中操作型數(shù)據(jù)進(jìn)行，既不能反應(yīng)出不一樣系統(tǒng)之間數(shù)據(jù)關(guān)聯(lián)，又缺乏對數(shù)據(jù)全局把握；還會(huì)因?yàn)椴僮餍蛿?shù)據(jù)動(dòng)態(tài)性和分散性影響統(tǒng)計(jì)結(jié)果準(zhǔn)確性，也無法對歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析。第9頁背景

要建立高校BI應(yīng)用，滿足為高校管理與決議提供支持需求，首先必須打破不一樣應(yīng)用系統(tǒng)之間“藩籬”，建立全局一致數(shù)據(jù)倉庫，將操作型數(shù)據(jù)轉(zhuǎn)換為靜態(tài)、穩(wěn)定、規(guī)范化、能夠反應(yīng)歷史分析型數(shù)據(jù)，然后在此基礎(chǔ)上搭建統(tǒng)一數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺。第10頁需求分析

數(shù)據(jù)統(tǒng)計(jì)需求按用途不一樣分為2類：

一是以年報(bào)表或者季度報(bào)表形式上報(bào)上級部門統(tǒng)計(jì)數(shù)據(jù)，有著固定報(bào)表格式、復(fù)雜報(bào)表內(nèi)容、專門統(tǒng)計(jì)口徑，有報(bào)表甚至還有嚴(yán)格填報(bào)流程；

二是部門日常所需要統(tǒng)計(jì)數(shù)據(jù)，往往和某種類型詳細(xì)業(yè)務(wù)相關(guān)，和第一類需求相比，統(tǒng)計(jì)數(shù)據(jù)格式和內(nèi)容比較簡單，沒有復(fù)雜填報(bào)流程，但時(shí)間粒度要求更細(xì)，要以月報(bào)表、周報(bào)表乃至日報(bào)表形式提供統(tǒng)計(jì)結(jié)果，而且要求提供數(shù)據(jù)鉆取功效。第11頁需求分析

這些需要統(tǒng)計(jì)數(shù)據(jù)包括高校人事、學(xué)生、科研、教學(xué)等各個(gè)領(lǐng)域，每個(gè)領(lǐng)域下面又細(xì)分為了很多不一樣細(xì)類，詳細(xì)如圖1所表示。第12頁平臺設(shè)計(jì)

總體架構(gòu)

數(shù)據(jù)倉庫建模

統(tǒng)計(jì)數(shù)據(jù)模型第13頁總體架構(gòu)

高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺由源系統(tǒng)、數(shù)據(jù)倉庫和統(tǒng)計(jì)平臺三部分組成。第14頁總體架構(gòu)

源系統(tǒng)：高校業(yè)務(wù)包括數(shù)據(jù)源比較廣泛，主要有些人事系統(tǒng)、教務(wù)系統(tǒng)、碩士系統(tǒng)、科研系統(tǒng)等，再加上校園網(wǎng)之外一些其它外部數(shù)據(jù)源，組成了數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺數(shù)據(jù)基礎(chǔ)，因?yàn)橄到y(tǒng)業(yè)務(wù)職能和詳細(xì)需求不一樣，在實(shí)現(xiàn)時(shí)會(huì)選取不一樣數(shù)據(jù)庫，數(shù)據(jù)結(jié)構(gòu)也可能存在較大差異，從而造成數(shù)據(jù)間有較大異構(gòu)性和不一致性。第15頁總體架構(gòu)

數(shù)據(jù)倉庫：數(shù)據(jù)倉庫全方面接收源系統(tǒng)數(shù)據(jù)，ETL進(jìn)程對數(shù)據(jù)進(jìn)行規(guī)范化、驗(yàn)證、清洗，并最終裝載進(jìn)入數(shù)據(jù)集市，經(jīng)過數(shù)據(jù)集市支持系統(tǒng)進(jìn)行數(shù)據(jù)查詢、分析；整個(gè)數(shù)據(jù)倉庫包含四大層次：

復(fù)制層(SSA,

system-of-records-staging-area)

原子層(SOR,

system-of-record)

匯總層(SMA,

summary-area)

集市層(DM,

data

mart)第16頁總體架構(gòu)

復(fù)制層(SSA,

system-of-records-staging-area)：直接復(fù)制源系統(tǒng)數(shù)據(jù)，盡可能保持業(yè)務(wù)數(shù)據(jù)原貌；與源系統(tǒng)數(shù)據(jù)唯一不一樣是，復(fù)制層中數(shù)據(jù)在源系統(tǒng)數(shù)據(jù)基礎(chǔ)上加入了時(shí)間戳信息，形成了多個(gè)版本歷史數(shù)據(jù)信息；

原子層(SOR,

system-of-record)：基于模型開發(fā)一套

符合3NF范式規(guī)則表結(jié)構(gòu)，它存放了數(shù)據(jù)倉庫內(nèi)最細(xì)層次數(shù)據(jù)，并按照不一樣主題域?qū)?shù)據(jù)分類存放；依據(jù)當(dāng)前部分需求，將全校數(shù)據(jù)在原子層中按人事、學(xué)生、教學(xué)、科研四大主題存放；原子層是整個(gè)數(shù)據(jù)倉庫關(guān)鍵和基礎(chǔ)，在設(shè)計(jì)過程中應(yīng)含有足夠靈活性，以能應(yīng)對添加更多數(shù)據(jù)源、支持更多分析需求，同時(shí)能夠支持深入升級和更新；第17頁總體架構(gòu)

匯總層(SMA,

summary-area)：匯總層是原子層和集市層中間過渡，因?yàn)樵訉訑?shù)據(jù)是高度規(guī)范化數(shù)據(jù)，所以要完成一個(gè)查詢需要大量關(guān)聯(lián)工作，同時(shí)集市層中數(shù)據(jù)粒度往往要比原子層高很多，對要生成集市層中匯總數(shù)據(jù)需要進(jìn)行大量匯總工作，所以，匯總層依據(jù)需求把原子層數(shù)據(jù)進(jìn)行適度反范（比如，設(shè)計(jì)寬表結(jié)構(gòu)將人員信息、干部信息等多個(gè)表數(shù)據(jù)合并起來）和匯總（比如，一些慣用人頭匯總、機(jī)構(gòu)匯總等）；從而提升數(shù)據(jù)倉庫查詢性能。第18頁總體架構(gòu)

集市層(DM,

data

mart)：集市層保留數(shù)據(jù)是供用戶直接訪問；能夠?qū)⒓袑恿私獬勺罱K用戶直接最終想要看數(shù)據(jù)；集市層主要是各類粒度事實(shí)數(shù)據(jù)，經(jīng)過提供不一樣粒度數(shù)據(jù)，適應(yīng)不一樣數(shù)據(jù)訪問需求；集市層中數(shù)據(jù)以2種不一樣類型存放：一類以星型模型建設(shè)，便于部門日常靈活查詢和統(tǒng)計(jì)，另一類按寬表以及重新組織適應(yīng)固定報(bào)表表結(jié)構(gòu)存放，便于高校年統(tǒng)和季度統(tǒng)計(jì)工作。第19頁總體架構(gòu)

統(tǒng)計(jì)平臺：高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺采取B/S架構(gòu)3層體系結(jié)構(gòu)，即：數(shù)據(jù)操作層、邏輯層、表示層。

數(shù)據(jù)操作層

邏輯層

表示層第20頁總體架構(gòu)

數(shù)據(jù)操作層：充分考慮系統(tǒng)高可用性，數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺與數(shù)據(jù)倉庫所使用數(shù)據(jù)庫相互獨(dú)立，由此確保數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺對數(shù)據(jù)進(jìn)行加工處理時(shí)不會(huì)影響數(shù)據(jù)倉庫中數(shù)據(jù)；數(shù)據(jù)存取模塊實(shí)現(xiàn)對數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺數(shù)據(jù)訪問。第21頁總體架構(gòu)

邏輯層：分為報(bào)表預(yù)定義、報(bào)表查詢、報(bào)表生成、報(bào)表填報(bào)、報(bào)表審核及報(bào)表匯總等模塊；每個(gè)模塊分別實(shí)現(xiàn)不一樣功效；在統(tǒng)計(jì)平臺中，不一樣身份用戶其功效權(quán)限和數(shù)據(jù)權(quán)限是不一樣：報(bào)表預(yù)定義是給系統(tǒng)管理員用；報(bào)表生成、報(bào)表填報(bào)是給院系管理人員使用，只能查看和操作本院系數(shù)據(jù)；報(bào)表審核、報(bào)表匯總是給學(xué)校相關(guān)部門管理人員用，能夠操作全校數(shù)據(jù)；功效權(quán)限和數(shù)據(jù)權(quán)限經(jīng)過公用層與身份認(rèn)證服務(wù)平臺對接，統(tǒng)一進(jìn)行管理第22頁總體架構(gòu)

表示層：提供交互界面給用戶使用，另外還提供一些服務(wù)接口供其它系統(tǒng)調(diào)用第23頁數(shù)據(jù)倉庫建模

當(dāng)前較為流行數(shù)據(jù)倉庫建模方法較多，慣用有

Inmon所提倡范式建模法和Kimball所提倡維度建模法。第24頁數(shù)據(jù)倉庫建模

維度建模法針對各個(gè)維做了大量預(yù)處理，經(jīng)過這些預(yù)處理能夠極大地提升數(shù)據(jù)倉庫處理能力，相對于范式建模法來說，在性能上占據(jù)了顯著優(yōu)勢；同時(shí)維度建模非常直觀，緊緊圍繞著業(yè)務(wù)模型，能夠直觀地反應(yīng)出業(yè)務(wù)模型中業(yè)務(wù)問題。不需要經(jīng)過尤其抽象處理即能夠完成維度建模。所以高校數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺數(shù)據(jù)倉庫采取維度建模方式構(gòu)建。

維度建模法采取事實(shí)表—維表方式來構(gòu)建數(shù)據(jù)倉庫，數(shù)據(jù)集市、事實(shí)表存放實(shí)際數(shù)據(jù)，維表存放事實(shí)表中對象屬性，事實(shí)表和維表關(guān)聯(lián)關(guān)系慣用是“星型模型”。第25頁數(shù)據(jù)倉庫建模

維度建模步驟

結(jié)合詳細(xì)需求確定分析主題，結(jié)合高校主要業(yè)務(wù)定義了一個(gè)公共維

度主題和人事、學(xué)生、教學(xué)、科研4個(gè)業(yè)務(wù)主題：公共維度包含時(shí)間維、地理維、國家標(biāo)準(zhǔn)及校標(biāo)，時(shí)間維和地理維在不一樣應(yīng)用場景能夠使用視圖形式轉(zhuǎn)換為詳細(xì)分析維度，國家標(biāo)準(zhǔn)和校標(biāo)主要用來處理在數(shù)據(jù)集成過程中一致性問題；人事主題關(guān)鍵內(nèi)容是教師基本情況，詳細(xì)分析主體有收入、崗位、職稱以及出色人才等；學(xué)生主題關(guān)鍵內(nèi)容是在校生基本情況，詳細(xì)分析主題有招生、成績、獎(jiǎng)懲、異動(dòng)、就業(yè)等；科研主題主要分析全校師生科研結(jié)果完成情況，根據(jù)實(shí)際業(yè)務(wù)能夠納入全部科研結(jié)果，如項(xiàng)目、論文、著作、專利、學(xué)術(shù)活動(dòng)等；教學(xué)主題以教學(xué)活動(dòng)相關(guān)內(nèi)容為主，如課程計(jì)劃、教學(xué)任務(wù)、選課、教學(xué)工作量等。第26頁數(shù)據(jù)倉庫建模

確定分析粒度，通俗地說就是分析對象詳細(xì)程度。為了滿足分析可擴(kuò)展性及需求多樣性，以最小粒度來設(shè)計(jì)數(shù)據(jù)模型總是能到達(dá)最好分析效果，如：統(tǒng)計(jì)每個(gè)學(xué)生明細(xì)情況、統(tǒng)計(jì)每項(xiàng)科研結(jié)果詳細(xì)情況。第27頁數(shù)據(jù)倉庫建模

設(shè)計(jì)維表，維度是統(tǒng)計(jì)和分析數(shù)據(jù)角度，與統(tǒng)計(jì)查詢參數(shù)相對應(yīng)。在選取維度時(shí)應(yīng)該將實(shí)體作為一個(gè)對象，把與該對象相關(guān)全部主要屬性都提取出來作為獨(dú)立維度。第28頁數(shù)據(jù)倉庫建模

設(shè)計(jì)事實(shí)表，為了跟蹤含有生命周期活動(dòng)數(shù)據(jù)改變過程以保留歷史信息，設(shè)計(jì)事實(shí)表時(shí)使用遲緩改變維方法以捕獲改變數(shù)據(jù)。事實(shí)表中版本、開始時(shí)間和結(jié)束時(shí)間3個(gè)字段是實(shí)現(xiàn)遲緩改變關(guān)鍵。版本表示同一事物歷史狀態(tài)順序，開始時(shí)間和結(jié)束時(shí)間表示在該段時(shí)間內(nèi)該事物處于某一狀態(tài)，每一條數(shù)據(jù)結(jié)束時(shí)間等于新數(shù)據(jù)開始時(shí)間，這么該事物不一樣時(shí)間段狀態(tài)就分布在一條時(shí)間軸上，從而能夠得到任一時(shí)間點(diǎn)該事物狀態(tài)信息第29頁數(shù)據(jù)倉庫建模第30頁統(tǒng)計(jì)數(shù)據(jù)模型

確定統(tǒng)計(jì)相關(guān)星型模型，即數(shù)據(jù)統(tǒng)計(jì)針正確是事實(shí)表中間那些事實(shí)，包括到哪些統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)粒度怎樣。

確定報(bào)表中詳細(xì)每一行和每一列分別代表統(tǒng)計(jì)指標(biāo)，統(tǒng)計(jì)指標(biāo)簡單地說即維度取值，每個(gè)統(tǒng)計(jì)指標(biāo)對應(yīng)到維表中是某個(gè)維度取某個(gè)值，也有可能是多個(gè)維度取值累加。

確定單元格統(tǒng)計(jì)方法，每個(gè)單元格統(tǒng)計(jì)指標(biāo)應(yīng)該是其對應(yīng)行、列所代表維度取值并集。

將維度轉(zhuǎn)化為可執(zhí)行查詢語句，去事實(shí)表中查詢出對應(yīng)統(tǒng)計(jì)數(shù)據(jù)和事實(shí)數(shù)據(jù)，為了方便，在數(shù)據(jù)統(tǒng)計(jì)服務(wù)平臺報(bào)表數(shù)據(jù)庫中還能夠?qū)⒉樵兊浇y(tǒng)計(jì)結(jié)果固化，以數(shù)據(jù)庫表形式存放下來。第31頁統(tǒng)計(jì)數(shù)據(jù)模型

將1張業(yè)務(wù)報(bào)表拆分為5張配置表，它們分別是指標(biāo)表、維表、維值表、行列表、指標(biāo)維度組合表；最終計(jì)算得到結(jié)果存放在指標(biāo)數(shù)據(jù)表中。第32頁平臺實(shí)現(xiàn)

ETL處理

前臺展示第33頁ETL處理

ETL(extraction-transformation-loading)負(fù)責(zé)將分散、異構(gòu)數(shù)據(jù)源中數(shù)據(jù)抽取到暫時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最終加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中。ETL是實(shí)施數(shù)據(jù)倉庫關(guān)鍵和靈魂，ETL規(guī)則設(shè)計(jì)和實(shí)施約占整個(gè)數(shù)據(jù)倉庫搭建工作量60%～80%。第34頁ETL處理

數(shù)據(jù)抽取

包含初始化數(shù)據(jù)裝載和數(shù)據(jù)刷新：初始化數(shù)據(jù)裝載主要關(guān)注是怎樣建立維表、事實(shí)表，并把對應(yīng)數(shù)據(jù)放到這些數(shù)據(jù)表中，在數(shù)據(jù)倉庫建模小節(jié)中已經(jīng)做了詳細(xì)介紹；而數(shù)據(jù)刷新關(guān)注是當(dāng)源數(shù)據(jù)發(fā)生改變時(shí)怎樣對數(shù)據(jù)倉庫中對應(yīng)數(shù)據(jù)進(jìn)行追加和更新等維護(hù)第35頁ETL處理

觸發(fā)器方式（又稱為快照式）來實(shí)現(xiàn)數(shù)據(jù)刷新，詳細(xì)來說就是：在SSA層需

要抽取數(shù)據(jù)數(shù)據(jù)表上建立了插入、修改、刪除3個(gè)觸發(fā)器（trigger），每

當(dāng)源數(shù)據(jù)庫中數(shù)據(jù)表中數(shù)據(jù)發(fā)生改變時(shí)，復(fù)制到SSA數(shù)據(jù)也會(huì)對應(yīng)發(fā)生

改變，對應(yīng)觸發(fā)器將改變數(shù)據(jù)寫入一個(gè)暫時(shí)區(qū)（buffer）；在數(shù)據(jù)庫層

定義了一系列作業(yè)（job）和存放過程（procedure）：作業(yè)要求了包含

數(shù)據(jù)刷新頻率和數(shù)據(jù)刷新先后次序在內(nèi)一系列任務(wù)調(diào)度策略，調(diào)用對應(yīng)存

儲過程從暫時(shí)表中抽取需要刷新數(shù)據(jù)，暫時(shí)表中抽取過數(shù)據(jù)被標(biāo)識或刪除；

觸發(fā)器方式好處是：數(shù)據(jù)抽取性能高、規(guī)則簡單，對于編程人員來說易于上手，尤其適合北京大學(xué)數(shù)據(jù)倉庫現(xiàn)有規(guī)模還較小特點(diǎn)，是一個(gè)簡單易行好方法；但伴隨以后數(shù)據(jù)倉庫規(guī)模越來越大，數(shù)據(jù)表越來越多，需要編寫觸發(fā)器、存放過程和作業(yè)就越來越多，可能會(huì)不利于管理第36頁ETL處理

數(shù)據(jù)清洗

主要是針對源數(shù)據(jù)庫中出現(xiàn)二義性、重復(fù)、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問題數(shù)據(jù)進(jìn)行統(tǒng)一處理，下表列出了北京大學(xué)在對業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)清洗時(shí)發(fā)覺幾類最常見問題及針對這些問題所采取策略。第37頁ETL處理

數(shù)據(jù)轉(zhuǎn)換

主要是為了將數(shù)據(jù)清洗后數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫所需要數(shù)據(jù)：來源于不一樣源系統(tǒng)同一數(shù)據(jù)字段數(shù)據(jù)字典或者數(shù)據(jù)格式可能不一樣，在數(shù)據(jù)倉庫中需要給它們提供統(tǒng)一數(shù)據(jù)字典和格式，對數(shù)據(jù)內(nèi)容進(jìn)行歸一化；其次，數(shù)據(jù)倉庫所需要某些字段內(nèi)容可能是源系統(tǒng)所不具備，而是需要根據(jù)源系統(tǒng)中多個(gè)字段內(nèi)容共同確定；

比如，數(shù)據(jù)倉庫中人員類型“事業(yè)單位專業(yè)技術(shù)人員”實(shí)際上是

依據(jù)人事表中“編制類型=事業(yè)單位”、“崗位級別=985”而且

“人員類別=在職職員”等多個(gè)字段內(nèi)容共同得出，像這么字段形成也依賴于數(shù)據(jù)轉(zhuǎn)換第38頁ETL處理

考查工具

ColverETL:開源ETL工具，無償版本支持連接組件太少（Pass）

Kettle:

功效完善，組件齊全處理平臺

Talend:

功效完善，組件齊全處理平臺

Jitterbit:

ETL工具，不過功效比較簡單，維護(hù)、日志、監(jiān)控等功效缺乏

Apatar:

ETL工具，非服務(wù)器結(jié)構(gòu)，適合單機(jī)版本開發(fā)小ETL程序

OpenDigger：ETL工具，非圖形化接口

Spring

batch：主要用于實(shí)現(xiàn)調(diào)度平臺，配置方法和spring工具第39頁ETL處理第40頁ETL處理

Kettle優(yōu)勢

LGPL

License限制較為寬松無償Repository使得版本管理和代碼