數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)與實(shí)現(xiàn)

1、數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)第1章 數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)1.1數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)過(guò)程數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)一般從操作型數(shù)據(jù)開(kāi)始，通常需要經(jīng)過(guò)以下幾個(gè)處理過(guò)程；數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)抽取數(shù)據(jù)管理。一、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)根據(jù)決策主題設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)，一般采用星型和雪花模型設(shè)計(jì)其數(shù)據(jù)模型，在設(shè)計(jì)過(guò)程中應(yīng)保證數(shù)據(jù)倉(cāng)庫(kù)的規(guī)范化和體系各元素的必要聯(lián)系。二、數(shù)據(jù)抽取根據(jù)元數(shù)據(jù)庫(kù)中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對(duì)異地異構(gòu)數(shù)據(jù)源進(jìn)行清理、轉(zhuǎn)換、對(duì)數(shù)據(jù)進(jìn)行重新組織和加工，裝載到數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)庫(kù)中。三、數(shù)據(jù)管理數(shù)據(jù)管理分為目標(biāo)數(shù)據(jù)維護(hù)和元數(shù)據(jù)維護(hù)兩方面。目標(biāo)數(shù)據(jù)維護(hù)是根據(jù)元數(shù)據(jù)為所定義的更新頻率、更新數(shù)據(jù)項(xiàng)等更新計(jì)劃任務(wù)來(lái)刷新數(shù)據(jù)倉(cāng)庫(kù)，

2、以反映數(shù)據(jù)源的變化，且對(duì)時(shí)間相關(guān)性進(jìn)行處理。元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的組成部分，元數(shù)據(jù)的質(zhì)量決定整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量。當(dāng)數(shù)據(jù)源的運(yùn)行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護(hù)計(jì)劃發(fā)生變化時(shí)，需要修改元數(shù)據(jù)。1.2需求分析與決策主題的選取通過(guò)對(duì)管理者和各級(jí)別的用戶的數(shù)據(jù)分析需求進(jìn)行調(diào)研，我們收集并整理出了用戶的決策分析需求如下：1.2.1 博士學(xué)位授予信息年度數(shù)據(jù)統(tǒng)計(jì)分析一、按主管部門統(tǒng)計(jì)從主管部門的角度，分析在一個(gè)時(shí)間段（年）內(nèi)，各主管部門所授予的博士學(xué)位信息統(tǒng)計(jì)?？苫卮鹑纭?008，由某部門主管的，博士學(xué)位授予一共有多少，其平均學(xué)習(xí)年限是多少，脫產(chǎn)學(xué)習(xí)的有多少人?”等問(wèn)題。具有表格和圖形兩種方式來(lái)展示分析結(jié)果。典型報(bào)

3、表格式如表 1所示。表 1 200_年度授予博士學(xué)位情況統(tǒng)計(jì)表（按主管部門統(tǒng)計(jì)）主管部門授予人數(shù)其中學(xué)歷博士其中同等學(xué)歷博士其中女平均年齡少數(shù)民族平均學(xué)習(xí)年限其中一級(jí)學(xué)科授予在學(xué)期間成果論文成果專利合計(jì)中國(guó)科學(xué)院財(cái)政部表 1續(xù)200_年度授予博士學(xué)位情況統(tǒng)計(jì)表（按主管部門統(tǒng)計(jì)）學(xué)習(xí)方式錄取類別就業(yè)單位類別脫產(chǎn)半脫產(chǎn)業(yè)余定向非定向機(jī)關(guān)科研、設(shè)計(jì)單位金融單位部隊(duì)待就業(yè)錄取研究生其他二、按性質(zhì)類別統(tǒng)計(jì)三、按地區(qū)統(tǒng)計(jì)四、按單位統(tǒng)計(jì)五、按學(xué)科門類統(tǒng)計(jì)六、按一級(jí)學(xué)科統(tǒng)計(jì)七、 按二級(jí)學(xué)科統(tǒng)計(jì)1.2.2碩士學(xué)位授予信息年度數(shù)據(jù)統(tǒng)計(jì)分析一、按主管部門統(tǒng)計(jì)二、按性質(zhì)類別統(tǒng)計(jì)三、按地區(qū)統(tǒng)計(jì)四、按單位統(tǒng)計(jì)五、按學(xué)科門

4、類統(tǒng)計(jì)六、按一級(jí)學(xué)科統(tǒng)計(jì)七、按二級(jí)學(xué)科統(tǒng)計(jì)1.2.3 學(xué)士學(xué)位授予信息年度數(shù)據(jù)統(tǒng)計(jì)分析一、按主管部門統(tǒng)計(jì)二、按性質(zhì)類別統(tǒng)計(jì)三、按地區(qū)統(tǒng)計(jì)四、按單位統(tǒng)計(jì)五、按學(xué)科門類統(tǒng)計(jì)六、按學(xué)科類別統(tǒng)計(jì)七、按專業(yè)統(tǒng)計(jì)1.3系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)通過(guò)對(duì)當(dāng)前各種主流數(shù)據(jù)倉(cāng)庫(kù)軟件在性能、價(jià)格等方面的對(duì)比，充分考慮統(tǒng)計(jì)業(yè)務(wù)、單位數(shù)量等實(shí)際情況，本系統(tǒng)決定采用SQL Server 2005數(shù)據(jù)倉(cāng)庫(kù)軟件來(lái)構(gòu)建綜合信息分析系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)。本系統(tǒng)服務(wù)器端要求運(yùn)行平臺(tái)為Windows 2003 Server企業(yè)版，客戶端要求Windows XP，瀏覽器為IE6.0；采用SQL Server 2005數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建方案構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，選用

5、Visual Studio.NET2003/SQL Server2005、Rose、Power Designer等開(kāi)發(fā)工具進(jìn)行系統(tǒng)開(kāi)發(fā)。我們?cè)O(shè)計(jì)的綜合信息分析系統(tǒng)構(gòu)架在統(tǒng)計(jì)綜合信息平臺(tái)中，其核心功能表現(xiàn)為通過(guò)數(shù)據(jù)轉(zhuǎn)換技術(shù)，將直報(bào)數(shù)據(jù)庫(kù)及其他數(shù)據(jù)源的數(shù)據(jù)庫(kù)生成利于進(jìn)行分析的、不同于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)倉(cāng)庫(kù)，根據(jù)不同的分析需求建立不同的專題分析數(shù)據(jù)庫(kù)（多維數(shù)據(jù)庫(kù)），最后對(duì)多維數(shù)據(jù)庫(kù)進(jìn)行利用聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘，其架構(gòu)如圖所示。圖 1學(xué)位授予信息統(tǒng)計(jì)系統(tǒng)架構(gòu)在這個(gè)體系結(jié)構(gòu)中，存放于系統(tǒng)數(shù)據(jù)庫(kù)中的業(yè)務(wù)數(shù)據(jù)及外部數(shù)據(jù)源數(shù)據(jù)按照主題通過(guò)ETL工具被抽取到ETL數(shù)據(jù)庫(kù)（數(shù)據(jù)準(zhǔn)備區(qū)），數(shù)據(jù)在ETL數(shù)據(jù)庫(kù)中完成預(yù)

6、處理工作（清洗和轉(zhuǎn)換），再通過(guò)ETL工具加載到數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)后按照維度和事實(shí)存放，采用MS Analysis Serviees作為OLAP服務(wù)器，Analysis Serviees可以方便的定義維度和構(gòu)建OLAP立方體。用戶使用前端的查詢工具、報(bào)表工具、分析工具，就可以訪問(wèn)決策支持系統(tǒng)并分析瀏覽數(shù)據(jù)了。由于數(shù)據(jù)預(yù)處理本身的復(fù)雜性，直接從外部數(shù)據(jù)源把數(shù)據(jù)整合到數(shù)據(jù)倉(cāng)庫(kù)必將導(dǎo)致該過(guò)程即占用許多外部操作型數(shù)據(jù)庫(kù)的資源和時(shí)間，也會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)裝載數(shù)據(jù)的效率。借鑒算法研究中“以空間換時(shí)間”的思想，再結(jié)合目前硬件成本的下降，本系統(tǒng)中，我們?cè)跀?shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)中添加一個(gè)專門進(jìn)行數(shù)據(jù)預(yù)處理的存儲(chǔ)區(qū)

7、域以提高數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)整體性能。在系統(tǒng)設(shè)計(jì)中，應(yīng)注意以下問(wèn)題：一、理順學(xué)位授予信息之間的關(guān)系以及業(yè)務(wù)數(shù)據(jù)是保證數(shù)據(jù)質(zhì)量的關(guān)鍵，抽取信息的質(zhì)量依賴于用戶對(duì)結(jié)果的解釋，容易導(dǎo)致錯(cuò)誤。二、針對(duì)不完整的數(shù)據(jù)、不一致的數(shù)據(jù)、錯(cuò)誤的數(shù)據(jù)以及冗余數(shù)據(jù)確定數(shù)據(jù)處理規(guī)則，即ETL實(shí)施的具體規(guī)則。三、系統(tǒng)監(jiān)控與數(shù)據(jù)管理包括維表的維護(hù)、增量數(shù)據(jù)抽取轉(zhuǎn)換等的控制、系統(tǒng)出錯(cuò)報(bào)警、異常處理、數(shù)據(jù)存儲(chǔ)及訪問(wèn)的安全性、海量數(shù)據(jù)的查詢效率、數(shù)據(jù)各份策略等。四、模型設(shè)計(jì)是系統(tǒng)的基礎(chǔ)和成敗的關(guān)鍵，在實(shí)際操作的過(guò)程中，要注意的問(wèn)題包括主題的確定、分析內(nèi)容的細(xì)化、粒度的設(shè)計(jì)等。1.4系統(tǒng)數(shù)據(jù)邏輯結(jié)構(gòu)設(shè)計(jì)1.4.1基礎(chǔ)層模型設(shè)計(jì)基礎(chǔ)層數(shù)據(jù)

8、用于存放從學(xué)歷教育博士學(xué)位、同等學(xué)力人員申請(qǐng)博士學(xué)位、博士專業(yè)學(xué)位、學(xué)歷教育碩士學(xué)位、同等學(xué)力人員申請(qǐng)碩士學(xué)位、碩士專業(yè)學(xué)位、普通高等教育本科畢業(yè)生學(xué)士學(xué)位、成人高等教育本科畢業(yè)生學(xué)士學(xué)位、來(lái)華留學(xué)本科畢業(yè)生學(xué)士學(xué)位、學(xué)士專業(yè)學(xué)位等數(shù)據(jù)源ETL過(guò)來(lái)的數(shù)據(jù)，這些業(yè)務(wù)數(shù)據(jù)將進(jìn)行整合、組織、重構(gòu)和存放。根據(jù)學(xué)位銀行授予統(tǒng)計(jì)系統(tǒng)需求，基礎(chǔ)層模型包含博士學(xué)位信息主題域、碩士學(xué)位信息主題域、學(xué)士學(xué)位信息主題域。博士學(xué)位授予信息是指主題域存放所授予的博士學(xué)位信息，分為學(xué)歷教育博士學(xué)位、同等學(xué)力人員申請(qǐng)博士學(xué)位、博士專業(yè)學(xué)位。主要的信息有：個(gè)人基本信息、學(xué)科信息、學(xué)位信息、學(xué)位論文信息、前置學(xué)位信息、獲學(xué)位后

9、去向信息等。圖 2學(xué)歷教育博士學(xué)位授予信息基礎(chǔ)層模型碩士學(xué)位授予信息是指主題域存放所授予的碩士學(xué)位信息，分為學(xué)歷教育碩士學(xué)位、同等學(xué)力人員申請(qǐng)碩士學(xué)位、碩士專業(yè)學(xué)位。主要的信息有：個(gè)人基本信息、學(xué)科信息、學(xué)位信息、學(xué)位論文信息、前置學(xué)位信息、獲學(xué)位后去向信息等。學(xué)士學(xué)位授予信息是指主題域存放所授予的學(xué)士學(xué)位信息，分為普通高等教育本科畢業(yè)生學(xué)士學(xué)位、成人高等教育本科畢業(yè)生學(xué)士學(xué)位、來(lái)華留學(xué)本科畢業(yè)生學(xué)士學(xué)位、學(xué)士專業(yè)學(xué)位。主要的信息有：個(gè)人基本信息、學(xué)科信息、學(xué)位信息等。1.4.2匯總層模型設(shè)計(jì)匯總層模型的設(shè)計(jì)需要考慮匯總的粒度問(wèn)題，匯總的粒度不同，能夠回答的業(yè)務(wù)問(wèn)題也不一樣，由于系統(tǒng)數(shù)據(jù)龐大繁

10、雜，學(xué)位授予時(shí)間相對(duì)比較固定，本模型將匯總層模型設(shè)計(jì)為年。該層的設(shè)計(jì)主要考慮數(shù)據(jù)向年度級(jí)別的匯總，解答如某年某主管單位所授予的博士學(xué)位人數(shù)等業(yè)務(wù)問(wèn)題。根據(jù)博士學(xué)位信息授予主題的需求分析，即分析的角度（也叫維度）、指標(biāo)、查詢的內(nèi)容，以博士學(xué)位信息授予主題為例，其匯總層的數(shù)據(jù)模型如圖所示。圖 3學(xué)歷教育博士學(xué)位授予信息匯總層模型1.4.3報(bào)表層模型設(shè)計(jì)報(bào)表層數(shù)據(jù)是用于存放學(xué)位授予信息統(tǒng)計(jì)系統(tǒng)中固定報(bào)表統(tǒng)計(jì)數(shù)據(jù)，同時(shí)也是靈活查詢的數(shù)據(jù)源。這些數(shù)據(jù)是根據(jù)報(bào)表業(yè)務(wù)規(guī)則，從基礎(chǔ)層和匯總層統(tǒng)計(jì)而出，本模型主要包括內(nèi)容有：授予博士學(xué)位信息統(tǒng)計(jì)表、授予碩士學(xué)位信息統(tǒng)計(jì)表、授予學(xué)士學(xué)位信息統(tǒng)計(jì)表。以博士學(xué)位信息統(tǒng)

11、計(jì)主題為例，其博士學(xué)位信息報(bào)表層的數(shù)據(jù)模型如圖所示。圖 4學(xué)歷教育博士學(xué)位授予信息（按主管部門統(tǒng)計(jì)）報(bào)表層模型1.5數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)為滿足決策分析的需要，系統(tǒng)需要將各種數(shù)據(jù)源來(lái)的數(shù)據(jù)圍繞決策主題存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中，以提高數(shù)據(jù)查詢、聚集的效率。數(shù)據(jù)倉(cāng)庫(kù)建模采用自上而下的三級(jí)建模方式，即概念建模、邏輯建模、物理建模。概念建模可采用信息打包法，邏輯建模以星型建模方法和雪花建模方法為主，物理建模以3NF和星型建模方式為主。圖 5數(shù)據(jù)倉(cāng)庫(kù)建模方法在數(shù)據(jù)倉(cāng)庫(kù)的3級(jí)數(shù)據(jù)模型中，概念模型表示現(xiàn)實(shí)世界的“業(yè)務(wù)信息”構(gòu)成關(guān)系，用業(yè)務(wù)數(shù)據(jù)庫(kù)設(shè)計(jì)中的“實(shí)體關(guān)系”方法（E-R方法）來(lái)設(shè)計(jì)這一級(jí)的數(shù)據(jù)模型，但需要用分析主題

12、代替?zhèn)鹘y(tǒng)E-R方法中的實(shí)體。在傳統(tǒng)業(yè)務(wù)數(shù)據(jù)庫(kù)設(shè)計(jì)中的邏輯模型一般采用范式規(guī)范的表及其關(guān)系，數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中的邏輯模型也采用表來(lái)存儲(chǔ)數(shù)據(jù)，因此也數(shù)據(jù)倉(cāng)庫(kù)中使用的也是關(guān)系模型，不過(guò)表與表之間不再通過(guò)3大范式的規(guī)范，而是以星形結(jié)構(gòu)、雪花形結(jié)構(gòu)和星座型結(jié)構(gòu)等方式組成。物理模型則屬于這些表的物理存儲(chǔ)結(jié)構(gòu)，比如表的索引設(shè)計(jì)等。數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)就是在概念模型、邏輯模型和物理模型的依次轉(zhuǎn)換過(guò)程中實(shí)現(xiàn)的。作為數(shù)據(jù)倉(cāng)庫(kù)的靈魂元數(shù)據(jù)模型則自始至終伴隨著數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)、實(shí)施與使用。數(shù)據(jù)粒度和聚合模型也在數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建中發(fā)揮著指導(dǎo)的作用，指導(dǎo)著數(shù)據(jù)倉(cāng)庫(kù)的具體實(shí)現(xiàn)。圖4表達(dá)了微觀數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中各種概念之間的關(guān)系。圖 6 微觀

13、數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中各種概念之間的關(guān)系在上圖的關(guān)系圖中，元數(shù)據(jù)是在對(duì)企業(yè)商業(yè)智能需求分析和概念模型設(shè)計(jì)階段就應(yīng)該設(shè)計(jì)好并且一直貫穿于數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用全程的重要部分，而數(shù)據(jù)粒度和聚合的設(shè)計(jì)則是在邏輯模型的設(shè)計(jì)過(guò)程中完成的，物理模型則需要做一些存儲(chǔ)優(yōu)化方面的工作。具體而言，這三級(jí)數(shù)據(jù)模型設(shè)計(jì)的每一個(gè)階段都有相應(yīng)的詳細(xì)設(shè)計(jì)步驟，圖5即是對(duì)這些步驟的一個(gè)總結(jié)。圖 7數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)設(shè)計(jì)的步驟 數(shù)據(jù)倉(cāng)庫(kù)包括以下維度表：人的性別代碼、世界各國(guó)和地區(qū)名稱代碼、中國(guó)各民族名稱羅馬字母拼寫(xiě)法和代碼、政治面貌代碼、身份證件類型代碼、中華人民共和國(guó)行政區(qū)劃（省市）代碼、高等學(xué)校代碼、學(xué)位類別代碼、授予博士、碩士學(xué)位和培養(yǎng)研究生

14、的學(xué)科、專業(yè)目錄、學(xué)習(xí)方式代碼、攻讀類型代碼、論文類型代碼、論文選題來(lái)源代碼、學(xué)位類別代碼、專業(yè)目錄、獲學(xué)位后去向代碼、工作單位性質(zhì)類別代碼、工作性質(zhì)代碼、工作單位性質(zhì)類別代碼、專業(yè)技術(shù)職務(wù)級(jí)別代碼、干部職務(wù)級(jí)別代碼、專業(yè)學(xué)位領(lǐng)域代碼、考試方式代碼、以研究生畢業(yè)同等學(xué)力申請(qǐng)碩士學(xué)位學(xué)生類別代碼、高等學(xué)校本、?？茖I(yè)代碼、留學(xué)生培養(yǎng)方式代碼；包括以下事實(shí)表：學(xué)歷教育博士學(xué)位信息表、同等學(xué)力人員申請(qǐng)博士學(xué)位信息表、博士專業(yè)學(xué)位信息表；學(xué)歷教育碩士學(xué)位信息表、同等學(xué)力人員申請(qǐng)碩士學(xué)位信息表、碩士專業(yè)學(xué)位、普通高等教育本科畢業(yè)生學(xué)士學(xué)位信息表、成人高等教育本科畢業(yè)生學(xué)士學(xué)位信息表、來(lái)華留學(xué)本科畢業(yè)生學(xué)

15、士學(xué)位信息表、學(xué)士專業(yè)學(xué)位信息表。概念模型設(shè)計(jì)概念建模主要表達(dá)決策的主題、分析主題的角度、各個(gè)角度需要分析的屬性信息，決策中層次的信息粒度，及決策主題的評(píng)估等。1997年Hammergren提出的信息打包方法，要求從一個(gè)決策者的角度去將焦點(diǎn)集中在幾個(gè)主題上，著重分析所涉及的數(shù)據(jù)多維性。信息打包方法首先需要確定分析的主題，然后圍繞這個(gè)主題填入指標(biāo)、維度、粒度等信息。1.定義關(guān)鍵性指標(biāo)：定義分析主題的評(píng)估指標(biāo)；2.定義維度：維度是用戶訪問(wèn)評(píng)估信息的途徑，每一個(gè)維度只表示一個(gè)主要的訪問(wèn)途徑。3.定義粒度：粒度是維度中信息的詳細(xì)程度。我們分析對(duì)象為對(duì)學(xué)位授予信息的統(tǒng)計(jì)分析。下面以博士學(xué)位授予信息統(tǒng)計(jì)作

16、為分析主題為例，為學(xué)位信息分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)建立概念模型。一、 博士學(xué)位授予信息統(tǒng)計(jì)從主管部門、性質(zhì)類別、地區(qū)、單位、學(xué)科門類、一級(jí)學(xué)科、二級(jí)學(xué)科等不同角度，對(duì)授予人數(shù)、平均年齡、少數(shù)民族、平均學(xué)習(xí)年限、其中一級(jí)學(xué)科授予、學(xué)習(xí)方式、錄取類別、就業(yè)單位類別等進(jìn)行分析，分析在指定變化周期內(nèi)的統(tǒng)計(jì)數(shù)據(jù)。其博士學(xué)位授予信息統(tǒng)計(jì)如表所示。表 2 博士學(xué)位授予信息統(tǒng)計(jì)分析對(duì)象博士學(xué)位授予信息統(tǒng)計(jì)分析度量（內(nèi)容）授予人數(shù)其中學(xué)歷博士其中同等學(xué)歷博士其中專業(yè)學(xué)位博士其中女平均年齡少數(shù)民族平均學(xué)習(xí)年限其中一級(jí)學(xué)科授予在學(xué)期間成果 學(xué)習(xí)方式錄取類別就業(yè)單位類別分析角度名稱公共維博士學(xué)位信息維學(xué)位類型年度主管部門性質(zhì)

17、類別地區(qū)單位學(xué)科門類一級(jí)學(xué)科二級(jí)學(xué)科博士學(xué)位二、碩士學(xué)位授予信息統(tǒng)計(jì)從主管部門、性質(zhì)類別、地區(qū)、單位、學(xué)科門類、一級(jí)學(xué)科、二級(jí)學(xué)科等不同角度，對(duì)授予人數(shù)、平均年齡、少數(shù)民族、平均學(xué)習(xí)年限、其中一級(jí)學(xué)科授予、學(xué)習(xí)方式、錄取類別、就業(yè)單位類別等進(jìn)行分析，分析在指定變化周期內(nèi)的統(tǒng)計(jì)數(shù)據(jù)。其碩士學(xué)位授予信息統(tǒng)計(jì)如表所示。表 3 碩士學(xué)位授予信息統(tǒng)計(jì)分析對(duì)象碩士學(xué)位授予信息統(tǒng)計(jì)分析度量（內(nèi)容）授予人數(shù)其中學(xué)歷碩士其中同等學(xué)歷碩士其中專業(yè)學(xué)位碩士其中學(xué)校教師專業(yè)學(xué)位其中女平均年齡少數(shù)民族平均學(xué)習(xí)年限其中一級(jí)學(xué)科授予在學(xué)期間成果 學(xué)習(xí)方式錄取類別就業(yè)單位類別分析角度名稱公共維碩士學(xué)位信息維學(xué)位類型年度主管部

18、門性質(zhì)類別地區(qū)單位學(xué)科門類一級(jí)學(xué)科二級(jí)學(xué)科碩士學(xué)位三、學(xué)士學(xué)位授予信息統(tǒng)計(jì)從主管部門、性質(zhì)類別、地區(qū)、單位、學(xué)科門類、專業(yè)等不同角度，對(duì)授予人數(shù)、平均年齡、少數(shù)民族、平均學(xué)習(xí)年限、其中一級(jí)學(xué)科授予、學(xué)習(xí)方式、錄取類別、就業(yè)單位類別等進(jìn)行分析，分析在指定變化周期內(nèi)的統(tǒng)計(jì)數(shù)據(jù)。其碩士學(xué)位授予信息統(tǒng)計(jì)如表所示。表 4 學(xué)士學(xué)位授予信息統(tǒng)計(jì)分析對(duì)象學(xué)士學(xué)位授予信息統(tǒng)計(jì)分析度量（內(nèi)容）授予人數(shù)其中女平均年齡少數(shù)民族就業(yè)單位類別分析角度名稱公共維學(xué)士學(xué)位信息維學(xué)位類型年度主管部門性質(zhì)地區(qū)單位學(xué)科門類學(xué)科類別專業(yè)學(xué)士學(xué)位1.5.2邏輯模型設(shè)計(jì)概念邏輯建模中將分析模型描述成一個(gè)可以實(shí)現(xiàn)的模式，根據(jù)這個(gè)模式可以

19、實(shí)現(xiàn)存儲(chǔ)到實(shí)際的數(shù)據(jù)存儲(chǔ)器里。星型模型比較適合數(shù)據(jù)倉(cāng)庫(kù)的要求，在星型模型的基礎(chǔ)上擴(kuò)展出雪花模型。1、星型模型星型模型中使用事實(shí)、維、維屬性、事實(shí)度量來(lái)描述。星型模型以事實(shí)為中心，各個(gè)維為角的星型結(jié)構(gòu)，事實(shí)使用度量來(lái)評(píng)估，維中使用屬性來(lái)描述維中的類別信息和描述信息。2、雪花模型雪花模型是在星型模型的基礎(chǔ)上增加了粒度層次的描述。根據(jù)以上對(duì)星型模型中維屬性的分析可知，同一種星型模型可以轉(zhuǎn)化成不同的雪花模型，轉(zhuǎn)的根據(jù)是屬性層次的確定。不同的屬性層次結(jié)構(gòu)可以展現(xiàn)成不同的雪花圖。3、邏輯模型中聚集操作的需求和表示為加快分析速度，可以將分析頻繁的層次預(yù)先進(jìn)行聚集操作，即將信息按照屬性粒度層次來(lái)進(jìn)行聚集，當(dāng)需

20、要進(jìn)一步分析時(shí)再到原有的基本信息中進(jìn)行搜索。本系統(tǒng)采用的是星型模型。1.5.3物理模型設(shè)計(jì)物理建模就是將邏輯模型轉(zhuǎn)換成實(shí)際存儲(chǔ)的模型。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)來(lái)講，實(shí)際存儲(chǔ)的模式一般包括兩種：關(guān)系模型和多維模型。多維模型按照多維來(lái)存儲(chǔ)數(shù)據(jù)可以提供很快的查詢速度，但是在大容量的情況下性能會(huì)下降，主要是多維存儲(chǔ)需要大量的存儲(chǔ)空間，而且在多維存儲(chǔ)框架中索引不是很好建立。所以多維存儲(chǔ)結(jié)構(gòu)一般應(yīng)用在數(shù)據(jù)量不是很大的，保存聚集數(shù)據(jù)的數(shù)據(jù)集市和OLAP服務(wù)器中。數(shù)據(jù)倉(cāng)庫(kù)一般需要保存基本粒度的數(shù)據(jù)，所以一般采用關(guān)系模型?，F(xiàn)在不同的關(guān)系數(shù)據(jù)庫(kù)廠家都對(duì)數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)進(jìn)行了優(yōu)化，提供了一些對(duì)數(shù)據(jù)倉(cāng)庫(kù)比較有效的索引技術(shù)和連接技術(shù)。

21、一、物理建模的要求數(shù)據(jù)倉(cāng)庫(kù)中保存了分析需要的海量數(shù)據(jù)，分析時(shí)主要是在大量的數(shù)據(jù)中查詢所需要的部分。所以物理模型中如何才能提供更快的查詢速度是設(shè)計(jì)的關(guān)鍵。數(shù)據(jù)倉(cāng)庫(kù)提高查詢速度的方法有幾種：索引技術(shù)：數(shù)據(jù)庫(kù)中索引可以加快表中信息檢索速度，但是以犧牲空間和索引維護(hù)時(shí)間為代價(jià)的。多維數(shù)據(jù)庫(kù)中索引的建立比較復(fù)雜，但多維數(shù)據(jù)庫(kù)本身就是為了檢索而建立的一種存儲(chǔ)模型，所以多維數(shù)據(jù)庫(kù)中索引技術(shù)不是很重要。關(guān)系數(shù)據(jù)倉(cāng)庫(kù)中由于事實(shí)表中保存的數(shù)據(jù)數(shù)量非常大，如果使用一般的索引（B樹(shù)）的話，需要很大的存儲(chǔ)空間。所以數(shù)據(jù)倉(cāng)庫(kù)中一般使用位圖索引技術(shù)來(lái)減少存儲(chǔ)空間。減少表連接操作：在關(guān)系數(shù)據(jù)倉(cāng)庫(kù)不可避免的需要對(duì)維表和事實(shí)表進(jìn)

22、行連接，關(guān)系數(shù)據(jù)庫(kù)中表的連接需要很多的資源，使查詢性能下降。所以對(duì)關(guān)系數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)中表連接越少越好。預(yù)聚集技術(shù)：由于決策分析的需要按維中的屬性層次來(lái)分析主題，不可避免的需要對(duì)評(píng)估數(shù)據(jù)按維屬性粒度層次進(jìn)行聚集。如果數(shù)據(jù)量大，而且聚集數(shù)據(jù)使用的頻率很高的話，通過(guò)預(yù)先聚集這些數(shù)據(jù)可以加快分析速度。分割技術(shù)：決策中不一定需要所有的數(shù)據(jù)，有一部分?jǐn)?shù)據(jù)是一些休眠數(shù)據(jù)，一般不會(huì)使用到它們，分析時(shí)如果在整個(gè)數(shù)據(jù)集上處理的話需要花很多時(shí)間，如果只對(duì)那些需要分析的數(shù)據(jù)進(jìn)行分析可以加快分析的速度。數(shù)據(jù)倉(cāng)庫(kù)建模工作完成之后，就可以使用數(shù)據(jù)倉(cāng)庫(kù)建模工作將各維表及事實(shí)表，生成到數(shù)據(jù)倉(cāng)庫(kù)中了。學(xué)位授予信息系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)

23、的物理建模相應(yīng)的物理表和各個(gè)維度及公共維度的設(shè)計(jì)表（部分表）1.6數(shù)據(jù)預(yù)處理過(guò)程模型設(shè)計(jì)建立數(shù)據(jù)倉(cāng)庫(kù)不僅僅要考慮到聯(lián)機(jī)分析（OLAP）的需要，更重要的是要考慮到數(shù)據(jù)挖掘的需要。由于數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量可能以幾何級(jí)數(shù)迅速增長(zhǎng)，這就導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù)中常常包含許多含有噪聲、不完整、甚至不一致的數(shù)據(jù)，這嚴(yán)重影響數(shù)據(jù)處理的效率和效果，影響決策者的決策。目前數(shù)據(jù)挖掘的研究主要著眼于數(shù)據(jù)挖掘算法的探討，而忽視了對(duì)數(shù)據(jù)預(yù)處理的研究。但事實(shí)上，數(shù)據(jù)挖掘中的預(yù)處理工作量常常占到整個(gè)數(shù)據(jù)挖掘工作量的60%左右，可見(jiàn)數(shù)據(jù)預(yù)處理工作是相當(dāng)基礎(chǔ)和重要的步驟。在本系統(tǒng)的構(gòu)建中，采用了如下數(shù)據(jù)預(yù)處理策略。1.6.1系統(tǒng)ETL結(jié)構(gòu)設(shè)

24、計(jì)本系統(tǒng)數(shù)據(jù)分為業(yè)務(wù)基礎(chǔ)數(shù)據(jù)模型層、匯總數(shù)據(jù)模型層、報(bào)表層和參數(shù)層。如圖所示。圖 8 ETL數(shù)據(jù)架構(gòu)設(shè)計(jì)一、臨時(shí)數(shù)據(jù)區(qū)存放從ODS抽取過(guò)來(lái)的數(shù)據(jù)，結(jié)構(gòu)保持與ODS模型一致，不保存歷史。二、業(yè)務(wù)基礎(chǔ)數(shù)據(jù)模型層，存放從ECIF、CCBS和CLPM系統(tǒng)抽取過(guò)來(lái)的業(yè)務(wù)數(shù)據(jù)，以向匯總層和報(bào)表層提供明細(xì)數(shù)據(jù)。三、匯總數(shù)據(jù)模型層針對(duì)應(yīng)用需求對(duì)數(shù)據(jù)進(jìn)行各類匯總。四、報(bào)表層存放按報(bào)表展現(xiàn)需求匯總的數(shù)據(jù)。五、參數(shù)層存放系統(tǒng)中代碼字典及參數(shù)信息。1.6.2將數(shù)據(jù)預(yù)處理集成在數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程中基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)挖掘一般的步驟是：建立數(shù)據(jù)倉(cāng)庫(kù)一進(jìn)行數(shù)據(jù)預(yù)處理數(shù)據(jù)挖掘。實(shí)際上，數(shù)據(jù)預(yù)處理完全可以在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的同時(shí)進(jìn)行。

25、可以將數(shù)據(jù)預(yù)處理融人數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建過(guò)程中，并將數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建作為數(shù)據(jù)挖掘的一個(gè)重要預(yù)處理步驟，將兩者有機(jī)結(jié)合起來(lái)。下圖說(shuō)明了基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)預(yù)處理過(guò)程模型。圖 9 數(shù)據(jù)預(yù)處理過(guò)程模型基于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)預(yù)處理過(guò)程模型中的主線是數(shù)據(jù)的流動(dòng)，即原始數(shù)據(jù)數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)挖掘訓(xùn)練集。在主線的兩邊是同時(shí)進(jìn)行的兩個(gè)不同的過(guò)程：數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建過(guò)程和數(shù)據(jù)預(yù)處理過(guò)程。整個(gè)過(guò)程可以分成三個(gè)階段，清理階段將原始數(shù)據(jù)按業(yè)務(wù)功能進(jìn)行匯總，形成部門級(jí)的數(shù)據(jù)集市。在此過(guò)程中需要處理一些原始數(shù)據(jù)中存在的問(wèn)題，如空缺值、噪聲數(shù)據(jù)干擾等。集成階段將不同部門的數(shù)據(jù)集市按主題進(jìn)行歸并集成，形成企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)集成時(shí)，由于各個(gè)

26、數(shù)據(jù)集市存放數(shù)據(jù)的角度不同，因此在進(jìn)人數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中有可能會(huì)產(chǎn)生冗余，并且由于它們?cè)跀?shù)據(jù)結(jié)構(gòu)、代碼和定義方面的不一致性也會(huì)造成數(shù)據(jù)存在二義性等問(wèn)題。因此，數(shù)據(jù)集成到數(shù)據(jù)倉(cāng)庫(kù)之后仍需要進(jìn)行去除冗余、解決不一致性等工作。歸約階段實(shí)際上超出了構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的范疇，它是為其后的數(shù)據(jù)挖掘做數(shù)據(jù)準(zhǔn)備工作，主要是對(duì)原始數(shù)據(jù)在保留其“本質(zhì)”的情況下進(jìn)行壓縮、變換，使之成為易于進(jìn)行數(shù)據(jù)挖掘的數(shù)據(jù)集。1.6.3數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)的改進(jìn)方法傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)如下圖所示?；谶@種體系結(jié)構(gòu)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)，外部數(shù)據(jù)源通過(guò)ETL工具的處理直接加載到數(shù)據(jù)倉(cāng)庫(kù)中，這種處理方式存在一些不足之處：一、由于數(shù)據(jù)預(yù)處理本身的復(fù)雜性，直

27、接整合必將導(dǎo)致該過(guò)程即占用許多外部操作型數(shù)據(jù)庫(kù)的資源和時(shí)間，也會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)裝載數(shù)據(jù)的效率。二、在數(shù)據(jù)源中通過(guò)抽取、清理、轉(zhuǎn)換后，向數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行傳輸時(shí)如發(fā)生系統(tǒng)故障或網(wǎng)絡(luò)故障，就只能全部重做整個(gè)數(shù)據(jù)預(yù)處理過(guò)程，極大的浪費(fèi)了資源和時(shí)間。圖 10 傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)考慮到算法研究中“以空間換時(shí)間”的思想，再結(jié)合目前硬件成本的下降，我們可以在數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)中添加一個(gè)專門進(jìn)行數(shù)據(jù)預(yù)處理的存儲(chǔ)區(qū)域以改進(jìn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)整體性能，改進(jìn)后的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)如圖所示。圖 11改進(jìn)的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)在改進(jìn)的數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中，數(shù)據(jù)緩沖區(qū)是為了數(shù)據(jù)預(yù)處理高效順利進(jìn)行而引入的階段性數(shù)據(jù)存儲(chǔ)區(qū)域，它是外部數(shù)據(jù)源進(jìn)

28、入數(shù)據(jù)倉(cāng)庫(kù)前的緩沖區(qū)。數(shù)據(jù)倉(cāng)庫(kù)主題所需要的各個(gè)外部數(shù)據(jù)系統(tǒng)的數(shù)據(jù)首先直接快速導(dǎo)入數(shù)據(jù)緩存區(qū)，然后再?gòu)臄?shù)據(jù)緩存區(qū)經(jīng)過(guò)數(shù)據(jù)清理、映射和轉(zhuǎn)換等復(fù)雜的數(shù)據(jù)預(yù)處理操作加載到數(shù)據(jù)倉(cāng)庫(kù)中。通過(guò)引入數(shù)據(jù)緩存區(qū)，我們就把復(fù)雜的數(shù)據(jù)預(yù)處理過(guò)程分解為兩個(gè)階段數(shù)據(jù)源一數(shù)據(jù)緩存區(qū)數(shù)據(jù)倉(cāng)庫(kù)。這樣一來(lái)，我們?cè)诘谝浑A段的數(shù)據(jù)傳輸過(guò)程中，就可以避免復(fù)雜的數(shù)據(jù)處理，只是簡(jiǎn)單地針對(duì)主題所需進(jìn)行數(shù)據(jù)抽取，從而保證數(shù)據(jù)的快速導(dǎo)入，并且可以大大減小對(duì)外部操作型數(shù)據(jù)系統(tǒng)的壓力。1.7學(xué)位授予信息分析應(yīng)用系統(tǒng)的實(shí)現(xiàn)1.7.1平臺(tái)選擇一、.Net Framework應(yīng)用平臺(tái)和數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)共享一套相似的技術(shù)組件，如：業(yè)務(wù)系統(tǒng)源數(shù)據(jù)；設(shè)計(jì)/開(kāi)發(fā)工

29、具；數(shù)據(jù)析取和轉(zhuǎn)換工具；數(shù)據(jù)庫(kù)管理系統(tǒng)（DBMS）；數(shù)據(jù)存取和分析工具；系統(tǒng)管理工具等等。Microsoft.Net Framework中的數(shù)據(jù)倉(cāng)庫(kù)框架部分描述了在組裝、使用和管理數(shù)據(jù)倉(cāng)庫(kù)中用到的多種組件之間的關(guān)系。數(shù)據(jù)倉(cāng)庫(kù)框架的核心由兩種技術(shù)構(gòu)成：集成的元數(shù)據(jù)庫(kù)和數(shù)據(jù)傳輸層（OLEDB）。這些技術(shù)使得在數(shù)據(jù)倉(cāng)庫(kù)中涉及到的產(chǎn)品和組件的互用性成為可能。OLE DB對(duì)多種數(shù)據(jù)提供了標(biāo)準(zhǔn)化的、高性能的訪問(wèn)，并允許集成多種數(shù)據(jù)類型。Microsoft Repository提供了綜合的元數(shù)據(jù)庫(kù)，這些元數(shù)據(jù)庫(kù)可以在數(shù)據(jù)倉(cāng)庫(kù)中由多種組件共享，共享的元數(shù)據(jù)允許為多種供貨商提供的多種產(chǎn)品進(jìn)行透明的集成，而無(wú)需在

30、產(chǎn)品之間設(shè)置特殊的接口。Microsoft.Net Framework從底層向上設(shè)計(jì)，為微軟產(chǎn)品用戶和第三方企業(yè)提供行業(yè)標(biāo)準(zhǔn)技術(shù)，能很容易地?cái)U(kuò)展成開(kāi)放式體系結(jié)構(gòu)。這就使企業(yè)能選擇同類中最好的組件并仍能確保集成。二、Analysis ServicesMicrosoft SQL Server Analysis Services是用于聯(lián)機(jī)分析處理（OLAP）和數(shù)據(jù)挖掘的中層服務(wù)器。Analysis Services系統(tǒng)包括一個(gè)服務(wù)器，可以構(gòu)造用于分析的數(shù)據(jù)多維數(shù)據(jù)集，同時(shí)Analysis Services系統(tǒng)還提供對(duì)多維數(shù)據(jù)集信息的快速客戶端訪問(wèn)。Analysis Services將數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織成包含預(yù)先計(jì)算聚合數(shù)據(jù)的多維數(shù)據(jù)集，以便為復(fù)雜的分析查詢提供快速解答。1.7.2創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)當(dāng)數(shù)據(jù)倉(cāng)庫(kù)完成物理模型設(shè)計(jì)以后，就需要進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的物理創(chuàng)建。此時(shí)，需要完成這樣一些工作：創(chuàng)建數(shù)據(jù)準(zhǔn)備區(qū)、創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)、從業(yè)務(wù)系統(tǒng)提取數(shù)據(jù)、清理和轉(zhuǎn)換數(shù)據(jù)、將數(shù)據(jù)加載進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)。在創(chuàng)建了數(shù)據(jù)倉(cāng)庫(kù)后，用SQL查詢、OLAP應(yīng)用、數(shù)據(jù)挖掘等工具對(duì)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行操作和訪問(wèn)。用戶企業(yè)現(xiàn)行業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)大部分存儲(chǔ)在SQL Server數(shù)據(jù)庫(kù)中，這也為我們選用SQL Server數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)應(yīng)用工具提供了便利。學(xué)位信息授予統(tǒng)計(jì)系統(tǒng)構(gòu)建于現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)基礎(chǔ)之上