數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)文檔

1、數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)1數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)摘要:本文檔為XX通信公司網(wǎng)上通信記錄查詢平臺(tái)設(shè)計(jì)說明書，為XX通信公司網(wǎng)上通信記錄查詢平臺(tái)詳細(xì)設(shè)計(jì)的之要依據(jù)。本文檔的主要閱讀對(duì)象為XX通信公司網(wǎng)上通信記錄查詢平臺(tái)的詳細(xì)設(shè)計(jì)人員。經(jīng)過需求分析調(diào)查，確定了數(shù)據(jù)倉庫系統(tǒng)總體定位和系統(tǒng)功能需求?，F(xiàn)根據(jù)需求分析規(guī)定和局具體情況，確定數(shù)據(jù)倉庫整體方案，以指導(dǎo)數(shù)據(jù)倉庫系統(tǒng)研究、開發(fā)、實(shí)現(xiàn)。關(guān)鍵字：指標(biāo)；主題；數(shù)據(jù)倉庫；聯(lián)機(jī)分析；數(shù)據(jù)挖掘；決策支持1 概述1.1背景本軟件全稱為XX通信公司網(wǎng)上通信記錄查詢平臺(tái)。1.2術(shù)語定義DW:數(shù)據(jù)倉庫DC:數(shù)據(jù)中心OLTP:在線事務(wù)處理OLAP :在線分析處理BI :商業(yè)智能

2、DSS:決策支持系統(tǒng)SOA:面向服務(wù)的架構(gòu)EA:企業(yè)架構(gòu)ETL :數(shù)據(jù)抽取、轉(zhuǎn)換、加載Statistical Parameter：指標(biāo)Subject：主題DataMart:數(shù)據(jù)集市MetaData:元數(shù)據(jù)OLTP (On-LineTransactionProcessing)：聯(lián)機(jī)事務(wù)處理DSS:決策支持系統(tǒng)2數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)AS:應(yīng)用服務(wù)器數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)3Webserver : Web服務(wù)器1.3參考資料2 系統(tǒng)設(shè)計(jì)從充分發(fā)揮系統(tǒng)作為“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖饔茫蛴脩籼峁翱?、精、?zhǔn)”的通訊記錄查詢服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫領(lǐng)域成熟穩(wěn)定的數(shù)據(jù)倉庫、決策 分析等技術(shù)，

3、在高效的網(wǎng)絡(luò)平臺(tái)上建設(shè)提供一個(gè)“決策數(shù)據(jù)管理與分析中心”的基本解決方案。系統(tǒng)采用多層體系結(jié)構(gòu)， 建立一個(gè)良好開放性的數(shù)據(jù)倉庫系統(tǒng)環(huán)境，適應(yīng)不斷增加和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過引入中間層組件，擴(kuò)大了傳統(tǒng)的客戶/服務(wù)器和兩層計(jì)算模式。多層結(jié)構(gòu)可由以下三類分層來定義：前端的客戶層，負(fù)責(zé)提供可移植的表達(dá)邏輯；中 間的應(yīng)用層，允許用戶通過將其與實(shí)際應(yīng)用隔離而共享和控制業(yè)務(wù)邏輯；后端的數(shù)據(jù)管理與服務(wù)層，提供對(duì)專門服務(wù)（例如數(shù)據(jù)庫服務(wù)器）的訪問。結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模塊化、層次化， 整個(gè)系統(tǒng)由接口定義良好的多個(gè)模塊組成，每個(gè)模塊都有詳細(xì)的功能說明和設(shè)計(jì)文稿，每個(gè)

4、模塊完成相對(duì)獨(dú)立的功能，模塊之間的接口定義規(guī)范， 使模塊功能的變化相對(duì)獨(dú)立，不影響整個(gè)系統(tǒng)的功能和結(jié)構(gòu)，便于系統(tǒng)升級(jí)，維護(hù)。具有良好的平臺(tái)移植性。選用支持多種操作平臺(tái)的數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、WEB服務(wù)器等服務(wù)器軟件系統(tǒng)， 選用具有良好平臺(tái)移植性的B/S和C/S模式下的開發(fā)語言開發(fā)應(yīng) 用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)的平臺(tái)移植性。以最簡單的方式實(shí)現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維護(hù)性，盡量采用簡潔易懂的方式實(shí)現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深?yuàn)W的算法。數(shù)據(jù)倉庫課程課件林友芳概要設(shè)計(jì)說明書模板林友芳實(shí)用軟件工程清華大學(xué)出版社4數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)2.1層次結(jié)構(gòu)應(yīng)用層安全服務(wù)層WEB 服務(wù)層

5、WEB 服務(wù)器III業(yè)務(wù)邏輯層應(yīng)用服務(wù)器整個(gè)系統(tǒng)在邏輯上分為三層：原始數(shù)據(jù)層，中間邏輯層（業(yè)務(wù)邏輯層、WEB服務(wù)層、安全服務(wù)層），應(yīng)用層。原始數(shù)據(jù)層：以統(tǒng)一規(guī)范的方式存儲(chǔ)數(shù)據(jù)；中間邏輯層：解析應(yīng)用層的業(yè)務(wù)邏輯，使應(yīng)用層和原始數(shù)據(jù)相互獨(dú)立，提高應(yīng)用層系統(tǒng)（程序）的可擴(kuò)展性、可移植性；應(yīng)用層：面向最終用戶，提供友好、簡潔、方便的用戶界面，具有良好的業(yè)務(wù)無關(guān)性。2.2系統(tǒng)用例模型圖根據(jù)系統(tǒng)功能需求，用例模型圖繪制如圖。數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)倉庫（DW數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)5系統(tǒng)用例圖2.3網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)我們根據(jù)以下列出的幾點(diǎn)，確定硬件系統(tǒng)結(jié)構(gòu)：系統(tǒng)已經(jīng)擁有比較完備的內(nèi)部網(wǎng)絡(luò)系統(tǒng)。公司數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)、信息既能

6、夠在系統(tǒng)的網(wǎng)絡(luò)內(nèi)最大限度的實(shí)現(xiàn)數(shù)據(jù)共享，又能將可以對(duì)公眾發(fā)布的信息分不同的級(jí)別向外界發(fā)布。盡可能在網(wǎng)絡(luò)設(shè)計(jì)上考慮防止黑客攻擊、病毒傳播等破壞數(shù)據(jù)的手段和方式。盡可能利用現(xiàn)有網(wǎng)絡(luò)系統(tǒng)，包括系統(tǒng)專有網(wǎng)，公共Internet網(wǎng)，政府辦公局域網(wǎng)等。我們?cè)O(shè)計(jì)了一個(gè)在物理上可以隨時(shí)隔離或連接、由兩大部分組成的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)，如下圖所示：6數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)說明：出于網(wǎng)絡(luò)安全的原因，將整個(gè)網(wǎng)絡(luò)分為內(nèi)部網(wǎng)絡(luò)和外部網(wǎng)絡(luò)兩部分。內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的系統(tǒng)機(jī)構(gòu)基本相同。外部網(wǎng)絡(luò)基本上用在對(duì)外發(fā)布，不包括保密信息。夕卜部網(wǎng)絡(luò)需要的發(fā)布數(shù)據(jù)從內(nèi)部網(wǎng)絡(luò)中通過ETL工具獲得，存放在外部網(wǎng)絡(luò)的數(shù)據(jù)倉庫中。外部網(wǎng)絡(luò)經(jīng)過防火墻、路

7、由器與Internet相連。為保證數(shù)據(jù)安全，只在外部網(wǎng)絡(luò)從內(nèi)部網(wǎng)絡(luò)抽取數(shù)據(jù)時(shí)，兩者才是連通的（且要經(jīng)過防火墻），其余時(shí)間兩個(gè)網(wǎng)絡(luò)物理隔離。工作站分別為各個(gè)處室的個(gè)人PC機(jī)，也可以是單獨(dú)的工作站，功能為向ETL服務(wù)器提供倉庫所需數(shù)據(jù)及通過瀏覽器訪問數(shù)據(jù)倉庫數(shù)據(jù)信息。ETL工具定期從各個(gè)處室的數(shù)據(jù)庫系統(tǒng)抽取數(shù)據(jù)，且ETL服務(wù)器兼中間數(shù)據(jù)庫服務(wù)器，抽取的數(shù)據(jù)暫時(shí)保存在ETL服務(wù)器上，在導(dǎo)入數(shù)據(jù)倉庫之前容許修改。I I 0L0L 曲畛器 應(yīng)用服務(wù)器 I I 數(shù)據(jù)扇初備器防火揩1000810008 咬挽機(jī)I如點(diǎn)感器和減器扇據(jù)扇%務(wù)器I_J_I1=1|j=工作站安全評(píng)仙工具聰患日描系統(tǒng)外部網(wǎng)路1 1E E

8、 火指一數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)7考慮到數(shù)據(jù)倉庫系統(tǒng)決策分析時(shí)需要大量數(shù)據(jù)信息，所以要求交換機(jī)容量應(yīng)為1000M。OLAP服務(wù)器和應(yīng)用服務(wù)器結(jié)合比較緊密，在實(shí)際的應(yīng)用中共享一臺(tái)設(shè)備。8數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)入侵檢測系統(tǒng)是一臺(tái)單獨(dú)的設(shè)備，放在路由之后，起到防止非法入侵的作用。安全隱患掃描系統(tǒng)可以運(yùn)行在一臺(tái)高性能的PC機(jī)上，提供及時(shí)的安全掃描，及早發(fā)現(xiàn)問題。2.4網(wǎng)絡(luò)層次結(jié)構(gòu)整個(gè)數(shù)據(jù)倉庫系統(tǒng)由內(nèi)而外分為四層：系統(tǒng)內(nèi)核層：包括數(shù)據(jù)倉庫服務(wù)系統(tǒng)及應(yīng)用系統(tǒng)。系統(tǒng)安全層：使用網(wǎng)絡(luò)安全產(chǎn)品，與局現(xiàn)有網(wǎng)絡(luò)系統(tǒng)兼容，保護(hù)內(nèi)部數(shù)據(jù)安全，網(wǎng)上信息傳送安全、防止黑客破壞或惡意入侵。公共網(wǎng)絡(luò)層：基于TCP/IP的城域網(wǎng)和廣域

9、網(wǎng)（省局目前開通的幀中繼網(wǎng)），使用現(xiàn)在已經(jīng)建成的公共 網(wǎng)絡(luò)將數(shù)據(jù)、信息、知識(shí)發(fā)布出去。外部應(yīng)用層：各種數(shù)據(jù)倉庫系統(tǒng)的客戶應(yīng)用系統(tǒng)，通過外部應(yīng)用系統(tǒng)用戶可以獲得系統(tǒng)提供的向外發(fā)布的各種信息。2.5處理流程指標(biāo)數(shù)據(jù)抽取子系統(tǒng)通過讀取ETL中間數(shù)據(jù)庫中的抽取模型和清洗模型，把各個(gè)處室的數(shù)據(jù)暫存到中間數(shù)據(jù)庫。指標(biāo)數(shù)據(jù)加載子系統(tǒng)讀取中間數(shù)據(jù)庫中的轉(zhuǎn)換模型與加載模型， 載到數(shù)據(jù)倉庫中。把中間數(shù)據(jù)庫的數(shù)據(jù)加數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)9ETL（數(shù)據(jù)抽取.清洗.轉(zhuǎn)換.加載）3 開發(fā)及運(yùn)行環(huán)境數(shù)據(jù)倉庫系統(tǒng)是一個(gè)跨平臺(tái)、綜合的大型應(yīng)用系統(tǒng)。綜合用戶習(xí)慣與系統(tǒng)效率等方面的 考慮，整個(gè)數(shù)據(jù)倉庫系統(tǒng)的各子系統(tǒng)將分別運(yùn)行在不同的

10、操作平臺(tái)下， 這些子系統(tǒng)密切合作, 形成一個(gè)緊密結(jié)合、高效的整體。3.1硬件環(huán)境基于局速網(wǎng)絡(luò)環(huán)境。服務(wù)器采用高檔小型機(jī)。客戶端為高性能客戶端。3.2操作系統(tǒng)服務(wù)系統(tǒng)運(yùn)行于UNIX操作系統(tǒng)。UNIX以其較小的內(nèi)核、較高的運(yùn)行效率著名，獲得 了服務(wù)器上主流操作系統(tǒng)的地位。全球著名的硬件產(chǎn)商都有與自身服務(wù)器緊密結(jié)合的UNIX操作系統(tǒng)（如 舊M的AIX和SUN公司的Solaries, HP的HP_UX ）,能充分發(fā)揮系統(tǒng)的最 大性能?？蛻舳讼到y(tǒng)運(yùn)行在Windows操作系統(tǒng)下。全世界90%的PC用的是Windows操作系統(tǒng),指標(biāo)數(shù)據(jù)抽取子系統(tǒng)通用數(shù)據(jù)接口ODBC輸入界面指標(biāo)數(shù)據(jù)加載中間數(shù)據(jù)庫指標(biāo)數(shù)據(jù)加載

11、子系統(tǒng)抽取模型庫4清洗模型庫10數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)Windows操作系統(tǒng)的界面、PCWindows系統(tǒng)下的，數(shù)據(jù)倉庫系統(tǒng)的客戶端系統(tǒng)（包括系統(tǒng)管理、ETL工具客戶端等）運(yùn)行在Windows系統(tǒng)下能滿足用戶需要，縮短系統(tǒng)投入使用的培訓(xùn)時(shí)間。3.3開發(fā)語言JAVA語言最先由網(wǎng)景公司利用在WEB上，是最好的跨平臺(tái)開發(fā)語言，是當(dāng)前B/S模式的首選開發(fā)語言；C語言最先在UNIX系統(tǒng)下使用，是一種執(zhí)行效率非常高的高級(jí)開發(fā)語 言，C+的出現(xiàn)使C語言包含了面向?qū)ο蟾拍?，C+語言也得到了日益廣泛的應(yīng)用，是C/S模式的首選開發(fā)語言。3.4數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)庫系統(tǒng)采用Oracle9i, Oracle9i是Oracle

12、公司對(duì)數(shù)據(jù)倉庫支持最好的數(shù)據(jù)庫系統(tǒng)， 它的復(fù)合索引，物化視圖等技術(shù)可以使數(shù)據(jù)的查詢效率有很大提高。3.5系統(tǒng)運(yùn)行環(huán)境本系統(tǒng)運(yùn)行環(huán)境需求如圖。數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)11系統(tǒng)運(yùn)行環(huán)境邏輯結(jié)構(gòu)圖3.5.13.5.1 數(shù)據(jù)倉庫服務(wù)器環(huán)境要求服務(wù)器型號(hào)：HP DL380CPU:英特爾至強(qiáng)E5520 （4核，2.26GHz, 8M三級(jí)高速緩存）內(nèi)存：6G操作系統(tǒng)：UNIX3.5.23.5.2 數(shù)據(jù)倉庫管理服務(wù)器服務(wù)器型號(hào)：HP DL360CPU:英特爾至強(qiáng)E5504 （4核，2.00GHz, 4M三級(jí)高速緩存）內(nèi)存：4G操作系統(tǒng):（UNIX. JI（岫- -3.5.33.5.3 WE*WE*-服茬蹄環(huán)境要求

13、 服務(wù)器型號(hào)HP DL580（押.扣）（登一周?。? 蛆搭心典（ttil-E.）-數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)CPU:英特爾至強(qiáng)內(nèi)存：8G操作系統(tǒng)：UNIXE7370 (4核，2.40GHz, 8M三級(jí)高速緩 - - / x /-、4 系統(tǒng)各個(gè)功能模塊 ERD4.1查詢一段時(shí)間內(nèi)的短信與通訊記錄查詢一段時(shí)間內(nèi)短信與通訊記錄ER圖如圖4.3查詢賬戶余額，充值記錄查詢用戶賬戶余額，充值記錄ER圖如圖4.4查詢辦理過的業(yè)務(wù)類型用戶查詢自己辦理過的業(yè)務(wù)類型ER圖如圖。4.5查詢用戶一年內(nèi)短信與通話月情況表用戶查詢自己一年內(nèi)短信與通話月情況表ER圖如圖。數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)ii5 各個(gè)數(shù)據(jù)層表結(jié)構(gòu)設(shè)計(jì)5.1業(yè)務(wù)

14、數(shù)據(jù)層業(yè)務(wù)層的數(shù)據(jù)又稱操作型數(shù)據(jù)，它是最原始的數(shù)據(jù)， 是其他層次上數(shù)據(jù)的源數(shù)據(jù)。業(yè)務(wù)數(shù)據(jù)層的數(shù)據(jù)通常是很細(xì)節(jié)的數(shù)據(jù)，它們是經(jīng)過日復(fù)一日累積起來的，而且訪問頻率很高， 是面向應(yīng)用的數(shù)據(jù)。本系統(tǒng)中在這一層上主要包括的數(shù)據(jù)有：短信記錄、通話記錄、扣費(fèi)記 錄、充值記錄以及業(yè)務(wù)辦理記錄。這些數(shù)據(jù)未經(jīng)集成，是最原始的數(shù)據(jù)。邏輯上，這些數(shù)據(jù) 都是以二維表的形式存儲(chǔ)，它們的表結(jié)構(gòu)分別如下。表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_name用戶名Char(20)是否Phone_nu mber手機(jī)號(hào)碼Number否Send_time發(fā)送時(shí)間Date否Message_type信息類型Char(10)否Re

15、ceive_number對(duì)方號(hào)碼Number否Basic_fee基本話費(fèi)Float_否_表-1知信記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_name用戶名Char(20)是否Phone_numbe r手機(jī)號(hào)碼Number否Start_time通話起始時(shí)間Date否Call_location通話地點(diǎn)Char(20)否Longtrip_type長途類型Char(10)否Call_type通話類型Char(10)否Call_time通話時(shí)長Number否Receive_num對(duì)方號(hào)碼Number_否_數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)15berBasic_fee基本通話費(fèi)Float否Longtrip

16、_fee長途費(fèi)Float否表-2 通話記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_name用戶名Char(20)是否Phone_numbe r手機(jī)號(hào)碼Number否Chargeback_Date時(shí)間Date否Package套餐及功能費(fèi)Char(20)否Fee_circle費(fèi)用周期Number否Fee費(fèi)用Float否表-3 扣費(fèi)記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_neme用戶名Char(20)是否Phone_numbe r手機(jī)號(hào)碼Number否Recharge_dat e充值日期Date否Recharge_result充值結(jié)果Boolean否Recharge_am

17、ount充值金額Float否表-4 充值記錄表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User name用戶名Char(20)是否16數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)Phone_numb er手機(jī)號(hào)碼Number否Business_na me業(yè)務(wù)名稱Char(20)否Handle_date辦理日期Date否State狀態(tài)Booolean否表-5 業(yè)務(wù)辦理記錄5.2數(shù)據(jù)倉庫層數(shù)據(jù)倉庫層的數(shù)據(jù)是又業(yè)務(wù)層的原始數(shù)據(jù)經(jīng)過ETL得來的，具有一定的集成度。在本 系統(tǒng)中，用戶查詢一段時(shí)間內(nèi)的短信、 通話記錄、充值記錄以及辦理過的業(yè)務(wù)所得到的數(shù)據(jù) 即是這一層的數(shù)據(jù)。這些數(shù)據(jù)在邏輯上也是以二維表的形式存儲(chǔ)的，具體如下。表字

18、段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_name用戶名Char(20)是否Phone_numbe r手機(jī)號(hào)碼Number否Query_circle查詢周期Number否Qyery_date查詢?nèi)掌贒ate否Message_reco rd短信記錄Char(100)否表-6 短信記錄表短信記錄表是從業(yè)務(wù)數(shù)據(jù)層的短信記錄中抽取得來的。表字段名中文字段名數(shù)據(jù)類型是否主鍵可古為空User_name用戶名Char(20)是否Phone_numb er手機(jī)號(hào)碼Number否Query_circle查詢周期Number否Qyery_date查詢?nèi)掌贒ate否Call_record通話記錄Char(150)_否_表-7 通話記錄表通話記錄表是從業(yè)務(wù)數(shù)據(jù)層的通話記錄中抽取得來的。查詢充值記錄以及辦理過的業(yè)務(wù)也是從相應(yīng)的記錄中抽取得來的。數(shù)據(jù)倉庫系統(tǒng)總體設(shè)計(jì)175.3數(shù)據(jù)集市層數(shù)據(jù)集市層的數(shù)據(jù)時(shí)由數(shù)據(jù)倉庫層的數(shù)據(jù)經(jīng)過ETL得到的，它的集成度更高，粒度也更大。用戶查詢一年內(nèi)的短信與通話月情況得到的數(shù)據(jù)即是這一層的數(shù)據(jù)，具體二維表如下。表字段名中文字段名數(shù)據(jù)類型是否主鍵是否為空User_name用戶名Char(10)是否Phone_numb er手機(jī)號(hào)碼Number否Year_month年份月份Number否Query_date查詢?nèi)掌贒ate否Message_aou nt短信條數(shù)Numbe否Fe