數(shù)據(jù)倉庫解決方案

1、數(shù)據(jù)倉庫解決方案深圳太極云軟技術(shù)股份有限公司2016 年 1 月目錄（一）概述 3一 .國內(nèi)信息化的現(xiàn)狀 3二 .以應(yīng)用驅(qū)動，數(shù)據(jù)倉庫建設(shè)應(yīng)由后向前規(guī)劃 3三 .“想大做小”（整體設(shè)計、分布實施） 4（二 ）系統(tǒng)架構(gòu) 5數(shù)據(jù)倉庫架構(gòu) 6系統(tǒng)功能架構(gòu) 7（三 ）數(shù)據(jù)倉庫建設(shè)方法 8數(shù)據(jù)倉庫建設(shè)8 大步驟 91. 系統(tǒng)分析，確定主題 92. 選擇滿足數(shù)據(jù)倉庫系統(tǒng)要求的軟件平臺 103. 建立數(shù)據(jù)倉庫的邏輯模型 104. 邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉庫數(shù)據(jù)模型 115. 數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化 126. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸 137. 開發(fā)數(shù)據(jù)倉庫的分析應(yīng)用 148. 數(shù)據(jù)倉庫的管理 15（四 ）系統(tǒng)功能詳

2、細(xì)介紹 16企業(yè)數(shù)據(jù)門戶 16主題分析 18即席查詢 18多維分析工具 19ETL工具20報表工具 21（一）概述一. 國內(nèi)信息化的現(xiàn)狀1. 信息化建設(shè)的發(fā)展歷史： 在國內(nèi)信息化建設(shè)過程中，基本上是按照當(dāng)時業(yè)務(wù)系統(tǒng)的需求進(jìn) 行建設(shè)，過一段時間， 如果有新的業(yè)務(wù)推出， 就再建設(shè)一個新的系統(tǒng)， 或在原系統(tǒng)的基礎(chǔ)上增加新的業(yè)務(wù)處理。 這樣的結(jié)果使每個系統(tǒng)和系 統(tǒng)之間缺少真正的信息溝通和信息交換。2. 為何要建立數(shù)據(jù)倉庫：根據(jù)現(xiàn)狀業(yè)務(wù)系統(tǒng)各自為政， 相互獨立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立后， 由于領(lǐng)導(dǎo)的要求和決策的需求， 需要一些指標(biāo)的分析， 在相應(yīng)的業(yè)務(wù) 系統(tǒng)基礎(chǔ)上再增加分析和相應(yīng)的報表功能， 這樣每個系統(tǒng)就

3、增加了報 表和分析功能。 但是，由于數(shù)據(jù)源不統(tǒng)一導(dǎo)致了對同一個指標(biāo)分析的 結(jié)果不相同。為了解決該問題，為了分析和決策的需要，將相互分離 的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起， 可以為領(lǐng)導(dǎo)和決策層提供分析和輔 助決策。二. 以應(yīng)用驅(qū)動，數(shù)據(jù)倉庫建設(shè)應(yīng)由后向前規(guī)劃數(shù)據(jù)倉庫到底應(yīng)該怎么建設(shè) ?我一貫的主張是應(yīng)用驅(qū)動。什么樣 的應(yīng)用呢？應(yīng)用是應(yīng)考慮政府管理的現(xiàn)狀和決策層最關(guān)心的問題入 手。分利用現(xiàn)有信息系統(tǒng)資源，進(jìn)一步細(xì)化、量化權(quán)力清單，固化權(quán)力運行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個體行為、記錄執(zhí) 法誠信、科學(xué)考核評價和提升管理精度， 最終使群眾的合法權(quán)益得到 保護(hù)，實現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。通過

4、分析經(jīng)濟發(fā)展、衛(wèi)生 健康、教育科技、道路交通、機構(gòu)團體、生活服務(wù)、文體娛樂、安全 避險、資源環(huán)境、社保就業(yè)、財稅金融、法律服務(wù)等這些主題的分析 是否可行，應(yīng)該先進(jìn)行評估。這樣從應(yīng)用主題入手，就可以知道需要 什么樣的數(shù)據(jù)， 來自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源， 這些數(shù)據(jù)的全體進(jìn)行一 定的整合，按照分析的要求存儲就組成了一個個數(shù)據(jù)集市( Data Mart )。三. “想大做小”(整體設(shè)計、分布實施)為了避免原有業(yè)務(wù)系統(tǒng)相對獨立而形成的一個個信息孤島，以應(yīng) 用驅(qū)動建設(shè)數(shù)據(jù)倉庫， 往往會造成新的信息孤島。 這是因為應(yīng)用往往 是部門級的或者是某一方面的應(yīng)用，不能完全覆蓋企業(yè)級的所有應(yīng) 用。當(dāng)然我們這里不提倡一次

5、建設(shè)的應(yīng)用。如何避免這個問題，是我 這里著重要要強調(diào)的。這里分兩種情形進(jìn)行設(shè)計，系統(tǒng)作用1. 整合業(yè)務(wù)數(shù)據(jù) 在各業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)不流通，形成信息孤島，商業(yè)智能解決方 案建立統(tǒng)一數(shù)據(jù)倉庫，整合業(yè)務(wù)數(shù)據(jù)，給管理者提供統(tǒng)一視圖，統(tǒng)一 決策界面。2. 支撐決策從數(shù)據(jù)中分析企業(yè)發(fā)展趨勢， 挖掘新的機會方法， 根據(jù)數(shù)據(jù)決策，提高決策的及時性及準(zhǔn)確率。3. 提供管理效能，量化辦事效率基于系統(tǒng)分析內(nèi)容，管理者能了解細(xì)化、量化權(quán)力清單，固化權(quán)力運行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個體行為、記錄執(zhí) 法誠信、科學(xué)考核評價和提升管理精度，最終使群眾的合法權(quán)益得到 保護(hù)，實現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。（二）系統(tǒng)

6、架構(gòu)|離線報表多維分析即席查詢數(shù)報表統(tǒng)十?dāng)?shù)據(jù)挖掘決策管理 |預(yù)測分析數(shù)據(jù)管理層元 數(shù) 據(jù) 管 理數(shù)據(jù)清洗、轉(zhuǎn)換、加載數(shù)據(jù)交換I相關(guān)業(yè)務(wù)單位系統(tǒng)架構(gòu)圖在建立數(shù)據(jù)倉庫，數(shù)據(jù)倉庫按主題域存儲各業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)來源主要是政府 管理結(jié)構(gòu)的不同業(yè)務(wù)管理系統(tǒng)。 通過數(shù)據(jù)交換平臺定期采集各管理機構(gòu)的業(yè)務(wù)數(shù) 據(jù)，后臺數(shù)據(jù)處理工具 ETL 抽取、清洗數(shù)據(jù)，并加載入數(shù)據(jù)倉庫中。架構(gòu)于數(shù)據(jù)倉庫上的系統(tǒng)功能主要包括大數(shù)據(jù)門戶、 專題主題分析、 即系查 詢、多維分析、 自助報表的功能模塊， 通過這些功能模塊為管理者獲取數(shù)據(jù)和分 析數(shù)據(jù)提供簡單易用、 功能強大的方法， 為管理者決策及提升管理精度， 最終實 現(xiàn)權(quán)力有效監(jiān)督和提

7、升政府效能。數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫是一個建設(shè)過程，而不是產(chǎn)品。數(shù)據(jù)倉庫是通過對來自 不同的數(shù)據(jù)源進(jìn)行統(tǒng)一的處理及管理， 通過靈活的展示方法來幫助決 策支持。數(shù)據(jù)獲取層 實現(xiàn)如何從所有源系統(tǒng)中獲得原始的業(yè)務(wù)數(shù)據(jù)，并對其進(jìn)行一定 的數(shù)據(jù)處理， 按主題進(jìn)行數(shù)據(jù)重組和格式轉(zhuǎn)換， 然后傳送并裝載到數(shù) 據(jù)倉庫系統(tǒng)中。數(shù)據(jù)倉庫系統(tǒng)需要從多個源數(shù)據(jù)系統(tǒng)中抽取和匯總各個業(yè)務(wù)數(shù) 據(jù)，這些數(shù)據(jù)源系統(tǒng)是數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)來源。把上述數(shù)據(jù)源系統(tǒng)中的數(shù)據(jù)按照主題進(jìn)行劃分和組織，然后抽取 并裝載到數(shù)據(jù)倉庫系統(tǒng)中。數(shù)據(jù)需要經(jīng)過三個過程：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載。這三 個過程是在保證各個數(shù)據(jù)源系統(tǒng)與數(shù)據(jù)倉庫系統(tǒng)能夠成功連接

8、（包括 網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)的轉(zhuǎn)換、不同平臺之間的接口）的前提下實現(xiàn)的。保證 把來自不同的源數(shù)據(jù)系統(tǒng)的同類數(shù)據(jù)的一致性和完整性， 轉(zhuǎn)換完成的 數(shù)據(jù)裝載到數(shù)據(jù)倉庫系統(tǒng)中。數(shù)據(jù)管理層 把數(shù)據(jù)存儲到企業(yè)級數(shù)據(jù)倉庫系統(tǒng)中進(jìn)行集中管理。在數(shù)據(jù)存 儲層，數(shù)據(jù)是存放在兩類數(shù)據(jù)庫中：關(guān)系型數(shù)據(jù)庫和多維數(shù)據(jù)庫。數(shù) 據(jù)存儲是數(shù)據(jù)倉庫系統(tǒng)的中心。 取自多個數(shù)據(jù)源系統(tǒng)的明細(xì)數(shù)據(jù)， 以 及用于分析的集成匯總數(shù)據(jù)都存儲在這個中心。 它在邏輯上是一個完 整的庫。數(shù)據(jù)使用層 把數(shù)據(jù)倉庫系統(tǒng)中的數(shù)據(jù)和分析結(jié)果提供給最終用戶。按照用 戶的分析需求、使用報表、隨即查詢、多維度分析和數(shù)據(jù)挖掘進(jìn)行數(shù) 據(jù)展現(xiàn)。數(shù)據(jù)輸出層的功能是使最終用戶通過報

9、表、圖形和其他分析工具 的方式簡便、快捷地訪問數(shù)據(jù)倉庫系統(tǒng)中的各種數(shù)據(jù)， 得到分析結(jié)果。提供多種數(shù)據(jù)分析方法，包括標(biāo)準(zhǔn)報表、即席查詢報表、 動態(tài)分 析報表、多維分析、趨勢預(yù)測、假設(shè)分析和數(shù)據(jù)挖掘等。 系統(tǒng)功能架構(gòu)多維分析 OLDP 多角度、 立體化、靈活動態(tài)的分析業(yè)務(wù)數(shù)據(jù)。 產(chǎn) 品簡單易用， 無需編寫任何的代碼， 用戶只需要通過語義層的定義就 可以輕松搭建自己的多維數(shù)據(jù)模型。即席查詢 統(tǒng)計報表、指標(biāo)的快速檢索，幫助業(yè)務(wù)分析人員快速獲 得所需要的數(shù)據(jù)和統(tǒng)計信息。數(shù)據(jù)門戶 Data Portal 進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤、表 格、報表、日歷等內(nèi)容，并支持用戶個性化定制內(nèi)容、指標(biāo)等功能， 實

10、現(xiàn)真正的個性化服務(wù)。 數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容是管理者及業(yè)務(wù)人員 最關(guān)注的指標(biāo)，通過門戶為他們獲取數(shù)據(jù)提供最簡單容易的方式。主題分析 根據(jù)資源的組織，支持?jǐn)?shù)據(jù)的深入挖掘和分析應(yīng)用，跟 蹤、監(jiān)控政策的執(zhí)行情況及實施效果，讓管理層了解細(xì)化、量化權(quán)力 清單，固化權(quán)力運行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個體 行為、記錄執(zhí)法誠信、科學(xué)考核評價和提升管理精度，最終使群眾的 合法權(quán)益得到保護(hù)，實現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。報表業(yè)商業(yè)智能系統(tǒng)建設(shè)的重要組成部分，主要對企業(yè)數(shù)據(jù)倉庫 中整合的各主題域業(yè)務(wù)數(shù)據(jù)，按照監(jiān)督管理要求，面向各級部門，快 速提供準(zhǔn)確、全面、靈活的體現(xiàn)政府管理效能等方面實際的數(shù)據(jù)信息，

11、為決策支持、業(yè)務(wù)管理提供有效的數(shù)據(jù)信息支撐。ETL工具：ETL是數(shù)據(jù)倉庫最核心的后臺組件，通過對及匯總來 的不同來源數(shù)據(jù)的抽取、 清洗、加載實現(xiàn)數(shù)據(jù)倉庫中數(shù)據(jù)的更新及流 轉(zhuǎn)。ETL工具（橋接器），實現(xiàn)了圖形化及自動化的方式來配置 ETL 流程，極大的減輕了數(shù)據(jù)加工的工作量， 提高了數(shù)據(jù)準(zhǔn)確性及處理效 率。（三）數(shù)據(jù)倉庫建設(shè)方法數(shù)據(jù)倉庫決策分析的業(yè)務(wù)處理流程主要分為四個階段。1）數(shù)據(jù)集中： 各級政府部門業(yè)務(wù)數(shù)據(jù)統(tǒng)一匯總數(shù)據(jù)中心臨時數(shù)據(jù)存儲；2) 數(shù)據(jù)整理和轉(zhuǎn)換：匯總后的業(yè)務(wù)數(shù)據(jù)經(jīng)過ETL抽取、轉(zhuǎn)換、 加載到數(shù)據(jù)倉庫中；3) 數(shù)據(jù)存儲和管理：對數(shù)據(jù)倉庫數(shù)據(jù)進(jìn)行集中存儲和管理、 備份和維護(hù)；4) 數(shù)

12、據(jù)挖掘和展現(xiàn)：用戶通過前端的展現(xiàn)工具對數(shù)據(jù)倉庫中 數(shù)據(jù)進(jìn)行挖掘、鉆取和分析，在數(shù)據(jù)門戶展現(xiàn)；各委辦局業(yè)務(wù)系統(tǒng)數(shù)據(jù)倉庫建設(shè)8大步驟1. 系統(tǒng)分析，確定主題確定一下幾個因素：操作出現(xiàn)的頻率，即業(yè)務(wù)部門每隔多長時間做一次查詢分析。在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。用戶查詢數(shù)據(jù)的主要方式，如在時間維度上是按照自然年，還是財政年。用戶所能接受的響應(yīng)時間是多長、是幾秒鐘，還是幾小時。2. 選擇滿足數(shù)據(jù)倉庫系統(tǒng)要求的軟件平臺選擇合適的軟件平臺，包括數(shù)據(jù)庫、建模工具、分析工具等。有許多因素要考慮，如系統(tǒng)對數(shù)據(jù)量、響應(yīng)時間、分析功能的要求等，以下 是一些公認(rèn)的選擇標(biāo)準(zhǔn)：廠商的背景和支持能力

13、，能否提供全方位的技術(shù)支持和咨詢服務(wù)。數(shù)據(jù)庫對大數(shù)據(jù)量（ TB 級）的支持能力。數(shù)據(jù)庫是否支持并行操作。能否提供數(shù)據(jù)倉庫的建模工具，是否支持對元數(shù)據(jù)的管理。能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ ETT）。能否提供完整的決策支持工具集，滿足數(shù)據(jù)倉庫中各類用戶的需要。3. 建立數(shù)據(jù)倉庫的邏輯模型具體步驟如下：（1）確定建立數(shù)據(jù)倉庫邏輯模型的基本方法。（2）基于主題視圖， 把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中(3) 識別主題之間的關(guān)系(4) 分解多對多的關(guān)系銷售銷普記祿鎮(zhèn)號 <pi> Num価fl 切日時總姓名<ai> Chireeteft(10)由址Char

14、ectef*(40J電怎Characters(15)積分Number (6)VIPBoolean主標(biāo)不將£ pQ 決標(biāo)識哥<ci> Lona Inteacr <M>日嗣|可Dale & Time預(yù)忖聿頂Deal (6.2)Daumal 血2)¥強記錄娟號Number (1Q)王標(biāo)識帯<pi>Arrz-K-=Lq“£1 1門1：己心已TextLong charaders (20) Date & TimeNumber (6.2)(5) 用范式理論檢驗邏輯數(shù)據(jù)模型。(6) 由用戶審核邏輯數(shù)據(jù)模型。4. 邏輯數(shù)據(jù)模型轉(zhuǎn)化

15、為數(shù)據(jù)倉庫數(shù)據(jù)模型具體步驟如下：(1) 刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉庫模型中不需要包含邏輯數(shù)據(jù)模型 中的全部數(shù)據(jù)項，某些用于操作處理的數(shù)據(jù)項要刪除。(2) 增加時間主鍵：數(shù)據(jù)倉庫中的數(shù)據(jù)一定是時間的快照，因此必 須增加時間主鍵。(3) 增加派生數(shù)據(jù)：對于用戶經(jīng)常需要分析的數(shù)據(jù)，或者為了提高 性能，可以增加派生數(shù)據(jù)。(4) 加入不同級別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度， 粒度越大，數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉庫設(shè)計的一個重要因 素，它直接影響到駐留在數(shù)據(jù)倉庫中的數(shù)據(jù)量和可以執(zhí)行的查詢類 型。顯然，粒度級別越低，貝卩支持的查詢越多；反之，能支持的查詢 就有限。idiU9-嚴(yán)q楞F-K嚴(yán)戶M

16、淘申 宀A&KfE*>#C. FK3 f>iKPFIC5mFioJSLflW隹村至HEPKrar* idm嚴(yán)更？a Fii r- eMt-里 fd it?stIHMHi tits F=-Jjui3i5. 數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化數(shù)據(jù)倉庫設(shè)計時，性能是一項主要考慮因素。在數(shù)據(jù)倉庫建成后，也 需要經(jīng)常對其性能進(jìn)行監(jiān)控，并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。優(yōu)化數(shù)據(jù)倉庫設(shè)計的主要方法是:-合并不同的數(shù)據(jù)表。-通過增加匯總表避免數(shù)據(jù)的動態(tài)匯總。通過冗余字段減少表連接的數(shù)量，不要超過 35個用ID代碼而不是描述信息作為鍵值-對數(shù)據(jù)表做分區(qū)。致皓集BE數(shù)1®吏嶺數(shù)據(jù)歸約TLT2T3T

17、ZOOO-232a 100 59, 48Al A2 A3 Al 26-Ok 02>32 U 00* . 59 * 48Al A3：Al 15T1j|:.T3 iT14566. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺不同， 編碼方法不同，業(yè)務(wù)系統(tǒng)中 的數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前，必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換，保證數(shù) 據(jù)倉庫中數(shù)據(jù)的一致性。在設(shè)計數(shù)據(jù)倉庫的數(shù)據(jù)加載方案時，必須考慮以下幾項要求：加載方案必須能夠支持訪問不同的數(shù)據(jù)庫和文件系統(tǒng)。數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時間要求，能夠在規(guī)定的時間范圍內(nèi)完成。支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個工作流。支持增量加載，只把自上一次加載以

18、來變化的數(shù)據(jù)加載到數(shù)據(jù)倉7. 開發(fā)數(shù)據(jù)倉庫的分析應(yīng)用建立數(shù)據(jù)倉庫的最終目的是為業(yè)務(wù)部門提供決策支持能力， 必須為業(yè) 務(wù)部門選擇合適的工具實現(xiàn)其對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行分析的要求。信息部門所選擇的開發(fā)工具必須能夠：滿足用戶的全部分析功能要求。數(shù)據(jù)倉庫中的用戶包括了企業(yè)中各 個業(yè)務(wù)部門，他們的業(yè)務(wù)不同，要求的分析功能也不同。如有的用戶 只是簡單的分析報表，有些用戶則要求做預(yù)測和趨勢分析。提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表 現(xiàn)，支持復(fù)雜的圖表。使用方式上，可以是客戶機 /服務(wù)器方式，也 可以是瀏覽器方式。事實上，沒有一種工具能夠滿足數(shù)據(jù)倉庫的全部分析功能需求， 一個 完整的數(shù)據(jù)

19、倉庫系統(tǒng)的功能可能是由多種工具來實現(xiàn)，因此必須考慮 多個工具之間的接口和集成性問題， 對于用戶來說，希望看到的是一 致的界面。8. 數(shù)據(jù)倉庫的管理只重視數(shù)據(jù)倉庫的建立，而忽視數(shù)據(jù)倉庫的管理必然導(dǎo)致數(shù)據(jù)倉庫項 目的失敗。數(shù)據(jù)倉庫管理主要包括數(shù)據(jù)庫管理和元數(shù)據(jù)管理。數(shù)據(jù)庫管理需要考以下幾個方面：安全性管理。數(shù)據(jù)倉庫中的用戶只能訪問到他的授權(quán)范圍內(nèi)的數(shù)據(jù)，數(shù)據(jù)在傳輸過程中的加密策略。數(shù)據(jù)倉庫的備份和恢復(fù)。數(shù)據(jù)倉庫的大小和備份的頻率直接影響到 備份策略。如何保證數(shù)據(jù)倉庫系統(tǒng)的可用性，硬件還是軟件方法。數(shù)據(jù)老化。設(shè)計數(shù)據(jù)倉庫中數(shù)據(jù)的存放時間周期和對過期數(shù)據(jù)的老 化方法，如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)，當(dāng)年數(shù)據(jù)

20、保存詳細(xì)記錄。然而，元數(shù)據(jù)管理貫穿于整個系統(tǒng)的建設(shè)過程中， 元數(shù)據(jù)是描述數(shù)據(jù) 的數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)主要包括下列信息：源數(shù)據(jù)的描述定義：類型、位置、結(jié)構(gòu)。數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)目標(biāo)數(shù)據(jù)倉庫的模型描述：星型/雪花模型定義，維/事實結(jié)構(gòu)定義。源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉庫的映射關(guān)系：函數(shù)/表達(dá)式定義。 代碼：生成轉(zhuǎn)換程序、自動加載程序等。在數(shù)據(jù)管理階段，元數(shù)據(jù)主要包括下列信息：匯總數(shù)據(jù)的描述：匯總 /聚合層次、物化視圖結(jié)構(gòu)定義。歷史數(shù)據(jù)存儲規(guī)則：位置、存儲粒度。多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：報表的描述：報表結(jié)構(gòu)的定義。

21、統(tǒng)計函數(shù)的描述：各類統(tǒng)計分析函數(shù)的定義。結(jié)果輸出的描述：圖、表輸出的定義。元數(shù)據(jù)不但是獨立存放， 而且對用戶是透明的， 標(biāo)準(zhǔn)元數(shù)據(jù)之間可以 互相轉(zhuǎn)換（四）系統(tǒng)功能詳細(xì)介紹企業(yè)數(shù)據(jù)門戶企業(yè)實施商業(yè)智能、數(shù)據(jù)倉庫的目的之一為整合各系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，統(tǒng)一指標(biāo)口徑，實現(xiàn)統(tǒng)一視圖、統(tǒng)一決策界面。企業(yè)數(shù)據(jù)門戶功 能主要對整合的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤、表格、 日歷等內(nèi)容。數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容是管理者及業(yè)務(wù)人員最關(guān)注的指 標(biāo)，通過門戶為他們獲取數(shù)據(jù)提供最簡單容易的方式。數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容根據(jù)用戶角色不同而有所差異， 每個用戶都可以定制自己 關(guān)注的內(nèi)容，實現(xiàn)真正的個性化服務(wù)。系統(tǒng)截圖:比笛業(yè)U

22、K廠1F*Mum恥計創(chuàng)宣薊1弋*評比nvatilfl*I "F4-10 昕*"乩主ft 冷-id m、測xu北2 2MJL12«2 2«lain£ttftJ4*JZE"解Z4珈£fiEW杯e.m9 MW)43-11 (4*gigAim1404-i& <$*ISttnrii尊業(yè)收人縱問對ttXi2fH23AI34KM5W3«JK7JiiU1MWB17*?awt N5l.5«V.W專1112IS1：415714161?182021222324252627<ndi： £O2930吹

23、善業(yè)收"卿刼即范注|卅】1日 J 豊比 ； > 3 m> * TJ1 如m t o OOlM > 4 W I軸< X.ttfX-B耳耳! d主題分析數(shù)據(jù)倉庫中的業(yè)務(wù)數(shù)據(jù)通常是面向主題進(jìn)行組織的。主題分析是 在較高層次上將企業(yè)信息系統(tǒng)的數(shù)據(jù)進(jìn)行歸并、 抽象，形成對分析對 象的一個完整的描述， 體現(xiàn)分析數(shù)據(jù)之間的相互關(guān)系， 揭示數(shù)據(jù)規(guī)律 和問題。主題分析模塊從主題域的角度入手，支撐數(shù)據(jù)資源的組織，支持 數(shù)據(jù)的深入挖掘和分析應(yīng)用， 跟蹤、監(jiān)控政策的執(zhí)行情況及實施效果， 倒逼行政權(quán)力部門認(rèn)真履職、規(guī)范執(zhí)法、優(yōu)化服務(wù) , 努力提高政府效 能?？紤]到國情特點和現(xiàn)狀，主題分

24、析涵蓋了經(jīng)濟發(fā)展、衛(wèi)生健康、 教育科技、道路交通、機構(gòu)團體、生活服務(wù)、文體娛樂、安全避險、 資源環(huán)境、社保就業(yè)、財稅金融、法律服務(wù)量等八個主題域相關(guān)的主 題分析功能。即席查詢即席查詢針對數(shù)據(jù)倉庫內(nèi)的各主題數(shù)據(jù)、 統(tǒng)計報表、 指標(biāo)的快 速檢索，幫助分析人員快速獲得所需要的數(shù)據(jù)和統(tǒng)計信息。 即席查詢 工具通過提供各種向?qū)浇缑妗D形查詢生成器、聯(lián)機幫助等功能， 為系統(tǒng)使用人員提供細(xì)粒度數(shù)據(jù)。即席查詢是分析人員的重要的輔助工具，它是在數(shù)據(jù)倉庫的信息 組織基礎(chǔ)上，盡可能多的在后臺按照分析人員關(guān)心的分析角度沉淀業(yè) 務(wù)知識，在前端功能上屏蔽后臺查詢技術(shù)細(xì)節(jié)， 為分析人員提供靈活 的業(yè)務(wù)分析查詢角度定制和結(jié)

25、果定制功能， 使分析人員在分析匯總數(shù) 據(jù)的同時能夠通過即席查詢進(jìn)一步深入到自己感興趣的細(xì)節(jié)數(shù)據(jù)中， 以便更全面地反映情況，做出正確決策。多維分析工具多維分析是商業(yè)智能的核心技術(shù)，可以幫助用戶進(jìn)行多角度、立 體化、靈活動態(tài)的分析。多維分析報表由“維” （影響因素）和 “指 標(biāo)”（衡量因素）組成，能夠真正為用戶所理解、并真實的反映國情 特性信息。BI- 多維分析工具簡單易用，無需編寫任何的代碼，用戶只 需要通過語義層的定義就可以輕松搭建自己的多維數(shù)據(jù)模型。 同時具 有靈活的分析功能、 直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu) 點，從而使用戶對基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效， 以利于 迅速做

26、出正確判斷。 它可用于證實人們提出的復(fù)雜的假設(shè)， 以圖形或 者表格的形式來表示的對信息的總結(jié)。多維分析工具專門設(shè)計用于支持復(fù)雜的分析操作，側(cè)重對決策人 員和高層管理人員的決策支持， 可以根據(jù)分析人員的要求快速、 靈活 地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理， 并且以一種直觀而易懂的形式將查 詢結(jié)果提供給決策人員， 以便他們準(zhǔn)確掌握企業(yè) （公司）的經(jīng)營狀況， 了解對象的需求，制定正確的方案。ETL工具ETL負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù) 文件等抽取到臨時中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù) 倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。ETL是數(shù)據(jù)倉庫中的非常重要的一環(huán)

27、，它是承前啟后的必要的一步。ETL工具純java編寫，可以在 Window Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。功能強大、靈活，使用簡單。1進(jìn)理（ETL平臺架構(gòu)）數(shù)據(jù)抽取就是從數(shù)據(jù)源抽取出所需的數(shù)據(jù)的過程。數(shù)據(jù)抽取后，再經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù) 據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)轉(zhuǎn)換主要用于解決數(shù)據(jù)不一致性問題， 數(shù)據(jù)加載就是將從數(shù)據(jù)源系統(tǒng)中抽取、 轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫 系統(tǒng)中。ETL流程管理調(diào)度是ETL過程中的統(tǒng)一調(diào)度者和指揮者，它 把復(fù)雜的數(shù)據(jù)處理過程中各個步驟整合成一個整體。異常數(shù)據(jù)處理機 制指源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)本身出錯并發(fā)生變更后，對于正在抽取、已經(jīng)抽取、已經(jīng)處理、已經(jīng)匯總等各個環(huán)節(jié)，如何進(jìn)行回退處理的一套 機制。系統(tǒng)截圖：.V"wim鈕抖斤遢!日It町忻稱世卑f箕?壯也*壬測>£電_二-一桑佻勺n打¥（ETL界面切圖）產(chǎn)品特色：（1）支持 MYSQL/0RACLE/MSSQLSERVER/DB2/ACC夢等多種 數(shù)據(jù)庫；（2）