數(shù)據(jù)倉庫解決專項(xiàng)方案v要點(diǎn)

數(shù)據(jù)倉庫處理方案深圳太極云軟技術(shù)股份1月

目錄(一) 概述 2一. 中國信息化現(xiàn)實(shí)狀況 2二. 以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉庫建設(shè)應(yīng)由后向前計(jì)劃 3三. “想大做小”（整體設(shè)計(jì)、分布實(shí)施） 4(二) 系統(tǒng)架構(gòu) 5數(shù)據(jù)倉庫架構(gòu) 6系統(tǒng)功效架構(gòu) 7(三) 數(shù)據(jù)倉庫建設(shè)方法 8數(shù)據(jù)倉庫建設(shè)8大步驟 91.系統(tǒng)分析，確定專題 92.選擇滿足數(shù)據(jù)倉庫系統(tǒng)要求軟件平臺(tái) 103.建立數(shù)據(jù)倉庫邏輯模型 104.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉庫數(shù)據(jù)模型 115.數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化 126.數(shù)據(jù)清洗轉(zhuǎn)換和傳輸 137.開發(fā)數(shù)據(jù)倉庫分析應(yīng)用 148.數(shù)據(jù)倉庫管理 15(四) 系統(tǒng)功效具體介紹 16企業(yè)數(shù)據(jù)門戶 16專題分析 17即席查詢 18多維分析工具 19ETL工具 19報(bào)表工具 21

概述中國信息化現(xiàn)實(shí)狀況信息化建設(shè)發(fā)展歷史：在中國信息化建設(shè)過程中，基礎(chǔ)上是根據(jù)當(dāng)初業(yè)務(wù)系統(tǒng)需求進(jìn)行建設(shè)，過一段時(shí)間，假如有新業(yè)務(wù)推出，就再建設(shè)一個(gè)新系統(tǒng)，或在原系統(tǒng)基礎(chǔ)上增加新業(yè)務(wù)處理。這么結(jié)果使每個(gè)系統(tǒng)和系統(tǒng)之間缺乏真正信息溝通和信息交換。為何要建立數(shù)據(jù)倉庫：依據(jù)現(xiàn)實(shí)狀況業(yè)務(wù)系統(tǒng)各自為政，相互獨(dú)立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立后，因?yàn)轭I(lǐng)導(dǎo)要求和決議需求，需要部分指標(biāo)分析，在對(duì)應(yīng)業(yè)務(wù)系統(tǒng)基礎(chǔ)上再增加分析和對(duì)應(yīng)報(bào)表功效，這么每個(gè)系統(tǒng)就增加了報(bào)表和分析功效。不過，因?yàn)閿?shù)據(jù)源不統(tǒng)一造成了對(duì)同一個(gè)指標(biāo)分析結(jié)果不相同。為了處理該問題，為了分析和決議需要，將相互分離業(yè)務(wù)系統(tǒng)數(shù)據(jù)源整合在一起，能夠?yàn)轭I(lǐng)導(dǎo)和決議層提供分析和輔助決議。以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉庫建設(shè)應(yīng)由后向前計(jì)劃數(shù)據(jù)倉庫到底應(yīng)該怎么建設(shè)?我一貫主張是應(yīng)用驅(qū)動(dòng)。什么樣應(yīng)用呢？應(yīng)用是應(yīng)考慮政府管理現(xiàn)實(shí)狀況和決議層最關(guān)心問題入手。分利用現(xiàn)有信息系統(tǒng)資源，深入細(xì)化、量化權(quán)力清單，固化權(quán)力運(yùn)行步驟和辦理步驟，達(dá)成規(guī)范業(yè)務(wù)步驟、監(jiān)督個(gè)體行為、統(tǒng)計(jì)執(zhí)法誠信、科學(xué)考評(píng)評(píng)價(jià)和提升管理精度，最終使群眾正當(dāng)權(quán)益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。經(jīng)過分析經(jīng)濟(jì)發(fā)展、衛(wèi)生健康、教育科技、道路交通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體娛樂、安全避險(xiǎn)、資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)等這些專題分析是否可行，應(yīng)該優(yōu)異行評(píng)定。這么從應(yīng)用專題入手，就能夠知道需要什么樣數(shù)據(jù)，來自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源，這些數(shù)據(jù)全體進(jìn)行一定整合，根據(jù)分析要求存放就組成了一個(gè)個(gè)數(shù)據(jù)集市（DataMart）?！跋氪笞鲂　保ㄕw設(shè)計(jì)、分布實(shí)施）為了避免原有業(yè)務(wù)系統(tǒng)相對(duì)獨(dú)立而形成一個(gè)個(gè)信息孤島，以應(yīng)用驅(qū)動(dòng)建設(shè)數(shù)據(jù)倉庫，往往會(huì)造成新信息孤島。這是因?yàn)閼?yīng)用往往是部門級(jí)或是某首先應(yīng)用，不能完全覆蓋企業(yè)級(jí)全部應(yīng)用。當(dāng)然我們這里不提倡一次建設(shè)應(yīng)用。怎樣避免這個(gè)問題，是我這里著關(guān)鍵要強(qiáng)調(diào)。這里分兩種情形進(jìn)行設(shè)計(jì)，系統(tǒng)作用1.整合業(yè)務(wù)數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)不流通，形成信息孤島，商業(yè)智能處理方案建立統(tǒng)一數(shù)據(jù)倉庫，整合業(yè)務(wù)數(shù)據(jù)，給管理者提供統(tǒng)一視圖，統(tǒng)一決議界面。2.支撐決議從數(shù)據(jù)中分析企業(yè)發(fā)展趨勢(shì)，挖掘新機(jī)會(huì)方法，依據(jù)數(shù)據(jù)決議，提升決議立即性及正確率。3.提供管理效能，量化辦事效率基于系統(tǒng)分析內(nèi)容，管理者能了解細(xì)化、量化權(quán)力清單，固化權(quán)力運(yùn)行步驟和辦理步驟，達(dá)成規(guī)范業(yè)務(wù)步驟、監(jiān)督個(gè)體行為、統(tǒng)計(jì)執(zhí)法誠信、科學(xué)考評(píng)評(píng)價(jià)和提升管理精度，最終使群眾正當(dāng)權(quán)益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。系統(tǒng)架構(gòu)系統(tǒng)架構(gòu)圖在建立數(shù)據(jù)倉庫，數(shù)據(jù)倉庫按專題域存放各業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)起源關(guān)鍵是政府管理結(jié)構(gòu)不一樣業(yè)務(wù)管理系統(tǒng)。經(jīng)過數(shù)據(jù)交換平臺(tái)定時(shí)采集各管理機(jī)構(gòu)業(yè)務(wù)數(shù)據(jù)，后臺(tái)數(shù)據(jù)處理工具ETL抽取、清洗數(shù)據(jù)，并加載入數(shù)據(jù)倉庫中。架構(gòu)于數(shù)據(jù)倉庫上系統(tǒng)功效關(guān)鍵包含大數(shù)據(jù)門戶、專題專題分析、即系查詢、多維分析、自助報(bào)表功效模塊，經(jīng)過這些功效模塊為管理者獲取數(shù)據(jù)和分析數(shù)據(jù)提供簡(jiǎn)單易用、功效強(qiáng)大方法，為管理者決議及提升管理精度，最終實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫是一個(gè)建設(shè)過程，而不是產(chǎn)品。數(shù)據(jù)倉庫是經(jīng)過對(duì)來自不一樣數(shù)據(jù)源進(jìn)行統(tǒng)一處理及管理，經(jīng)過靈活展示方法來幫助決議支持。數(shù)據(jù)獲取層實(shí)現(xiàn)怎樣從全部源系統(tǒng)中取得原始業(yè)務(wù)數(shù)據(jù)，并對(duì)其進(jìn)行一定數(shù)據(jù)處理，按專題進(jìn)行數(shù)據(jù)重組和格式轉(zhuǎn)換，然后傳送并裝載到數(shù)據(jù)倉庫系統(tǒng)中。數(shù)據(jù)倉庫系統(tǒng)需要從多個(gè)源數(shù)據(jù)系統(tǒng)中抽取和匯總各個(gè)業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)源系統(tǒng)是數(shù)據(jù)倉庫系統(tǒng)數(shù)據(jù)起源。把上述數(shù)據(jù)源系統(tǒng)中數(shù)據(jù)根據(jù)專題進(jìn)行劃分和組織，然后抽取并裝載到數(shù)據(jù)倉庫系統(tǒng)中。數(shù)據(jù)需要經(jīng)過三個(gè)過程：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載。這三個(gè)過程是在確保各個(gè)數(shù)據(jù)源系統(tǒng)和數(shù)據(jù)倉庫系統(tǒng)能夠成功連接（包含網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)轉(zhuǎn)換、不一樣平臺(tái)之間接口）前提下實(shí)現(xiàn)。確保把來自不一樣源數(shù)據(jù)系統(tǒng)同類數(shù)據(jù)一致性和完整性，轉(zhuǎn)換完成數(shù)據(jù)裝載到數(shù)據(jù)倉庫系統(tǒng)中。數(shù)據(jù)管理層把數(shù)據(jù)存放到企業(yè)級(jí)數(shù)據(jù)倉庫系統(tǒng)中進(jìn)行集中管理。在數(shù)據(jù)存放層，數(shù)據(jù)是存放在兩類數(shù)據(jù)庫中：關(guān)系型數(shù)據(jù)庫和多維數(shù)據(jù)庫。數(shù)據(jù)存放是數(shù)據(jù)倉庫系統(tǒng)中心。取自多個(gè)數(shù)據(jù)源系統(tǒng)明細(xì)數(shù)據(jù)，和用于分析集成匯總數(shù)據(jù)全部存放在這個(gè)中心。它在邏輯上是一個(gè)完整庫。數(shù)據(jù)使用層把數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)和分析結(jié)果提供給最終用戶。根據(jù)用戶分析需求、使用報(bào)表、隨即查詢、多維度分析和數(shù)據(jù)挖掘進(jìn)行數(shù)據(jù)展現(xiàn)。數(shù)據(jù)輸出層功效是使最終用戶經(jīng)過報(bào)表、圖形和其它分析工具方法簡(jiǎn)便、快捷地訪問數(shù)據(jù)倉庫系統(tǒng)中多種數(shù)據(jù)，得到分析結(jié)果。提供多個(gè)數(shù)據(jù)分析方法，包含標(biāo)準(zhǔn)報(bào)表、即席查詢報(bào)表、動(dòng)態(tài)分析報(bào)表、多維分析、趨勢(shì)估計(jì)、假設(shè)分析和數(shù)據(jù)挖掘等。系統(tǒng)功效架構(gòu)多維分析OLDP多角度、立體化、靈活動(dòng)態(tài)分析業(yè)務(wù)數(shù)據(jù)。產(chǎn)品簡(jiǎn)單易用，無需編寫任何代碼，用戶只需要經(jīng)過語義層定義就能夠輕松搭建自己多維數(shù)據(jù)模型。即席查詢統(tǒng)計(jì)報(bào)表、指標(biāo)快速檢索，幫助業(yè)務(wù)分析人員快速取得所需要數(shù)據(jù)和統(tǒng)計(jì)信息。數(shù)據(jù)門戶DataPortal進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方法包含儀表盤、表格、報(bào)表、日歷等內(nèi)容，并支持用戶個(gè)性化定制內(nèi)容、指標(biāo)等功效，實(shí)現(xiàn)真正個(gè)性化服務(wù)。數(shù)據(jù)門戶中展現(xiàn)內(nèi)容是管理者及業(yè)務(wù)人員最關(guān)注指標(biāo)，經(jīng)過門戶為她們獲取數(shù)據(jù)提供最簡(jiǎn)單輕易方法。專題分析依據(jù)資源組織，支持?jǐn)?shù)據(jù)深入挖掘和分析應(yīng)用，跟蹤、監(jiān)控政策實(shí)施情況及實(shí)施效果，讓管理層了解細(xì)化、量化權(quán)力清單，固化權(quán)力運(yùn)行步驟和辦理步驟，達(dá)成規(guī)范業(yè)務(wù)步驟、監(jiān)督個(gè)體行為、統(tǒng)計(jì)執(zhí)法誠信、科學(xué)考評(píng)評(píng)價(jià)和提升管理精度，最終使群眾正當(dāng)權(quán)益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。報(bào)表業(yè)商業(yè)智能系統(tǒng)建設(shè)關(guān)鍵組成部分，關(guān)鍵對(duì)企業(yè)數(shù)據(jù)倉庫中整合各專題域業(yè)務(wù)數(shù)據(jù)，根據(jù)監(jiān)督管理要求，面向各級(jí)部門，快速提供正確、全方面、靈活表現(xiàn)政府管理效能等方面實(shí)際數(shù)據(jù)信息，為決議支持、業(yè)務(wù)管理提供有效數(shù)據(jù)信息支撐。ETL工具：ETL是數(shù)據(jù)倉庫最關(guān)鍵后臺(tái)組件，經(jīng)過對(duì)及匯總來不一樣起源數(shù)據(jù)抽取、清洗、加載實(shí)現(xiàn)數(shù)據(jù)倉庫中數(shù)據(jù)更新及流轉(zhuǎn)。ETL工具（橋接器），實(shí)現(xiàn)了圖形化及自動(dòng)化方法來配置ETL步驟，極大減輕了數(shù)據(jù)加工工作量，提升了數(shù)據(jù)正確性及處理效率。數(shù)據(jù)倉庫建設(shè)方法數(shù)據(jù)倉庫決議分析業(yè)務(wù)處理步驟關(guān)鍵分為四個(gè)階段。數(shù)據(jù)集中：各級(jí)政府部門業(yè)務(wù)數(shù)據(jù)統(tǒng)一匯總數(shù)據(jù)中心臨時(shí)數(shù)據(jù)存放；數(shù)據(jù)整理和轉(zhuǎn)換：匯總后業(yè)務(wù)數(shù)據(jù)經(jīng)過ETL抽取、轉(zhuǎn)換、加載到數(shù)據(jù)倉庫中；數(shù)據(jù)存放和管理：對(duì)數(shù)據(jù)倉庫數(shù)據(jù)進(jìn)行集中存放和管理、備份和維護(hù)；數(shù)據(jù)挖掘和展現(xiàn)：用戶經(jīng)過前端展現(xiàn)工具對(duì)數(shù)據(jù)倉庫中數(shù)據(jù)進(jìn)行挖掘、鉆取和分析，在數(shù)據(jù)門戶展現(xiàn)；各委辦局業(yè)務(wù)系統(tǒng)各委辦局業(yè)務(wù)系統(tǒng)人社公安民政交換平臺(tái)政府?dāng)?shù)據(jù)中心臨時(shí)存放數(shù)據(jù)抽取轉(zhuǎn)換加載數(shù)據(jù)倉庫數(shù)據(jù)集市決議趨勢(shì)數(shù)據(jù)門戶數(shù)據(jù)倉庫建設(shè)8大步驟1.系統(tǒng)分析，確定專題確定一下多個(gè)原因：

·操作出現(xiàn)頻率，即業(yè)務(wù)部門每隔多長(zhǎng)時(shí)間做一次查詢分析。

·在系統(tǒng)中需要保留多久數(shù)據(jù)，是十二個(gè)月、兩年還是五年、十年。

·用戶查詢數(shù)據(jù)關(guān)鍵方法，如在時(shí)間維度上是根據(jù)自然年，還是財(cái)政年。

·用戶所能接收響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘，還是幾小時(shí)。2.選擇滿足數(shù)據(jù)倉庫系統(tǒng)要求軟件平臺(tái)選擇適宜軟件平臺(tái)，包含數(shù)據(jù)庫、建模工具、分析工具等。有很多原因要考慮，如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功效要求等，以下是部分公認(rèn)選擇標(biāo)準(zhǔn)：

·廠商背景和支持能力，能否提供全方位技術(shù)支持和咨詢服務(wù)。

·數(shù)據(jù)庫對(duì)大數(shù)據(jù)量（TB級(jí)）支持能力。

·數(shù)據(jù)庫是否支持并行操作。

·能否提供數(shù)據(jù)倉庫建模工具，是否支持對(duì)元數(shù)據(jù)管理。

·能否提供支持大數(shù)據(jù)量數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ETT）。

·能否提供完整決議支持工具集，滿足數(shù)據(jù)倉庫中各類用戶需要。3.建立數(shù)據(jù)倉庫邏輯模型具體步驟以下：

（1）確定建立數(shù)據(jù)倉庫邏輯模型基礎(chǔ)方法。

（2）基于專題視圖，把專題視圖中數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。

（3）識(shí)別專題之間關(guān)系。

（4）分解多對(duì)多關(guān)系。（5）用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。

（6）由用戶審核邏輯數(shù)據(jù)模型。4.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉庫數(shù)據(jù)模型具體步驟以下：

（1）刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉庫模型中不需要包含邏輯數(shù)據(jù)模型中全部數(shù)據(jù)項(xiàng)，一些用于操作處理數(shù)據(jù)項(xiàng)要?jiǎng)h除。

（2）增加時(shí)間主鍵：數(shù)據(jù)倉庫中數(shù)據(jù)一定是時(shí)間快照，所以必需增加時(shí)間主鍵。

（3）增加派生數(shù)據(jù)：對(duì)于用戶常常需要分析數(shù)據(jù)，或?yàn)榱颂嵘阅?，能夠增加派生?shù)據(jù)。

（4）加入不一樣等級(jí)粒度匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度，粒度越大，數(shù)據(jù)匯總程度越高。粒度是數(shù)據(jù)倉庫設(shè)計(jì)一個(gè)關(guān)鍵原因，它直接影響到駐留在數(shù)據(jù)倉庫中數(shù)據(jù)量和能夠?qū)嵤┎樵冾愋汀ｏ@然，粒度等級(jí)越低，則支持查詢?cè)蕉?；反之，能支持查詢就有限?.數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化數(shù)據(jù)倉庫設(shè)計(jì)時(shí)，性能是一項(xiàng)關(guān)鍵考慮原因。在數(shù)據(jù)倉庫建成后，也需要常常對(duì)其性能進(jìn)行監(jiān)控，并伴隨需求和數(shù)據(jù)量變更進(jìn)行調(diào)整。

優(yōu)化數(shù)據(jù)倉庫設(shè)計(jì)關(guān)鍵方法是：

·合并不一樣數(shù)據(jù)表。

·經(jīng)過增加匯總表避免數(shù)據(jù)動(dòng)態(tài)匯總。

·經(jīng)過冗余字段降低表連接數(shù)量，不要超出3~5個(gè)。

·用ID代碼而不是描述信息作為鍵值。

·對(duì)數(shù)據(jù)表做分區(qū)。6.數(shù)據(jù)清洗轉(zhuǎn)換和傳輸因?yàn)闃I(yè)務(wù)系統(tǒng)所使用軟硬件平臺(tái)不一樣，編碼方法不一樣，業(yè)務(wù)系統(tǒng)中數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前，必需進(jìn)行數(shù)據(jù)清洗和轉(zhuǎn)換，確保數(shù)據(jù)倉庫中數(shù)據(jù)一致性。

在設(shè)計(jì)數(shù)據(jù)倉庫數(shù)據(jù)加載方案時(shí)，必需考慮以下幾項(xiàng)要求：

·加載方案必需能夠支持訪問不一樣數(shù)據(jù)庫和文件系統(tǒng)。

·數(shù)據(jù)清洗、轉(zhuǎn)換和傳輸必需滿足時(shí)間要求，能夠在要求時(shí)間范圍內(nèi)完成。

·支持多種轉(zhuǎn)換方法，多種轉(zhuǎn)換方法能夠組成一個(gè)工作流。

·支持增量加載，只把自上一次加載以來改變數(shù)據(jù)加載到數(shù)據(jù)倉庫。7.開發(fā)數(shù)據(jù)倉庫分析應(yīng)用建立數(shù)據(jù)倉庫最終目標(biāo)是為業(yè)務(wù)部門提供決議支持能力，必需為業(yè)務(wù)部門選擇適宜工具實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉庫中數(shù)據(jù)進(jìn)行分析要求。

信息部門所選擇開發(fā)工具必需能夠：

·滿足用戶全部分析功效要求。數(shù)據(jù)倉庫中用戶包含了企業(yè)中各個(gè)業(yè)務(wù)部門，她們業(yè)務(wù)不一樣，要求分析功效也不一樣。如有用戶只是簡(jiǎn)單分析報(bào)表，有些用戶則要求做估計(jì)和趨勢(shì)分析。

·提供靈活表現(xiàn)方法。分析結(jié)果必需能夠以直觀、靈活方法表現(xiàn)，支持復(fù)雜圖表。使用方法上，能夠是用戶機(jī)/服務(wù)器方法，也能夠是瀏覽器方法。

實(shí)際上，沒有一個(gè)工具能夠滿足數(shù)據(jù)倉庫全部分析功效需求，一個(gè)完整數(shù)據(jù)倉庫系統(tǒng)功效可能是由多個(gè)工具來實(shí)現(xiàn)，所以必需考慮多個(gè)工具之間接口和集成性問題，對(duì)于用戶來說，期望看到是一致界面。8.數(shù)據(jù)倉庫管理只重視數(shù)據(jù)倉庫建立，而忽略數(shù)據(jù)倉庫管理肯定造成數(shù)據(jù)倉庫項(xiàng)目標(biāo)失敗。數(shù)據(jù)倉庫管理關(guān)鍵包含數(shù)據(jù)庫管理和元數(shù)據(jù)管理。

數(shù)據(jù)庫管理需要考以下多個(gè)方面：

·安全性管理。數(shù)據(jù)倉庫中用戶只能訪問到她授權(quán)范圍內(nèi)數(shù)據(jù)，數(shù)據(jù)在傳輸過程中加密策略。

·數(shù)據(jù)倉庫備份和恢復(fù)。數(shù)據(jù)倉庫大小和備份頻率直接影響到備份策略。

·怎樣確保數(shù)據(jù)倉庫系統(tǒng)可用性，硬件還是軟件方法。

·數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉庫中數(shù)據(jù)存放時(shí)間周期和對(duì)過期數(shù)據(jù)老化方法，如歷史數(shù)據(jù)只保留匯總數(shù)據(jù)，當(dāng)年數(shù)據(jù)保留具體統(tǒng)計(jì)。

然而，元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)建設(shè)過程中，元數(shù)據(jù)是描述數(shù)據(jù)數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)關(guān)鍵包含下列信息：

·源數(shù)據(jù)描述定義：類型、位置、結(jié)構(gòu)。

·數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)。

·目標(biāo)數(shù)據(jù)倉庫模型描述：星型/雪花模型定義，維/事實(shí)結(jié)構(gòu)定義。

·源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉庫映射關(guān)系：函數(shù)/表示式定義。

·代碼：生成轉(zhuǎn)換程序、自動(dòng)加載程序等。

在數(shù)據(jù)管理階段，元數(shù)據(jù)關(guān)鍵包含下列信息：

·匯總數(shù)據(jù)描述：匯總/聚合層次、物化視圖結(jié)構(gòu)定義。

·歷史數(shù)據(jù)存放規(guī)則：位置、存放粒度。

·多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義等。

在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)關(guān)鍵包含以下信息：

·報(bào)表描述：報(bào)表結(jié)構(gòu)定義。

·統(tǒng)計(jì)函數(shù)描述：各類統(tǒng)計(jì)分析函數(shù)定義。

·結(jié)果輸出描述：圖、表輸出定義。

元數(shù)據(jù)不不過獨(dú)立存放，而且對(duì)用戶是透明，標(biāo)準(zhǔn)元數(shù)據(jù)之間能夠相互轉(zhuǎn)換系統(tǒng)功效具體介紹企業(yè)數(shù)據(jù)門戶企業(yè)實(shí)施商業(yè)智能、數(shù)據(jù)倉庫目標(biāo)之一為整合各系統(tǒng)業(yè)務(wù)數(shù)據(jù)，統(tǒng)一指標(biāo)口徑，實(shí)現(xiàn)統(tǒng)一視圖、統(tǒng)一決議界面。企業(yè)數(shù)據(jù)門戶功效關(guān)鍵對(duì)整合業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方法包含儀表盤、表格、日歷等內(nèi)容。數(shù)據(jù)門戶中展現(xiàn)內(nèi)容是管理者及業(yè)務(wù)人員最關(guān)注指標(biāo)，經(jīng)過門戶為她們獲取數(shù)據(jù)提供最簡(jiǎn)單輕易方法。數(shù)據(jù)門戶中展現(xiàn)內(nèi)容依據(jù)用戶角色不一樣而有所差異，每個(gè)用戶全部能夠定制自己關(guān)注內(nèi)容，實(shí)現(xiàn)真正個(gè)性化服務(wù)。系統(tǒng)截圖：專題分析數(shù)據(jù)倉庫中業(yè)務(wù)數(shù)據(jù)通常是面向?qū)ｎ}進(jìn)行組織。專題分析是在較高層次上將企業(yè)信息系統(tǒng)數(shù)據(jù)進(jìn)行歸并、抽象，形成對(duì)分析對(duì)象一個(gè)完整描述，表現(xiàn)分析數(shù)據(jù)之間相互關(guān)系，揭示數(shù)據(jù)規(guī)律和問題。專題分析模塊從專題域角度入手，支撐數(shù)據(jù)資源組織，支持?jǐn)?shù)據(jù)深入挖掘和分析應(yīng)用，跟蹤、監(jiān)控政策實(shí)施情況及實(shí)施效果，倒逼行政權(quán)力部門認(rèn)真履職、規(guī)范執(zhí)法、優(yōu)化服務(wù),努力提升政府效能?？紤]到國情特點(diǎn)和現(xiàn)實(shí)狀況，專題分析涵蓋了經(jīng)濟(jì)發(fā)展、衛(wèi)生健康、教育科技、道路交通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體娛樂、安全避險(xiǎn)、資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)量等八個(gè)專題域相關(guān)專題分析功效。即席查詢即席查詢針對(duì)數(shù)據(jù)倉庫內(nèi)各專題數(shù)據(jù)、統(tǒng)計(jì)報(bào)表、指標(biāo)快速檢索，幫助分析人員快速取得所需要數(shù)據(jù)和統(tǒng)計(jì)信息。即席查詢工具經(jīng)過提供多種向?qū)浇缑妗D形查詢生成器、聯(lián)機(jī)幫助等功效，為系統(tǒng)使用人員提供細(xì)粒度數(shù)據(jù)。即席查詢是分析人員關(guān)鍵輔助工具，它是在數(shù)據(jù)倉庫信息組織基礎(chǔ)上，盡可能多在后臺(tái)根據(jù)分析人員關(guān)心分析角度沉淀業(yè)務(wù)知識(shí)，在前端功效上屏蔽后臺(tái)查詢技術(shù)細(xì)節(jié)，為分析人員提供靈活業(yè)務(wù)分析查詢角度定制和結(jié)果定制功效，使分析人員在分析匯總數(shù)據(jù)同時(shí)能夠經(jīng)過即席查詢深入深入到自己感愛好細(xì)節(jié)數(shù)據(jù)中，方便更全方面地反應(yīng)情況，做出正確決議。多維分析工具多維分析是商業(yè)智能關(guān)鍵技術(shù)，能夠幫助用戶進(jìn)行多角度、立體化、靈活動(dòng)態(tài)分析。多維分析報(bào)表由“維”（影響原因）和“指標(biāo)”（衡量原因）組成，能夠真正為用戶所了解、并真實(shí)反應(yīng)國情特征信息。BI-多維分析工具簡(jiǎn)單易用，無需編寫任何代碼，用戶只需要經(jīng)過語義層定義就能夠輕松搭建自己多維數(shù)據(jù)模型。同時(shí)含有靈活分析功效、直觀數(shù)據(jù)操作和分析結(jié)果可視化表示等突出優(yōu)點(diǎn)，從而使用戶對(duì)基于大量復(fù)雜數(shù)據(jù)分析變得輕松而高效，以利于快速做出正確判定。它可用于證實(shí)大家提出復(fù)雜假設(shè)，以圖形或表格形式來表示對(duì)信息總結(jié)。多維分析工具專門設(shè)計(jì)用于支持復(fù)雜分析操作，側(cè)重對(duì)決議人員和高層管理人員決議支持，能夠依據(jù)分析人員要求快速、靈活地進(jìn)行大數(shù)據(jù)量復(fù)雜查詢處理，而且以一個(gè)直觀而易懂形式將查詢結(jié)果提供給決議人員，方便她們正確掌握企業(yè)（企業(yè)）經(jīng)營(yíng)情況，了解對(duì)象需求，制訂正確方案。ETL工具ETL負(fù)責(zé)將分散、異構(gòu)數(shù)據(jù)源中數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最終加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘基礎(chǔ)。ETL是數(shù)據(jù)倉庫中很關(guān)鍵一環(huán)，它是承前啟后必需一步。ETL工具純java編寫，能夠在Window、Linux、Unix上運(yùn)行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。功效強(qiáng)大、靈活，使用簡(jiǎn)單。（ETL平臺(tái)架構(gòu)）數(shù)據(jù)抽取就是從數(shù)據(jù)源抽取出所需數(shù)據(jù)過程。數(shù)據(jù)抽取后，再經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換，最終根據(jù)預(yù)先定義好數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)轉(zhuǎn)換關(guān)鍵用于處理數(shù)據(jù)不一致性問題，數(shù)據(jù)加載就是將從數(shù)據(jù)源系統(tǒng)中抽取、轉(zhuǎn)換后數(shù)據(jù)加載到數(shù)據(jù)倉庫系統(tǒng)中。ETL步驟管理調(diào)度是ETL過程中統(tǒng)一調(diào)度者和指揮者，它把復(fù)雜數(shù)據(jù)處理過程中各個(gè)步驟整合成一個(gè)整體。異常數(shù)據(jù)處理機(jī)制指源數(shù)據(jù)系統(tǒng)中數(shù)據(jù)本身犯錯(cuò)并發(fā)生變更后，對(duì)于正在抽取、已經(jīng)抽取、已經(jīng)處理、已經(jīng)匯總等各個(gè)步驟，怎樣進(jìn)行回退處理一套機(jī)制。系統(tǒng)截圖：(ETL界面切圖)產(chǎn)品特色：（1）支持MYSQL/ORACLE/MSSQLSERVER/DB2/ACCESS/達(dá)夢(mèng)等多個(gè)數(shù)據(jù)庫；（2）支持Windows/Linux/Solaris/AIX等多個(gè)操作系統(tǒng)；（3）支持txt/csv/xls/xml等多個(gè)輸入輸出格式；（4）圖形化ETL操作配置，ETL數(shù)