數(shù)據(jù)中心邏輯架構(gòu)設(shè)計(jì)

1數(shù)據(jù)中心邏輯架構(gòu)設(shè)計(jì)數(shù)據(jù)中心邏輯架構(gòu)數(shù)據(jù)挖掘、查詢報(bào)表數(shù)據(jù)應(yīng)用層各類業(yè)務(wù)系統(tǒng)、OLTP實(shí)時(shí)控制系統(tǒng)業(yè)務(wù)數(shù)據(jù)邏輯數(shù)據(jù)訪問(wèn)機(jī)制數(shù)據(jù)粒度與聚集模型元數(shù)據(jù)模型/\「設(shè)備對(duì)照、數(shù)據(jù)同??乙) 數(shù)據(jù)抽取、清洗、整合機(jī)制問(wèn)據(jù)單簡(jiǎn)數(shù)據(jù)安全機(jī)制’,二數(shù)據(jù)抽取接口.二)源數(shù)據(jù)層指服務(wù)于企業(yè)各業(yè)務(wù)系統(tǒng)的基層單元數(shù)據(jù)，這些數(shù)據(jù)支持了企業(yè)各類業(yè)務(wù)的應(yīng)用，但存在數(shù)據(jù)分散、局部性強(qiáng)、不利于企業(yè)級(jí)的數(shù)據(jù)分析、應(yīng)用；建設(shè)數(shù)據(jù)中心的目標(biāo)之一便是將這些分布于各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行抽取、整合，形成統(tǒng)一的企業(yè)數(shù)據(jù)平臺(tái)；從某種意義上，這些數(shù)據(jù)可分為兩種類型：各類事物的靜態(tài)屬性數(shù)據(jù)，譬如設(shè)備、用戶、知識(shí)等數(shù)據(jù)；事物的狀態(tài)的動(dòng)態(tài)變化數(shù)據(jù)，譬如，電量、電壓的實(shí)時(shí)測(cè)量數(shù)據(jù)；第一類數(shù)據(jù)的特點(diǎn)是在局部區(qū)域內(nèi)是保持相對(duì)穩(wěn)定的，人們更多關(guān)心的是這些數(shù)據(jù)的關(guān)聯(lián)；第二類數(shù)據(jù)具有很強(qiáng)的“時(shí)間本性”，它們或明確或潛在的都具有“時(shí)間標(biāo)簽”的屬性，人們更多關(guān)注的是它們?cè)谀骋粫r(shí)刻的值。數(shù)據(jù)層或者說(shuō)是企業(yè)數(shù)據(jù)平臺(tái)、數(shù)據(jù)中心，通過(guò)對(duì)企業(yè)數(shù)據(jù)的整體規(guī)劃、抽取、加工、整合，將存在于各獨(dú)立系統(tǒng)的數(shù)據(jù)組織為一個(gè)有機(jī)的整體，使紛雜無(wú)序的數(shù)據(jù)成為企業(yè)有用信息，同時(shí)，使基于企業(yè)級(jí)的數(shù)據(jù)深層挖掘、分析成為可能；數(shù)據(jù)層負(fù)責(zé)對(duì)企業(yè)數(shù)據(jù)進(jìn)行收集、加工、標(biāo)準(zhǔn)化并將之進(jìn)行科學(xué)的存貯，同時(shí)，需要為上層應(yīng)用提供安全、高效、方便的訪問(wèn)接口；如上所述，我們可以將現(xiàn)實(shí)世界的數(shù)據(jù)抽象為兩類，基于這兩類數(shù)據(jù)特征，分別采用關(guān)系型數(shù)據(jù)庫(kù)譬如Oracle和實(shí)時(shí)數(shù)據(jù)庫(kù)譬如eDNA進(jìn)行管理，兩類數(shù)據(jù)以數(shù)據(jù)的邏輯關(guān)系進(jìn)行關(guān)聯(lián)；為便于數(shù)據(jù)的挖掘、分析，在面向業(yè)務(wù)系統(tǒng)的操作型數(shù)據(jù)庫(kù)上建立一組基于業(yè)務(wù)主題的數(shù)據(jù)倉(cāng)庫(kù)、集市，可以提高數(shù)據(jù)分析的性能；進(jìn)一步講，操作型數(shù)據(jù)面向具體業(yè)務(wù)系統(tǒng)、聯(lián)機(jī)事務(wù)處理(OLTP)等應(yīng)用，而數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)、數(shù)據(jù)集市(DataMarts)為企業(yè)決策支持、聯(lián)機(jī)分析處理(OLAP)等深層數(shù)據(jù)挖掘提供基礎(chǔ)。應(yīng)用層指基于業(yè)務(wù)需求的各類應(yīng)用系統(tǒng)，包括企業(yè)各類業(yè)務(wù)信息管理系統(tǒng)、生產(chǎn)控制系統(tǒng)、現(xiàn)場(chǎng)監(jiān)控系統(tǒng)以及對(duì)企業(yè)數(shù)據(jù)的進(jìn)行分析的各類系統(tǒng)。業(yè)務(wù)數(shù)據(jù)邏輯需要提到的是，無(wú)論是對(duì)源數(shù)據(jù)層的抽取、數(shù)據(jù)層的組織還是應(yīng)用層的開(kāi)發(fā)，都是圍繞企業(yè)數(shù)據(jù)的業(yè)務(wù)邏輯進(jìn)行的;不管是具體的某項(xiàng)業(yè)務(wù)需求，還是更高層次的企業(yè)級(jí)分析要求，只有基于對(duì)業(yè)務(wù)邏輯準(zhǔn)確理解、把控的設(shè)計(jì)、實(shí)現(xiàn)才能正確達(dá)到目標(biāo)。數(shù)據(jù)安全機(jī)制信息系統(tǒng)不僅需要關(guān)注數(shù)據(jù)的正確性、完整性等性能，亦必須充分考慮數(shù)據(jù)的安全性；總的來(lái)說(shuō)，可以從網(wǎng)絡(luò)層、操作系統(tǒng)層、數(shù)據(jù)庫(kù)層、應(yīng)用層等方面進(jìn)行安全策略的設(shè)計(jì)；本文對(duì)數(shù)據(jù)安全策略不做詳細(xì)討論。

數(shù)據(jù)中心數(shù)據(jù)架構(gòu)設(shè)計(jì)總體數(shù)據(jù)架構(gòu)如上節(jié)所述，供電企業(yè)數(shù)據(jù)可以分為關(guān)系型數(shù)據(jù)和實(shí)時(shí)型數(shù)據(jù)，關(guān)系型數(shù)據(jù)需要著重考慮數(shù)據(jù)的正確性、完整性、一致性特別數(shù)據(jù)間的關(guān)聯(lián)關(guān)系等特征，一般采用RDBMS進(jìn)行管理；而實(shí)時(shí)數(shù)據(jù)更側(cè)重于數(shù)據(jù)的連續(xù)性和時(shí)效性，特別是數(shù)據(jù)處理事務(wù)的時(shí)效性，并且實(shí)時(shí)數(shù)據(jù)一般需要連續(xù)、高頻率的采集、讀寫，普通關(guān)系型數(shù)據(jù)庫(kù)內(nèi)部的數(shù)據(jù)、事務(wù)處理機(jī)制很難保證有效的管理實(shí)時(shí)數(shù)據(jù)，所以對(duì)于實(shí)時(shí)數(shù)據(jù)，需要專門的實(shí)時(shí)數(shù)據(jù)庫(kù)對(duì)之進(jìn)行管理，本文稍后會(huì)對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)和產(chǎn)品作介紹；現(xiàn)存業(yè)務(wù)系統(tǒng)數(shù)據(jù)—企業(yè)數(shù)據(jù)倉(cāng)庫(kù)整合、清洗、歸納后的面向具體主題的數(shù)據(jù)集市——生產(chǎn)數(shù)據(jù)分析——營(yíng)銷數(shù)據(jù)分析現(xiàn)存業(yè)務(wù)系統(tǒng)數(shù)據(jù)—企業(yè)數(shù)據(jù)倉(cāng)庫(kù)整合、清洗、歸納后的面向具體主題的數(shù)據(jù)集市——生產(chǎn)數(shù)據(jù)分析——營(yíng)銷數(shù)據(jù)分析 服務(wù)數(shù)據(jù)分析 企業(yè)決策層 企業(yè)管理層 企業(yè)操作層企業(yè)數(shù)據(jù)倉(cāng)庫(kù)——關(guān)系數(shù)據(jù)庫(kù)技術(shù)/商業(yè)元數(shù)據(jù)f數(shù)據(jù)預(yù)處理、分類、交換抽取、清洗、轉(zhuǎn)換、移植實(shí)時(shí)采集 根據(jù)數(shù)據(jù)屬抽取、清洗、轉(zhuǎn)換、移植性，分發(fā)到相應(yīng)數(shù)據(jù)庫(kù)mDJ企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)中心架構(gòu)圖首先，應(yīng)對(duì)企業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一規(guī)劃，建設(shè)統(tǒng)一的數(shù)據(jù)模型，如果技術(shù)和時(shí)間允許，最好設(shè)計(jì)完整的CIM模型，從而保證數(shù)據(jù)的完整性、一致性、無(wú)二義性；對(duì)于已經(jīng)存在的系統(tǒng)，數(shù)據(jù)中心應(yīng)針對(duì)不同系統(tǒng)建立和統(tǒng)一設(shè)備描述表的對(duì)照表；對(duì)于新建系統(tǒng)，應(yīng)基于統(tǒng)一設(shè)備描述表建立業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)；數(shù)據(jù)中心對(duì)各業(yè)務(wù)系統(tǒng)提供安全的、規(guī)范的訪問(wèn)接口，一般來(lái)說(shuō)，業(yè)務(wù)系統(tǒng)主動(dòng)發(fā)送數(shù)據(jù)，根據(jù)數(shù)據(jù)類型，分別寫入到關(guān)系型數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)庫(kù)；數(shù)據(jù)中心根據(jù)實(shí)時(shí)數(shù)據(jù)庫(kù)廠商提供的API接口，向業(yè)務(wù)系統(tǒng)提供統(tǒng)一的ADO或ODBC訪問(wèn)接口；需要注意的是，數(shù)據(jù)在寫入數(shù)據(jù)中心時(shí)，應(yīng)采取一定措施對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，盡量消除“臟數(shù)據(jù)”，維持中心數(shù)據(jù)的正確性和一致性；為了滿足信息分析和決策支持，數(shù)據(jù)中心建立企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，將決策支持型數(shù)據(jù)處理從事務(wù)型數(shù)據(jù)處理中分離出來(lái)；數(shù)據(jù)按照一定的周期，從事務(wù)型數(shù)據(jù)庫(kù)中導(dǎo)入決策支持型數(shù)據(jù)庫(kù)一一既“數(shù)據(jù)倉(cāng)庫(kù)”；數(shù)據(jù)倉(cāng)庫(kù)是按回答企業(yè)某方面的問(wèn)題來(lái)分“主題”組織數(shù)據(jù)的；而為了提高檢索等應(yīng)用性能，針對(duì)特定的業(yè)務(wù)應(yīng)用，數(shù)據(jù)中心建立基于某一具體主題的數(shù)據(jù)集市，組織更細(xì)化的領(lǐng)域數(shù)據(jù)，從而可以支持更深層次的數(shù)據(jù)挖掘；數(shù)據(jù)集市可以是物理存在的，亦可是邏輯實(shí)體；在數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)上，可以對(duì)企業(yè)數(shù)據(jù)進(jìn)行查詢、報(bào)表、OLAP、數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)等應(yīng)用；下節(jié)將對(duì)數(shù)據(jù)中心總體架構(gòu)設(shè)計(jì)中涉及的一些技術(shù)元素作一簡(jiǎn)單描述。數(shù)據(jù)架構(gòu)的功能元素實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)時(shí)數(shù)據(jù)庫(kù)要處理的數(shù)據(jù)都是來(lái)自生產(chǎn)或其相關(guān)數(shù)據(jù)，其最主要特點(diǎn)是連續(xù)性和實(shí)時(shí)性；連續(xù)性是指數(shù)據(jù)一直存在，只要生產(chǎn)過(guò)程存在，其數(shù)據(jù)就一直連續(xù)存在，如某開(kāi)關(guān)檢測(cè)點(diǎn)的電壓、電流等，其數(shù)據(jù)是一個(gè)連續(xù)過(guò)程；實(shí)時(shí)性是指數(shù)據(jù)只有具有時(shí)間戳才具有意義，如說(shuō)某電力檢測(cè)點(diǎn)的電壓是380V，這個(gè)電壓只有和某一個(gè)時(shí)刻對(duì)應(yīng)起來(lái)才有實(shí)際的意義，否則其數(shù)據(jù)將毫無(wú)意義；同時(shí)，在實(shí)時(shí)數(shù)據(jù)庫(kù)中不僅其數(shù)據(jù)和時(shí)間相關(guān)，而且其事務(wù)都必須顯式定時(shí)限制，系統(tǒng)的正確性不僅依賴于事務(wù)的邏輯結(jié)果，而且依賴于該邏輯結(jié)果所產(chǎn)生的時(shí)間；譬如，對(duì)某重要開(kāi)關(guān)自動(dòng)控制：需要連續(xù)的采集它的電壓，然后判斷是否正常，進(jìn)行不同動(dòng)作，如果超出警戒值，將自動(dòng)將其閉合；如果上述事務(wù)滯后太長(zhǎng)的時(shí)間，才判斷出當(dāng)前電壓超出警戒值，則毫無(wú)意義；基于目標(biāo)的相異，實(shí)時(shí)數(shù)據(jù)庫(kù)和關(guān)系數(shù)據(jù)庫(kù)相比，其實(shí)現(xiàn)機(jī)制有明顯的區(qū)別，在數(shù)據(jù)模型及語(yǔ)言，數(shù)據(jù)庫(kù)的結(jié)構(gòu)與組織；事務(wù)的模型與特性，尤其是截止時(shí)間及軟硬性;事務(wù)的優(yōu)先級(jí)分派、調(diào)度和并發(fā)控制協(xié)議與算法；數(shù)據(jù)和事務(wù)特性的語(yǔ)義及其與一致性、正確性的關(guān)系，查詢/事務(wù)處理算法與優(yōu)化；I/O調(diào)度、恢復(fù)、通信的協(xié)議與算法等等方面，實(shí)時(shí)數(shù)據(jù)庫(kù)都有自身技術(shù)；本文只對(duì)實(shí)時(shí)數(shù)據(jù)庫(kù)技術(shù)作概要介紹；在實(shí)時(shí)數(shù)據(jù)庫(kù)中，數(shù)據(jù)庫(kù)是按照區(qū)域、單元、點(diǎn)、點(diǎn)參數(shù)的層次結(jié)構(gòu)進(jìn)行數(shù)據(jù)組織和管理的，如下圖所示：系統(tǒng)目前，國(guó)內(nèi)外都存在較成熟的實(shí)時(shí)數(shù)據(jù)庫(kù)產(chǎn)品，比較具有代表性的有：OSIsoft公司的PI,InStep公司的eDNA，中科院軟件研究所的Agilor等，下面以eDNA為例作一簡(jiǎn)單介紹；eDNA實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)以服務(wù)目錄為核心，以安全服務(wù)為外圍，圍繞各個(gè)服務(wù)建立起安全的網(wǎng)絡(luò)；各個(gè)服務(wù)獨(dú)立但相互協(xié)作地為客戶服務(wù)，彼此不相互依附；eDNA系統(tǒng)分為服務(wù)器、客戶端和接口三個(gè)方面，分別提供采集和存儲(chǔ)現(xiàn)場(chǎng)實(shí)時(shí)數(shù)據(jù)、瀏覽和處理生產(chǎn)信息及數(shù)據(jù)庫(kù)的通信等功能；同時(shí)，eDNA采用全息無(wú)損壓縮算法，不僅具有較高的壓縮率，提高海量數(shù)據(jù)的訪問(wèn)性能，亦能保證數(shù)據(jù)100%的準(zhǔn)確；eDNA數(shù)據(jù)庫(kù)是一種基于P2P(PeertoPeer),核心很小，可以靈活擴(kuò)展的分布式實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)；eDNA數(shù)據(jù)庫(kù)系統(tǒng)在邏輯功能上分為服務(wù)器、客戶端和接口，eDNA服務(wù)器服務(wù)包括目錄服務(wù)、安全服務(wù)、BOSS服務(wù)、歷史服務(wù)、應(yīng)用服務(wù)、報(bào)警服務(wù)、PUSH服務(wù)、數(shù)據(jù)服務(wù)和通知服務(wù)等各組件，提供現(xiàn)場(chǎng)實(shí)時(shí)數(shù)據(jù)的采集和存儲(chǔ)；eDNA客戶端提供大量方便實(shí)用的應(yīng)用工具；另外，需要注意的是eDNA的外接接口；eDNA接口可以分為三大類：定制接口為集散控制系統(tǒng)(DCS)和可編程邏輯控制器(PLC)等控制系統(tǒng)提供的專用接口；標(biāo)準(zhǔn)接口為提供支持工業(yè)標(biāo)準(zhǔn)的數(shù)據(jù)通信接口，如OPC,Modbus,ODBC驅(qū)動(dòng)等；?eDNA-API為第三方軟件與eDNA數(shù)據(jù)庫(kù)通信提供的應(yīng)用程序接口；eDNA組件邏輯結(jié)構(gòu)圖如下：1?2?2.2數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)是一個(gè)面向主題的(SubjectOriented)、集成的(Integrate)、相對(duì)穩(wěn)定的(Non-Volatile)、反映歷史變化(TimeVariant)的數(shù)據(jù)集合，用于支持管理決策；數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)數(shù)據(jù)環(huán)境，提供用戶用于決策支持的當(dāng)前和歷史數(shù)據(jù)，這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫(kù)中很難或不能得到；數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是為了有效的把操作形數(shù)據(jù)(ODS)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問(wèn);數(shù)據(jù)倉(cāng)庫(kù)所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持；數(shù)據(jù)倉(cāng)庫(kù)區(qū)是專門針對(duì)企業(yè)數(shù)據(jù)整合和數(shù)據(jù)歷史存儲(chǔ)需求而組織的集中化、一體化的數(shù)據(jù)存儲(chǔ)區(qū)域；數(shù)據(jù)倉(cāng)庫(kù)由覆蓋多個(gè)主題域的企業(yè)信息組成，這些信息主要是低級(jí)別、細(xì)粒度數(shù)據(jù)，同時(shí)可以根據(jù)數(shù)據(jù)分析需求建立一定粒度的匯總數(shù)據(jù)；它們按照一定頻率定期更新，主要用于為數(shù)據(jù)集市提供整合后的、高質(zhì)量的數(shù)據(jù)；數(shù)據(jù)倉(cāng)庫(kù)一般很少直接面向最終用戶，數(shù)據(jù)倉(cāng)庫(kù)側(cè)重于數(shù)據(jù)的存儲(chǔ)和整合，通常采用輕量級(jí)索引；數(shù)據(jù)倉(cāng)庫(kù)區(qū)內(nèi)的數(shù)據(jù)按照主題存放，數(shù)據(jù)粒度與ODS緩沖區(qū)一致或粗于緩沖區(qū)，這些數(shù)據(jù)主要是企業(yè)級(jí)數(shù)據(jù)與歷史信息，數(shù)據(jù)在線存儲(chǔ)的周期一般較長(zhǎng)；數(shù)據(jù)倉(cāng)庫(kù)區(qū)的數(shù)據(jù)是由ODS緩沖區(qū)的數(shù)據(jù)按照數(shù)據(jù)倉(cāng)庫(kù)模型的要求進(jìn)行整合后形成的；在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)時(shí)，應(yīng)注意建立規(guī)范的數(shù)據(jù)模型，下表是數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)和普通數(shù)據(jù)庫(kù)的數(shù)據(jù)特征的比較：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)普通數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)長(zhǎng)期的框架短期的框架靜態(tài)快速變化數(shù)據(jù)通常是匯總的記錄級(jí)的訪問(wèn)特殊查詢?cè)L問(wèn)標(biāo)準(zhǔn)查詢?cè)L問(wèn)定期更新實(shí)時(shí)更新數(shù)據(jù)驅(qū)動(dòng)事件驅(qū)動(dòng)建立數(shù)據(jù)倉(cāng)庫(kù)時(shí)，應(yīng)執(zhí)行以下步驟：1、收集和分析業(yè)務(wù)需求；2、建立數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)的物理設(shè)計(jì)；3、定義數(shù)據(jù)源；4、選擇數(shù)據(jù)倉(cāng)庫(kù)技術(shù)和平臺(tái)；5、從操作型數(shù)據(jù)庫(kù)中抽取、凈化、和轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)；6、選擇訪問(wèn)和報(bào)表工具；7、選擇數(shù)據(jù)庫(kù)連接軟件；8、選擇數(shù)據(jù)分析和數(shù)據(jù)展示軟件；9、更新數(shù)據(jù)倉(cāng)庫(kù)；設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)模型時(shí)，需要考慮以下幾點(diǎn)：1、基于主題域；2、側(cè)重于對(duì)企業(yè)范圍內(nèi)數(shù)據(jù)進(jìn)行整合；3、明細(xì)數(shù)據(jù)與聚合數(shù)據(jù)共享；4、從技術(shù)而言是3NF模式；1?2?2.3數(shù)據(jù)集市數(shù)據(jù)集市是為了特定的應(yīng)用目的或應(yīng)用范圍，而從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也可稱為部門數(shù)據(jù)或主題數(shù)據(jù)(subjectarea)；在數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施過(guò)程中往往可以從一個(gè)部門的數(shù)據(jù)集市著手，以后再用幾個(gè)數(shù)據(jù)集市組成一個(gè)完整的數(shù)據(jù)倉(cāng)庫(kù)；需要注意的就是再實(shí)施不同的數(shù)據(jù)集市時(shí)，同一含義的字段定義一定要相容，這樣在以后實(shí)施數(shù)據(jù)倉(cāng)庫(kù)時(shí)才不會(huì)造成大麻煩；數(shù)據(jù)集市的數(shù)據(jù)不應(yīng)從源數(shù)據(jù)系統(tǒng)直接抽取；因?yàn)?，如果?shù)據(jù)集市從源數(shù)據(jù)系統(tǒng)直接向數(shù)據(jù)集市提供數(shù)據(jù)則可能導(dǎo)致數(shù)據(jù)的不一致，也可能導(dǎo)致多個(gè)額外進(jìn)程產(chǎn)生，這些進(jìn)程在源系統(tǒng)中將占用額外的系統(tǒng)資源，進(jìn)而造成資源上的浪費(fèi)；數(shù)據(jù)集市可以和數(shù)據(jù)倉(cāng)庫(kù)位于同一個(gè)物理服務(wù)器上，或者分布在不同的服務(wù)器上；建議數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市采用使用分布式結(jié)構(gòu)來(lái)提高整個(gè)系統(tǒng)的可用性、可擴(kuò)展性和高性能；數(shù)據(jù)集市的建立可以采用兩種形式：邏輯集市(視圖方式)和物理集市；其中邏輯集市具有開(kāi)發(fā)周期稍短，易擴(kuò)展，節(jié)省存儲(chǔ)空間的優(yōu)點(diǎn)，其缺點(diǎn)是性能較低，而通過(guò)物理集市往往可以獲得較高的性能，但其開(kāi)發(fā)設(shè)計(jì)周期相對(duì)較長(zhǎng)、擴(kuò)展性低、對(duì)于存儲(chǔ)空間要求較高；在建設(shè)中，企業(yè)需要根據(jù)實(shí)際情況選擇是使用邏輯集市還是物理集市；一般來(lái)說(shuō)，數(shù)據(jù)集市所存放數(shù)據(jù)根據(jù)應(yīng)用類型的不同而采用不同類型的數(shù)據(jù)模型，如OLAP聯(lián)機(jī)分析選用星形模式(Satr-Schema)，數(shù)據(jù)挖掘應(yīng)用則應(yīng)選用數(shù)據(jù)寬表結(jié)構(gòu)等，其存儲(chǔ)數(shù)據(jù)周期根據(jù)應(yīng)用需求而定；數(shù)據(jù)集市區(qū)的數(shù)據(jù)由數(shù)據(jù)倉(cāng)庫(kù)區(qū)的數(shù)據(jù)經(jīng)過(guò)轉(zhuǎn)換后形成，直接支撐前端的應(yīng)用需求；數(shù)據(jù)集市的數(shù)據(jù)通常會(huì)作為OLAP服務(wù)和應(yīng)用服務(wù)的數(shù)據(jù)輸入。?2.4元數(shù)據(jù)元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)；可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)和商業(yè)元數(shù)據(jù)；技術(shù)元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)和管理人員用于開(kāi)發(fā)和日常管理數(shù)據(jù)倉(cāng)庫(kù)時(shí)使用的數(shù)據(jù)；包括：數(shù)據(jù)源信息；數(shù)據(jù)轉(zhuǎn)換的描述；數(shù)據(jù)倉(cāng)庫(kù)內(nèi)對(duì)象和數(shù)據(jù)結(jié)構(gòu)的定義；數(shù)據(jù)清理和數(shù)據(jù)更新時(shí)用的規(guī)則；源數(shù)據(jù)到目的數(shù)據(jù)的映射；用戶訪問(wèn)權(quán)限，數(shù)據(jù)備份歷史記錄，數(shù)據(jù)導(dǎo)入歷史記錄，信息發(fā)布?xì)v史記錄等；商業(yè)元數(shù)據(jù)從商業(yè)業(yè)務(wù)的角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)；包括：業(yè)務(wù)主題的描述，包含的數(shù)據(jù)、查詢、報(bào)表等；元數(shù)據(jù)為訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄(informationdirectory)，這個(gè)目錄全面描述了數(shù)據(jù)倉(cāng)庫(kù)中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、和怎么訪問(wèn)這些數(shù)據(jù)；是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器利用他來(lái)存貯和更新數(shù)據(jù)，用戶通過(guò)他來(lái)了解和訪問(wèn)數(shù)據(jù)；元數(shù)據(jù)管理包括對(duì)元數(shù)據(jù)的定義、收集、控制和發(fā)布，就供電企業(yè)的具體情況而言則應(yīng)該使用統(tǒng)一的元數(shù)據(jù)管理平臺(tái)來(lái)對(duì)整個(gè)企業(yè)范圍內(nèi)的元數(shù)據(jù)進(jìn)行管理；通常，元數(shù)據(jù)的收集包括以下幾條途徑：1、數(shù)據(jù)源的元數(shù)據(jù)；

2、數(shù)據(jù)模型的元數(shù)據(jù)3、數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫(kù)映射的元數(shù)據(jù);4、數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的元數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)總體執(zhí)行架構(gòu)執(zhí)行架構(gòu)用于規(guī)范和定義數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行時(shí)態(tài)的功能流程；數(shù)據(jù)中心數(shù)據(jù)倉(cāng)庫(kù)總體架構(gòu)設(shè)計(jì)圖如下圖所示：數(shù)據(jù)訪問(wèn)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)抽取數(shù)據(jù)存貯??數(shù)據(jù)集市」數(shù)據(jù)訪問(wèn)數(shù)據(jù)挖掘，元數(shù)據(jù)管理數(shù)據(jù)訪問(wèn)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)抽取數(shù)據(jù)存貯??數(shù)據(jù)集市」數(shù)據(jù)訪問(wèn)數(shù)據(jù)挖掘，元數(shù)據(jù)管理數(shù)據(jù)ETL服務(wù)ETL的過(guò)程就是數(shù)據(jù)流動(dòng)的過(guò)程，從不同異構(gòu)數(shù)據(jù)源流向統(tǒng)一的目標(biāo)數(shù)據(jù)；其間，數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和裝載形成串行或并行的過(guò)程；下面對(duì)抽取、清洗、轉(zhuǎn)換、加載等環(huán)節(jié)進(jìn)行分別介紹：1.3.1.1數(shù)據(jù)抽取抽取步驟負(fù)責(zé)將數(shù)據(jù)倉(cāng)庫(kù)所需的數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)源中提取出來(lái);由于各個(gè)數(shù)據(jù)源內(nèi)的數(shù)據(jù)及其質(zhì)量各不相同，因此針對(duì)每個(gè)數(shù)據(jù)源都可能需要建立各自獨(dú)立的抽取流程;抽取流程的目的在于將數(shù)據(jù)從數(shù)據(jù)源抽出并通過(guò)一組通用接口傳送給數(shù)據(jù)抽取架構(gòu)中的清洗與轉(zhuǎn)換步驟；數(shù)據(jù)抽取時(shí)，應(yīng)考慮影響數(shù)據(jù)抽取的一些因素，譬如：源、目標(biāo)數(shù)據(jù)格式;壞數(shù)據(jù)；系統(tǒng)的兼容性數(shù)據(jù)源的變化；數(shù)據(jù)抽取的時(shí)間；數(shù)據(jù)抽取時(shí)，通?？梢圆捎靡韵聦?duì)策：全庫(kù)比較；利用程序日志；利用數(shù)據(jù)庫(kù)日志；利用時(shí)間戳或利用位圖索引。數(shù)據(jù)清洗清洗流程負(fù)責(zé)對(duì)數(shù)據(jù)進(jìn)行清洗與確認(rèn)，使之與數(shù)據(jù)倉(cāng)庫(kù)所要求的數(shù)據(jù)標(biāo)準(zhǔn)與質(zhì)量相符合;數(shù)據(jù)清洗流程的設(shè)計(jì)可以劃分為兩類:一類是針對(duì)特定業(yè)務(wù)源系統(tǒng)編寫的專用清洗程序，而另一類則是適用于各類業(yè)務(wù)源系統(tǒng)以及數(shù)據(jù)倉(cāng)庫(kù)內(nèi)清洗需求的通用程序;由于從源系統(tǒng)抽取的數(shù)據(jù)都存在不同程度的不一致性，因此可以通過(guò)使用相關(guān)規(guī)則來(lái)檢查和改善數(shù)據(jù)質(zhì)量;此外，由于很多業(yè)務(wù)源系統(tǒng)的清洗規(guī)則和處理流程基本相同，因此應(yīng)該將關(guān)鍵的清洗功能設(shè)計(jì)為通用函數(shù)(通過(guò)變化參數(shù)來(lái)滿足不同業(yè)務(wù)源系統(tǒng)的清洗需求)以提高其可重用性。數(shù)據(jù)轉(zhuǎn)換轉(zhuǎn)換步驟負(fù)責(zé)對(duì)源系統(tǒng)所抽出數(shù)據(jù)進(jìn)行操作或放大;轉(zhuǎn)換流程是數(shù)據(jù)在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)前最后一次進(jìn)行修改的環(huán)節(jié)；事實(shí)表的聚合以及關(guān)鍵績(jī)效指標(biāo)(KPI)的計(jì)算都在這一步完成。數(shù)據(jù)加載作為ETL流程的最后一步，加載流程負(fù)責(zé)將數(shù)據(jù)加載到最終數(shù)據(jù)結(jié)構(gòu)中，這些結(jié)構(gòu)可能是維度表，也可能是事實(shí)表或者事務(wù)表等；加載步驟中的關(guān)鍵組件是代理鍵管道(surrogatekeypipeline),代理鍵管道主要用于將加載完成的數(shù)據(jù)表內(nèi)自然鍵替換成代理鍵；在代理鍵管道內(nèi)，維度表的主鍵與外鍵仍然得到保留，但是為了提升系統(tǒng)性能，在完成加載結(jié)束以后，一些約束條件將被去除而僅保留自然鍵進(jìn)行。緩存點(diǎn)在ETL抽取過(guò)程中，緩存點(diǎn)的功能主要在于設(shè)定任務(wù)重啟點(diǎn)以及分析數(shù)據(jù)前后沿襲關(guān)系；數(shù)據(jù)緩存既可以使用平面文件實(shí)現(xiàn)也可以使用數(shù)據(jù)表存放，但是通常并不直接鏡像目標(biāo)數(shù)據(jù)表的數(shù)據(jù)結(jié)構(gòu)。元數(shù)據(jù)管理服務(wù)ETL流程的實(shí)施關(guān)鍵在于設(shè)計(jì)合理的元數(shù)據(jù)使得系統(tǒng)能夠清晰地定義ETL涉及的各個(gè)環(huán)節(jié)；數(shù)據(jù)抽取架構(gòu)中主要包含技術(shù)和業(yè)務(wù)兩類元數(shù)據(jù)；ETL架構(gòu)中的源數(shù)據(jù)管理服務(wù)必須與整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)管理服務(wù)協(xié)同一致，實(shí)現(xiàn)統(tǒng)一管理。1.3.2數(shù)據(jù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)訪問(wèn)主要包括報(bào)表、查詢、聯(lián)機(jī)分析和知識(shí)發(fā)現(xiàn)四類，通常在前端展現(xiàn)的時(shí)候，最終用戶的類別由于其業(yè)務(wù)級(jí)別和工作不同而不同，下表歸納了最終用戶訪問(wèn)類型如何使用信息，以及每種類型的典型用戶：數(shù)據(jù)訪問(wèn)訪問(wèn)工具信息使用用戶報(bào)表領(lǐng)導(dǎo)信息系統(tǒng)?狀態(tài)報(bào)告?數(shù)據(jù)匯總?數(shù)據(jù)鉆取?企業(yè)領(lǐng)導(dǎo)?高級(jí)管理者報(bào)表報(bào)表生成/發(fā)布?靜態(tài)數(shù)據(jù)?預(yù)定義報(bào)表?受限的數(shù)據(jù)交互?數(shù)據(jù)分析人員查詢即席查詢?事實(shí)發(fā)現(xiàn)?查詢?高級(jí)數(shù)據(jù)分析人員?專家查詢即席報(bào)表?事實(shí)發(fā)現(xiàn)?報(bào)表?數(shù)據(jù)分析人員分析MOLAPROLAPHOLAP?例外管理?問(wèn)題發(fā)現(xiàn)?What-if分析?多維分析?數(shù)據(jù)分析人員?計(jì)劃制定者?專家知識(shí)發(fā)現(xiàn)數(shù)據(jù)挖掘?規(guī)則發(fā)現(xiàn)?方案驗(yàn)證?專家?數(shù)據(jù)分析員數(shù)據(jù)可視化?交互圖表?方案識(shí)別?企業(yè)領(lǐng)導(dǎo)?經(jīng)理影響分析?相關(guān)性分析?聚類分析?專家?分析人員風(fēng)險(xiǎn)分析?專家?分析人員時(shí)間序列分析?專家?分析人員報(bào)表報(bào)表是指從數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中讀取數(shù)據(jù)，并以圖形、表格的形式顯示出來(lái)；報(bào)表一般會(huì)被分發(fā)給企業(yè)各個(gè)層面的用戶；報(bào)表工具一般分為兩種類型：?報(bào)表生成/發(fā)布工具報(bào)表生成/發(fā)布工具用于快速、便捷、自動(dòng)地產(chǎn)生高質(zhì)量的報(bào)表，并用報(bào)表反映企業(yè)關(guān)鍵商業(yè)信息。報(bào)表可以以預(yù)定義的格式通過(guò)Web、Email或文件服務(wù)器發(fā)布給目標(biāo)用戶；?領(lǐng)導(dǎo)信息系統(tǒng)領(lǐng)導(dǎo)信息系統(tǒng)比報(bào)表生成/發(fā)布工具更加先進(jìn)，主要提供了易于操作的查詢界面，使領(lǐng)導(dǎo)及決策者能方便查詢數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)集市，并且通過(guò)易于理解的風(fēng)格進(jìn)行顯示，如報(bào)表、即時(shí)通訊或報(bào)紙等樣式；查詢查詢工具用SQL的方式，讀取數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，并進(jìn)行顯示；查詢主要面向于基于數(shù)據(jù)的查詢，一般情況下，查詢不提供深層次的數(shù)據(jù)分析；使用查詢的用戶一般知道他需要看什么，直接向數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)集市發(fā)出查詢指令；下圖給出了典型的查詢場(chǎng)景示例。：c：,'■七■■^：：:：：=：：j：:：：;：c：,'■七■■^：：:：：=：：j：:：：;：：:：：:：：:：：:：=:：：:：：^：f：:：=:：：f：:=^：:：：:：：:：：:：：:：：:：：:：：:：；!!-!!：!■：!：：!!：!!：!!：!!；翳海￥諫舞孽簿舉序群播;:?TT箕二:E二::勺『：：：￡再：：：二：:用毒：：：：丁?。憾罩?:七B：::：!!^：!!^!!：：!：!!;!：!!：!!：：：：：!：!::宏業(yè)：：：：：：：：=：：：：Qiica'^oMihvaukHeSt.Lcuis3t.Fziul

Di?lTCit:：臬再尊/尊騏遴爸：：：：o：：K^iE逐爨LoGkc rggor；hadsoniHp<>:UHrrij.L=it|llIcokatttiebri=￡ikc>LJ-orth?r.iidweJ-.■從boxwFrcjREd □BhIowProj^ctH-dGULsta忙EiMVfS■國(guó)團(tuán)...WlTPriJ...白no甲By...圖2-6典型查詢場(chǎng)景示例查詢工具一般不會(huì)包括多維數(shù)據(jù)存儲(chǔ)，也不提供多維分析能力，查詢工具直接通過(guò)SQL語(yǔ)句的