數(shù)據(jù)集成解決方案-2

數(shù)據(jù)集成解決方案PAGE18PAGE數(shù)據(jù)集成數(shù)據(jù)集成系統(tǒng)現(xiàn)狀企事業(yè)內(nèi)部有不少的應用系統(tǒng)，比如財務系統(tǒng)、人力資源系統(tǒng)、工程管理系統(tǒng)（項目管理、采購管理、庫存管理）、管理數(shù)據(jù)統(tǒng)計系統(tǒng)和企業(yè)信息門戶。這些系統(tǒng)一般都有不同供應商提供，他們之間的信息有重疊和不一致顯現(xiàn)存在。因此很容易產(chǎn)生下列的問題：基礎數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差對于同樣的問題，每個不同的系統(tǒng)都維護有自身的數(shù)據(jù)結(jié)構，例如在工程管理系統(tǒng)中存在供應商數(shù)據(jù)，而在物資系統(tǒng)中也存在供應商數(shù)據(jù)，這兩個系統(tǒng)對同一個供應商可能存在不同的編號、不同的命名等等。這就導致了兩個系統(tǒng)間沒有數(shù)據(jù)標準，在工程管理系統(tǒng)中更新了供應商數(shù)據(jù)后，物資系統(tǒng)無法依據(jù)指定的規(guī)則進行同步更新，造成了企業(yè)主數(shù)據(jù)的混亂局面，難以滿足快速支撐精確管理的需要，使得企業(yè)的運營效率和管理水平難以進一步提升。接口沒有實現(xiàn)統(tǒng)一的接口平臺由于沒有統(tǒng)一的企業(yè)主數(shù)據(jù)，目前系統(tǒng)接口均采用點對點方式，技術實現(xiàn)方式多種多樣，例如最多的方式是數(shù)據(jù)庫直接存取，接口雙方需要明確知道對方的底層數(shù)據(jù)結(jié)構，這導致了完成和維護這些接口是一項非常艱巨的任務，并且在不同的供應商之間難于明確自身的責任，出現(xiàn)問題之后相互推諉。企業(yè)內(nèi)部信息難以完整統(tǒng)一和共享由于現(xiàn)在的應用系統(tǒng)是由不同的供應商提供，基礎數(shù)據(jù)難以同步更新，各自產(chǎn)生的數(shù)據(jù)信息，都成了一個個的信息孤島，彼此之間的數(shù)據(jù)難以共享。企業(yè)不容易獲取匯總信息。數(shù)據(jù)集成需求分析接下來我們從業(yè)務和系統(tǒng)兩個方面來分析數(shù)據(jù)集成的需求：業(yè)務需求統(tǒng)一用戶視圖的提供及展示企事業(yè)應用系統(tǒng)給用戶提供各種服務，需要在各個應用系統(tǒng)上提供及展現(xiàn)統(tǒng)一用戶視圖信息，通過數(shù)據(jù)集成實現(xiàn)統(tǒng)一用戶視圖信息的共享，支撐多個層面快速準確地獲取用戶和產(chǎn)品信息，提升用戶感知。比如在營銷、銷售、服務中，提供營銷人員營銷活動所需的市場統(tǒng)計數(shù)據(jù)和目標用戶數(shù)據(jù)，以便進行精確化營銷；提供銷售人員單一用戶視圖信息及其統(tǒng)計數(shù)據(jù)的即席查詢，以發(fā)現(xiàn)用戶需求，增加銷售機會；提供服務人員跨系統(tǒng)數(shù)據(jù)的支撐，以進行用戶分等級服務、用戶增值業(yè)務，訂購信息快速查詢和退定等工作。統(tǒng)一企業(yè)運營報表的提供和展示CRM、計費等生產(chǎn)系統(tǒng)分別按照本系統(tǒng)的自有數(shù)據(jù)向外提供運營報表，不同部門對數(shù)據(jù)的時間和業(yè)務概念理解不一致，造成不同系統(tǒng)的報表有差異，同時手工進行報表拼湊也會造成差異，于是產(chǎn)生了不同部門有差異，不同組織層級有差異，而且大量按需的對外報表提供對生產(chǎn)系統(tǒng)性能影響很大，不利于生產(chǎn)系統(tǒng)對其核心事務處理的穩(wěn)定運行。因此通過數(shù)據(jù)集成，統(tǒng)一企業(yè)運營報表的數(shù)據(jù)源，形成統(tǒng)一的指標體系，并通過統(tǒng)一的企業(yè)數(shù)據(jù)應用門戶，實現(xiàn)企業(yè)運營報表的統(tǒng)一提供和展示，實現(xiàn)多緯度的報表需求，以支撐精確化管理需要。支撐企業(yè)運營過程的統(tǒng)計、監(jiān)控和考核全過程的營銷支撐需要對市場計劃、營銷活動、銷售活動等各項工作事前預期，事中監(jiān)控，通過數(shù)據(jù)集成，基于從各生產(chǎn)系統(tǒng)搜集到市場營銷與銷售的相關信息，對市場營銷與銷售業(yè)績完成情況進行統(tǒng)計，并通過用戶發(fā)展、業(yè)務量、收入等關鍵績效指標和實際完成狀況的關聯(lián)，完成對各部門、團隊或渠道的KPI指標進行監(jiān)控與考核。支撐企業(yè)運營過程所需跨系統(tǒng)數(shù)據(jù)的批量計算為了更好地支企事業(yè)工作的開展，提升用戶管理能力，需要建立用戶積分、信用度等用戶評價體系；為了實現(xiàn)用戶品牌維度，對相關量收指標進行統(tǒng)計；為了，發(fā)展優(yōu)質(zhì)用戶，需要復雜、完善的渠道傭金計算支持；隨著產(chǎn)品為中心向用戶為中心的轉(zhuǎn)型，越來越多運營過程所需的跨系統(tǒng)、大量細節(jié)數(shù)據(jù)的批量計算需求都需要統(tǒng)一的數(shù)據(jù)集成中心提供相關數(shù)據(jù)。數(shù)據(jù)集成中心作為企業(yè)運營數(shù)據(jù)共享平臺，收斂企業(yè)各業(yè)務系統(tǒng)中的運營數(shù)據(jù)，按照企業(yè)數(shù)據(jù)模型進行數(shù)據(jù)整合，提供運營數(shù)據(jù)共享，支撐跨系統(tǒng)數(shù)據(jù)的應用，提升數(shù)據(jù)質(zhì)量。系統(tǒng)需求實現(xiàn)數(shù)據(jù)統(tǒng)一數(shù)據(jù)集成中心在對企業(yè)數(shù)據(jù)的整合過程中能夠?qū)崿F(xiàn)以下三個統(tǒng)一：統(tǒng)一數(shù)據(jù)模型由數(shù)據(jù)集成中心承載企業(yè)數(shù)據(jù)模型（EDM），促進企業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一。在企事業(yè)內(nèi)新建或改造的系統(tǒng)，其數(shù)據(jù)模型應向數(shù)據(jù)集成中心所承載的企業(yè)數(shù)據(jù)模型靠攏。數(shù)據(jù)模型是各個系統(tǒng)及應用間交互的基礎，通過數(shù)據(jù)模型的統(tǒng)一，減少系統(tǒng)及應用間復雜的轉(zhuǎn)換，提高系統(tǒng)、應用、接口的效率。統(tǒng)一數(shù)據(jù)標準數(shù)據(jù)集成中心中建立標準的數(shù)據(jù)編碼目錄，源系統(tǒng)數(shù)據(jù)依據(jù)標準的數(shù)據(jù)編碼目錄，經(jīng)過整合后進入數(shù)據(jù)集成中心存儲，實現(xiàn)企業(yè)數(shù)據(jù)的標準化與統(tǒng)一存儲。統(tǒng)一數(shù)據(jù)視圖基于數(shù)據(jù)集成中心所存儲的數(shù)據(jù)，支撐實現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在用戶、資源等視角獲取到的信息是一致的，提升用戶、以及企業(yè)內(nèi)部的管理人員與分析人員對系統(tǒng)的感知。實現(xiàn)數(shù)據(jù)共享數(shù)據(jù)集成中心為企業(yè)各業(yè)務系統(tǒng)提供統(tǒng)一共享數(shù)據(jù)接口，減少系統(tǒng)間相互接口的重復性，降低接口的復雜程度，提高系統(tǒng)間接口效率與質(zhì)量；為跨系統(tǒng)數(shù)據(jù)應用提供數(shù)據(jù)支撐。數(shù)據(jù)集成中心作為企業(yè)運營數(shù)據(jù)共享平臺，是各業(yè)務部門和企業(yè)管理層獲取統(tǒng)計數(shù)據(jù)的唯一來源。數(shù)據(jù)集成中心可將某個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準實時地方式存儲轉(zhuǎn)發(fā)至其它對數(shù)據(jù)實時性要求不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口。數(shù)據(jù)集成中心以實時的查詢服務或準實時批量的數(shù)據(jù)提供的方式將數(shù)據(jù)集成中心內(nèi)整合或計算好的數(shù)據(jù)向外部系統(tǒng)提供，以配合外部系統(tǒng)支撐統(tǒng)一用戶視圖查詢、用戶服務流程等功能。實現(xiàn)數(shù)據(jù)應用數(shù)據(jù)集成中心利用自身系統(tǒng)的數(shù)據(jù)提供以下幾類功能：查詢應用 實現(xiàn)查詢條件不固定的按需查詢功能。用戶可以根據(jù)關心的維度查詢數(shù)據(jù)集成中心內(nèi)整合好的360度業(yè)務全貌數(shù)據(jù)，如，為渠道經(jīng)理提供完整用戶視圖信息的查詢，為用戶提供完整用戶視圖查詢、用戶賬單查詢等。固定報表應用固定報表是維度和指標固定的統(tǒng)計結(jié)果的展示，在數(shù)據(jù)集成中心內(nèi)對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開銷兩方面的考慮，應采用后臺通過作業(yè)的方式先自動生成，在需要時可以立即展現(xiàn)結(jié)果。報表展現(xiàn)應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數(shù)據(jù)導出為其他文件類型，如EXCEL、CSV、XML、PDF、WEB存檔文件等；支持報表精確打印控制。動態(tài)報表應用基于數(shù)據(jù)集成中心整合好的數(shù)據(jù)，可以利用報表工具，按關心的維度和指標對數(shù)據(jù)進行主題性的統(tǒng)計，動態(tài)報表應用中，維度和指標不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)變換。在數(shù)據(jù)集成中心上可實現(xiàn)多種動態(tài)報表。計算應用數(shù)據(jù)集成中心可基于整合好的數(shù)據(jù)按照設定好的業(yè)務規(guī)則進行部分屬性數(shù)據(jù)計算，計算結(jié)果并不在數(shù)據(jù)集成中心內(nèi)直接更新，而是由數(shù)據(jù)集成中心返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后，再通過數(shù)據(jù)抽取、加載過程進入數(shù)據(jù)集成中心之后更新。實現(xiàn)數(shù)據(jù)質(zhì)量管控數(shù)據(jù)集成中心在數(shù)據(jù)收斂的過程中，能完成以下數(shù)據(jù)質(zhì)量管控工作：1.數(shù)據(jù)質(zhì)量校驗根據(jù)規(guī)則對數(shù)據(jù)集成中心所存儲的數(shù)據(jù)進行一致性、完整性、正確性的校驗，形成數(shù)據(jù)校驗結(jié)果并交付源業(yè)務系統(tǒng)進行修正。2.數(shù)據(jù)質(zhì)量管控通過建立企業(yè)數(shù)據(jù)的質(zhì)量標準、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對數(shù)據(jù)質(zhì)量進行統(tǒng)一管控，達到數(shù)據(jù)質(zhì)量逐步完善。數(shù)據(jù)集成目標通過數(shù)據(jù)集成，數(shù)據(jù)集成中心應該能達到以下幾個目標：建立規(guī)范統(tǒng)一的指標體系根據(jù)企業(yè)的業(yè)務實際情況，建立面向企業(yè)指標體系的數(shù)據(jù)接口，用于收集企業(yè)各系統(tǒng)間的指標數(shù)據(jù)，同時為企業(yè)各系統(tǒng)提供所需的指標數(shù)據(jù)，成為溝通企業(yè)現(xiàn)有系統(tǒng)和未來系統(tǒng)之間各種關鍵業(yè)務指標數(shù)據(jù)的信息橋梁。統(tǒng)一的數(shù)據(jù)采集接口建立統(tǒng)一的數(shù)據(jù)采集接口，根據(jù)企業(yè)實際業(yè)務需要，定義符合企業(yè)需要的數(shù)據(jù)采集指標，通過企業(yè)數(shù)據(jù)業(yè)務平臺統(tǒng)一的進行數(shù)據(jù)采集，改變原有層層下達參數(shù)，再層層匯總、層層過濾，時效性和準確性亦難以保證的問題。統(tǒng)一的數(shù)據(jù)存儲中心通過企業(yè)規(guī)范的指標體系，收集和整合相應指標數(shù)據(jù)，存儲到數(shù)據(jù)集成中心。按照統(tǒng)一指標、統(tǒng)一統(tǒng)計口徑和統(tǒng)一數(shù)據(jù)概念的要求，存儲指標數(shù)據(jù)和建立數(shù)據(jù)存儲中心，滿足不同系統(tǒng)之間相互獲取數(shù)據(jù)的要求，同時為數(shù)據(jù)的綜合分析和歷史回溯奠定數(shù)據(jù)基礎。歷史數(shù)據(jù)的回溯分析基于規(guī)范性與靈活性相結(jié)合的原則，通過對數(shù)據(jù)存儲中心的歷史數(shù)據(jù)進行提取和加工整理，采取分級用戶具有分級權限，在權限范圍內(nèi)靈活使用數(shù)據(jù)，進行分析和查詢，可以為管理決策者在生產(chǎn)管理和經(jīng)營決策上提供科學有效的歷史數(shù)據(jù)依據(jù)。建立數(shù)據(jù)應用接口企業(yè)在生產(chǎn)經(jīng)營決策過程中，通常迫切需要了解企業(yè)外部的實際情況，所以需要打通企業(yè)與外部的數(shù)據(jù)壁壘，實現(xiàn)彼此之間數(shù)據(jù)共享。這種需求通過建立企業(yè)與外部之間特定的數(shù)據(jù)應用接口，一方面，從外部抽取企業(yè)需要的特定商業(yè)指標數(shù)據(jù)，另一方面，提供外部所需的企業(yè)指標數(shù)據(jù)。通過二者數(shù)據(jù)之間的充分對比分析，實現(xiàn)數(shù)據(jù)之間的數(shù)據(jù)共享，提高現(xiàn)有系統(tǒng)的數(shù)據(jù)使用率和有效地提高數(shù)據(jù)支撐能力，為管理層的經(jīng)營決策提供堅實可靠的依據(jù)。建立統(tǒng)一的決策分析管理平臺通過對采集的基礎數(shù)據(jù)信息的提取和加工整理，本著規(guī)范化與靈活性相結(jié)合的原則，設定不同的使用權限（組織和人員），靈活使用數(shù)據(jù)，進行分析和查詢。系統(tǒng)統(tǒng)一下發(fā)固定報表模板，同時用戶可根據(jù)個性化需求靈活定制報表，提供決策支持。數(shù)據(jù)集成思路通過前面的需求分析，我們可以整理出我們的數(shù)據(jù)集成思路，從而設計合理的數(shù)據(jù)集成方案。數(shù)據(jù)集成系統(tǒng)對于企事業(yè)的長遠發(fā)展來說，應該是處于企業(yè)應用系統(tǒng)與企業(yè)數(shù)據(jù)倉庫系統(tǒng)之間的。企業(yè)的一系列數(shù)據(jù)中，一部分是實時性要求非常高的，必須要求能實時的更改存放在多處的同一份數(shù)據(jù)；而有一些數(shù)據(jù)則實時性的要求不高，不需要實時地進行修改而是定時進行相應的同步即可。ODS的思想結(jié)合ETL與ESB等相關技術，實現(xiàn)這一套數(shù)據(jù)集成系統(tǒng)是比較合適的。通用ODS架構分析ODS（OperationalDataStore），運營數(shù)據(jù)存儲或者操作型數(shù)據(jù)存儲，存儲了運營系統(tǒng)（OLTP，聯(lián)機事務處理系統(tǒng)）近實時的詳細數(shù)據(jù)。ODS是企業(yè)數(shù)據(jù)架構中最為復雜的一種形態(tài)，它既要滿足數(shù)據(jù)事務操作要求，又要滿足數(shù)據(jù)分析要求。它是“一個面向主題的、集成的、可變的、當前的細節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求”，常常被作為數(shù)據(jù)倉庫的過渡，也是數(shù)據(jù)倉庫項目的可選項之一。ODS的引入是為了尋找能滿足快速加載和數(shù)據(jù)整合的性能要求，并且減少面向分析的需求的變更和擴充對業(yè)務系統(tǒng)的影響的解決方案。這一解決方案是在業(yè)務系統(tǒng)和EDW中的按主題存儲的歷史數(shù)據(jù)存儲層之間增加一個數(shù)據(jù)整合層（也叫做數(shù)據(jù)緩沖層）。數(shù)據(jù)整合層的作用主要體現(xiàn)在以下兩個方面：數(shù)據(jù)結(jié)構和處理流程是以快速從業(yè)務系統(tǒng)中加載和整合數(shù)據(jù)為目的設計實現(xiàn)的，因此盡量減少復雜的數(shù)據(jù)轉(zhuǎn)換，只對原始數(shù)據(jù)進行清理和整合，這樣，可以滿足快速加載和數(shù)據(jù)整合的性能要求。另一方面，當面向分析的業(yè)務需求變更和擴充需要對數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進行主題重組或增加新的數(shù)據(jù)時，所需數(shù)據(jù)將會先從數(shù)據(jù)整合層中提取，只有數(shù)據(jù)整合層也不能滿足其數(shù)據(jù)需求時，才會從業(yè)務系統(tǒng)中提取數(shù)據(jù)，這樣就減少了分析需求變更和擴充對業(yè)務系統(tǒng)的影響，數(shù)據(jù)整合層起到了一個數(shù)據(jù)緩沖的作用，同時提高了數(shù)據(jù)倉庫系統(tǒng)對于需求廣度和深度擴展的適應性。我們認為，ODS（OperationalDataStore）是數(shù)據(jù)倉庫體系結(jié)構中的一個可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和OLTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當前或接近當前的、不斷變化的”數(shù)據(jù)。一般在帶有ODS的系統(tǒng)體系結(jié)構中，ODS都設計為如下幾個作用：在業(yè)務系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層。一般的數(shù)據(jù)倉庫應用系統(tǒng)都具有非常復雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應用之中，從這些業(yè)務系統(tǒng)對數(shù)據(jù)進行抽取并不是一件容易的事。因此，ODS用于存放從業(yè)務系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構、數(shù)據(jù)之間的邏輯關系上都與業(yè)務系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復雜性，而主要關注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問題。轉(zhuǎn)移一部分業(yè)務系統(tǒng)細節(jié)查詢的功能在數(shù)據(jù)倉庫建立之前，大量的報表、分析是由業(yè)務系統(tǒng)直接支持的，在一些比較復雜的報表生成過程中，對業(yè)務系統(tǒng)的運行產(chǎn)生相當大的壓力。ODS的數(shù)據(jù)從粒度、組織方式等各個方面都保持了與業(yè)務系統(tǒng)的一致，那么原來由業(yè)務系統(tǒng)產(chǎn)生的報表、細節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進行，從而降低業(yè)務系統(tǒng)的查詢壓力。完成數(shù)據(jù)倉庫中不能完成的一些功能。一般來說，帶有ODS的數(shù)據(jù)倉庫體系結(jié)構中，DW層所存儲的數(shù)據(jù)都是進行匯總過的數(shù)據(jù)，并不存儲每筆交易產(chǎn)生的細節(jié)數(shù)據(jù)，但是在某些特殊的應用中，可能需要對交易細節(jié)數(shù)據(jù)進行查詢，這時就需要把細節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來完成，而且ODS的數(shù)據(jù)模型按照面向主題的方式進行存儲，可以方便地支持多維分析等查詢功能。在一個沒有ODS層的數(shù)據(jù)倉庫應用系統(tǒng)體系結(jié)構中，數(shù)據(jù)倉庫中存儲的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來說，最為細節(jié)的業(yè)務數(shù)據(jù)也是需要保留的，實際上也就相當于ODS，但與ODS所不同的是，這時的細節(jié)數(shù)據(jù)不是“當前、不斷變化的”數(shù)據(jù)，而是“歷史的，不再變化的”數(shù)據(jù)。目前市場上沒有成熟的MDM(MasterDataManagement)產(chǎn)品，并且在微軟的技術路線中，數(shù)據(jù)庫元數(shù)據(jù)的概念已經(jīng)被廢除，現(xiàn)在推薦的方式仍然是以合理的方式建立數(shù)據(jù)庫表或者視圖的方式來滿足ODS數(shù)據(jù)結(jié)構的定義，最終的數(shù)據(jù)結(jié)構是否靈活好用依賴于詳細的設計，其中需要考慮地問題包括如下幾個方面：規(guī)范性在ODS系統(tǒng)中，對同一個概念的對象必須按企業(yè)領域的標準方式處理，比如，區(qū)別供應商必須按照他們的稅務登記號，而不是名稱。靈活性當業(yè)務需求發(fā)生變動時，ODS主數(shù)據(jù)結(jié)構應該能夠快速的適應這種變化。比如：可以為一個員工建立基本的員工信息字段，當員工信息增加時就相應地增加員工表的字段；也可以在一開始就為員工信息表多創(chuàng)建一個XML字段用來保存今后可能產(chǎn)品的員工信息增長的情況。兩種不同的設計方式必須根據(jù)實際的應用情境進行選擇。關聯(lián)性同一業(yè)務對象在不同的系統(tǒng)中將被關聯(lián)到不同的業(yè)務對象，ODS必須建立完備的數(shù)據(jù)結(jié)構用于存儲一個對象與其它對象發(fā)生的所有關聯(lián)。例如，員工在人力資源系統(tǒng)中被關聯(lián)到部門，而在物資系統(tǒng)中被關聯(lián)到采購管理員角色，新的需求是取得某部門的采購管理員。ODS的數(shù)據(jù)結(jié)構設計必須能夠滿足新出現(xiàn)的類似需求。通用ESB架構分析基于SO思想的A企業(yè)服務總線（ESB），是傳統(tǒng)中間件技術與XML、Web服務等技術相互結(jié)合的產(chǎn)物，用于實現(xiàn)企業(yè)應用不同消息和信息的準確、高效和安全傳遞。ESB的出現(xiàn)改變了傳統(tǒng)的軟件架構，可以提供比傳統(tǒng)中間件產(chǎn)品更為廉價的解決方案，同時它還可以消除不同應用之間的技術差異，讓不同的應用服務協(xié)調(diào)運作，實現(xiàn)不同服務之間的通信與整合。ESB在不同領域具有非常廣泛的用途:電信領域ESB能夠在全方位支持電信行業(yè)OSS的應用整合概念。是理想的電信級應用軟件承載平臺。電力領域ESB能夠在全方位支持電力行業(yè)EMS的數(shù)據(jù)整合概念，是理想的SCADA系統(tǒng)數(shù)據(jù)交換平臺。金融領域ESB能夠在全方位支持銀企間業(yè)務處理平臺的流程整合概念，是理想的B2B交易支撐平臺。電子政務ESB能夠在全方位支持電子政務應用軟件業(yè)務基礎平臺、信息共享交換平臺、決策分析支撐平臺和政務門戶的平臺化實現(xiàn)。ESB提供了一種開放的、基于標準的消息機制，通過簡單的標準適配器和接口，來完成粗粒度應用（服務）和其他組件之間的互操作，能夠滿足大型異構企業(yè)環(huán)境的集成需求。它可以在不改變現(xiàn)有基礎結(jié)構的情況下讓幾代技術實現(xiàn)互操作。ESB專門用于異構環(huán)境，既可以幫助企業(yè)遷移到SOA，又能夠讓企業(yè)繼續(xù)利用現(xiàn)有的已部署的軟件投資。通過使用ESB，以一種無縫的非侵入方式使企業(yè)已有的系統(tǒng)具有全新的服務接口，并能夠在部署環(huán)境中支持任何標準。更重要的是，充當“緩沖器”的ESB（負責在諸多服務之間轉(zhuǎn)換業(yè)務邏輯和數(shù)據(jù)格式）與服務邏輯相分離，從而使得不同的應用程序可以同時使用同一服務，用不著在應用程序或者數(shù)據(jù)發(fā)生變化時，改動服務代碼。進行數(shù)據(jù)的集成，一般按以下三個階段來進行：把原有應用系統(tǒng)需要進行集成的業(yè)務功能先進行標準的封裝，如采用webservice進行封裝，然后以標準的結(jié)構文檔，如XSD,確定接口輸入輸出的數(shù)據(jù)格式.部署ESB中間件產(chǎn)品，并進行ESB上相關功能調(diào)用的開發(fā)，把原有應用系統(tǒng)封裝好的接口，接入到ESB中，形成一種服務。門戶或外部的系統(tǒng)，通過調(diào)用ESB上的服務與后臺應用系統(tǒng)進行交互，從而完成特定的功能。數(shù)據(jù)集成階段劃分通常一種比較理想的方式是建立一份統(tǒng)一的企業(yè)主數(shù)據(jù)（MasterData），它兼容現(xiàn)有的系統(tǒng)和可預見的系統(tǒng)的建設需求，并使之在不同的系統(tǒng)間共享。這個過程分為三個步驟：建立企業(yè)主數(shù)據(jù)結(jié)構，即ODS的基礎數(shù)據(jù)結(jié)構；第二步，基于ETL平臺，建立數(shù)據(jù)抽取任務，從現(xiàn)有的系統(tǒng)中抽取必要的數(shù)據(jù)（并清洗）填充ODS數(shù)據(jù)庫，有需要的話也可將ODS數(shù)據(jù)推送到各個業(yè)務系統(tǒng)中；基于ESB平臺，暴露ODS數(shù)據(jù)對外的訪問接口，并不斷的建設各個系統(tǒng)之間的接口。數(shù)據(jù)集成效果主數(shù)據(jù)整合，通過ODS（共享管控數(shù)據(jù)集成中心）、ESB（企業(yè)服務總線）基礎平臺的搭建，規(guī)范系統(tǒng)主數(shù)據(jù)，實現(xiàn)企事業(yè)內(nèi)各系統(tǒng)、以及EDW間的數(shù)據(jù)交互和共享，保證數(shù)據(jù)一致性；統(tǒng)一系統(tǒng)接口，通過ESB與多個核心平臺搭建接口，實現(xiàn)核心系統(tǒng)接口統(tǒng)一。主數(shù)據(jù)管理，提供對主數(shù)據(jù)變更、維護功能。業(yè)務數(shù)據(jù)抽取整合，并提供數(shù)據(jù)管理、查詢、分析、統(tǒng)計等應用功能。使得企業(yè)數(shù)據(jù)倉庫逐步改為從ODS取數(shù)。所有的統(tǒng)計分析需求按其涉及數(shù)據(jù)范圍大小和復雜程度高低，分別由應用系統(tǒng)、ODS和數(shù)據(jù)倉庫提供支撐，盡可能向ODS和數(shù)據(jù)倉庫集中。數(shù)據(jù)集成方案ODS系統(tǒng)設計現(xiàn)階段ODS系統(tǒng)設計如上圖所示，我們設計的ODS系統(tǒng)中，主要有ETL模塊和ODS模塊2部分組成，ODS系統(tǒng)根據(jù)通過Trigger、應用、批處理、Queue等手段從各MSS應用系統(tǒng)中獲得數(shù)據(jù)，并通過ETL應用對數(shù)據(jù)進行抽取、轉(zhuǎn)換、清洗、并裝載到ODS數(shù)據(jù)庫中。而一般通過TriggerUpdates的方式來將一些ODS數(shù)據(jù)返回更新各MSS應用的數(shù)據(jù)庫。ETL模塊這里的ETL模塊主要是數(shù)據(jù)抽取、轉(zhuǎn)換和加載，這是數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向ODS加載的主要方法數(shù)據(jù)抽取從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)倉庫系統(tǒng)所需的數(shù)據(jù)，數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫抽取數(shù)據(jù)，也可以從文件抽取。對于不同數(shù)據(jù)平臺、源數(shù)據(jù)形式、性能要求的業(yè)務系統(tǒng)，以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同，為保證抽取效率，減少對生產(chǎn)運營的影響，對于大數(shù)據(jù)量的抽取，采取數(shù)據(jù)分割、縮短抽取周期的原則，對于直接的數(shù)據(jù)庫抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫的安全。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是指對抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求，進行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型具有一致性和完整性，并按要求裝入數(shù)據(jù)倉庫。數(shù)據(jù)加載數(shù)據(jù)加載是將轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù)據(jù)倉庫中，可以采用數(shù)據(jù)加載工具，也可以采用API編程進行數(shù)據(jù)加載。ODS數(shù)據(jù)庫模塊操作數(shù)據(jù)存儲ODS（OperationDataStorage）是一個集成了來自不同數(shù)據(jù)庫數(shù)據(jù)的環(huán)境。其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。它可以幫助用戶輕松應對跨多個商業(yè)功能的操作挑戰(zhàn)，是面向主題的、集成的、近實時的數(shù)據(jù)存儲。設計ODS層的目的在于改善了對關鍵操作數(shù)據(jù)庫的存取，獲得收益、用戶等主題的企業(yè)級完整視圖，有利于更好地通觀全局。近實時的數(shù)據(jù)存儲提供了查詢與服務能力，并以更高的性能生成操作報告。設計ODS的核心是實現(xiàn)焦點主題全局試圖應用，如企業(yè)的用戶管理系統(tǒng)，可以建立以用戶為中心的ODS用戶主題視圖，向上層提供高效的服務。因此，在現(xiàn)有設計中，我們將配置2個服務器分別運行ETL應用和ODS數(shù)據(jù)庫，由于ODS數(shù)據(jù)庫即具有數(shù)據(jù)倉庫的功能，也具有一定OLTP應用的特征，對性能要求較高，因此我們建議配置1個6CPU的PC服務器作為ODS數(shù)據(jù)庫服務器，另一個4CPU的PC服務器作為ETL服務器。從高可靠性出發(fā)，這2個服務器將作HA高可靠性冗余。相關數(shù)據(jù)將放在SAN網(wǎng)路存儲中，冗余后的邏輯大小為3TB。未來ODS系統(tǒng)設計對于未來的ODS系統(tǒng)設計，我們認為可以引入MDM的設計，但通過ODS來自動修改的數(shù)據(jù)庫結(jié)構也應該僅針對新開發(fā)的應用，即根據(jù)新開發(fā)應用的需來對數(shù)據(jù)庫的結(jié)構進行修改。而不應對一個正常運行的應用系統(tǒng)進行任何的改變。0DS系統(tǒng)架構ODS系統(tǒng)是介于DW和OLTP系統(tǒng)之間的系統(tǒng)。歷史事實證明，只有將各個系統(tǒng)的數(shù)據(jù)綜合在一起才能真正反映出企業(yè)管理需要的數(shù)據(jù)或者報表，而對這些數(shù)據(jù)的要求是近乎實時的。通過整合現(xiàn)有系統(tǒng)的數(shù)據(jù)和流程。使ODS系統(tǒng)作為所有應用系統(tǒng)交互的平臺，通過ETL和ESB兩種技術對現(xiàn)有數(shù)據(jù)進行整合：各個應用竹編，如人力資源、財務管理等將通過企業(yè)服務總線平臺（ESB）進行交互，ESB也作為其它可能與應用系統(tǒng)交互的統(tǒng)一接口；另一方面，數(shù)據(jù)抽取傳送平臺（ETL）負責將各個子系統(tǒng)的數(shù)據(jù)抽取出來（拆分、合并、映射）裝入到ODS系統(tǒng)中，那么ODS系統(tǒng)在具備了各個子系統(tǒng)的近實時數(shù)據(jù)之后，就可以作為獨立數(shù)據(jù)源對外提供數(shù)據(jù)服務，它可以作為數(shù)據(jù)報表和分析的數(shù)據(jù)源，也可以作為其它子系統(tǒng)相互同步的數(shù)據(jù)源。這樣做有兩個好處：轉(zhuǎn)移了本屬于各系統(tǒng)的信息查詢負載到ODS系統(tǒng)，使各系統(tǒng)的壓力降低，提高了整體性能。OMS由于擁有了完整的主數(shù)據(jù)，它為面向主題的分析提供了必須的數(shù)據(jù)基礎。ODS數(shù)據(jù)模型ODS終極目標是為了提供非戰(zhàn)略性的中層決策支持，我們認為ODS的數(shù)據(jù)模型可以參考數(shù)據(jù)倉庫（DW,DataWarehouse）的基礎模型，即將數(shù)據(jù)分為事實數(shù)據(jù)和緯度數(shù)據(jù)。事實數(shù)據(jù)一般代表的是業(yè)務變動記錄，在MSS中我們稱為業(yè)務數(shù)據(jù)，而緯度數(shù)據(jù)則存放事實數(shù)據(jù)中業(yè)務發(fā)生的對象主體信息，緯度數(shù)據(jù)稱為主數(shù)據(jù)。事實數(shù)據(jù)和緯度數(shù)據(jù)的關系是通過關鍵字來關聯(lián)的，在數(shù)據(jù)庫中它們都體現(xiàn)為數(shù)據(jù)表的形式。以下為ODS的數(shù)據(jù)模型圖：圖表SEQ圖表\*ARABIC13ODS數(shù)據(jù)模型在上圖中緯度是維持各系統(tǒng)數(shù)據(jù)的一致性描述，而事實表則是提供分析使用的基礎數(shù)據(jù)。在確立了基本的數(shù)據(jù)模型之后，如何確定數(shù)據(jù)的采集的范圍呢？首先從構建企業(yè)全局視圖出發(fā)（即面向主題的分析），查出每個主題需要哪些數(shù)據(jù)，這些數(shù)據(jù)分別分布在哪些系統(tǒng)中，當這一切確定之后，那么整個ODS數(shù)據(jù)模型牽涉到的數(shù)據(jù)范圍就基本確定了。接著需要通過ETL工具將各系統(tǒng)中的業(yè)務數(shù)據(jù)轉(zhuǎn)換后裝入到ODS數(shù)據(jù)庫中，轉(zhuǎn)換方式大致分為四種：遷移：一般性的數(shù)據(jù)拷貝方式，源和目標的數(shù)據(jù)屬性和值完全相同。組合：例如將供應商所處的省份、市、街道組合為ODS中的地址字段。拆分：例如將員工姓名拆分為單獨的姓和名字段。映射：例如將合同的“完成”狀態(tài)映射為“OK”態(tài)。當數(shù)據(jù)從MSS子系統(tǒng)轉(zhuǎn)換到ODS系統(tǒng)時，數(shù)據(jù)質(zhì)量依賴于ETL平臺，ETL平臺提供完整的事務、容錯、補償、容錯和日志功能用于控制數(shù)據(jù)轉(zhuǎn)換的質(zhì)量。0DS數(shù)據(jù)交互方式我們已經(jīng)確定了ESB作為ODS的數(shù)據(jù)交互機制，它允許多個應用程序以去耦合或松散耦合的方式結(jié)合在一起。在一個軟件“總線”上，應用程序的添加和刪除對同在總線上的其他應用程序造成的影響非常小。也可以認為ESB實現(xiàn)了調(diào)度程序/路由器模式，因為它解決了消息在使用ESB的應用程序之間的路由選擇問題。ESB是服務基礎架構的核心，它支持在異構環(huán)境中以高度動態(tài)的方式對服務進行注冊、發(fā)現(xiàn)和調(diào)度。ESB本身可看作是企業(yè)實現(xiàn)和擁有的架構模式。ODS從來不直接與各系統(tǒng)或數(shù)據(jù)倉庫直接交互，無論系統(tǒng)訪問ODS系統(tǒng)，還是ODS發(fā)送消息各系統(tǒng)，它們總是通過調(diào)用服務總線中的組件來完成數(shù)據(jù)交互的。并且，ESB不僅是為ODS提供數(shù)據(jù)服務，ESB是作企業(yè)應用集成環(huán)境（EAI）中核心的數(shù)據(jù)交互機制為所有的信息整合提供數(shù)據(jù)服務。下圖為ESB的邏輯模型：對于ESB的設計原則，我們主要參照以下幾點：強調(diào)性能，增加系統(tǒng)并發(fā)能力，避免出現(xiàn)任何由局部的堵塞造成整個ESB平臺堵塞的情況。必要情況下要將長消息流用隊列斷開為多條可并行的消息流以增強系統(tǒng)并發(fā)能力。避免單點故障，使用雙ESB，多執(zhí)行組，多消息流配置，HA高可靠性集群等方式來杜絕單點故障，提高系統(tǒng)的總體可用性。提高可重用性?？芍赜眯园ùa可重用性，以及在運行時的可重用服務。前者要求使用統(tǒng)一報文格式，統(tǒng)一編碼規(guī)則開發(fā)可備重用的標準Template，后者要求使用開放的標準定義服務及發(fā)布服務。增強可維護性及靈活性。盡量避免新增的功能對原有代碼的改動，改動盡量能做成由配置驅(qū)動，而不是涉及代碼改動。ESB須提供日志（Audit）功能以備各種比對要求和延遲計算。系統(tǒng)必須能提供在流入及流出ESB的節(jié)點日志。基于ESB構建的ODS數(shù)據(jù)交互方式描述如下：各系統(tǒng)以消息訂閱者的身份注冊到ESB平臺，監(jiān)聽進入ESB信道的各種消息，根據(jù)一定的規(guī)則選擇對某些消息做出響應；同時每個子系統(tǒng)也可以消息發(fā)布者的身份向ESB發(fā)送特定的消息，期望得到其它子系統(tǒng)的相應。通過這種模式也可以看出，ESB實際上是一個面向服務的消息調(diào)度平臺。ODS數(shù)據(jù)安全性控制從上文的系統(tǒng)架構設計可以看出，ODS作為數(shù)據(jù)集成中心，可以被各個系統(tǒng)通過不同的途徑讀取或者改寫，最主要三種方式是：各系統(tǒng)直接讀取ODS的數(shù)據(jù)結(jié)構；各系統(tǒng)通過ETL平臺讀取或者改寫ODS系統(tǒng)數(shù)據(jù)；各系統(tǒng)通過ESB平臺發(fā)出請求消息，導致ODS的數(shù)據(jù)被請求或者改寫；對于這樣一個龐大的系統(tǒng)的數(shù)據(jù)安全控制，我們認為最重要的是先創(chuàng)建一份安全審計的規(guī)則表，即通常所說的CRUD（C,Create；R，Read；U，Update；D,Delete）權限矩陣，下表為矩陣的模版：ODS實體屬性計劃建設系統(tǒng)物質(zhì)系統(tǒng)財務系統(tǒng)…供應商編號R(ETL)CRU(DB)R(ESB)名稱R(ETL)CRU(DB)R(ESB)上表演示了ODS系統(tǒng)中的關于供應商實體數(shù)據(jù)在不同的系統(tǒng)中發(fā)起的各種操作的情況下，所能執(zhí)行的數(shù)據(jù)訪問權限。具體的CRUD權限矩陣將根據(jù)實際的業(yè)務需求制定。數(shù)據(jù)管理由于用戶的需求和場景是經(jīng)常變化的，因此滿足個性化的定制將變的非常重要。目前數(shù)據(jù)應用在個性戶定制方面主要表現(xiàn)在：雖然定義了模型，但模型不完整，效果不好。這樣用戶在使用時，不能根據(jù)其需求動態(tài)的調(diào)整后端的業(yè)務規(guī)則和運行環(huán)境，不利于用戶的使用。所以需要提供一個靈活的數(shù)據(jù)模型管理，以及業(yè)務規(guī)則管理，來應對系統(tǒng)的變化。數(shù)據(jù)模型管理提供可視化的數(shù)據(jù)模型編輯工具，支持以下幾種數(shù)據(jù)模型抽取模式。主擴展模式通常用來將幾個相似的對象的共有屬性抽取出來，形成一個“公共屬性表”。例如：一個員工的基本信息由角色信息、組織信息、崗位信息等部分組成。主從模式描述兩個表之間的主從關系，從而形成的“一對多”關系。例如：一個項目對應多個計劃階段。多對多模式描述對象相互不分主次、地位，互為一對多的關系。例如：一種器材可以對應多個領料單，一個領料單也可以對應多種器材。流程、規(guī)則管理提供可視化的流程編輯工具、流程定義和流程監(jiān)控功能。提供函數(shù)集提供常用規(guī)則方法，以及規(guī)則定義語言描述規(guī)則。提供基本規(guī)則：直接映射原來是什么就是什么，原封不動照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運算。數(shù)學運算數(shù)據(jù)源的一個或多個字段進行數(shù)學運算得到的目標字段，比如：合同里的支付計劃由多個時間段和支付比例組成，由此得出其總的合同支付時間和支付金額，這種規(guī)則一般對數(shù)值型字段而言。參照轉(zhuǎn)換在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個或多個字段作為Key，去一個關聯(lián)數(shù)組中去搜索特定值，而且應該只能得到唯一值。這個關聯(lián)數(shù)組使用Hash算法實現(xiàn)是比較合適也是最常見的，在整個ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。字符串處理從數(shù)據(jù)源某個字符串字段中經(jīng)?？梢垣@取特定信息，例如身份證號。而且，經(jīng)常會有數(shù)值型值，以字符串形式體現(xiàn)。對字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時候，一定要加上異常處理。空值判斷對于空值的處理是數(shù)據(jù)倉庫中一個常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應用的情況，也是需要進一步探求的。但是無論怎樣，對于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進行判斷，目前我們的建議是將它轉(zhuǎn)換成特定的值。日期轉(zhuǎn)換在數(shù)據(jù)倉庫中日期值一般都會有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。日期運算基于日期，我們通常會計算日差、月差、時長等。一般數(shù)據(jù)庫提供的日期運算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運算函數(shù)集。聚集運算對于事實表中的度量字段，他們通常是通過數(shù)據(jù)源一個或多個字段運用聚集函數(shù)得來的，這些聚集函數(shù)為SQL標準中，包括sum，count，avg，min，max。既定取值這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標字段取一個固定的或是依賴系統(tǒng)的值主數(shù)據(jù)管理我們的系統(tǒng)必須要能保證基礎數(shù)據(jù)的數(shù)據(jù)模型、編碼規(guī)范的穩(wěn)定性。這樣才能為其他各個系統(tǒng)提供準確統(tǒng)一的數(shù)據(jù)。但是即使在穩(wěn)定的數(shù)據(jù)也有會發(fā)生變更的可能性，甚至會被要求刪除。但是如果直接變更或是刪除，會影響到各個業(yè)務系統(tǒng)的使用。所以必須采取一定的措施來避免這樣的問題。主數(shù)據(jù)變更在與相關部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要變更。我們將把主數(shù)據(jù)更新成新的版本，并同時通知各個業(yè)務系統(tǒng)，同時將繼續(xù)在一定時間內(nèi)維持舊數(shù)據(jù)的版本。使各個系統(tǒng)有時間來變更和接受新的主數(shù)據(jù)。當變更完成后，舊的主數(shù)據(jù)版本將會被移除。如下所示：項目信息主數(shù)據(jù)（舊版本）項目信息主數(shù)據(jù)（舊版本）項目信息主數(shù)據(jù)（新版本）計劃建設系統(tǒng)項目信息主數(shù)據(jù)（舊版本）項目信息主數(shù)據(jù)（舊版本）項目信息主數(shù)據(jù)（新版本）計劃建設系統(tǒng)項目信息主數(shù)據(jù)（新版本）項目信息主數(shù)據(jù)（新版本）計劃建設系統(tǒng)主數(shù)據(jù)刪除在與相關部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要刪除。系統(tǒng)將會通知引用該主數(shù)據(jù)的系統(tǒng)。直至所有引用該主數(shù)據(jù)系統(tǒng)全部不使用該主數(shù)據(jù)時，系統(tǒng)將對此主數(shù)據(jù)進行刪除。項目信息主數(shù)據(jù)項目信息主數(shù)據(jù)計劃建設系統(tǒng)項目信息主數(shù)據(jù)項目信息主數(shù)據(jù)計劃建設系統(tǒng)計劃建設系統(tǒng)計劃建設系統(tǒng)報表功能數(shù)據(jù)倉庫概念的提出也把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了DB-DW的兩層體系結(jié)構。但是有很多情況，DB-DW的兩層體系結(jié)構并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求，比如有些實時性決策問題，它要求獲取數(shù)據(jù)周期不能太長，而且也需要一定程度的匯總。這樣的問題可以借助于DB-DW的中間層ODS（操作數(shù)據(jù)存儲）來解決。它象DW一樣是一種面向主題，集成的數(shù)據(jù)環(huán)境，又像操作型DB一樣包含著全局一致的，細節(jié)的當前的數(shù)據(jù)。我們看下常用的幾種系統(tǒng)應用集成需求：一級干線工程信息查詢?。▽崟r監(jiān)控）重點供應商往來情況分析！（決策支持）小靈通設備折舊年限改為七年的折舊差異測算?。A測）建設單位管理費占工程支出的比例分析2006年7月DDN、分組交換、微波、PDH在網(wǎng)資產(chǎn)情況提供事實的全局信息進行實時監(jiān)控與臨時決策要滿足上面所有的需求，不管是傳統(tǒng)的OLTP系統(tǒng)還是已經(jīng)集成的數(shù)據(jù)倉庫，都是很難完成任務的。由于這些原因，ODS應運而生。ODS可以看作是圍繞主題進行動態(tài)整合的一種應用型體系結(jié)構，它有如下一些特點：從OLTP系統(tǒng)獲取數(shù)據(jù)提供幾乎精確到每秒的企業(yè)整體應用狀態(tài)數(shù)據(jù)一旦過期就將轉(zhuǎn)入DW實時決策與預警提示使用者多為前端業(yè)務人員在企業(yè)領域中，我們可以通過下表的梳理方式來選擇我們所要切入的分析主題報表：主數(shù)據(jù)集團統(tǒng)一單位編碼、集團會計科目編號、集團用戶、集團供應商在建工程：專業(yè)類別、建設性質(zhì)、管理關系、項目屬性資產(chǎn)：資產(chǎn)類別、資產(chǎn)歸屬、資產(chǎn)狀態(tài)、折舊狀態(tài)財務輔助系統(tǒng)：物資類別、網(wǎng)絡元素、產(chǎn)品類別、各種費用明細分類等業(yè)務數(shù)據(jù)應收明細、應付明細、一級干線工程基礎數(shù)據(jù)表、一級干線工程合同信息數(shù)據(jù)表、一級干線工程計劃下達信息數(shù)據(jù)表、一級干線工程核算數(shù)據(jù)表財務輔助系統(tǒng)報銷單明細數(shù)據(jù)：領料單，修理費，營銷費，代辦手續(xù)費，差旅費，會議費，綜合費用多維匯總數(shù)據(jù)科目余額表、在建工程統(tǒng)計、資產(chǎn)統(tǒng)計報表關聯(lián)交易匯總表、應收賬款匯總表、應付賬款匯總表、在建工程決算信息一覽表、工程預、決偏離信息表、已決算工程項目費用構成情況表、固定資產(chǎn)詳情表、折舊預測表功能特點先進的技術與支持多種數(shù)據(jù)庫信息化建設過程中，業(yè)務需求是逐步發(fā)展的，這樣就要求系統(tǒng)總體結(jié)構的設計有完善、先進、穩(wěn)定、可靠的軟件架構。采用基于XMLWeb服務（WebService）的.NET技術開發(fā)ODS系統(tǒng)，是項目成功的有利保證。提供靈活方便的自定義業(yè)務流程的功能。以圖形化的形式繪制各類業(yè)務流程，并可在該業(yè)務發(fā)生變更時很方便地進行維護。對于簡單的業(yè)務，可不需進行程序代碼的變更，完全通過自定義的方式定義出該業(yè)務種類的各個環(huán)節(jié)以及其權限處理、權限控制和業(yè)務處理方法。面向用戶角色的設計。系統(tǒng)設計方案在構想初期就從ODS系統(tǒng)管理所要求的層次：操作層和管理層全盤考慮，充分了解不同級別的人員所關心的問題，務求能夠為用戶解決在ODS系統(tǒng)應用中的實際問題。產(chǎn)品的高度靈活性、開放性和可擴展性市場唯一不變的法則就是永遠在變。企業(yè)發(fā)展的可拓展性，作為企業(yè)的決策者，企業(yè)發(fā)展的可持續(xù)性、可拓展性已是一個不可忽略和怠慢的話題。作為ODS系統(tǒng)的一種管理理念，這種企業(yè)拓展性發(fā)展已被融入其中。ODS系統(tǒng)為了更好的方便企業(yè)對于拓展性的要求，并使企業(yè)決策者在考慮拓展企業(yè)時無需為大量的信息投資所困擾。集成與開放體現(xiàn)在兩個方面：一是系統(tǒng)自身模塊的集成；二是與外部其它系統(tǒng)的集成?？拼笥嶏w的研發(fā)人員在開發(fā)ODS系統(tǒng)管理系統(tǒng)時就充分考慮到用戶的這種需求，將系統(tǒng)設計成開放性的系統(tǒng)，預留數(shù)據(jù)庫和系統(tǒng)接口，保證了與其它系統(tǒng)的無縫鏈接。ODS系統(tǒng)管理系統(tǒng)優(yōu)良的可升級性能，使用戶用最低的成本，滿足了當前和未來的資源需求。服務器管理及監(jiān)控系統(tǒng)為了能使用戶對于公文處理和事務審批系統(tǒng)更好的使用，我們需要對應用服務器系統(tǒng)進行統(tǒng)一的管理監(jiān)控。通過對應用服務器運行狀況的監(jiān)控管理，可以提高用戶的體驗水平，增強系統(tǒng)的可用性。系統(tǒng)管理及監(jiān)控系統(tǒng)主要是為了達成此目的而建設。整個系統(tǒng)對服務器的監(jiān)控管理，實時接收采集各種時間信息，對服務器運行狀態(tài)進行評估，保證系統(tǒng)穩(wěn)定運行。服務器監(jiān)控管理功能1、服務器監(jiān)控管理功能通過對Windows平臺和Windows平臺上應用系統(tǒng)的事件、健康情況、性能狀況的監(jiān)控，可以實現(xiàn)對管理范圍內(nèi)的重要事件信息的捕獲、評估并及時呈現(xiàn)給系統(tǒng)管理員，讓系統(tǒng)管理員可以及時做出反應，盡快解決各種潛在的隱患，不至于影響關鍵應用的正常運行。同時管理系統(tǒng)通過內(nèi)置的職能知識庫系統(tǒng)幫助系統(tǒng)管理員根據(jù)發(fā)生的事件盡快診斷出問題所在，以便對癥下藥，解決問題。還可以不斷完善、豐富知識庫內(nèi)的內(nèi)容，以提高IT管理的水平。2、系統(tǒng)采用精密的多層體系結(jié)構，支持負載平衡，可以以伸縮的方式滿足大型企業(yè)的需求。中心管理站點可以接收從代理程序收集來的信息。通過合并器進行合并執(zhí)行由處理規(guī)則指定的中央操作，如，運行一個腳本或批處理文件，或?qū)z測到的情況通知操作員。合并器還向數(shù)據(jù)訪問服務器(DAS)發(fā)送信息。3、系統(tǒng)可以通過統(tǒng)一的操作管理平臺對所有的事件進行處理。4、管理員可以定義規(guī)則，可以通過預先設定好的操作對指定的時間進行處理反映。并可和微軟知識庫進行集成，直接得到錯誤事件的序列號，方便操作人員查詢。5、當管理系統(tǒng)捕獲、評估各種事件后，可以通過預先配置的手段及時報警，通知系統(tǒng)管理員。報警的手段可以是多種多樣的，像呼機、手機、短信等，非常靈活。6、系統(tǒng)可以設置監(jiān)控主要的性能閥值。可以自定義規(guī)則或添加新規(guī)則，對系統(tǒng)和應用程序性能趨勢進行監(jiān)控，以用于歷史記錄報告和能力規(guī)劃。此外，還可以對本地閥值和集合閥值進行設置，以在系統(tǒng)或應用程序的性能發(fā)生變化，需要進行管理干預時做出適當?shù)姆磻?，發(fā)出警告并執(zhí)行適當?shù)牟僮鳌?、MicrosoftOperationsManager2005中，管理員創(chuàng)建的規(guī)則可使系統(tǒng)自動對入站消息流做出反應，也就是使用預定義的操作對特定的錯誤方案做出反應，或是將消息合并到更有意義或更明顯的事件中。這些規(guī)則可使MicrosoftOperationsManager對事件做出智能反應并預見事件的發(fā)生模式，觸發(fā)操作或管理警告。規(guī)則還能夠?qū)⑹录蛄墟溄拥健癕icrosoft知識庫”文章中，不斷向操作人員提供指導，指明可能導致錯誤的原因、允許對特定問題做出的反應，以及指向其他信息的鏈接。8、系統(tǒng)提供各類管理軟件包，管理軟件包由預配置的規(guī)則集合和知識庫文章組成，用于為特定范圍內(nèi)的應用程序或服務提供規(guī)則。這些“管理軟件包”由專家開發(fā)和提煉，除提供完整的現(xiàn)成解決方案外，還為高級管理員提供了一個堅實的基礎，使他們可以自定義和擴展解決方案。管理軟件包包括Windows2000、ActiveDirectory?服務、FileReplication服務(FRS)、DNS、WindowsInternetNameService(WINS)、InternetInformationServices(IIS)、DynamicHostConfigurationProtocol(DHCP)、RoutingandRemoteAccess、MicrosoftTransactionService(MTS)、MicrosoftMessageQueuing(也被稱為MSMQ)MicrosoftDistributedTransactionCoordinator(MSDTC)、SystemsManagementServer、MicrosoftOperationsManager、TerminalServer、MicrosoftWindowsNT?4.0操作MicrosoftExchangeServer2000、MicrosoftSQLServer?2000和BackOffice應用程序套件(Exchange5.5、SQLServer7.0Microsoft、SiteServer3.0、MicrosoftProxyServer2.0和SNAServer4.0)等。通過這些專門定制的工具包可以對應用系統(tǒng)進行完善的監(jiān)控，保證系統(tǒng)內(nèi)部所有功能單元的可用性。9、使用本系統(tǒng)可以訪問大量的預配置報告和圖表。生成的報告允許管理員檢查網(wǎng)絡中系統(tǒng)和服務的狀態(tài)，并基于性能和可用性數(shù)據(jù)對基礎設施實施更改。可在系統(tǒng)中添加一些來自Microsoft或其他供應商“管理軟件包”的其他報告，以進一步豐富管理員可用的報表資源。10、對于已生成的報告，MicrosoftOperationsManager2005可為其生成基于超文本標記語言(HTML)的快照。然后，這些快照可以導出到Web服務器，以供Web瀏覽器及MicrosoftOperationsManager2000、Microsoft管理控制臺(MMC)和Web控制臺訪問。服務器監(jiān)控管理模塊管理包選擇設計Microsoft針對不同的產(chǎn)品和功能模塊提供多個預定義的系統(tǒng)管理的解決方案，稱為管理包模塊?，F(xiàn)成的管理包模塊可直接用于系統(tǒng)監(jiān)控、管理特定用途，如活動目錄、DNS、WINS服務以及MicrosoftSMS2003Server應用環(huán)境。管理包模塊提供如下功能：特定的處理規(guī)則組，計算機組和處理規(guī)則，如過濾器、警報、性能采樣和閾值原則。預定義的計算機屬性、提供者、腳本和知識庫，以及公共視圖和默認通告組。設定MOM如何收集、處理、響應信息。按照本項目的系統(tǒng)運行管理需求，管理包的選擇如下：活動目錄管理包組策略管理包FRS管理包DNS管理包DHCP管理包（選擇使用）WINS管理包IIS管理包WindowsOS管理包WindowsSharePointService管理包SMS2003管理包MOM2005管理包SQL2005管理包RMS管理包ISA2006管理包服務器監(jiān)控管理模塊報表設計在服務器監(jiān)控管理模塊中報表是一項很重要的功能，它對于幫助管理人員管理維護整個系統(tǒng)具有重要的作用。MOM根據(jù)MOM服務器中所存儲的信息使用MicrosoftAccess生成報告，之后可將這些報告發(fā)布至Web服務器并且可使用MOMWeb控制臺瀏覽。MOMReporting通過MicrosoftAccess運行報告及訪問MOM數(shù)據(jù)庫，Access與數(shù)據(jù)庫之間利用ODBC而不是MOM數(shù)據(jù)服務器進行通訊。為了獲取儲存在MOM數(shù)據(jù)庫中的信息，MOMReporting利用MicrosoftAccess生成報告，Access利用經(jīng)Windows操作系統(tǒng)認證的ODBC連接從MicrosoftSQL

Server數(shù)據(jù)庫獲取數(shù)據(jù)。多項MOMReporting可連接至單一MOM數(shù)據(jù)庫并利用其數(shù)據(jù)生成報告，此項功能有助于不同的管理員監(jiān)視MOM的不同方面，例如：一個管理員可生成性能及容量的報告，而另一個管理員可生成有關操作的報告。單項MOMReporting也可連接至多個MOM數(shù)據(jù)庫并根據(jù)其數(shù)據(jù)生成報告。對于一臺計算機的多配置組生成報告此項功能十分有用。MOMReporting可一次從單個數(shù)據(jù)庫生成報告。 報告服務器策略運行MOM報告服務器需要下列軟件：MicrosoftAccess2000及以后的版本-至少啟動一次Access供MOM安裝程序檢測MicrosoftAccessSnap-shotviewer-與Access一起安裝MicrosoftOfficeGraphMicrosoftDataAccessComponent2.6及以后的版本Printer–用于存儲HTML格式的報告如需頻繁生成報告，請勿將MOMReporting安裝在MOM數(shù)據(jù)庫服務器上，否則將導致由于生成報告所需的CPU和內(nèi)存占用影響MOM數(shù)據(jù)庫的性能；將MOMReporting安裝在單獨的計算機上，報告生成次數(shù)的增加僅與網(wǎng)絡延遲有關，而不會影響到MOM服務器的性能。在本期工程中建議將中MOMReporting將安裝在MOM/網(wǎng)管服務器上，為了能在本地運行報告，Access報告引擎也被安裝于該服務器上。如上所述，運行MOMReporting需要占用CPU和內(nèi)存，因此建議不要在正常辦公時間運行報表生成程序，應在非正常工作時間生成報表以避免與日常備份工作沖突。建議：在每天凌晨兩點至六點生成日報表；在周六或周日白天生成周報表或月報表；報告發(fā)布生成的報表，將被發(fā)布至web服務器，要完成此項操作需將MOMWeb控制臺安裝在DCAM服務器上。存儲HTML格式報表的缺省位置為：x:\ProgramFiles\MicrosoftOperationsManager2000\Event\Reports。安裝過程中，會在MOM服務器生成一個名為Reporting的虛擬目錄。此虛擬目錄使用Windows認證，缺省權限為只讀(ReadOnly)。由于MOM報告中部分數(shù)據(jù)的保密性，需要采取如下所述的安全加強措施：取消網(wǎng)絡共享：缺省情況下，安裝過程中會生成一個名為Reports的網(wǎng)絡共享。此共享可被刪除而不會影響MOM的功能。設置NTFS許可：報告目錄缺省的ACLs設置賦予本地Users組只讀權限。建議作如下改變：1、取消對本地Users組的訪問權限2、添加并賦予本地OnePointReporting組的只讀權限系統(tǒng)技術特點為實現(xiàn)安徽電信ODS系統(tǒng)管理系統(tǒng)的業(yè)務處理、資源共享、信息交流，采用了面向?qū)ο?、消息協(xié)作、動態(tài)工作流和組件等先進技術，架構層次清晰，緊密結(jié)合行業(yè)特點，注重易用性、個性化，與同類產(chǎn)品相比，本系統(tǒng)在先進性、安全性、開放性、高效性、擴展性、靈活性、易用性、規(guī)范性、實用性等方面均達到較高的水準，具有以下突出優(yōu)勢：先進性.NET平臺支持業(yè)內(nèi)各種高級應用、接口技術和標準，使系統(tǒng)平臺具有良好的開放性和互集成性。同時，作為主流應用平臺之一，.NET也是業(yè)內(nèi)的事實工業(yè)標準，是其他技術、系統(tǒng)、應用支持的主要對象之一，可以確保系統(tǒng)在未來相當長的時間內(nèi)完全適應審計信息化的發(fā)展。.NET平臺支持業(yè)內(nèi)各種高級應用、接口技術和標準，使系統(tǒng)平臺具有良好的開放性和互集成性。同時，作為主流應用平臺之一，.NET也是業(yè)內(nèi)的事實工業(yè)標準，是其他技術、系統(tǒng)、應用支持的主要對象之一，可以確保系統(tǒng)在未來相當長的時間內(nèi)完全適應業(yè)務發(fā)展需要。基于XML的WebService技術，具有跨平臺的可互操作性，支持各專業(yè)之間信息交換。開放性和標準化本系統(tǒng)采用各種技術，包括系統(tǒng)平臺、數(shù)據(jù)庫，都完全符合各種國際標準和國家電子政務標準化指南要求，如XML、WebService等。高效性本系統(tǒng)在技術選型、功能、架構設計過程中，一直以“實用”、“高效”為衡量基準。例如，工作流引擎/業(yè)務模式、ASP.NET機制、數(shù)據(jù)壓縮存儲與傳輸、應用系統(tǒng)Cache機制等提高系統(tǒng)運行效率。靈活性與擴展性本系統(tǒng)中所有流程處理過程所采用的“工作流/業(yè)務”模式，基于角色的組織架構管理與應用，在審計業(yè)務發(fā)生變化時，可以通過簡單的定制，使系統(tǒng)快速的適應變化。隨著業(yè)務優(yōu)化進一步加深，部門之間都存在信息共享、交換和互動。系統(tǒng)采用ASP.NET技術架構、先進的MVC模式、工作流/業(yè)務模式、完全的XML與WebService應用，可以方便地在各個層次上實現(xiàn)系統(tǒng)的擴展，保證前期投資的有效和后期投入的接續(xù)，最大限度的保證其繼承性和經(jīng)濟性。較高的性價比，降低總成本通過采用.NET技術進行系統(tǒng)開發(fā)，可以最大程度地重用了系統(tǒng)資源，避免了重復投資。例如，對服務器端系統(tǒng)軟件環(huán)境的要求就是：在Windows2003Server系統(tǒng)上免費升級Mircosoft.NETFramework即可，無需其他第三方平臺軟件。因采用B/S系統(tǒng)架構，則無需配置用戶端軟件，這樣將大大節(jié)省安裝、維護、二次開發(fā)等總體擁有成本（TCO），總體費用將降低20％以上。在系統(tǒng)管理與維護方面，通過對系統(tǒng)功能、用戶角色及其權限進行個性化的定制，操作簡單方便，使得系統(tǒng)能充分滿足業(yè)務管理的實際需求，而且系統(tǒng)安全性高。系統(tǒng)平臺方案硬件平臺設計對于硬件設計，我們在設計中主要遵循以下一些原則，并輔以對應的設計：高性能設計在設計中，我們將不同功能的服務器在物理上分開，從而保證應用不互相影響性能；此外，對于性能壓力較大的ODS服務器我們配置了6CPU的高端PC服務器，從而有效保證了ODS數(shù)據(jù)庫服務器的性能，以滿足接近實時的數(shù)據(jù)抽取及分析等工作。而ESB系統(tǒng)更注重在業(yè)務的實現(xiàn)，對性能要求沒有ODS高，因此我們將配置2-4CPU的服務器作為ESB系統(tǒng)各運行模塊的服務器平臺。高可靠性對于ODS和ESB系統(tǒng)來說，高可靠性稍有不同，ODS是用于后端分析的，而不是聯(lián)機在線系統(tǒng)，因此可靠性要求沒有其它那些在線系統(tǒng)高，而ESB系統(tǒng)是各系統(tǒng)之間的橋梁，一旦ESB投入運營，則ESB系統(tǒng)的可靠性就很重要了。在本次設計中，我們對2個系統(tǒng)都采用了高可靠性的設計。其中ODS系統(tǒng)的3個服務器ETL和ODS數(shù)據(jù)庫服務器相互作冗余。而ESB系統(tǒng)的前端應用服務器采用了2個BizTalk服務器，實現(xiàn)ESB的均衡負載及高可靠性，而后端的SQL數(shù)據(jù)庫服務器則被另外一個備份服務器所備份。因此，在這2個系統(tǒng)中，都沒有單點的故障，具有高可靠性。此外，對于BizTalk服務器采用均衡負載的設計可以保證當任意一個服務器發(fā)生故障是，業(yè)務不會受到任何的影響和中斷，這種設計要優(yōu)于HA高可靠性集群。其他系統(tǒng)采用高可靠性集群的原因是因為數(shù)據(jù)庫的單一性和一致性，只能采用HA高可靠性集群來實現(xiàn)系統(tǒng)的高可靠性。此外，SAN存儲設計中，我們采用了雙SAN交換機和磁盤陣列，這些設計可以保證存儲物單點故障。高可用性及可服務性在整個硬件設計中，我們采用了SAN網(wǎng)絡存儲的設計，采用SAN網(wǎng)絡存儲的設計，這種設計使存儲硬件和服務器在物理上分離，未來服務器或存儲設備上的任何硬件改動都不會影響其它設備的正常工作。而這些設備又都支持熱插拔，這也大大提高了系統(tǒng)的高可服務性。而從架構設計中，在ESB系統(tǒng)采用了2個并行的BizTalk服務器，主要是利用了其橫向擴展的特點，當任何一個服務器需要服務時，只需要將其拿走，而業(yè)務會轉(zhuǎn)移到另一個服務器上，不會受到影響，同樣當需要增加BizTalk服務器時，也只要在業(yè)務進行時將其加入，這都體現(xiàn)了系統(tǒng)的高可服務性?？蓴U展性在硬件設計中，我們利用了應用服務器適合橫向擴展、數(shù)據(jù)庫服務器適合縱向擴展的特點，對所有的數(shù)據(jù)庫服務器的設計配置都高于相應的應用服務器，這樣的話，即使未來業(yè)務需求超過本次需求的話，也不需要更換任何服務器。而BizTalk服務器因為可以橫向擴展，所以將來業(yè)務量超過本次需求時，即使不夠的話也只需要添加新的服務器，和現(xiàn)有的服務器共同分擔業(yè)務壓力。通用性、易用性及經(jīng)濟性由于我們的設計是基于.net平臺和windowsserver2003基礎上的，這就最大程度地保證了系統(tǒng)的通用性和易用性，而這些平臺運行在PC服務器上，設備成本和運行成本遠低于其它的操作系統(tǒng)計服務器，性價比極高。而且微軟公司擁有全球最大的用戶群，這可以保證未來技術能力的持續(xù)。下圖為網(wǎng)絡拓樸圖ETL服務器服務器作用主要負責數(shù)據(jù)的抽取(Extract)，轉(zhuǎn)換(Transform)和裝載(Load),將分布在各業(yè)務系統(tǒng)的數(shù)據(jù)按照數(shù)據(jù)建模的要求對源數(shù)據(jù)進行篩選整合,并將整合后的數(shù)據(jù)裁載到數(shù)據(jù)庫服務器中。計算測算依據(jù) 每個應用系統(tǒng)與ETL的連接操作次數(shù)大約為120次/秒，峰值大約為300次/秒。這些操作次數(shù)會直接影響到ETL的整個操作過程。 ETL服務主要會涉及到以下操作：從應用系統(tǒng)（目前一共6個主要系統(tǒng)）中獲取源數(shù)據(jù)；將獲取到的數(shù)據(jù)進行抽取(Extract)，轉(zhuǎn)換(Transform)和裝載(Load)；最后將處理好的數(shù)據(jù)存放到運營數(shù)據(jù)庫中。衡量指標指標描述考核目的TPC-C單位為tpmc它的定義是每分鐘內(nèi)系統(tǒng)處理的事務個數(shù)。能夠并行執(zhí)行多種具有一定復雜度的事務，強調(diào)服務器在一定時間限制范圍內(nèi)的事務處理能力。計算結(jié)果計算因素數(shù)據(jù)值(峰值)數(shù)據(jù)值(均值)單次消耗tpmc個數(shù)描述應用系統(tǒng)2100操作/秒720操作/秒0.5ETL讀取數(shù)據(jù)MSS系統(tǒng)的數(shù)據(jù)ETL2100操作/秒720操作/秒1對源數(shù)據(jù)進行篩選整合主數(shù)據(jù)庫2100操作/秒720操作/秒0.5將整合后的數(shù)據(jù)載入到數(shù)據(jù)庫服務器中合計：2100*0.5*60+2100*1*60+2100*0.5*60=252000tpmc 由于在通常情況下需要有30%的冗余，以保證系統(tǒng)的穩(wěn)定運行，所以最終的計算結(jié)果應為：252000/70%=360000tpmc。選擇結(jié)果由于需要和多個應用服務器進行交互，這里可以選擇三臺做為ETL服務器，每個ETL服務器與負責2個以上的應用系統(tǒng)，即每臺要求的tcmp值為120000。HPDL380G5可以滿足這個要求，同時性價比也是最好的。^

HardwareVendorSystemtpmCPrice/tpmCSystemAvailabilityHP

HPProLiantDL380G5QC

138,979

2.12

US$03/26/07

HP

HPProLiantBL25p/2.6GHz/DC

110,615

3.34

US$05/04/06

HP

HPProLiantML370G5SAS3.0GHz/4MBDC

169,360

2.93

US$11/22/06

運營數(shù)據(jù)庫服務器作用用于存儲經(jīng)過ETL的數(shù)據(jù)。向各個系統(tǒng)提供數(shù)據(jù)實時查詢、采集、同步應用。向分析數(shù)據(jù)庫提供數(shù)據(jù)，同步周期為1天。計算測算依據(jù)由于系統(tǒng)的數(shù)據(jù)被ETL處理后，會直接被存放于運營數(shù)據(jù)庫。所以運營數(shù)據(jù)庫的操作直接受到MSS數(shù)據(jù)的影響。因此可以測算出每個ETL與運營數(shù)據(jù)庫的連接操作次數(shù)大約為240次/秒，峰值大約為700次/秒。這些操作次數(shù)會直接影響到ETL的整個操作過程。 運營數(shù)據(jù)庫主要會涉及到以下操作：接受ETL處理后的數(shù)據(jù)（間接從MSS系統(tǒng)（目前一共6個主要系統(tǒng)）中獲取源數(shù)據(jù)）；向各個應用系統(tǒng)（大約15個左右）提供數(shù)據(jù)實時查詢、采集、同步應用；向分析數(shù)據(jù)庫提供數(shù)據(jù)；BizTalk進行數(shù)據(jù)操作。衡量指標指標描述考核目的TPC-C單位為tpmc它的定義是每分鐘內(nèi)系統(tǒng)處理的事務個數(shù)。能夠并行執(zhí)行多種具有一定復雜度的事務，強調(diào)服務器在一定時間限制范圍內(nèi)的事務處理能力。計算結(jié)果計算因素數(shù)據(jù)值(峰值)數(shù)據(jù)值(均值)單次消耗tpmc個數(shù)描述應用系統(tǒng)2100操作/秒1260操作/秒1.5進行數(shù)據(jù)實時查詢、采集、同步應用ETL2100操作/秒1260操作/秒0.5將整合后的數(shù)據(jù)載入到數(shù)據(jù)庫服務器中分析數(shù)據(jù)庫2100操作/秒1260操作/秒0.5將運營數(shù)據(jù)同步至分析數(shù)據(jù)庫BizTalk1000操作/秒400操作/秒0.5數(shù)據(jù)的操作合計：2100*1.5*60+2100*0.5*60+2100*0.5*60+1000*0.5*60=345000tpmc由于通常情況下需要有30%的冗余，以保證系統(tǒng)的穩(wěn)定運行，所以最終的結(jié)果應為：345000/70%=492900tpmc。4.選擇結(jié)果為了保證數(shù)據(jù)庫系統(tǒng)的高可用性，需要使用兩臺數(shù)據(jù)庫服務器做群集。每個需要492900tpmc值。HPRx8640具有50萬的tpmc值，所以可以選擇這個服務器。50萬tpmc（12*1.4GhzCPU/36G內(nèi)存/2*146G硬盤/2*HBA卡）HPRx8640分析數(shù)據(jù)庫服務器作用與運營數(shù)據(jù)庫間同步周期為1天；向EDW輸出數(shù)據(jù)；面向前臺的查詢統(tǒng)計報表類應用。計算測算依據(jù)分析主要是每天同步運營數(shù)據(jù)庫中的數(shù)據(jù)，然后將這些數(shù)據(jù)根據(jù)前臺報表的需求生成報表，輸出到用戶端。同時也可以將數(shù)據(jù)輸出到EDW。分析數(shù)據(jù)庫會牽涉到以下操作：從運營數(shù)據(jù)庫中同步數(shù)據(jù)；為前臺生成報表；向EDW輸出數(shù)據(jù)。衡量指標指標描述考核目的TPC-C單位為tpmc它的定義是每分鐘內(nèi)系統(tǒng)處理的事務個數(shù)。能夠并行執(zhí)行多種具有一定復雜度的事務，強調(diào)服務器在一定時間限制范圍內(nèi)的事務處理能力。計算結(jié)果計算因素數(shù)據(jù)值(峰值)數(shù)據(jù)值(均值)單次消耗tpmc個數(shù)描述應用系統(tǒng)300操作/秒50操作/秒5ETL讀取數(shù)據(jù)MSS系統(tǒng)的數(shù)據(jù)運營數(shù)據(jù)庫2100操作/秒1260操作/秒0.5從運營數(shù)據(jù)庫中同步數(shù)據(jù)EDW500操作/秒200操作/秒5向EDW輸出數(shù)據(jù)合計：300*5*60+2100*0.5*60+500*5*60=303000tpmc由于通常情況下需要有30%的冗余，以保證系統(tǒng)的穩(wěn)定運行，所以最終的結(jié)果應為：303000/70%=432900tpmc。.選擇結(jié)果分析數(shù)據(jù)庫所要的tpmc值為432900，可以采用和運營服務器同樣的配置。HPRx8640具有50萬的tpmc值，所以可以選擇這個服務器。50萬tpmc（12*1.4GhzCPU/36G內(nèi)存/2*146G硬盤/2*HBA卡）HPRx8640存儲容量運營數(shù)據(jù)庫主要存儲從各個系統(tǒng)中提取的主數(shù)據(jù)，以及主業(yè)務單等。源數(shù)據(jù)項計算依據(jù)容量(G)單位人力資源員工、組織、崗位、角色等相關信息0.1日財務系統(tǒng)會計科目及其相關主數(shù)據(jù)現(xiàn)金流量項目及其相關主數(shù)據(jù)資產(chǎn)及其相關主數(shù)據(jù)關聯(lián)交易類型及其相關主數(shù)據(jù)成本中心及其相關主數(shù)據(jù)預算中心及其相關主數(shù)據(jù)網(wǎng)絡元素及其相關主數(shù)據(jù)用戶類型及其相關主數(shù)據(jù)產(chǎn)品類型及其相關主數(shù)據(jù)作業(yè)類型及其相關主數(shù)據(jù)……0.4日計劃建設系統(tǒng)工程項目及其相關主數(shù)據(jù)專業(yè)類別及其相關主數(shù)據(jù)供應商及其相關主數(shù)據(jù)……0.4日物資管理系統(tǒng)物資主數(shù)據(jù)及其相關主數(shù)據(jù)庫存地點及其相關主數(shù)據(jù)……0.5日綜合審批系統(tǒng)合同及其相關主數(shù)據(jù)……0.3日固定資產(chǎn)系統(tǒng)資產(chǎn)及其相關主數(shù)據(jù)……0.3日存儲內(nèi)容計算依據(jù)容量(G)源數(shù)據(jù)每日數(shù)據(jù)量*24*30（兩年的估算時間）1440歷史數(shù)據(jù)各個系統(tǒng)中已有的數(shù)據(jù)400ETL中轉(zhuǎn)表源數(shù)據(jù)*10%144中間表源數(shù)據(jù)*25%360聚合事實數(shù)據(jù)源數(shù)據(jù)*50%720聚合維度數(shù)據(jù)2多維立方數(shù)據(jù)聚合事實數(shù)據(jù)*30%432數(shù)據(jù)挖掘數(shù)據(jù)100系統(tǒng)自身占用100冗余空間400小計