數(shù)據(jù)集成整體解決方案

1、數(shù)據(jù)集成整體解決方案繼系統(tǒng)集成、應用集成、業(yè)務集成之后，最頭痛的數(shù)據(jù)集成（Data Integration ）已漸被各大企業(yè)紛紛觸及。 目前國內(nèi)大多數(shù)企業(yè)還僅停留在服務于單個系統(tǒng)的多對一架構(gòu)數(shù)據(jù)集成應用，這種架構(gòu)常見于數(shù)據(jù)倉庫系統(tǒng)領域，服務于企業(yè)的商務智能。早期那些數(shù)據(jù)集成大家大都是從 ETL啟蒙開始的，當時ETL自然也就成了數(shù)據(jù)集成的代名詞，只是忽然一夜春風來，各廠商相繼推出DI 新概念后， 我們不得不再次接受新一輪的DI 洗腦，首推的有SAS DI、BusinessObjects DI、 Informatica DI、Oracle DI（ ODI）等廠商。數(shù)據(jù)集成，主要是指基于企業(yè)分散的信

2、息系統(tǒng)的業(yè)務數(shù)據(jù)進行再集中、再統(tǒng)一管理的過程，是一個漸進的過程，只要有新的、不同的數(shù)據(jù)產(chǎn)生， 就不斷有數(shù)據(jù)集成的步聚執(zhí)行。 企業(yè)有了五年、 八年的信息化發(fā)展， 凌亂、重復、歧義的數(shù)據(jù)接踵而至，數(shù)據(jù)集成的空間與需求日漸迫切，企業(yè)需要一個主數(shù)據(jù)管理（ Master Data Manager ）系統(tǒng)來統(tǒng)一企業(yè)的產(chǎn)品信息、客戶信息；企業(yè)需要一個數(shù)據(jù)倉庫（ Data Warehouse ）系統(tǒng)來提高領導層的決策意識，加快市場戰(zhàn)略調(diào)整行動；企業(yè)需要一個數(shù)據(jù)中心（ Data Center ）系統(tǒng)來集中交換、分發(fā)、調(diào)度、管理企業(yè)基礎數(shù)據(jù)。數(shù)據(jù)集成的必要性、 迫切性不言而喻， 不斷被推至企業(yè)信息化戰(zhàn)略規(guī)劃的首要

3、位置。要實現(xiàn)企業(yè)數(shù)據(jù)集成的應用，不光要考慮企業(yè)急需集成的數(shù)據(jù)范圍，還要從長遠發(fā)展考慮數(shù)據(jù)集成的架構(gòu)、能力和技術等方面內(nèi)容。從數(shù)據(jù)集成應用的系統(tǒng)部署、業(yè)務范圍、實施成熟性看主要可分三種架構(gòu)。 一種是單個系統(tǒng)數(shù)據(jù)集成架構(gòu)、一種是企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)、一種是機構(gòu)之間數(shù)據(jù)集成架構(gòu)。單個系統(tǒng)數(shù)據(jù)集成架構(gòu)，是國內(nèi)目前大興土木所采用的架構(gòu)，主要是以數(shù)據(jù)倉庫系統(tǒng)為代表提供服務而興建的數(shù)據(jù)集成平臺，面向企業(yè)內(nèi)部如 ERP、財務、 OA等多各業(yè)務操作系統(tǒng)，集成企業(yè)所有基礎明細數(shù)據(jù)，轉(zhuǎn)換成統(tǒng)一標準，按星型結(jié)構(gòu)存儲，面向市場經(jīng)營分析、 客戶行為分析等多個特有主題進行商務智能體現(xiàn)。這種單個系統(tǒng)數(shù)據(jù)集成應用架構(gòu)的主要特點

4、是多對一的架構(gòu)、復雜的轉(zhuǎn)換條件、TB 級的數(shù)據(jù)量處理與加載，數(shù)據(jù)存儲結(jié)構(gòu)特殊，星型結(jié)構(gòu)、多維立方體并存，數(shù)據(jù)加載層級清晰。企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)，組織結(jié)構(gòu)較復雜的大型企業(yè)、政府機構(gòu)尤為偏愛這種數(shù)據(jù)集成的架構(gòu)，因此類單位具有業(yè)務結(jié)構(gòu)相對獨立、數(shù)據(jù)權(quán)力尤為敏感、數(shù)據(jù)接口復雜繁多等特征，更需要多個部門一起協(xié)商來建立一個統(tǒng)一的數(shù)據(jù)中心平臺，來解決部門之間頻繁的數(shù)據(jù)交換的需求。如金融機構(gòu)、電信企業(yè)，公安、稅務等政府機構(gòu)，業(yè)務獨立、層級管理的組織結(jié)構(gòu)決定了內(nèi)部數(shù)據(jù)交互的復雜性。概括來說此類應用屬于多對多的架構(gòu)、數(shù)據(jù)交換頻繁、 要有獨立的數(shù)據(jù)交換存儲池、 數(shù)據(jù)接口與數(shù)據(jù)類型繁多等特點。 對于企業(yè)管理性、 決策

5、性較強的信息系統(tǒng)如主數(shù)據(jù)管理系統(tǒng)、 財務會計管理系統(tǒng)、 數(shù)據(jù)倉庫系統(tǒng)等數(shù)據(jù)可直接來源于數(shù)據(jù)中心，擺脫了沒有企業(yè)數(shù)據(jù)中心前的一對多交叉的困擾， 避免了業(yè)務系統(tǒng)對應多種管理系統(tǒng)時需要數(shù)據(jù)重復傳送，如 CRM 系統(tǒng)中新增一條客戶信息數(shù)據(jù)后，直接發(fā)送到企業(yè)數(shù)據(jù)中心，由企業(yè)數(shù)據(jù)中心面向風險管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、主數(shù)據(jù)管理系統(tǒng)進行分發(fā)即可。機構(gòu)之間數(shù)據(jù)集成架構(gòu)，這種架構(gòu)多是應用于跨企業(yè)、跨機構(gòu)、多個單位圍繞某項或幾項業(yè)務進行的業(yè)務活動， 或由一個第三方機構(gòu)來進行協(xié)調(diào)這些企業(yè)、機構(gòu)之間的數(shù)據(jù)交換、制定統(tǒng)一數(shù)據(jù)標準， 從而形成一個多機構(gòu)之間的數(shù)據(jù)集成平臺。如中國銀聯(lián)與各商業(yè)銀行之間的應用案例、各市政府信息中

6、心與市政府各機關單位之間的應用案例、外貿(mào)EDI（海關、檢驗檢疫局、 外匯局、銀行、保險、運輸?shù)龋?、BTOB電子商務平臺等。 這類應用屬于跨多企業(yè)、單位多對多的架構(gòu)，具有數(shù)據(jù)網(wǎng)絡復雜、數(shù)據(jù)安全性要求高、數(shù)據(jù)交換實時性強等特點。尤其這類架構(gòu)頗具一些特點值得進一步去剖析。因數(shù)據(jù)集成平臺是架于多企業(yè)、 單位之 間，數(shù)據(jù)的安全性、 獨立性決定了各企業(yè)、單位不得不考慮前置機的部署形式，各企業(yè)、單位在業(yè)務系統(tǒng)與數(shù)據(jù)集成平臺之間增加一臺前置機，則更有利于自有系統(tǒng)數(shù)據(jù)的獨立與安全，也更利于數(shù)據(jù)平臺對數(shù)據(jù)的獲取、分發(fā)、交換的統(tǒng)一要求。另外，數(shù)據(jù)集成平臺也要具有更多的技術功能來滿足眾多單位的眾多數(shù)據(jù)接口、多種數(shù)據(jù)類

7、型、 不一致的數(shù)據(jù)標準、 數(shù)據(jù)交換的實時性、對數(shù)據(jù)的抽取與推送（Pull AND Push）等業(yè)務需求。如數(shù)據(jù)集成平臺需具有數(shù)據(jù)連通、ETL、數(shù)據(jù)實時、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量、 EBS（ Enterprise Service Bus）、SOA（ Service-Oriented Architecture ）等一些技術與特點。以上三種數(shù)據(jù)集成架構(gòu)，一種是對應于某一個應用系統(tǒng)的多對一架構(gòu)，一種是完成企業(yè)內(nèi)部眾多系統(tǒng)之間數(shù)據(jù)交換的多對多架構(gòu)，一種是為多個跨企業(yè)、 單位機構(gòu)實現(xiàn)某一項或幾項業(yè)務活動而建立的多對多架構(gòu)，數(shù)據(jù)集成的應用差不多都是基于這三種架構(gòu)，每種架構(gòu)可能會對應于多種數(shù)據(jù)集成的應用。國內(nèi)企業(yè)常

8、見的數(shù)據(jù)集成應用有數(shù)據(jù)倉庫、數(shù)據(jù)同步、 數(shù)據(jù)交換，隨著企業(yè)并購、新舊系統(tǒng)升級、分布系統(tǒng)向數(shù)據(jù)大集中看齊、電子商務的發(fā)展、多個企業(yè)單位協(xié)同作業(yè)等等眾多業(yè)務需求的誕生，數(shù)據(jù)集成的應用開始紛繁異景起來。目前大部分數(shù)據(jù)集成軟件廠商都是圍繞數(shù)據(jù)倉庫（ Data Warehousing）、數(shù)據(jù)遷移（Data Migration ）、數(shù)據(jù)合并（ Data Consolidation ）、數(shù)據(jù)同步（ Data Synchronization ）、數(shù)據(jù)交換（ Data Hubs 或者叫主數(shù)據(jù)管理： Master Data Management ）這 5 種常見的企業(yè)應用形式來發(fā)展各自的產(chǎn)品技術。數(shù)據(jù)倉庫（ Da

9、ta Warehousing ）應用：數(shù)據(jù)倉庫的發(fā)展在國內(nèi)差不多有近10 個年頭，數(shù)據(jù)倉庫中的數(shù)據(jù)集成應用主要是圍繞ETL的功能來實現(xiàn)， 一般來說其主要功能是將多個業(yè)務系統(tǒng)不同種數(shù)據(jù)類型的數(shù)據(jù)抽取到數(shù)據(jù)倉庫的ODS（ OperationalData Store）層，經(jīng)過轉(zhuǎn)換，加載存儲到星型結(jié)構(gòu)的DW（ DataWarehouse ）層，為滿足不同主題的展現(xiàn)應用，再向關系型數(shù)據(jù)庫或多維數(shù)據(jù)庫進一步匯總加載，其 ETL功能可由手工編程或?qū)I(yè)工具軟件這兩種類型來實現(xiàn)。第一種類型：由手工編程到專項ETL工具的應用， 這種應用類型是成熟的數(shù)據(jù)集成軟件工具的雛形，是為快速達成項目功能需求為主，滿足復雜的業(yè)

10、務處理的需要，以ETL為核心應用， 開發(fā)技術也發(fā)揮得淋漓盡致， PB、JAVA、 SQL、存儲過程、 C/C+都可能會悉數(shù)登場，多一種系統(tǒng)的數(shù)據(jù)集成就可能會多于一倍的開發(fā)工作量，使數(shù)據(jù)集成平臺更趨于復雜、脆弱。另外，如電信、金融、稅務、公安等行業(yè)的眾多系統(tǒng)集成商針對各自的業(yè)務系統(tǒng)也開發(fā)有專項的數(shù)據(jù)集成工具，是有一定的局限性，拘泥于某一種應用或某一特定的系統(tǒng)環(huán)境。第二種類型： 眾多成熟的數(shù)據(jù)集成軟件工具的應用為這一代表，如 Informatica PowerCenter只、IBM Datastage、Oracle ODI、Microsoft SISS 等，集各種數(shù)據(jù)接口、ETL、數(shù)據(jù)質(zhì)量、實時、

11、數(shù)據(jù)聯(lián)邦、分區(qū)并行、網(wǎng)格、HA 等技術于一身，歷練世界眾多客戶需求多時，具有更寬廣的應用、可擴展性強、安全穩(wěn)定等一些特點。這種應用比較容易理解， 對于新舊系統(tǒng)升級、 數(shù)據(jù)大集中時的數(shù)據(jù)作遷移， 使數(shù)據(jù)更能順應新系統(tǒng)的結(jié)構(gòu)變化而平穩(wěn)遷移。在企業(yè)并購中很容易產(chǎn)生數(shù)據(jù)合并的應用， 如兩個企業(yè)的 HR系統(tǒng)的合并、 財務系統(tǒng)的合并、其它業(yè)務系統(tǒng)的合并， 當系統(tǒng)需要合并必然產(chǎn)生數(shù)據(jù)的合并， 因此對企業(yè)數(shù)據(jù)進行統(tǒng)一標準化、規(guī)范化、數(shù)據(jù)的補缺、數(shù)據(jù)的一致性都將導致數(shù)據(jù)合并。當企業(yè)一個系統(tǒng)的業(yè)務活動會影響其它多個系統(tǒng)的進程時， 對數(shù)據(jù)的實時性、 準確性就 第 6 頁 共 8 頁 尤顯重要。 如航空公司與航空機場

12、之間的數(shù)據(jù)同步應用、 證券交易所與證券公司之間的股票信息同步、 金融業(yè)的匯率信息同步等等， 影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡的連通性、 傳輸效率、 數(shù)據(jù)接口、數(shù)據(jù)格式等， 這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題?；蛘呓兄鲾?shù)據(jù)管理（Master Data Management ）應用，這種數(shù)據(jù)集成的應用越來越受企業(yè)的重視。 一般構(gòu)成企業(yè)主要的基礎數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、 供應商數(shù)據(jù)，要從企業(yè)多個系統(tǒng)中快速、可靠地建立唯一、 完整的企業(yè)主數(shù)據(jù)視圖這就是主數(shù)據(jù)管理。要實現(xiàn)企業(yè)主數(shù)據(jù)管理應用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、

13、 良好的數(shù)據(jù)轉(zhuǎn)換能力等特點。文中上述提到跨多個企業(yè)、 單位機構(gòu)的架構(gòu)就是一個典型的主數(shù)據(jù)管理應用，如公安局、工商局、稅務局、人事局、勞動社保局等這些眾多政府機構(gòu)主要是圍繞2 個基本主體進行各項事務活動，一個主體是個人， 另外一個主體是企業(yè)單位，而眾多政府機構(gòu)對這2 個主體的信息數(shù)據(jù)要求重點不同、數(shù)據(jù)處理順序有先后，數(shù)據(jù)變更有各異， 數(shù)據(jù)交換復雜、 頻繁，而最理想的境界是這2 個主體數(shù)據(jù)能做到最大程度的同步， 這就是主數(shù)據(jù)管理的思想。以上五種數(shù)據(jù)集成應用解決方案在國內(nèi)最常見的首當其沖的是數(shù)據(jù)倉庫的應用， 最復雜的應用應該是數(shù)據(jù)交換了，不管是簡單還是復雜的應用都以 ETL技術為基礎， ETL技術成

14、為了數(shù)據(jù)集成的核心技術，伴隨 ETL技術的還有數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、 數(shù)據(jù)清洗、 數(shù)據(jù)聯(lián)邦、 Real-Time、數(shù)據(jù)探查等技術， 為了提高數(shù)據(jù)集成的安全性、高效性、可擴展能力，還有 SOA、 HA、 GRID等相關技術作為支撐。ETL（ Extract、Transform 、Load）：數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最基礎、最核心的三項技術，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點進行調(diào)整順序，典型的應用有ELT的順序。如源與目標為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標然后再進行轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以Oracle 的 ODI 為代表。數(shù)據(jù)連通（ DataCon

15、nective）：良好的數(shù)據(jù)連通性是數(shù)據(jù)集成的能力體現(xiàn)，一般通用的關系型數(shù)據(jù)庫、ODBC、XML 等數(shù)據(jù)連通類型為常見類型，還有一些就是大中型企業(yè)常用第7 頁 共8 頁的ERP、 CRM、 BPM、 OA 等應用軟件為封閉式的系統(tǒng)，如SAP、 Seibel、 Lotus 等系統(tǒng)的連通，因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標的范圍也就更廣闊。數(shù)據(jù)質(zhì)量（ Data Quality ）：數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，數(shù)據(jù)質(zhì)量的技術范圍也越發(fā)寬廣， 開始慢慢被剝離出數(shù)據(jù)集成的范疇。企業(yè)不能根據(jù)標準不統(tǒng)一、歧義、不正確的數(shù)據(jù)快速做出決策，只有站在高質(zhì)量的數(shù)據(jù)基礎之上做出的

16、決策才不會發(fā)生方向偏倚。通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、 數(shù)據(jù)集成、 數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。 數(shù)據(jù)的完整一般是指根據(jù)現(xiàn)有基礎數(shù)據(jù)作其它數(shù)據(jù)項的擴展和豐富，如根據(jù)客戶的聯(lián)系方式來豐富客戶的所屬地區(qū)數(shù)據(jù)項、根據(jù)客戶身份證號碼來豐富客戶的所屬地區(qū)、年齡、性別等信息。數(shù)據(jù)實時（ Real-Time）：對于實時數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)同步等應用都會用到數(shù)據(jù)實時技術，一個系統(tǒng)的數(shù)據(jù)發(fā)生變化后，能即刻將變化的動作同步到另一個系統(tǒng)這就是數(shù)據(jù)實時技術的主旨。關系型數(shù)據(jù)庫、AS400、MQSeries、 ADABAS等系統(tǒng)都有自身的實時數(shù)據(jù)策略， 如 Oracle 數(shù)據(jù)庫的實時可

17、以通過Trigger 或 Log Miner 分析歸檔日志方式來實現(xiàn)。諸如以上 ETL、數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)實時等技術，還有數(shù)據(jù)聯(lián)邦、數(shù)據(jù)清洗、 HA、Grid 、 Partition 、 SOA 技術，這些都是保證數(shù)據(jù)集成平臺的可擴展性、安全性、 高效性、 簡便性的通用技術。神州數(shù)碼公司面向各行業(yè)提供有多家數(shù)據(jù)集成整體解決方案的經(jīng)驗， 整體解決方案包括有企業(yè)數(shù)據(jù)集成業(yè)務咨詢、企業(yè)數(shù)據(jù)集成平臺產(chǎn)品、各廠商數(shù)據(jù)集成底層軟件共三大塊。數(shù)據(jù)集成咨詢神州數(shù)碼的業(yè)務咨詢具體指對企業(yè)各個層次的數(shù)據(jù)對象進行調(diào)研，給出企業(yè)數(shù)據(jù)管理現(xiàn)狀分析報告，為企業(yè)的數(shù)據(jù)管理進行數(shù)據(jù)標準定義，根據(jù)企業(yè)特點提出更優(yōu)的核心數(shù)

18、據(jù)管理機制建議，設計適合企業(yè)長遠發(fā)展的數(shù)據(jù)管理機構(gòu)體系和工作管理流程，并對組織結(jié)構(gòu)進行崗位職能設置。數(shù)據(jù)集成平臺神州數(shù)碼的數(shù)據(jù)集成平臺是企業(yè)數(shù)據(jù)管理部門的工作手段，須依賴于一套嚴謹?shù)臄?shù)據(jù)管理規(guī)范。數(shù)據(jù)集成平臺是以企業(yè)數(shù)據(jù)統(tǒng)一存儲模型作為依托，提供完備的數(shù)據(jù)存取、清洗、轉(zhuǎn)換等處理功能，為企業(yè)各業(yè)務部門提供準確、單一的數(shù)據(jù)服務，并對數(shù)據(jù)服務各環(huán)節(jié)進行審批、監(jiān)控、分析和管理。數(shù)據(jù)集成產(chǎn)品神州數(shù)碼公司專注為中國重要行業(yè)提供全方位IT 服務，集合全球資源，立足國內(nèi)市場，提供基于客戶需求的，以應用軟件為核心的IT 服務。神州數(shù)碼是世界一流的數(shù)據(jù)集成產(chǎn)品廠商的總代理，其中包括有 IBM 、 Oracle 、

19、 Informatica等廠商的數(shù)據(jù)集成軟件產(chǎn)品。 精通各廠商的數(shù)據(jù)集成產(chǎn)品工技術專家達數(shù)百名，為金融、電信、政府等多個行業(yè)客戶提供有多個數(shù)據(jù)集成成功案例。 合同管理制度1 范圍本標準規(guī)定了龍騰公司合同管理工作的管理機構(gòu)、職責、合同的授權(quán)委托、洽談、承辦、會簽、訂閱、履行和變更、終止及爭議處理和合同管理的處罰、獎勵；本標準適用于龍騰公司項目建設期間的各類合同管理工作，廠內(nèi)各類合同的管理，廠內(nèi)所屬各具法人資格的部門，參照本標準執(zhí)行。2 規(guī)范性引用文件中華人民共和國合同法龍騰公司合同管理辦法3定義、符號、縮略語無4 職責4.1總經(jīng)理：龍騰公司經(jīng)營管理的法定代表人。負責對廠內(nèi)各類合同管理工作實行統(tǒng)一領導。以法人代表名義或授權(quán)委托他人簽訂各類合法合同，并對電廠負責。4.2工程部：是發(fā)電廠建設施工安裝等工程合同簽訂管理部門；負責簽訂管