數(shù)據(jù)集成整體解決實施方案

1、WORD 資料可編輯數(shù)據(jù)集成整體解決方案繼系統(tǒng)集成、應用集成、業(yè)務集成之后，最頭痛的數(shù)據(jù)集成（Data Integration）已漸被各大企業(yè)紛紛觸及。目前國內(nèi)大多數(shù)企業(yè)還僅停留在服務于單個系統(tǒng)的多對一架構(gòu)數(shù)據(jù)集成應用， 這種架構(gòu)常見于數(shù)據(jù)倉庫系統(tǒng)領(lǐng)域，服務于企業(yè)的商務智能。早期那些數(shù)據(jù)集成大家大都是從 ETL啟蒙開始的， 當時 ETL自然也就成了數(shù)據(jù)集成的代名詞，只是忽然一夜春風來，各廠商相繼推出DI 新概念后，我們不得不再次接受新一輪的DI 洗腦，首推的有 SAS DI、Business Objects DI、 Informatica DI、 Oracle DI（ ODI ）等廠商。數(shù)據(jù)集

2、成， 主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務數(shù)據(jù)進行再集中、再統(tǒng)一管理的過程， 是一個漸進的過程，只要有新的、不同的數(shù)據(jù)產(chǎn)生，就不斷有數(shù)據(jù)集成的步聚執(zhí)行。企業(yè)有了五年、八年的信息化發(fā)展，凌亂、重復、歧義的數(shù)據(jù)接踵而至，數(shù)據(jù)集成的空間與需求日漸迫切，企業(yè)需要一個主數(shù)據(jù)管理（Master Data Manager）系統(tǒng)來統(tǒng)一企業(yè)的產(chǎn)品信息、客戶信息；企業(yè)需要一個數(shù)據(jù)倉庫（DataWarehouse）系統(tǒng)來提高領(lǐng)導層的決策意識，加快市場戰(zhàn)略調(diào)整行動；企業(yè)需要一個數(shù)據(jù)中心（Data Center）系統(tǒng)來集中交換、分發(fā)、調(diào)度、管理企業(yè)基礎數(shù)據(jù)。數(shù)據(jù)集成的必要性、迫切性不言而喻， 不斷被推至企業(yè)信息化戰(zhàn)略規(guī)

3、劃的首要位置。要實現(xiàn)企業(yè)數(shù)據(jù)集成的應用，不光要考慮企業(yè)急需集成的數(shù)據(jù)范圍，還要從長遠發(fā)展考慮數(shù)據(jù)集成的架構(gòu)、能力和技術(shù)等方面內(nèi)容。從數(shù)據(jù)集成應用的系統(tǒng)部署、業(yè)務范圍、實施成熟性看主要可分三種架構(gòu)。一種是單個系統(tǒng)數(shù)據(jù)集成架構(gòu)、一種是企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)、一種是機構(gòu)之間數(shù)據(jù)集成架構(gòu)。單個系統(tǒng)數(shù)據(jù)集成架構(gòu)，是國內(nèi)目前大興土木所采用的架構(gòu)，主要是以數(shù)據(jù)倉庫系統(tǒng)為代表提供服務而興建的數(shù)據(jù)集成平臺，面向企業(yè)內(nèi)部如ERP、財務、 OA 等多各業(yè)務操作系統(tǒng)，集成企業(yè)所有基礎明細數(shù)據(jù)，轉(zhuǎn)換成統(tǒng)一標準，按星型結(jié)構(gòu)存儲，面向市場經(jīng)營分析、客戶行為分析等多個特有主題進行商務智能體現(xiàn)。這種單個系統(tǒng)數(shù)據(jù)集成應用架構(gòu)的主要

4、特點是多對一的架構(gòu)、復雜的轉(zhuǎn)換條件、TB 級的數(shù)據(jù)量處理與加載，數(shù)據(jù)存儲結(jié)構(gòu)特殊，星型結(jié)構(gòu)、多維立方體并存，數(shù)據(jù)加載層級清晰。專業(yè)整理分享WORD 資料可編輯企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)，組織結(jié)構(gòu)較復雜的大型企業(yè)、政府機構(gòu)尤為偏愛這種數(shù)據(jù)集成的架構(gòu)， 因此類單位具有業(yè)務結(jié)構(gòu)相對獨立、數(shù)據(jù)權(quán)力尤為敏感、數(shù)據(jù)接口復雜繁多等特征，更需要多個部門一起協(xié)商來建立一個統(tǒng)一的數(shù)據(jù)中心平臺，來解決部門之間頻繁的數(shù)據(jù)交換的需求。如金融機構(gòu)、電信企業(yè)，公安、稅務等政府機構(gòu)，業(yè)務獨立、層級管理的組織結(jié)構(gòu)決定了內(nèi)部數(shù)據(jù)交互的復雜性。概括來說此類應用屬于多對多的架構(gòu)、數(shù)據(jù)交換頻繁、要有獨立的數(shù)據(jù)交換存儲池、數(shù)據(jù)接口與數(shù)據(jù)類型繁

5、多等特點。對于企業(yè)管理性、 決策性較強的信息系統(tǒng)如主數(shù)據(jù)管理系統(tǒng)、 財務會計管理系統(tǒng)、 數(shù)據(jù)倉庫系統(tǒng)等數(shù)據(jù)可直接來源于數(shù)據(jù)中心，擺脫了沒有企業(yè)數(shù)據(jù)中心前的一對多交叉的困擾，避免了業(yè)務系統(tǒng)對應多種管理系統(tǒng)時需要數(shù)據(jù)重復傳送，如 CRM 系統(tǒng)中新增一條客戶信息數(shù)據(jù)后，直接發(fā)送到企業(yè)數(shù)據(jù)中心，由企業(yè)數(shù)據(jù)中心面向風險管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、主數(shù)據(jù)管理系統(tǒng)進行分發(fā)即可。專業(yè)整理分享WORD 資料可編輯機構(gòu)之間數(shù)據(jù)集成架構(gòu)，這種架構(gòu)多是應用于跨企業(yè)、跨機構(gòu)、 多個單位圍繞某項或幾項業(yè)務進行的業(yè)務活動，或由一個第三方機構(gòu)來進行協(xié)調(diào)這些企業(yè)、機構(gòu)之間的數(shù)據(jù)交換、制定統(tǒng)一數(shù)據(jù)標準，從而形成一個多機構(gòu)之間的數(shù)據(jù)集

6、成平臺。如中國銀聯(lián)與各商業(yè)銀行之間的應用案例、各市政府信息中心與市政府各機關(guān)單位之間的應用案例、外貿(mào)EDI（海關(guān)、檢驗檢疫局、外匯局、銀行、保險、運輸?shù)龋?、BTOB電子商務平臺等。這類應用屬于跨多企業(yè)、單位多對多的架構(gòu)，具有數(shù)據(jù)網(wǎng)絡復雜、數(shù)據(jù)安全性要求高、數(shù)據(jù)交換實時性強等特點。尤其這類架構(gòu)頗具一些特點值得進一步去剖析。因數(shù)據(jù)集成平臺是架于多企業(yè)、單位之間，數(shù)據(jù)的安全性、獨立性決定了各企業(yè)、單位不得不考慮前置機的部署形式，各企業(yè)、單位在業(yè)務系統(tǒng)與數(shù)據(jù)集成平臺之間增加一臺前置機，則更有利于自有系統(tǒng)數(shù)據(jù)的獨立與安全，也更利于數(shù)據(jù)平臺對數(shù)據(jù)的獲取、分發(fā)、交換的統(tǒng)一要求。另外，數(shù)據(jù)集成平臺也要具有更多

7、的技術(shù)功能來滿足眾多單位的眾多數(shù)據(jù)接口、多種數(shù)據(jù)類型、 不一致的數(shù)據(jù)標準、數(shù)據(jù)交換的實時性、對數(shù)據(jù)的抽取與推送（Pull AND Push ）等業(yè)務需求。如數(shù)據(jù)集成平臺需具有數(shù)據(jù)連通、 ETL、數(shù)據(jù)實時、 數(shù)據(jù)清洗、 數(shù)據(jù)質(zhì)量、 EBS（ Enterprise Service Bus）、SOA（ Service-Oriented Architecture）等一些技術(shù)與特點。專業(yè)整理分享WORD 資料可編輯以上三種數(shù)據(jù)集成架構(gòu)， 一種是對應于某一個應用系統(tǒng)的多對一架構(gòu)，一種是完成企業(yè)內(nèi)部眾多系統(tǒng)之間數(shù)據(jù)交換的多對多架構(gòu)，一種是為多個跨企業(yè)、 單位機構(gòu)實現(xiàn)某一項或幾項業(yè)務活動而建立的多對多架構(gòu)，數(shù)

8、據(jù)集成的應用差不多都是基于這三種架構(gòu)，每種架構(gòu)可能會對應于多種數(shù)據(jù)集成的應用。國內(nèi)企業(yè)常見的數(shù)據(jù)集成應用有數(shù)據(jù)倉庫、數(shù)據(jù)同步、 數(shù)據(jù)交換，隨著企業(yè)并購、新舊系統(tǒng)升級、分布系統(tǒng)向數(shù)據(jù)大集中看齊、電子商務的發(fā)展、多個企業(yè)單位協(xié)同作業(yè)等等眾多業(yè)務需求的誕生，數(shù)據(jù)集成的應用開始紛繁異景起來。目前大部分數(shù)據(jù)集成軟件廠商都是圍繞數(shù)據(jù)倉庫（DataWarehousing）、數(shù)據(jù)遷移（ DataMigration ）、 數(shù) 據(jù) 合 并 （ Data Consolidation）、 數(shù) 據(jù) 同 步 （ DataSynchronization）、 數(shù) 據(jù) 交 換 （ DataHubs或 者 叫 主 數(shù) 據(jù) 管 理

9、 ： Master DataManagement）這 5 種常見的企業(yè)應用形式來發(fā)展各自的產(chǎn)品技術(shù)。數(shù)據(jù)倉庫（ Data Warehousing）應用：數(shù)據(jù)倉庫的發(fā)展在國內(nèi)差不多有近10 個年頭，數(shù)據(jù)倉庫中的數(shù)據(jù)集成應用主要是圍繞ETL的功能來實現(xiàn)，一般來說其主要功能是將多個業(yè)務系統(tǒng)不同種數(shù)據(jù)類型的數(shù)據(jù)抽取到數(shù)據(jù)倉庫的ODS（ Operational Data Store）層，經(jīng)過轉(zhuǎn)換，加載存儲到星型結(jié)構(gòu)的DW（ Data專業(yè)整理分享WORD 資料可編輯Warehouse）層，為滿足不同主題的展現(xiàn)應用，再向關(guān)系型數(shù)據(jù)庫或多維數(shù)據(jù)庫進一步匯總加載，其ETL功能可由手工編程或?qū)I(yè)工具軟件這兩種類型

10、來實現(xiàn)。第一種類型： 由手工編程到專項ETL工具的應用， 這種應用類型是成熟的數(shù)據(jù)集成軟件工具的雛形，是為快速達成項目功能需求為主，滿足復雜的業(yè)務處理的需要，以ETL為核心應用，開發(fā)技術(shù)也發(fā)揮得淋漓盡致，PB、JAVA 、SQL、存儲過程、 C/C+都可能會悉數(shù)登場，多一種系統(tǒng)的數(shù)據(jù)集成就可能會多于一倍的開發(fā)工作量，使數(shù)據(jù)集成平臺更趨于復雜、脆弱。另外，如電信、金融、稅務、公安等行業(yè)的眾多系統(tǒng)集成商針對各自的業(yè)務系統(tǒng)也開發(fā)有專項的數(shù)據(jù)集成工具，只是有一定的局限性， 拘泥于某一種應用或某一特定的系統(tǒng)環(huán)境。第二種類型：眾多成熟的數(shù)據(jù)集成軟件工具的應用為這一代表，如InformaticaPowerC

11、enter、IBM Datastage、Oracle ODI、Microsoft SISS等，集各種數(shù)據(jù)接口、 ETL、數(shù)據(jù)質(zhì)量、實時、數(shù)據(jù)聯(lián)邦、分區(qū)并行、網(wǎng)格、HA 等技術(shù)于一身，歷練世界眾多客戶需求多時，具有更寬廣的應用、可擴展性強、安全穩(wěn)定等一些特點。數(shù)據(jù)遷移（ Data Migration）應用：這種應用比較容易理解， 對于新舊系統(tǒng)升級、 數(shù)據(jù)大集中時的數(shù)據(jù)作遷移， 使數(shù)據(jù)更能順應新系統(tǒng)的結(jié)構(gòu)變化而平穩(wěn)遷移。數(shù)據(jù)合并（ Data Consolidation）應用：在企業(yè)并購中很容易產(chǎn)生數(shù)據(jù)合并的應用，如兩個企業(yè)的HR 系統(tǒng)的合并、財務系統(tǒng)的合并、 其它業(yè)務系統(tǒng)的合并，當系統(tǒng)需要合并必然

12、產(chǎn)生數(shù)據(jù)的合并，因此對企業(yè)數(shù)據(jù)進行統(tǒng)一標準化、規(guī)范化、數(shù)據(jù)的補缺、數(shù)據(jù)的一致性都將導致數(shù)據(jù)合并。數(shù)據(jù)同步（ Data Synchronization）應用：當企業(yè)一個系統(tǒng)的業(yè)務活動會影響其它多個系統(tǒng)的進程時，對數(shù)據(jù)的實時性、準確性就尤顯重要。 如航空公司與航空機場之間的數(shù)據(jù)同步應用、證券交易所與證券公司之間的股票專業(yè)整理分享WORD 資料可編輯信息同步、 金融業(yè)的匯率信息同步等等， 影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡的連通性、傳輸效率、數(shù)據(jù)接口、數(shù)據(jù)格式等，這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題。數(shù)據(jù)交換（ Data Hubs）應用 ：或者叫 主數(shù)據(jù)管理 （ Master

13、Data Management）應用 ，這種數(shù)據(jù)集成的應用越來越受企業(yè)的重視。一般構(gòu)成企業(yè)主要的基礎數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、供應商數(shù)據(jù)， 要從企業(yè)多個系統(tǒng)中快速、 可靠地建立唯一、 完整的企業(yè)主數(shù)據(jù)視圖這就是主數(shù)據(jù)管理。 要實現(xiàn)企業(yè)主數(shù)據(jù)管理應用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、良好的數(shù)據(jù)轉(zhuǎn)換能力等特點。文中上述提到跨多個企業(yè)、單位機構(gòu)的架構(gòu)就是一個典型的主數(shù)據(jù)管理應用，如公安局、工商局、稅務局、人事局、勞動社保局等這些眾多政府機構(gòu)主要是圍繞2 個基本主體進行各項事務活動， 一個主體是個人， 另外一個主體是企業(yè)單位， 而眾多政府機構(gòu)對這

14、2 個主體的信息數(shù)據(jù)要求重點不同、數(shù)據(jù)處理順序有先后，數(shù)據(jù)變更有各異，數(shù)據(jù)交換復雜、 頻繁，而最理想的境界是這 2 個主體數(shù)據(jù)能做到最大程度的同步，這就是主數(shù)據(jù)管理的思想。以上五種數(shù)據(jù)集成應用解決方案在國內(nèi)最常見的首當其沖的是數(shù)據(jù)倉庫的應用，最復雜的應用應該是數(shù)據(jù)交換了，不管是簡單還是復雜的應用都以ETL技術(shù)為基礎， ETL技術(shù)成為了數(shù)據(jù)集成的核心技術(shù)，伴隨ETL技術(shù)的還有數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗、數(shù)據(jù)聯(lián)邦、Real-Time 、數(shù)據(jù)探查等技術(shù)， 為了提高數(shù)據(jù)集成的安全性、高效性、可擴展能力， 還有 SOA 、HA 、 GRID 等相關(guān)技術(shù)作為支撐。ETL（ Extract 、 Trans

15、form 、 Load ）：數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最基礎、最核心的三項技術(shù)，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點進行調(diào)整順序，典型的應用有ELT的順序。 如源與目標為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標然后再進行轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以Oracle 的 ODI 為代表。數(shù)據(jù)連通 （ Data Connective）：良好的數(shù)據(jù)連通性是數(shù)據(jù)集成的能力體現(xiàn)，一般通用的關(guān)系型數(shù)據(jù)庫、ODBC 、 XML等數(shù)據(jù)連通類型為常見類型，還有一些就是大中型企業(yè)常用的 ERP、CRM、BPM 、OA 等應用軟件為封閉式的系統(tǒng)，如SAP、Seibel 、Lotus 等

16、系統(tǒng)專業(yè)整理分享WORD 資料可編輯的連通， 因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標的范圍也就更廣闊。數(shù)據(jù)質(zhì)量（ Data Quality）：數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，數(shù)據(jù)質(zhì)量的技術(shù)范圍也越發(fā)寬廣，開始慢慢被剝離出數(shù)據(jù)集成的范疇。企業(yè)不能根據(jù)標準不統(tǒng)一、歧義、不正確的數(shù)據(jù)快速做出決策， 只有站在高質(zhì)量的數(shù)據(jù)基礎之上做出的決策才不會發(fā)生方向偏倚。通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)集成、 數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。數(shù)據(jù)的完整一般是指根據(jù)現(xiàn)有基礎數(shù)據(jù)作其它數(shù)據(jù)項的擴展和豐富，如根據(jù)客戶的聯(lián)系方式來豐富客戶的所屬地區(qū)數(shù)據(jù)項、根據(jù)

17、客戶身份證號碼來豐富客戶的所屬地區(qū)、年齡、性別等信息。數(shù)據(jù)實時（ Real-Time ）：對于實時數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)同步等應用都會用到數(shù)據(jù)實時技術(shù)，一個系統(tǒng)的數(shù)據(jù)發(fā)生變化后，能即刻將變化的動作同步到另一個系統(tǒng)這就是數(shù)據(jù)實時技術(shù)的主旨。關(guān)系型數(shù)據(jù)庫、AS400 、MQ Series 、ADABAS 等系統(tǒng)都有自身的實時數(shù)據(jù)策略，如 Oracle數(shù)據(jù)庫的實時可以通過Trigger 或 Log Miner分析歸檔日志方式來實現(xiàn)。諸如以上 ETL、數(shù)據(jù)連通、 數(shù)據(jù)質(zhì)量、 數(shù)據(jù)實時等技術(shù)， 還有數(shù)據(jù)聯(lián)邦、 數(shù)據(jù)清洗、 HA 、 Grid 、 Partition 、 SOA 技術(shù)，這些都是保證數(shù)據(jù)集成平臺的可擴展性、安全性、高效性、簡便性的通用技術(shù)。神州數(shù)碼公司面向各行業(yè)提供有多家數(shù)據(jù)集成整體解決方案的經(jīng)驗，整體解決方案包括有企業(yè)數(shù)據(jù)集成業(yè)務咨詢、企業(yè)數(shù)據(jù)集成平臺產(chǎn)品、各廠商數(shù)據(jù)集成底層軟件共三大塊。數(shù)據(jù)集成咨詢神州數(shù)碼的業(yè)務咨詢具體指對企業(yè)各個層次的數(shù)據(jù)對象進行調(diào)研， 給出企業(yè)數(shù)據(jù)管理現(xiàn)狀分析報告， 為企業(yè)的數(shù)據(jù)管理進行數(shù)據(jù)標準定義， 根據(jù)企業(yè)特點提出更優(yōu)的專業(yè)整理分享WORD 資料可編輯核心數(shù)據(jù)管理機制建議，設計適合企業(yè)長遠發(fā)展的數(shù)據(jù)管理機構(gòu)體系和工作管理流程，并對組織結(jié)構(gòu)進行崗位職能設置。數(shù)據(jù)集成平臺神州數(shù)碼的數(shù)據(jù)集成平臺是企業(yè)數(shù)據(jù)管理部門的工作手段，須依賴于一套嚴謹?shù)臄?shù)據(jù)管理規(guī)范。