數(shù)據(jù)共享與交換平臺解決方案

1、數(shù)據(jù)共享與交換平臺解決方案一、 方案概述隨著信息社會的到來，計算機網(wǎng)絡環(huán)境和分布處理技術的深入發(fā)展。信息系統(tǒng)中的數(shù)據(jù)源所呈現(xiàn)的形式也日益繁多，在這些數(shù)據(jù)中有模式固定的結構化數(shù)據(jù)，也有無模式的無序數(shù)據(jù)。這種無論是已知確定來自數(shù)據(jù)庫的數(shù)據(jù)或是來自網(wǎng)絡上的各式各樣結構不固定、不完全或不規(guī)則的數(shù)據(jù)，都給信息系統(tǒng)在向國民經(jīng)濟信息化發(fā)展的過程中產(chǎn)生了很大的障礙。因此，完成不同數(shù)據(jù)的共享與交換成為各個企業(yè)與部門進行信息交換時所必須要解決的重要問題。主要原理如下圖：二、 主要工具1. 工具簡介數(shù)據(jù)集成的目的就是要運用一定的技術手段將系統(tǒng)中的數(shù)據(jù)按一定的規(guī)則組織成為一個整體，使得用戶能有效地對其進行操作。數(shù)據(jù)處

2、理的對象是系統(tǒng)中的各種異構數(shù)據(jù)庫中的數(shù)據(jù)或者無格式數(shù)據(jù)，而數(shù)據(jù)集成的主要過程則是建立完善的數(shù)據(jù)倉庫，以及采用數(shù)據(jù)挖掘技術獲取更多數(shù)據(jù)信息。ETL作為數(shù)據(jù)庫級的數(shù)據(jù)集成工具，擅長大量數(shù)據(jù)的遷移，能從多個數(shù)據(jù)源中抽取數(shù)據(jù)，然后進行數(shù)據(jù)轉換和加載，最終得到統(tǒng)一的、完備的主題數(shù)據(jù)庫或數(shù)據(jù)倉庫，原來分散的應用仍獨立運作。ETL中三個字母分別代表的是Extract、Transform、Load，即抽取、轉換、加載。數(shù)據(jù)抽取：從源數(shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；數(shù)據(jù)轉換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務需求，轉換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進行清洗和加工。數(shù)據(jù)加載：將轉換后的數(shù)據(jù)裝載

3、到目的數(shù)據(jù)源。ETL原本是作為構建數(shù)據(jù)倉庫的一個環(huán)節(jié)，負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。一個簡單的ETL體系結構如圖1.1所示。2. ETL關鍵技術數(shù)據(jù)抽取數(shù)據(jù)抽取是從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。實際應用中，數(shù)據(jù)源較多采用的是關系數(shù)據(jù)庫。從數(shù)據(jù)庫中抽取數(shù)據(jù)一般有以下幾種方式：全量抽?。喝砍槿☆愃朴跀?shù)據(jù)遷移或數(shù)據(jù)復制，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動的從數(shù)據(jù)庫中抽取出來，并轉換成自己的ETL工具可以識別的格式。增量抽?。涸隽砍槿≈怀槿∽陨洗纬槿∫詠頂?shù)據(jù)庫中要抽取的表

4、中新增或修改的數(shù)據(jù)。在ETL使用過程中。增量抽取較全量抽取應用更廣。目前增量數(shù)據(jù)抽取中常用的捕獲變化數(shù)據(jù)的方法有：觸發(fā)器、時間戳、全表比對、日志對比。數(shù)據(jù)轉換和加工從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取出的數(shù)據(jù)進行數(shù)據(jù)轉換和加工。數(shù)據(jù)的轉換和加工可以在ETL引擎中進行，也可以在數(shù)據(jù)抽取過程中利用關系數(shù)據(jù)庫的特性同時進行。相比在ETL引擎中進行數(shù)據(jù)轉換和加工，直接在SQL語句中進行轉換和加工更加簡單清晰，性能更高。對于SQL語句無法處理的可以交由ETL引擎處理。數(shù)據(jù)裝載將轉換和加工后的數(shù)據(jù)裝載到目的庫中通常是ETL過程

5、的最后步驟。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類型以及需要裝入多少數(shù)據(jù)。當目的庫是關系數(shù)據(jù)庫時，一般來說有兩種裝載方式：1）直接SQL語句進行insert、update、delete操作；2）采用批量裝載方法，如bcp、bulk、關系數(shù)據(jù)庫特有的批量裝載工具或api。3. 主流ETL工具ETL工具從廠商來看分為兩種,一種是數(shù)據(jù)庫廠商自帶的ETL工具,如Oracle warehouse builder、Oracle Data Integrator。另外一種是第三方工具提供商，如Kettle。Oracle Data Integrator（ODI）：ODI主要定位于在ETL和數(shù)據(jù)集成的場景里使用，

6、ODI能夠檢測事件，一個事件可以觸發(fā)ODI的一個接口流程，從而完成近乎實時的數(shù)據(jù)集成。ODI的主要功能特點有：使用CDC作為變更數(shù)據(jù)捕獲的捕獲方式、代理支持并行處理和負載均衡、完善的權限控制、版本管理功能、支持數(shù)據(jù)質量檢查，清洗和回收臟數(shù)據(jù)、支持與JMS消息中間件集成、支持Web Service。KETTLE：說到ETL開源項目，Kettle當屬翹首，項目名稱很有意思，水壺。按項目負責人Matt的說法：把各種數(shù)據(jù)放到一個壺里，然后呢，以一種你希望的格式流出。Kettle分為四大塊：Chef工作(job)設計工具 (GUI方式)、Kitchen工作(job)執(zhí)行器 (命令行方式)、Spoon轉換

7、(transform)設計工具 (GUI方式)、Span轉換(trasform)執(zhí)行器 (命令行方式)三、 數(shù)據(jù)集成工具選擇1. 對平臺的支持程度2. 對數(shù)據(jù)源的支持程度3. 抽取和裝載的性能是不是較高，且對業(yè)務系統(tǒng)的性能影響大不大，傾入性高不高4. 數(shù)據(jù)轉換和加工的功能強不強5. 是否具有管理和調度功能6. 是否具有良好的集成性和開放性最新 精品 Word 歡迎下載 可修改親愛的用戶：煙雨江南，畫屏如展。在那桃花盛開的地方，在這醉人芬芳的季節(jié)，愿你生活像春天一樣陽光，心情像桃花一樣美麗，感謝你的閱讀。1、最困難的事就是認識自己。21.12.1112.11.202121:1021:10:491

8、2月-2121:102、自知之明是最難得的知識。二二一二二一年十二月十一日2021年12月11日星期六3、越是無能的人，越喜歡挑剔別人。21:1012.11.202121:1012.11.202121:1021:10:4912.11.202121:1012.11.20214、與肝膽人共事，無字句處讀書。12.11.202112.11.202121:1021:1021:10:4921:10:495、三軍可奪帥也。星期六, 十二月 11, 2021十二月 21星期六, 十二月 11, 202112/11/20216、最大的驕傲于最大的自卑都表示心靈的最軟弱無力。9時10分9時10分11-12月-2112.