數(shù)據(jù)共享與交換平臺(tái)解決方案

數(shù)據(jù)共享與交換平臺(tái)解決方案數(shù)據(jù)共享與交換平臺(tái)解決方案數(shù)據(jù)共享與交換平臺(tái)解決方案資料僅供參考文件編號(hào)：2022年4月數(shù)據(jù)共享與交換平臺(tái)解決方案版本號(hào)：A修改號(hào)：1頁(yè)次：1.0審核：批準(zhǔn):發(fā)布日期：數(shù)據(jù)共享與交換平臺(tái)解決方案方案概述隨著信息社會(huì)的到來(lái)，計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境和分布處理技術(shù)的深入發(fā)展。信息系統(tǒng)中的數(shù)據(jù)源所呈現(xiàn)的形式也日益繁多，在這些數(shù)據(jù)中有模式固定的結(jié)構(gòu)化數(shù)據(jù)，也有無(wú)模式的無(wú)序數(shù)據(jù)。這種無(wú)論是已知確定來(lái)自數(shù)據(jù)庫(kù)的數(shù)據(jù)或是來(lái)自網(wǎng)絡(luò)上的各式各樣結(jié)構(gòu)不固定、不完全或不規(guī)則的數(shù)據(jù)，都給信息系統(tǒng)在向國(guó)民經(jīng)濟(jì)信息化發(fā)展的過(guò)程中產(chǎn)生了很大的障礙。因此，完成不同數(shù)據(jù)的共享與交換成為各個(gè)企業(yè)與部門(mén)進(jìn)行信息交換時(shí)所必須要解決的重要問(wèn)題。主要原理如下圖：主要工具工具簡(jiǎn)介數(shù)據(jù)集成的目的就是要運(yùn)用一定的技術(shù)手段將系統(tǒng)中的數(shù)據(jù)按一定的規(guī)則組織成為一個(gè)整體，使得用戶能有效地對(duì)其進(jìn)行操作。數(shù)據(jù)處理的對(duì)象是系統(tǒng)中的各種異構(gòu)數(shù)據(jù)庫(kù)中的數(shù)據(jù)或者無(wú)格式數(shù)據(jù)，而數(shù)據(jù)集成的主要過(guò)程則是建立完善的數(shù)據(jù)倉(cāng)庫(kù)，以及采用數(shù)據(jù)挖掘技術(shù)獲取更多數(shù)據(jù)信息。ETL作為數(shù)據(jù)庫(kù)級(jí)的數(shù)據(jù)集成工具，擅長(zhǎng)大量數(shù)據(jù)的遷移，能從多個(gè)數(shù)據(jù)源中抽取數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加載，最終得到統(tǒng)一的、完備的主題數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)，原來(lái)分散的應(yīng)用仍獨(dú)立運(yùn)作。ETL中三個(gè)字母分別代表的是Extract、Transform、Load，即抽取、轉(zhuǎn)換、加載。數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對(duì)錯(cuò)誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。數(shù)據(jù)加載：將轉(zhuǎn)換后的數(shù)據(jù)裝載到目的數(shù)據(jù)源。ETL原本是作為構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)環(huán)節(jié)，負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。一個(gè)簡(jiǎn)單的ETL體系結(jié)構(gòu)如圖所示。ETL關(guān)鍵技術(shù)數(shù)據(jù)抽取數(shù)據(jù)抽取是從數(shù)據(jù)源中抽取數(shù)據(jù)的過(guò)程。實(shí)際應(yīng)用中，數(shù)據(jù)源較多采用的是關(guān)系數(shù)據(jù)庫(kù)。從數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)一般有以下幾種方式：全量抽?。喝砍槿☆?lèi)似于數(shù)據(jù)遷移或數(shù)據(jù)復(fù)制，它將數(shù)據(jù)源中的表或視圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫(kù)中抽取出來(lái)，并轉(zhuǎn)換成自己的ETL工具可以識(shí)別的格式。增量抽?。涸隽砍槿≈怀槿∽陨洗纬槿∫詠?lái)數(shù)據(jù)庫(kù)中要抽取的表中新增或修改的數(shù)據(jù)。在ETL使用過(guò)程中。增量抽取較全量抽取應(yīng)用更廣。目前增量數(shù)據(jù)抽取中常用的捕獲變化數(shù)據(jù)的方法有：觸發(fā)器、時(shí)間戳、全表比對(duì)、日志對(duì)比。 數(shù)據(jù)轉(zhuǎn)換和加工從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫(kù)的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯(cuò)誤、數(shù)據(jù)不完整等等，因此有必要對(duì)抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。數(shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進(jìn)行，也可以在數(shù)據(jù)抽取過(guò)程中利用關(guān)系數(shù)據(jù)庫(kù)的特性同時(shí)進(jìn)行。相比在ETL引擎中進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工，直接在SQL語(yǔ)句中進(jìn)行轉(zhuǎn)換和加工更加簡(jiǎn)單清晰，性能更高。對(duì)于SQL語(yǔ)句無(wú)法處理的可以交由ETL引擎處理。 數(shù)據(jù)裝載將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫(kù)中通常是ETL過(guò)程的最后步驟。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類(lèi)型以及需要裝入多少數(shù)據(jù)。當(dāng)目的庫(kù)是關(guān)系數(shù)據(jù)庫(kù)時(shí)，一般來(lái)說(shuō)有兩種裝載方式：1）直接SQL語(yǔ)句進(jìn)行insert、update、delete操作；2）采用批量裝載方法，如bcp、bulk、關(guān)系數(shù)據(jù)庫(kù)特有的批量裝載工具或api。主流ETL工具ETL工具從廠商來(lái)看分為兩種,一種是數(shù)據(jù)庫(kù)廠商自帶的ETL工具,如Oraclewarehousebuilder、OracleDataIntegrator。另外一種是第三方工具提供商，如Kettle。OracleDataIntegrator（ODI）：ODI主要定位于在ETL和數(shù)據(jù)集成的場(chǎng)景里使用，ODI能夠檢測(cè)事件，一個(gè)事件可以觸發(fā)ODI的一個(gè)接口流程，從而完成近乎實(shí)時(shí)的數(shù)據(jù)集成。ODI的主要功能特點(diǎn)有：使用CDC作為變更數(shù)據(jù)捕獲的捕獲方式、代理支持并行處理和負(fù)載均衡、完善的權(quán)限控制、版本管理功能、支持?jǐn)?shù)據(jù)質(zhì)量檢查，清洗和回收臟數(shù)據(jù)、支持與JMS消息中間件集成、支持WebService。KETTLE：說(shuō)到ETL開(kāi)源項(xiàng)目，Kettle當(dāng)屬翹首，項(xiàng)目名稱(chēng)很有意思，水壺。按項(xiàng)目負(fù)責(zé)人Matt的說(shuō)法：把各種數(shù)據(jù)放到一個(gè)壺里，然后呢，以一種你希望的格式流出。Kettle分為四大塊：Chef——工作(job)設(shè)計(jì)工具(GUI方式)、Kitchen——工作(job)執(zhí)行器(命令行方式)、Spoon——轉(zhuǎn)換(transform)設(shè)計(jì)工具(GUI方式)、Span——轉(zhuǎn)換(trasform)執(zhí)行