informatica 技術(shù)解決方案

Informatica技術(shù)解決方案

彳申舛I數(shù)石馬

DigitalChina

提交人：閆東

聯(lián)系電話/p>

提交日期：2018-07-02

版本號：1.0

目錄

序言1

1.1INFORMATICA公司介紹1

1.2INFORMATICA公司針對各行業(yè)的解決方案及特點3

2設(shè)計理念9

2.1設(shè)計理念的先進性9

2.2設(shè)計理念的符合性12

3基本功能14

3.1字段級的操作，主要包括：字段映射，映射的自動匹配，字段的拆分，多字段的混合運算，自動

完成時間類型的轉(zhuǎn)換14

3.2記錄級的操作，主要包括：去重復(fù)記錄，記錄間合并或計算，記錄拆分等15

3.3表級的操作，主要包括：代理鍵的生成，行列變換，排序，統(tǒng)計，制造樣品數(shù)據(jù)16

3.4數(shù)據(jù)庫級的操作，主要包括：對各種碼表的支持包括GBK（必需）、UNICODE（必需）、ASCII（必

需）17

4技術(shù)特點21

4.1跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)、支持關(guān)聯(lián)條件的復(fù)雜程度、自定義函數(shù)的實現(xiàn)、過濾條件的復(fù)雜程度21

4.2支持的數(shù)據(jù)類型，包括BINARAY、DATE/TIME、DECIMAL、DOUBLE.INTEGER,STRING>TEXT、

REAL、SMALLINTEGER等21

4.3抽取斷點，支持參數(shù)抽取的靈活程度，如何抽取遠程數(shù)據(jù)，抽取數(shù)據(jù)的事務(wù)處理支持，抽取的字段是

否可以動態(tài)修改，對抽取的環(huán)境變量配置情況，環(huán)境變量是否可以動態(tài)修改23

4.4是否支持臟讀，數(shù)據(jù)的提交方式，支持各種數(shù)據(jù)庫的批量裝載功能包括ORACLE（必需）、

INFORMIX、DB2、SQLSERVER,針對不同數(shù)據(jù)庫是否具有批量加載能力包括ORACLE（必需），INFORMIX,

DB2,SYBASE,TERADATA27

4.5在轉(zhuǎn)換過程中是否支持數(shù)據(jù)比較的功能，在設(shè)計調(diào)試時能否對每個轉(zhuǎn)換環(huán)節(jié)進行數(shù)據(jù)預(yù)覽，在設(shè)

計調(diào)試時能否對每個轉(zhuǎn)換環(huán)節(jié)進行性能監(jiān)控，在轉(zhuǎn)換過程中是否支持按行按列的分組聚合，能否提供直

觀的視圖、靈活的配置以及能否自定義功能，是否提供豐富的轉(zhuǎn)換函數(shù)，是否支持諸如VALIDATE、

TRANSLATE,HIERARCHYFLATTERN,MAP,MERGE等轉(zhuǎn)換功能，ETL過程中數(shù)據(jù)轉(zhuǎn)換的可追溯能力29

4.6不同類型運算所耗的系統(tǒng)資源狀況，包括常見的JOIN、LOOKUP、MAPPING>AGGREAGATION、

SORT、PIVOT、FILTER等40

4.7是否內(nèi)置提供數(shù)據(jù)預(yù)覽和數(shù)據(jù)質(zhì)量評估的功能41

4.8是否內(nèi)置提供具有強大的元數(shù)據(jù)管理功能45

4.9對于實時ETL及按需ETL的支持51

5整體架構(gòu)53

5.1對平臺的支持，支持主流的操作系統(tǒng)平臺包括SUNSOLARIS,HP-UX（必需），IBMAIX（必需），

LINUX,WINDOWS（必需）等。53

5.2對數(shù)據(jù)源的支持，支持常見的數(shù)據(jù)源，包括ORACLE（必需），DB2（必需）,INFORMIX（必需），

SYBASE,SQLSERVER,TERADATA,SAS,TEXT（必需），EXCEL,SAPR/3,PEOPLESPFT,SIEBLE,

IMS,VSAM,QSAMON390,用戶自定義文件，F(xiàn)TP（必需），XML（必需），MESSAGEQUEUE,EMAIL,

WEBLOG,OLEDB,其它54

5.3支持數(shù)據(jù)庫的種類、連接方式、配置方式及是否隨產(chǎn)品打包，包括ORACLE（必需），DB2（必

需）,INFORMIX（必需），SYBASE,SQLSERVER56

5.4產(chǎn)品自身并行處理能力，對并行數(shù)據(jù)庫的支持情況如ORACLERAC/OPS,系統(tǒng)的線性可擴展性...56

5.5是否支持遠端的數(shù)據(jù)抽取和加載功能59

5.6對錯誤恢復(fù)邏輯的支持，對異常情況的處理是否得當(dāng)，對于出現(xiàn)差錯的流程是否支持異?？刂?、

錯誤告警以及錯誤流程恢復(fù)的加載60

5.7對中間存儲的支持65

5.8產(chǎn)品可編程的靈活性如何，模塊化的設(shè)計能力65

5.9能否根據(jù)日志監(jiān)測源數(shù)據(jù)的變化，是否支持增量抽取，增量抽取的處理方式，增量加載的處理方

式，是否提供數(shù)據(jù)更新的時間點或周期，以便可以靈活處理67

5.10對元數(shù)據(jù)的管理，主要包括：元數(shù)據(jù)存儲的提取方式、元數(shù)據(jù)存儲的開放性、元數(shù)據(jù)存儲的可

移植性、是否提供多種方式訪問元數(shù)據(jù)、元數(shù)據(jù)的版本控制程度、是否支持開放的元數(shù)據(jù)標(biāo)準(zhǔn)如

CWM、是否支持XML進行元數(shù)據(jù)交換、是否支持分布式的元數(shù)據(jù)訪問和管理、是否生成元數(shù)據(jù)報表、

是否支持ETL過程的沖突分析、是否支持基于元數(shù)據(jù)的查詢功能、是否支持ETL過程的流程分析等。68

5.11可以實現(xiàn)對所有主流關(guān)系型數(shù)據(jù)庫的快速訪問和，對本地數(shù)據(jù)訪問模式的支持（這里本地指

NATIVE,如OCI等）；通過利用本地數(shù)據(jù)庫API高效實現(xiàn)ETL功能75

5.12對基本處理（如SQL）的支持76

5.13提供友好界面76

5.14具有使用內(nèi)部函數(shù)或者用戶定義函數(shù)的強大轉(zhuǎn)換功能80

5.15是否提供強大的腳本和用戶自定義函數(shù)開發(fā)和轉(zhuǎn)化的功能84

5.16是否提供數(shù)據(jù)校驗的功能，如空值處理、流程異常處理、異常值的處理等手段89

6接口與交換90

6.1支持通用接口，如ODBC、數(shù)據(jù)庫本地接口等90

6.2是否支持各種主流的消息中間件，可以通過消息中間件進行數(shù)據(jù)抽取和加載，例如MQ

SERIES,JMS等92

6.3是否支持WEBSERVICES接口92

6.4在調(diào)度時除了執(zhí)行ETL規(guī)則是否可以執(zhí)行其它任務(wù)如系統(tǒng)的可執(zhí)行程序、數(shù)據(jù)庫的存儲過程、動

態(tài)鏈接庫中的程序、FTP命令、EMAIL任務(wù)93

6.5是否調(diào)用各種外部應(yīng)用，包括存儲過程、各種流行語言開發(fā)的應(yīng)用程序等93

6.6是否支持客戶化定制的轉(zhuǎn)換過程，支持的編程語言種類例如C、C++、VC++、JAVA、PERL等……94

6.7與OLAP數(shù)據(jù)庫，如HYPERIONESSBASE、ORACLEEXPRESSOLAP等的集成、與前端工具集如

COGNOS、BUSINESSOBJECT、BRIO的集成99

6.8是否有開放的API可將產(chǎn)品集成到統(tǒng)一界面99

6.9是否支持與統(tǒng)計分析工具如BUSINESSOBJECTS,SAS的集成等99

6.10原廠商專用接口對不同數(shù)據(jù)源的支持100

7項目重點問答101

7.1工具是否滿足無編碼開發(fā)101

7.2安裝調(diào)試時，對系統(tǒng)環(huán)境是否有額外安裝要求102

7.3在不改變系統(tǒng)內(nèi)核參數(shù)據(jù)前提下，能否順利完成產(chǎn)品的安裝及調(diào)試？如需改變系統(tǒng)內(nèi)核參數(shù)，請

說明。102

7.4REPOSITORY的移植性：在不改變原設(shè)計和應(yīng)用的前提下，能否順利完成跨平臺、跨異構(gòu)數(shù)據(jù)庫和

跨產(chǎn)品版本的移植。如需更改設(shè)計等工作，請加以說明。102

7.5REPOSITORY的開放性？是否可建立在主流RDBMS基礎(chǔ)上，例如：ORACLE、DB2等？如果不支

持，請加以說明。103

7.6詳細論述性能調(diào)優(yōu)及步驟104

7.7ETL部分產(chǎn)品，廠家的發(fā)展策略和趨勢，產(chǎn)品延續(xù)性如何？113

8元數(shù)據(jù)管理分析114

8.1元數(shù)據(jù)管理工具的架構(gòu)及工作原理114

8.2元數(shù)據(jù)管理工具的功能模塊描述及工作流程118

8.3元數(shù)據(jù)管理工具界面友好性如何122

8.4元數(shù)據(jù)管理工具的平臺性124

8.5元數(shù)據(jù)管理工具采集接口124

8.6是否具有元數(shù)據(jù)脫機分析功能126

8.7是否具有表級和字段級的血緣分析功能126

8.8是否可在一個分析視圖上，表現(xiàn)出跨不同工具的元數(shù)據(jù)血緣分析功能128

8.9是否有影響分析功能129

8.10是否具有WEB展現(xiàn)功能129

8.11元數(shù)據(jù)管理工具的REPOSITORY的開放性？是否支持主流的RDBMS?如不支持，請加以說明。

131

8.12元數(shù)據(jù)分析報表，可導(dǎo)出為哪些種類的文件類型？131

8.13元數(shù)據(jù)檢索功能132

8.14元數(shù)據(jù)同步及調(diào)度功能132

8.15能否方便看到計算字段的元數(shù)據(jù)及計算公式134

8.16是否支持自定義元模型？是否支持CWM元數(shù)據(jù)標(biāo)準(zhǔn)？135

9產(chǎn)品供應(yīng)商資質(zhì)138

9.1財務(wù)狀況和公司規(guī)模138

9.2業(yè)界影響138

9.3成功案例140

10產(chǎn)品供應(yīng)商市場情況146

10.1國內(nèi)客戶數(shù)量及全球客戶數(shù)量146

10.2市場準(zhǔn)入147

10.3市場份額148

11實施供應(yīng)商資質(zhì)和實施供應(yīng)商市場情況150

12可實施能力151

12.1軟件安裝、配置的簡單性和靈活性151

12.2ETL性能監(jiān)控與調(diào)優(yōu)的能力151

12.3如何從開發(fā)環(huán)境遷移到生產(chǎn)環(huán)境160

12.4是否支持網(wǎng)格計算和負載均衡161

12.5是否支持ETL過程中的沖突分析163

12.6是否支持流程分析164

12.7是否有簡體中文版本的軟件164

12.8開放文檔的自動生成165

13實施方法論論及咨詢團隊167

13.1實施方法論167

13.2咨詢團隊174

14售后維護175

14.1是否有本地支持，支持工程師是否充足175

14.2本地支持方式如是分公司還是代理（總代理或是什么級別的代理）175

14.3產(chǎn)品升級176

15運營維護177

15.1資料庫的備份、恢復(fù)177

15.2是否支持SNMP管理，可與網(wǎng)管軟件集成179

15.3是否支持基于WEB的運行管理和監(jiān)控，以及元數(shù)據(jù)報告180

15.4方便的系統(tǒng)部署功能和良好的系統(tǒng)監(jiān)控功能，是否支持未完成任務(wù)的監(jiān)控、報告和恢復(fù)功能

183

15.5是否提供版本控制和管理的功能191

15.6是否支持統(tǒng)一以及自定義的管理平臺191

15.7在調(diào)度時是否支持時間觸發(fā)方式，在調(diào)度時是否支持事件觸發(fā)方式196

15.8是否支持命令行執(zhí)行方式197

附件、INFORMATICA公司售后服務(wù)內(nèi)容介紹201

序言

1.1Informatica公司介紹

InformaticaCo.Ltd1993年創(chuàng)立于美國并于1999年登陸納斯達

克。Informatica一直致力于為客戶提供具有強大的元數(shù)據(jù)管

理、數(shù)據(jù)集成和個性化分析遞送功能的世界通行標(biāo)準(zhǔn)的統(tǒng)一數(shù)

據(jù)服務(wù)平臺。Informatica的基礎(chǔ)設(shè)施產(chǎn)品以可伸縮的、可擴展

的企業(yè)級數(shù)據(jù)集成平臺為特點，并廣泛支持來自Informatica和

其他的領(lǐng)先商務(wù)智能提供商的數(shù)據(jù)倉庫基礎(chǔ)設(shè)施和分析型應(yīng)

用軟件的開發(fā)和管理，提供元數(shù)據(jù)管理解決方案，幫助企業(yè)集

成、優(yōu)化、審核信息資產(chǎn)以提高運營效率，增加客戶收益，取

得競爭優(yōu)勢。

作為數(shù)據(jù)整合軟件產(chǎn)業(yè)的領(lǐng)導(dǎo)者,Informatica擁有遍布全球的

客戶，客戶范圍涵蓋金融、電信、制造、政府、能源、保險、

公眾服務(wù)等多種行業(yè)。Informatica的客戶：

>超過82%的Fortune100客戶

>80%的道?瓊斯工業(yè)指數(shù)客戶

>全球500強企業(yè)中

令5個最大的的娛樂和媒體機構(gòu)

令15個最大的電信公司中的13個

令31個最大的金融服務(wù)/銀行機構(gòu)中的24個

令13個最大的制藥公司中的12個

令18個最大的能源公司中的12個

令20個最大的制造企業(yè)中的16個

令20個最大的保險公司中的15個

A所有四兵種的美國軍隊（陸軍、海軍、海軍陸戰(zhàn)隊和空軍）

全球眾多行業(yè)客戶的選擇

DeutscheBankIZ1'GR0UPMerrillLynch蠡UBS

FinancialSCHWAB園

ServicesMorganStanleyAllianz?

andInsuranceMetLifePrudentialAIG

言AhJBT1^義CingularSprint匕短

Telecommunications

HighTechand

Manufacturing

號

Pharmaceutical4Aventis?MERCKW^eth

Transportation,E^onMobi!efcY?W/M即會魏初,

Services,

andRetail

PublicSector

andFederal

Government

INFORMATICA

作為數(shù)據(jù)整合方面的專家,更先進的技術(shù)和更完善的服務(wù)一直

是我們追究的目標(biāo)。為了給客戶提供系統(tǒng)是全方位服務(wù)，我們

擁有大量專業(yè)級的資源，來滿足客戶各個方面的需求。從自身

來說，我們有高品質(zhì)專家提供豐富的資源為客戶服務(wù)；從合作

伙伴來說，我們有最好的戰(zhàn)略合作伙伴，企業(yè)的硬件提供商，

第三方發(fā)展公司以及全球150多家系統(tǒng)整合商來幫助解決客戶

復(fù)雜的數(shù)據(jù)整合難題。通過這些系統(tǒng)服務(wù)，我們確保將客戶IT

投資回報率最大化，為協(xié)助客戶成功做出不懈的努力。

正是在這種精益求精的企業(yè)精神之下，Infbrmatica公司作為世

界一級的專業(yè)生產(chǎn)商在數(shù)據(jù)集成領(lǐng)域中做出了突出的貢獻，并

且為此獲得業(yè)界和客戶等多方面的肯定和嘉獎。

A2005年5月11日，Gartner,"MagicQuadrantforETL,1H05",

Informatica公司是ETL領(lǐng)域的技術(shù)領(lǐng)導(dǎo)者。

>2005年，Informatica的主打產(chǎn)品之一PowerExchange521

獲得《每周電腦報》的最佳選手獎。

>20()4年12月，在Forrester資訊公司的關(guān)于“如何評估企業(yè)

ETL”的調(diào)查中，名列整合解決方案提供商的前列。

>2004年，《設(shè)計手冊回顧》(DMReview)根據(jù)其讀者的

調(diào)查反饋，將Informatica列為數(shù)據(jù)整合方面的最好供應(yīng)商。

同時，Informatica作為商業(yè)智能和數(shù)據(jù)整合的解決方案提

供商名列前12名。

>2004年，《聰明企業(yè)》的讀者評選中，獲得最好數(shù)據(jù)整合

供應(yīng)商的稱號，同時公司的PowerCenter數(shù)據(jù)整合平臺在雜

志的80,()()()個讀者的評選中成為最好的ETL工具。

>2004年，《計算機商業(yè)評論》雜志將Informatica公司評為

在數(shù)據(jù)整合及數(shù)據(jù)應(yīng)用軟件領(lǐng)域的最有影響力的10家廠

家之一，名列第五。

>2004年，加拿大核協(xié)會和英國的普天壽公司由于使用了

Informatica公司的PowerCenter和PowerExchange產(chǎn)品，奪

得《設(shè)計手冊回顧》評選的一世界級解決方案獎。

>2004年，DeutscheBbrseGroup由于使用了Informatica公司

的PowerCenter數(shù)據(jù)集成平臺而獲得了由TDMI頒發(fā)的最佳

實時數(shù)據(jù)倉庫應(yīng)用獎。

>2004年，Informatica公司被CMP傳媒評為最有影響力仃解

決方案提供商之一。

1.2Informatica公司針對行業(yè)的解決方案及特點

在20世紀(jì)90年代，隨著企業(yè)對業(yè)務(wù)過程處理的卓越追求和對市

場需要的及時響應(yīng)，出現(xiàn)了一系列的以“產(chǎn)品”為中心的業(yè)務(wù)

系統(tǒng)。這些業(yè)務(wù)系統(tǒng)在一定程度上滿足了當(dāng)時企業(yè)發(fā)展的需

要，但同時也對企業(yè)未來的發(fā)展埋下了一定的隱患。這些以“產(chǎn)

品”為中心的業(yè)務(wù)系統(tǒng)，由于其業(yè)務(wù)特點的各異性，往往采用

了不同的技術(shù)實現(xiàn)、系統(tǒng)和數(shù)據(jù)規(guī)范，這不僅增加了企業(yè)信息

化環(huán)境的復(fù)雜性、業(yè)務(wù)信息的不對稱和不一致性、業(yè)務(wù)信息的

分散性和無全局性，還增加了運行和維護部門的負擔(dān)，最終還

分散了企業(yè)關(guān)注支持新業(yè)務(wù)需求的精力。尤其是當(dāng)企業(yè)面臨從

“以產(chǎn)品為中心"到''以客戶為中心”的經(jīng)營模式轉(zhuǎn)變時，這

些隱患變更發(fā)的顯現(xiàn)出來。

無論是政府還是各個行業(yè)的企業(yè)，都已經(jīng)深深的意識到了以上

隱患，從全局規(guī)劃角度出發(fā)的各種類型的標(biāo)準(zhǔn)化和流程化工作

應(yīng)運而生，并且被提到了企業(yè)發(fā)展的戰(zhàn)略高度。在具體實現(xiàn)方

式上，“一個平臺，多個子系統(tǒng)”的概念逐漸深入政府、電信、

金融服務(wù)和制造等各個行業(yè)，統(tǒng)一數(shù)據(jù)服務(wù)平臺和與之相關(guān)聯(lián)

的資源和服務(wù)目錄便是其中之一。

UDS(UniversalDataServices)架構(gòu)是Informatica在新的形勢

下提出的統(tǒng)一數(shù)據(jù)服務(wù)平臺。它支持企業(yè)各種類型的業(yè)務(wù)系統(tǒng)

數(shù)據(jù)的整合、交換和共享，從而形成一套準(zhǔn)確、干凈、完整的

數(shù)據(jù)集合，增強對企業(yè)決策者對商業(yè)活動的敏感度，從而提升

自身的競爭力。

在UDS服務(wù)體系中，提供了訪問、整合、質(zhì)量控制、審核和監(jiān)

控等數(shù)據(jù)服務(wù)，具體架構(gòu)如下：

SHAREDSERVICES

PowerExchange：按照需求，可以很容易地訪問分離、復(fù)雜的

系統(tǒng)，并從中得到數(shù)據(jù)

PowerCenter：目前業(yè)界最佳的集成元數(shù)據(jù)管理的數(shù)據(jù)整合、

交換和共享平臺InformaticaPowerCenter,可以從任何數(shù)據(jù)源

獲取數(shù)據(jù)，包括各種關(guān)系數(shù)據(jù)庫，ERP應(yīng)用、以及各種文件

系統(tǒng)；同時，利用它的圖形界面控制臺可以容易定義任何數(shù)據(jù)

的抽取、匯總和計算，整個數(shù)據(jù)集成的過程不需要進行腳本

的編寫；利用它的計劃執(zhí)行能力，可以在正確的時間調(diào)度正

確的作業(yè)，來完成數(shù)據(jù)的轉(zhuǎn)換；利用數(shù)據(jù)庫的觸發(fā)機制，可

以完成實時的數(shù)據(jù)復(fù)制和增量備份等工作；實現(xiàn)加載流程合理

化(Workflow);高性能的加載(LoadPartition);極大的減輕了日

后系統(tǒng)的維護量。

SuperGlue：審核數(shù)據(jù)血統(tǒng)、文檔過程、沖突分析，管理數(shù)據(jù)

0變化

PowerAnalyzer：監(jiān)控：驗證數(shù)據(jù)、過程報告、積極的傳遞洞

察力

借助Informatica公司產(chǎn)品和解決方案，通過建立統(tǒng)一數(shù)據(jù)交換

和共享平臺，行業(yè)可以獲得以下收益：

令實現(xiàn)對以業(yè)務(wù)系統(tǒng)為數(shù)據(jù)采集點的數(shù)據(jù)整合、交換和共

享；

令提供對歷史系統(tǒng)數(shù)據(jù)、私有系統(tǒng)數(shù)據(jù)的訪問，充分利用企

業(yè)信息化進程積累的歷史數(shù)據(jù)；

令降低數(shù)據(jù)冗余度、降低數(shù)據(jù)不一致性和提高數(shù)據(jù)準(zhǔn)確性，

提高作為企業(yè)戰(zhàn)略資源的各種信息和歷史數(shù)據(jù)的使用率

和使用準(zhǔn)確率；

令建立統(tǒng)一數(shù)據(jù)服務(wù)平臺，支持現(xiàn)有和未來業(yè)務(wù)系統(tǒng)的數(shù)據(jù)

服務(wù)；

令助力企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化和企業(yè)統(tǒng)一客戶視圖的建設(shè)工作，為

建立以客戶為中心，以服務(wù)為導(dǎo)向的新型服務(wù)企業(yè)提供底

層信息流動支撐；

令助力企業(yè)實現(xiàn)跨地域的、跨業(yè)務(wù)系統(tǒng)的客戶一致化服務(wù)水

平，提高企業(yè)客戶滿意度和企業(yè)競爭能力；

令助力企業(yè)全局數(shù)據(jù)倉庫和特定主題數(shù)據(jù)集市的建立;

令圖形化的部署、控制和管理統(tǒng)一數(shù)據(jù)服務(wù)平臺，簡化系統(tǒng)

變化、升級和部署的復(fù)雜度，從而更加快速的應(yīng)對整合和

市場變化；隨著企業(yè)的發(fā)展，支持新業(yè)務(wù)系統(tǒng)的平滑、快

速接入。

1.2.1解決方案特點

靈活開發(fā)和部署

現(xiàn)今許多集成項目常?？缭綍r間和地理分區(qū)，為了有效管理本

地和全球開發(fā)隊伍，企業(yè)需要集成支持協(xié)作開發(fā)和部署的軟

件。

PowerCenter提供一整套高度復(fù)用性的產(chǎn)品工具，用于加速開

發(fā)、簡化管理、降低當(dāng)前的維護成本。使用PowerCenter,不

同區(qū)域的開發(fā)者能夠基于小組開發(fā)和調(diào)試工具,迅速并容易地

響應(yīng)集成需求。通過PowerCenter的Check-in和Check-out對象

管理和版本控制，開發(fā)者的小組們能夠同時工作在相同的項目

上，提供與時間無關(guān)的部署。

安全可靠的企業(yè)數(shù)據(jù)

安全對于IT組織機構(gòu)來說，已經(jīng)成為一個最主要的關(guān)心點。通

過LADP和其他目錄服務(wù)器驗證支持，對于安全訪問、加密數(shù)

據(jù)傳輸，詳細的審計記錄的角色的許可，PowerCenter提供一

個安全的環(huán)境貫穿集成的全過程。PowerCenter提供最大范圍

的安全能力，為企業(yè)數(shù)據(jù)集成提供安全保障。

無可比擬的性能和可擴展性

提供無限制的可擴展性、可測量性和吞吐量，適應(yīng)企業(yè)目前數(shù)

據(jù)交換和共享的需要，并支持未來業(yè)務(wù)系統(tǒng)的平滑接入和擴

展。PowerCenter提供無可比擬的性能，不管環(huán)境如何，都能

應(yīng)對當(dāng)前和未來數(shù)據(jù)主動集成。PowerCenter的性能引擎提供:

＞管道，分區(qū)，數(shù)據(jù)靈活的并行，有效地打破分離的集成

A通過異種環(huán)境進行網(wǎng)格計算，最大化使用現(xiàn)存的基礎(chǔ)架構(gòu)

＞批處理、變化、實時數(shù)據(jù)移動有最好的適應(yīng)性

2設(shè)計理念

2.1設(shè)計理念的先進性

回答：滿足。

2.1.1產(chǎn)品體系結(jié)構(gòu)和工作原理

Server

SourcesTargets

TCP/IP

Repository

HeterogeneousServerHeterogeneous

SourcesTargets

.TCP/IPRepository

口的El卜曾回Agent

RepositoryDesignerWorkflowWorkflowRepServerReposi

ManagerManagerMonitorAdministrative

Console

2.1.2產(chǎn)品功能模塊描述

令1個(或多個)Repository

PowerCenter數(shù)據(jù)整合引擎是基于元數(shù)據(jù)驅(qū)動的，提供了基于

元數(shù)據(jù)驅(qū)動的元數(shù)據(jù)知識庫(Repository),該元數(shù)據(jù)知識庫

可以在主流的關(guān)系型數(shù)據(jù)庫中部署。該元數(shù)據(jù)庫中存儲所有的

ETL元數(shù)據(jù)，包括：源、目標(biāo)表的物理和邏輯元數(shù)據(jù)，ETL

轉(zhuǎn)換規(guī)則，知識庫用戶權(quán)限，ETL任務(wù)運行歷史信息等元數(shù)據(jù)。

令2個Server

■InformaticaRepositoryServer：資料庫Server,用來管

理所有對資料庫中元數(shù)據(jù)的請求和操作。

■InformaticaServer：實際的ETL引擎

令5個Client:

■PowerCenterDesigner：設(shè)計開發(fā)環(huán)境，定義源及目標(biāo)

數(shù)據(jù)結(jié)構(gòu)；設(shè)計轉(zhuǎn)換規(guī)則，生成ETL映射。

■WorkflowManager：對Workflow,Session等ETL任務(wù)

作設(shè)計，同時提供了對任務(wù)執(zhí)行的調(diào)度和管理功能。

■WorkflowMonitor：監(jiān)控Workflow和Session運行情況，

生成日志和報告。

■RepositoryManager：元數(shù)據(jù)維護和安全操作，如：元

數(shù)據(jù)查找，用戶、組、權(quán)限管理等。下圖是Repository

Manager的操作界面。

■RepositoryServerAdministratorConsole：對知識庫的

操作，如：知識庫的創(chuàng)建、備份、恢復(fù)等。

2.1.3PowerCenter基本工作原理

Informatica是基于元數(shù)據(jù)驅(qū)動的，所有的元數(shù)據(jù)都保存在Repository（知識庫）

中，該知識庫可以創(chuàng)建在所有主流數(shù)據(jù)庫當(dāng)中，充分體現(xiàn)了它元數(shù)據(jù)的開

放性。

RepositoryServer用來管理所有客戶端以及InformaticaServer跟Repository的

交互，并且一個RepositoryServer可以管理多個Repository,而Repository

Server可為每個Repository分配一個RepositoryAgent來處理所對有元數(shù)據(jù)操

作的響應(yīng)。

InformaticaServer是實際處理ETL任務(wù)的后臺服務(wù)，它是基于內(nèi)存運行、高

效的ETL服務(wù)，不需要產(chǎn)生任何的代碼，每次執(zhí)行任務(wù)之前都會從Repository

中讀取最新的ETL規(guī)則。

Informatica的客戶端提供了無編碼、完全圖形化的設(shè)計和管理調(diào)度界面，可

實現(xiàn)快速開發(fā)和部署。

一個基本的ETL任務(wù)設(shè)計和部署的大致步驟如下：

A）使用Designer客戶端，獲取源數(shù)據(jù)表的元數(shù)據(jù)。

B）使用Designer客戶端，獲取目標(biāo)數(shù)據(jù)表的元數(shù)據(jù)。

C）使用Designer客戶端，設(shè)■一個Mapping,其中就是源-〉

目標(biāo)的ETL規(guī)則。

D）使用WorkflowManager客戶端，針對上面實現(xiàn)的Mapping,

實例化為一個Session,為其指定實際的數(shù)據(jù)源、目標(biāo)連接,

以及其他屬性。

E）使用WorkflowManager客戶端，創(chuàng)建一個Workflow,其中

包含上述的Session以及其他的Task,在Workflow中可實現(xiàn)

復(fù)雜的流程控制。

F）運行上述Workflow,使用WorkflowMonitor客戶端，監(jiān)測

最終的任務(wù)運行結(jié)果。

2.1.4InformaticaPowerCenter核心技術(shù)

Informatica是數(shù)據(jù)集成領(lǐng)域的領(lǐng)先者，無論在客戶群及市場占

有率上，一直名列前茅。就其核心技術(shù)來說，可分為以下幾點：

令可擴展和分布式的產(chǎn)品體系，以元數(shù)據(jù)為核心驅(qū)動

（MetadataDriven）o

令開放性，PowerCenter元數(shù)據(jù)可構(gòu)建在DB2、Oracle>

Informix>Sybase>MSSQLSERVERxTeradata主流關(guān)系

型數(shù)據(jù)庫上，并提供PowerCenter元數(shù)據(jù)描述，真正的作到

高開放性。

令國際化支持，可處理任何字符集

令遵守CWM的元數(shù)據(jù)標(biāo)準(zhǔn)，可完全真正開放的作到元數(shù)據(jù)

交換。

令合理的體系結(jié)構(gòu)劃分，可適應(yīng)分步式的部署。

令高性能的管道技術(shù)，使數(shù)據(jù)在轉(zhuǎn)換過程，達到完全內(nèi)存操

作。

令并行作業(yè)控制，可最大化的利用系統(tǒng)資源，達到高并行性

的效果。

令服務(wù)器集群，真正的Server級并行、負載均衡。

令對實時數(shù)據(jù)源的支持，例如IBMMQ、Tibco、WebMethod、

JMS、WebService.SAPR/3(IDOC)o

令先進的會話管理，工作流機制。支持Workflow機制，通過

多種工作流調(diào)度方法，可以將ETLSession,外部命令，

Email,以及數(shù)據(jù)庫腳本等任務(wù)有機的結(jié)合在一起，從而

定制復(fù)雜的工作流。

2.2設(shè)計理念的符合性

回答：滿足。

令I(lǐng)nformaticaPowerCenter分布式的體系結(jié)構(gòu)，可適合企業(yè)

快速部署生產(chǎn)環(huán)境。

令作業(yè)設(shè)計分為邏輯設(shè)計、知識庫管理、物理作業(yè)的執(zhí)行。

從設(shè)計的角度，將開發(fā)分成三層結(jié)構(gòu)，符合現(xiàn)代主流的技

術(shù)特性。

令開放的元數(shù)據(jù)知識庫，存在主流的關(guān)系型數(shù)據(jù)庫中，且元

數(shù)據(jù)遵守CWM元數(shù)據(jù)標(biāo)準(zhǔn)，可為企業(yè)元數(shù)據(jù)交換，提供

國際先進的標(biāo)準(zhǔn)。

令因元數(shù)據(jù)是單獨由知識庫進行管理，且作業(yè)可跨平臺。在

作系統(tǒng)移植時，可不分存儲的數(shù)據(jù)庫，其科學(xué)的可移植性

極大方便了企業(yè)的部署要求。

令強大的工作流調(diào)度，可按時間、事件、參數(shù)、指示文件等

進行觸發(fā)，從邏輯設(shè)計上，滿足企業(yè)多任務(wù)流程設(shè)計。

令高性能的ETL服務(wù)引擎，完全的內(nèi)存線程，并集成了數(shù)據(jù)

庫的性能特點，是企業(yè)ETL高性能的保障

令圖形化的開發(fā)，極大提高了開發(fā)效率，縮短項目周期。

令等等。OO

3基本功能

3.1字段級的操作，主要包括：字段映射，映射的自動匹配，字段

的拆分，多字段的混合運算，自動完成時間類型的轉(zhuǎn)換

回答：滿足。

InfoirnaticaPowerCenter是完全圖形化的開發(fā)，可通過簡單的

操作，完成此需求:

1）通過簡單的拖拽操作實現(xiàn)

2）映射的自動匹配:在Designer的設(shè)計中，有“AutoTink”

的自動匹配功能，具有高級匹配功能，可進行前綴、后綴

和位置的自動匹配。

3）字段的拆分，內(nèi)置眾多的字符串函數(shù)，例如SUBSTR,Instr

等，可完成字段的拆分、合并等操作。

4）多字段的混合運算，內(nèi)部具有Expression組件，可增加復(fù)

雜的多字段混合計算，同時可嵌入100多種函數(shù)和參數(shù)，

極大的提高了計算表達式的靈活性。

5）自動完成時間類型的轉(zhuǎn)換，如在記錄中，符合時間格式，

可自動進行字符型和時間類型的轉(zhuǎn)換，并且提供

to_char,to_date等強制轉(zhuǎn)換函數(shù)。

3.2記錄級的操作，主要包括：去重復(fù)記錄，記錄間合并或計算，

記錄拆分等

回答：滿足。

1）去重記錄

A）組件內(nèi)部設(shè)有變量，可模擬數(shù)據(jù)庫游標(biāo)操作，進行數(shù)

據(jù)記錄的前后比對，即可識別重復(fù)記錄。

B）動態(tài)Lookup組件，此組件可理解為子查詢，針對目標(biāo)

庫或文件進行所需字段的查詢，將查詢結(jié)果放入內(nèi)存

中。這樣從數(shù)據(jù)源中讀取的數(shù)據(jù)，在此內(nèi)存中與歷史

記錄的主鍵進行比對，可發(fā)現(xiàn)此記錄是否重復(fù)，并可

將重復(fù)數(shù)據(jù)單獨輸出到另外的文件或數(shù)據(jù)庫表中。此

組件，還有一特點，就是將數(shù)據(jù)源流入的主鍵在讀入

的過程中，將新主鍵，也保留在Lookup內(nèi)存中，實現(xiàn)

所有數(shù)據(jù)記錄主鍵的內(nèi)存存儲，方便數(shù)據(jù)的比對操作0

C）InformaticaPowerCenter內(nèi)置緩慢變化維向?qū)?，在此?/p>

詳細描述其過程。

緩慢變化維原理論述

對于導(dǎo)入的數(shù)據(jù)源，針對主鍵和驗證字段，同目標(biāo)進行比對：

a）主鍵不存在，為新增數(shù)據(jù)；

b）主鍵存在，驗證字段相同無變化，為重復(fù)數(shù)據(jù);

c）主鍵存在，驗證字段發(fā)生變化，為變化數(shù)據(jù)。

以上三類文件，可將數(shù)據(jù)情況劃為三類，再分別作相應(yīng)類SQL

操作：Insert,Update,reject,deleteo

2)記錄合并和計算

A)InformaticaPowerCenter提供Joiner和Union等組件可實

現(xiàn)多個流入源的記錄join和union的操作。實現(xiàn)記錄的

合并

B)InformaticaPowerCenter提供Expression和匯總組件，

實現(xiàn)記錄內(nèi)的計算表達式和記錄集的匯總計算等操

作。

3)記錄拆分

A)InformaticaPowerCenter提供Filter和Router等組件可實

現(xiàn)流入源的記錄過濾和分組等的操作。實現(xiàn)記錄的拆

分和流向控制。

B)InformaticaPowerCenter內(nèi)部設(shè)計，很容易進行數(shù)據(jù)的

分支設(shè)計，方便的實現(xiàn)記錄按條件和需求的拆分。

3.3表級的操作，主要包括：代理鍵的生成，行列變換，排序，統(tǒng)計，

制造樣品數(shù)據(jù)

回答：滿足。

令代理鍵的生成：PowerCenter提供SequenceGenerator組件,

可生成唯一序列號，作為代理鍵。

令行列變換：PowerCenter提供Normalizer組件，專門用來作

行列轉(zhuǎn)換這類操作。

令排序：PowerCenter提供Sorter組件，可圖形化的選取字段，

進行升序或降序的操作。

令統(tǒng)計:PowerCenter提供統(tǒng)計學(xué)的Rank組件，可快速得到前

幾名和后幾名的統(tǒng)計操作。

令制造樣品數(shù)據(jù):PowerCenter提供存儲過程和外部程序包組

件，可將一定規(guī)則的設(shè)計，生成程序包，在PowerCenter

設(shè)計中加以調(diào)用。

3.4數(shù)據(jù)庫級的操作，主要包括：對各種碼表的支持包括GBK（必

需）、Unicode（必需）、ASCII（必需）

回答：滿足。

PowerCenter產(chǎn)品作為業(yè)界領(lǐng)先的提供商，支持國際化碼制。

令支持簡體中文MS936MSWindowsSimplifiedChinese,

supersetofGB2312-80,EUCencoding

令支持Unicode和ASCII模式的數(shù)據(jù)移動。

令以下是支持的碼表：

CodePageDescriptions

NameDescriptionID

EuroShift-JISTestcodepage,Shift-JISwithEuropeancharacters9999

IBM037IBMEBCDICUSEnglish2028

IBM273IBMEBCDICGerman2030

IBM280IBMEBCDICItalian2035

IBM285IBMEBCDICUKEnglish2038

IBM297IBMEBCDICFrench2040

IBM500IBMEBCDICInternationalLatin-12044

IBM930IBMEBCDICJapanese930

IBM935IBMEBCDICSimplifiedChinese935

IBM937IBMEBCDICTraditionalChinese937

IBM939IBMEBCDICJapaneseCP939939

ISO-8859-1()ISO8859-10Latin6(Nordic)13

ISO-8859-15ISO8859-15Latin9(WesternEuropean)201

ISO-8859-2ISO8859-2EasternEuropean5

ISO-8859-3ISO8859-3SoutheastEuropean6

ISO-8859-4ISO8859-4Baltic7

ISO-8859-5ISO8859-5Cyrillic8

ISO-8859-6ISO8859-6Arabic9

ISO-8859-7ISO8859-7Greek10

ISO-8859-8ISO8859-8Hebrew11

ISO-8859-9ISO8859-9Latin5(Turkish)12

JapanEUC*JapaneseExtendedUNIXCode(includingJISX0212)18

JEFJapaneseEBCDICFujitsu9000

JEF-kanaJapaneseEBCDIC-KanaFujitsu9005

JIPSENECACOSJIPSEJapanese9002

JIPSE-kanaNECACOSJIPSE-KanaJapanese9007

KEISHITACHIKEISJapanese9001

KEIS-kanaHITACHIKEIS-KanaJapanese9006

Latin1*ISO8859-1WesternEuropean4

MELCOMMITSUBISHIMELCOMJapanese9004

MELCOM-kanaMITSUBISHIMELCOM-KanaJapanese9009

MS1250MSWindowsLatin2(CentralEurope)2250

MS1251MSWindowsCyrillic(Slavic)2251

MS1252*MSWindowsLatin1(ANSI),supersetofLatin12252

MS1253MSWindowsGreek2253

MSWindowsLatin5(Turkish),supersetofISO

MS12542254

8859-9

MS1255MSWindowsHebrew2255

MS1256MSWindowsArabic2256

MS1257MSWindowsBalticRim2257

MS1258MSWindowsVietnamese2258

MS1361MSWindowsKorean(Johab)1361

MS874MS-DOSThai,supersetofTIS620874

MS932*MSWindowsJapanese,Shift-JIS2024

MSWindowsSimplifiedChinese,supersetofGB

MS936936

2312-80,EUCencoding

MS949MSWindowsKorean,supersetofKSC5601-1992949

MS950MSWindowsTraditionalChinese,supersetofBig5950

UNISYSUNISYSJapanese9003

UNISYS-kanaUNISYS-KanaJapanese9008

US-ASCII*7-bitASCII1

UTF-8UTF-8encodingofUnicode106

*PowerCenterusesthesecodepages.

4技術(shù)特點

4.1跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)、支持關(guān)聯(lián)條件的復(fù)雜程度、自定義函數(shù)

的實現(xiàn)、過濾條件的復(fù)雜程度

回答：滿足。

令跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)：PowerCenter有joiner組件，可實現(xiàn)

異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)操作。

令支持關(guān)聯(lián)條件的復(fù)雜程度：可支持左關(guān)聯(lián)、右關(guān)聯(lián)、直等

關(guān)聯(lián)、全關(guān)聯(lián)。

令自定義函數(shù)的實現(xiàn)：PowerCener有StoredProcedure和

ExternalProcedure組件，可調(diào)用數(shù)據(jù)庫存儲過程和調(diào)用外

部程序包，例如VB、VC、C、C++、Perl等等

令過濾條件的復(fù)雜程度：在PowerCenter中有Filter組件，可

完成類SQL中的wh