數(shù)據(jù)整合培訓(xùn)課件

數(shù)據(jù)整合培訓(xùn)鄭斌高級顧問

數(shù)據(jù)整合培訓(xùn)鄭斌高級顧問1培訓(xùn)時間安排時間培訓(xùn)內(nèi)容培訓(xùn)形式

7-6上午數(shù)據(jù)整合方法論講解為主

AscentialDataIntegrationSolution講解為主

7-6下午結(jié)合地稅的實際情況討論ETL規(guī)劃討論預(yù)習(xí)Datastage組件及其功能看資料、答疑

7-7上午

Datastage組件及基本功能講解為主7-7下午練習(xí)練習(xí)為主7-8上午

Datastage高級功能操作為主

7-8下午練習(xí)練習(xí)為主培訓(xùn)時間安排時間培訓(xùn)內(nèi)容培訓(xùn)形式

7-6上午數(shù)據(jù)整合方法2主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論3數(shù)據(jù)整合方法論數(shù)據(jù)整合成熟的方法論多年的積累，成熟的經(jīng)驗以方法論為核心指導(dǎo)原則

統(tǒng)一的標(biāo)準(zhǔn)化方法論模型標(biāo)準(zhǔn)化代碼統(tǒng)一數(shù)據(jù)結(jié)構(gòu)統(tǒng)一業(yè)務(wù)術(shù)語統(tǒng)一

完善的元數(shù)據(jù)管理數(shù)據(jù)源元數(shù)據(jù)管理數(shù)據(jù)中心元數(shù)據(jù)管理應(yīng)用元數(shù)據(jù)管理正確的數(shù)據(jù)質(zhì)量評估方法論數(shù)據(jù)質(zhì)量暴露數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量對策數(shù)據(jù)整合方法論數(shù)據(jù)整合成熟的方法論統(tǒng)一的標(biāo)準(zhǔn)化方法論4主題數(shù)據(jù)整合方法論主流方法設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論5數(shù)據(jù)整合方法論-主流方法主流方法簡介先統(tǒng)一再ETL

先抽取再統(tǒng)一，最后進(jìn)行數(shù)據(jù)轉(zhuǎn)換和裝載代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語統(tǒng)一清洗、轉(zhuǎn)換、裝載數(shù)據(jù)抽取IntegrationT+L代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語統(tǒng)一清洗、轉(zhuǎn)換、裝載數(shù)據(jù)抽取EIntegrationT+LEDB2IIDatastage/Power

CenterDatastage/PowerCenterDatastage/PowerCenterDatastage/PowerCenter數(shù)據(jù)整合方法論-主流方法主流方法簡介IntegrationT6主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論7數(shù)據(jù)整合方法論-設(shè)計方法架構(gòu)設(shè)計SQLOracleDB2InformixOAFileXMLFileFileFlatFile數(shù)據(jù)源臨時存儲區(qū)企業(yè)級數(shù)據(jù)倉庫星型模型明晰數(shù)據(jù)分析模型數(shù)據(jù)集市

OLAP前端分析平臺應(yīng)用服務(wù)器最終用戶架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)中心數(shù)據(jù)整合方法論-設(shè)計方法架構(gòu)設(shè)計SQLOracleDB2In8數(shù)據(jù)整合方法論-設(shè)計方法流程設(shè)計

流程設(shè)計指的是關(guān)于數(shù)據(jù)處理流程的設(shè)計，通常有2種設(shè)計思路：分層設(shè)計分層設(shè)計是指將數(shù)據(jù)處理的流程細(xì)分，將共性歸類，形成數(shù)據(jù)處理的幾個層次按業(yè)務(wù)流程設(shè)計按業(yè)務(wù)流程設(shè)計是指將數(shù)據(jù)處理流程與業(yè)務(wù)流程相對應(yīng)，即面向業(yè)務(wù)流程進(jìn)行設(shè)計架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)整合方法論-設(shè)計方法流程設(shè)計架構(gòu)設(shè)計9數(shù)據(jù)整合方法論-設(shè)計方法分層設(shè)計圖例數(shù)據(jù)源數(shù)據(jù)原始層數(shù)據(jù)轉(zhuǎn)換層應(yīng)用數(shù)據(jù)層數(shù)據(jù)整合方法論-設(shè)計方法分層設(shè)計圖例數(shù)據(jù)源數(shù)據(jù)原始層數(shù)據(jù)轉(zhuǎn)換10數(shù)據(jù)整合方法論-設(shè)計方法按業(yè)務(wù)流程設(shè)計圖例報案原始表核賠原始表賠案原始表車險理賠進(jìn)度明細(xì)表報案表核賠表賠案主檔賠案號、保單號、報案時間、報案狀態(tài)、維度信息通過險種碼取車險記錄獲取報案，注銷狀態(tài)賠案號、保單號、上報時間、批復(fù)日期、核賠標(biāo)志、維度信息注銷標(biāo)志、維度信息賠案號、保單號、立案時間、結(jié)案時間、注銷標(biāo)志、維度信息通過險種碼取車險記錄通過險種碼取車險記錄獲取申請核賠、已核賠狀態(tài)獲取立案、結(jié)案、撤案狀態(tài)車險理賠進(jìn)度分析數(shù)據(jù)直接從源到目標(biāo)數(shù)據(jù)整合方法論-設(shè)計方法按業(yè)務(wù)流程設(shè)計圖例報案原始表核賠原始11數(shù)據(jù)整合方法論-設(shè)計方法模塊設(shè)計模塊功能維度處理業(yè)務(wù)數(shù)據(jù)處理臟數(shù)據(jù)處理數(shù)據(jù)備份及日志處理流程處理（流程調(diào)度與控制）歷史/增量數(shù)據(jù)處理模塊復(fù)用性公共業(yè)務(wù)數(shù)據(jù)公共系統(tǒng)參數(shù)公共轉(zhuǎn)換過程模塊處理性能整合工具調(diào)優(yōu)轉(zhuǎn)換過程優(yōu)化數(shù)據(jù)庫性能調(diào)優(yōu)架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)整合方法論-設(shè)計方法模塊設(shè)計架構(gòu)設(shè)計12數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（一）取數(shù)規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則取數(shù)規(guī)則的設(shè)計要求雙方技術(shù)人員參與，數(shù)據(jù)轉(zhuǎn)換規(guī)則的設(shè)計除要求雙方技術(shù)人員參與，還需要業(yè)務(wù)人員參與。這2個規(guī)則是后續(xù)設(shè)計的基礎(chǔ)，為了避免在后續(xù)過程中因規(guī)則改變導(dǎo)致重新修改結(jié)構(gòu)的情況發(fā)生，這個步驟應(yīng)給與足夠的重視。臟數(shù)據(jù)處理規(guī)則

臟數(shù)據(jù)即不符合業(yè)務(wù)邏輯、不適合做業(yè)務(wù)分析的數(shù)據(jù)，因此，在設(shè)計過程中應(yīng)確定臟數(shù)據(jù)處理的原則，避免系統(tǒng)中存在的臟數(shù)據(jù)給分析決策帶來誤導(dǎo)。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（一）13數(shù)據(jù)整合方法論-設(shè)計方法高質(zhì)量的數(shù)據(jù)是指那些符合業(yè)務(wù)需求的、反應(yīng)客觀事實的數(shù)據(jù)。衡量數(shù)據(jù)質(zhì)量可在以下幾個方面進(jìn)行：數(shù)據(jù)質(zhì)量特征描述正確性數(shù)據(jù)值必須與數(shù)據(jù)域一致，沒有超出數(shù)據(jù)范圍。準(zhǔn)確性一個數(shù)據(jù)值與設(shè)定為準(zhǔn)確的值之間的一致程度。由業(yè)務(wù)專家審查決定是否沒有錯誤。完全性一致性——維護(hù)數(shù)據(jù)使不同系統(tǒng)的數(shù)據(jù)沒有差異和相互矛盾。一組數(shù)據(jù)滿足一組約束條件的程度。完整性不同系統(tǒng)的相關(guān)數(shù)據(jù)之間聯(lián)接是正確的。唯一性決定數(shù)據(jù)記錄（和關(guān)鍵數(shù)據(jù)值）不被重復(fù)定義和使用的能力。有效性符合業(yè)務(wù)規(guī)則，滿足分類標(biāo)準(zhǔn)規(guī)定的可接受要求。確定數(shù)據(jù)值是否可以接受，是否可以產(chǎn)生需要的結(jié)果。時效性單個或多個數(shù)據(jù)項目能夠在要求時間內(nèi)提供的程度。特定數(shù)值更新的程度。數(shù)據(jù)整合方法論-設(shè)計方法高質(zhì)量的數(shù)據(jù)是指那些符合業(yè)務(wù)需求的、14數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（二）歷史數(shù)據(jù)處理策略歷史數(shù)據(jù)即系統(tǒng)正式運行前所有的數(shù)據(jù)，數(shù)據(jù)量大，處理邏輯可能與增量的不一樣，應(yīng)該根據(jù)實際情況進(jìn)行設(shè)計。增量數(shù)據(jù)處理策略

增量數(shù)據(jù)的確定。增量數(shù)據(jù)主要根據(jù)業(yè)務(wù)邏輯來確定是否，通常根據(jù)時間戳來確定，但是存在一些特殊的情況，需要通過日志來判斷。如：某條數(shù)據(jù)在當(dāng)天被做了修改，但是時間戳沒有改變，仍然是以前的某個時間，這就只能通過日志或者其他輔助手段進(jìn)行判斷。增量數(shù)據(jù)的處理方法，同歷史數(shù)據(jù)相比，二者的數(shù)據(jù)不一定完全相同，因此需要單獨考慮。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（二）15數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（三）失敗、異常的處理策略

由于數(shù)據(jù)整合過程是一個復(fù)雜的數(shù)據(jù)處理流程，沒有好的失敗、異常處理策略會增加維護(hù)的難度，同時給維護(hù)帶來大量的工作。下圖是一個好的監(jiān)控系統(tǒng)，維護(hù)人員可以很方便的看到系統(tǒng)的執(zhí)行狀態(tài)，并及時進(jìn)行維護(hù)。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（三）16主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論17數(shù)據(jù)整合方法論-實施方法論需求分析報告書開始業(yè)務(wù)需求分析規(guī)則評審數(shù)據(jù)源分析數(shù)據(jù)處理規(guī)則確定概要設(shè)計概要設(shè)計評審詳細(xì)設(shè)計（歷史、增量、失敗處理等）詳細(xì)設(shè)計評審編碼單元功能測試數(shù)據(jù)質(zhì)量測試數(shù)據(jù)質(zhì)量評審流程測試性能測試結(jié)束處理規(guī)則說明書業(yè)務(wù)規(guī)則數(shù)據(jù)源分析報告臟數(shù)據(jù)處理規(guī)則概要設(shè)計說明書開發(fā)計劃詳細(xì)設(shè)計說明書測試計劃數(shù)據(jù)測試報告流程測試報告性能測試報告YesYesNoNoYesNoNoYes數(shù)據(jù)整合方法論-實施方法論需求分析開始業(yè)務(wù)需求分析規(guī)則評審數(shù)18主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesigner基本功能Datastage高級功能主題數(shù)據(jù)整合方法論19Ascential數(shù)據(jù)集成解決方案AscentialEnterpriseIntegrationSuite?ParallelExecutionEngineDISCOVERDiscoverdatacontentandstructurePREPAREStandardize,match,andcorrectdataTRANSFORMandDELIVERTransform,enrich,anddeliverdataProfileStageQualityStageDataStageMetaDataManagementReal-TimeIntegrationServicesEnterpriseConnectivityandEventManagementComplementaryToBPM,EAI,andEIITechnologiesOpen,Service-OrientedArchitectureIntegratedDataProfiling&DataQualityAdvancedDataTransformationandRoutingReusableComponents&RulesUnlimitedPerformancewithLinearScalabilityRobust,IntelligentAdaptersAnytime,AnywhereConnectivityIndustryStandardCompliant(XML,EDI,JMS,JCA)Industry-ReadyIntegrationSolutionsService-OrientedArchitectureAscential數(shù)據(jù)集成解決方案AscentialEn20DataStageDeploymentModesTarget(DatabaseorFile)ODBC/NativeDataStageClient[Manager,Designer,Director](WinNTorWin2000)DataStageConnectAPIDataStageServer(WinNT,Win2000orUNIX)ODBC/NativeDataSources(DatabaseorFile)DataStageManagerDataStageDesignerDataStageDirectorDataStageConnectAPIDataStageConnectAPIDataStageConnectAPIDataflowDataflowDataStageDeploymentModesTarg21DataStageServer運行DataStage作業(yè)底層引擎采用UniVerseRDBMS

可運行于6種平臺IntelNT,AlphaNTAIX,HPUX,SunSolaris,CompaqTru64DataStageServer運行DataStage作22DataStageRepository存儲各種定義MetadataTransformationsStages存儲運行信息存于UniVerseRDBMS中能import/export從/到各種環(huán)境DataStageRepository存儲各種定義23主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論24ManagerDesignerDirector4ComponentsinDataStageMetadatacollectionandmanagementDesignJob/processflowRunjobs,checklogsandsetschedulesAdministratorConfigsystemenvironmentManagerDesignerDirector4Comp25DataStageAdministrator系統(tǒng)配置創(chuàng)建Project系統(tǒng)變量管理DataStage引擎清除,調(diào)整查看設(shè)置License情況權(quán)限管理DataStageAdministrator系統(tǒng)配置26DataStageManager管理各種定義Metadata(元數(shù)據(jù))TransformationsStagesImport/ExportODBC或APIMetaBrokersMicrosoftRepository/SybaseWCCActiveXtransformationsMetadatarepositoryDataStageManager管理各種定義Import27DataStageDirector作業(yè)管理作業(yè)調(diào)度作業(yè)狀態(tài)監(jiān)控大規(guī)模環(huán)境中的作業(yè)過濾可以使用外部的調(diào)度引擎DataStageDirector作業(yè)管理28DataStageDesignerOverview快捷的ETL開發(fā)、部署、調(diào)試和維護(hù)DataStageDesignerOverview快捷的29DataStageDesigner設(shè)計ETL處理過程可視化的數(shù)據(jù)流程設(shè)計每一個圖標(biāo)是一個“stage”每一個“stage”都可編輯將“stage”連接起來形成數(shù)據(jù)流DataStageDesigner設(shè)計ETL處理過程30DataStage’sMethodologyMetadataforJob/DataFlowProcessManagerJob/DataFlowProcessDesignerDirectorDataStage’sMethodology31AnyQuestion?AnyQuestion?32數(shù)據(jù)整合培訓(xùn)鄭斌高級顧問

數(shù)據(jù)整合培訓(xùn)鄭斌高級顧問33培訓(xùn)時間安排時間培訓(xùn)內(nèi)容培訓(xùn)形式

7-6上午數(shù)據(jù)整合方法論講解為主

AscentialDataIntegrationSolution講解為主

7-6下午結(jié)合地稅的實際情況討論ETL規(guī)劃討論預(yù)習(xí)Datastage組件及其功能看資料、答疑

7-7上午

Datastage組件及基本功能講解為主7-7下午練習(xí)練習(xí)為主7-8上午

Datastage高級功能操作為主

7-8下午練習(xí)練習(xí)為主培訓(xùn)時間安排時間培訓(xùn)內(nèi)容培訓(xùn)形式

7-6上午數(shù)據(jù)整合方法34主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論35數(shù)據(jù)整合方法論數(shù)據(jù)整合成熟的方法論多年的積累，成熟的經(jīng)驗以方法論為核心指導(dǎo)原則

統(tǒng)一的標(biāo)準(zhǔn)化方法論模型標(biāo)準(zhǔn)化代碼統(tǒng)一數(shù)據(jù)結(jié)構(gòu)統(tǒng)一業(yè)務(wù)術(shù)語統(tǒng)一

完善的元數(shù)據(jù)管理數(shù)據(jù)源元數(shù)據(jù)管理數(shù)據(jù)中心元數(shù)據(jù)管理應(yīng)用元數(shù)據(jù)管理正確的數(shù)據(jù)質(zhì)量評估方法論數(shù)據(jù)質(zhì)量暴露數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量對策數(shù)據(jù)整合方法論數(shù)據(jù)整合成熟的方法論統(tǒng)一的標(biāo)準(zhǔn)化方法論36主題數(shù)據(jù)整合方法論主流方法設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論37數(shù)據(jù)整合方法論-主流方法主流方法簡介先統(tǒng)一再ETL

先抽取再統(tǒng)一，最后進(jìn)行數(shù)據(jù)轉(zhuǎn)換和裝載代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語統(tǒng)一清洗、轉(zhuǎn)換、裝載數(shù)據(jù)抽取IntegrationT+L代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語統(tǒng)一清洗、轉(zhuǎn)換、裝載數(shù)據(jù)抽取EIntegrationT+LEDB2IIDatastage/Power

CenterDatastage/PowerCenterDatastage/PowerCenterDatastage/PowerCenter數(shù)據(jù)整合方法論-主流方法主流方法簡介IntegrationT38主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論39數(shù)據(jù)整合方法論-設(shè)計方法架構(gòu)設(shè)計SQLOracleDB2InformixOAFileXMLFileFileFlatFile數(shù)據(jù)源臨時存儲區(qū)企業(yè)級數(shù)據(jù)倉庫星型模型明晰數(shù)據(jù)分析模型數(shù)據(jù)集市

OLAP前端分析平臺應(yīng)用服務(wù)器最終用戶架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)中心數(shù)據(jù)整合方法論-設(shè)計方法架構(gòu)設(shè)計SQLOracleDB2In40數(shù)據(jù)整合方法論-設(shè)計方法流程設(shè)計

流程設(shè)計指的是關(guān)于數(shù)據(jù)處理流程的設(shè)計，通常有2種設(shè)計思路：分層設(shè)計分層設(shè)計是指將數(shù)據(jù)處理的流程細(xì)分，將共性歸類，形成數(shù)據(jù)處理的幾個層次按業(yè)務(wù)流程設(shè)計按業(yè)務(wù)流程設(shè)計是指將數(shù)據(jù)處理流程與業(yè)務(wù)流程相對應(yīng)，即面向業(yè)務(wù)流程進(jìn)行設(shè)計架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)整合方法論-設(shè)計方法流程設(shè)計架構(gòu)設(shè)計41數(shù)據(jù)整合方法論-設(shè)計方法分層設(shè)計圖例數(shù)據(jù)源數(shù)據(jù)原始層數(shù)據(jù)轉(zhuǎn)換層應(yīng)用數(shù)據(jù)層數(shù)據(jù)整合方法論-設(shè)計方法分層設(shè)計圖例數(shù)據(jù)源數(shù)據(jù)原始層數(shù)據(jù)轉(zhuǎn)換42數(shù)據(jù)整合方法論-設(shè)計方法按業(yè)務(wù)流程設(shè)計圖例報案原始表核賠原始表賠案原始表車險理賠進(jìn)度明細(xì)表報案表核賠表賠案主檔賠案號、保單號、報案時間、報案狀態(tài)、維度信息通過險種碼取車險記錄獲取報案，注銷狀態(tài)賠案號、保單號、上報時間、批復(fù)日期、核賠標(biāo)志、維度信息注銷標(biāo)志、維度信息賠案號、保單號、立案時間、結(jié)案時間、注銷標(biāo)志、維度信息通過險種碼取車險記錄通過險種碼取車險記錄獲取申請核賠、已核賠狀態(tài)獲取立案、結(jié)案、撤案狀態(tài)車險理賠進(jìn)度分析數(shù)據(jù)直接從源到目標(biāo)數(shù)據(jù)整合方法論-設(shè)計方法按業(yè)務(wù)流程設(shè)計圖例報案原始表核賠原始43數(shù)據(jù)整合方法論-設(shè)計方法模塊設(shè)計模塊功能維度處理業(yè)務(wù)數(shù)據(jù)處理臟數(shù)據(jù)處理數(shù)據(jù)備份及日志處理流程處理（流程調(diào)度與控制）歷史/增量數(shù)據(jù)處理模塊復(fù)用性公共業(yè)務(wù)數(shù)據(jù)公共系統(tǒng)參數(shù)公共轉(zhuǎn)換過程模塊處理性能整合工具調(diào)優(yōu)轉(zhuǎn)換過程優(yōu)化數(shù)據(jù)庫性能調(diào)優(yōu)架構(gòu)設(shè)計流程設(shè)計模塊設(shè)計數(shù)據(jù)整合方法論-設(shè)計方法模塊設(shè)計架構(gòu)設(shè)計44數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（一）取數(shù)規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則取數(shù)規(guī)則的設(shè)計要求雙方技術(shù)人員參與，數(shù)據(jù)轉(zhuǎn)換規(guī)則的設(shè)計除要求雙方技術(shù)人員參與，還需要業(yè)務(wù)人員參與。這2個規(guī)則是后續(xù)設(shè)計的基礎(chǔ)，為了避免在后續(xù)過程中因規(guī)則改變導(dǎo)致重新修改結(jié)構(gòu)的情況發(fā)生，這個步驟應(yīng)給與足夠的重視。臟數(shù)據(jù)處理規(guī)則

臟數(shù)據(jù)即不符合業(yè)務(wù)邏輯、不適合做業(yè)務(wù)分析的數(shù)據(jù)，因此，在設(shè)計過程中應(yīng)確定臟數(shù)據(jù)處理的原則，避免系統(tǒng)中存在的臟數(shù)據(jù)給分析決策帶來誤導(dǎo)。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（一）45數(shù)據(jù)整合方法論-設(shè)計方法高質(zhì)量的數(shù)據(jù)是指那些符合業(yè)務(wù)需求的、反應(yīng)客觀事實的數(shù)據(jù)。衡量數(shù)據(jù)質(zhì)量可在以下幾個方面進(jìn)行：數(shù)據(jù)質(zhì)量特征描述正確性數(shù)據(jù)值必須與數(shù)據(jù)域一致，沒有超出數(shù)據(jù)范圍。準(zhǔn)確性一個數(shù)據(jù)值與設(shè)定為準(zhǔn)確的值之間的一致程度。由業(yè)務(wù)專家審查決定是否沒有錯誤。完全性一致性——維護(hù)數(shù)據(jù)使不同系統(tǒng)的數(shù)據(jù)沒有差異和相互矛盾。一組數(shù)據(jù)滿足一組約束條件的程度。完整性不同系統(tǒng)的相關(guān)數(shù)據(jù)之間聯(lián)接是正確的。唯一性決定數(shù)據(jù)記錄（和關(guān)鍵數(shù)據(jù)值）不被重復(fù)定義和使用的能力。有效性符合業(yè)務(wù)規(guī)則，滿足分類標(biāo)準(zhǔn)規(guī)定的可接受要求。確定數(shù)據(jù)值是否可以接受，是否可以產(chǎn)生需要的結(jié)果。時效性單個或多個數(shù)據(jù)項目能夠在要求時間內(nèi)提供的程度。特定數(shù)值更新的程度。數(shù)據(jù)整合方法論-設(shè)計方法高質(zhì)量的數(shù)據(jù)是指那些符合業(yè)務(wù)需求的、46數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（二）歷史數(shù)據(jù)處理策略歷史數(shù)據(jù)即系統(tǒng)正式運行前所有的數(shù)據(jù)，數(shù)據(jù)量大，處理邏輯可能與增量的不一樣，應(yīng)該根據(jù)實際情況進(jìn)行設(shè)計。增量數(shù)據(jù)處理策略

增量數(shù)據(jù)的確定。增量數(shù)據(jù)主要根據(jù)業(yè)務(wù)邏輯來確定是否，通常根據(jù)時間戳來確定，但是存在一些特殊的情況，需要通過日志來判斷。如：某條數(shù)據(jù)在當(dāng)天被做了修改，但是時間戳沒有改變，仍然是以前的某個時間，這就只能通過日志或者其他輔助手段進(jìn)行判斷。增量數(shù)據(jù)的處理方法，同歷史數(shù)據(jù)相比，二者的數(shù)據(jù)不一定完全相同，因此需要單獨考慮。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（二）47數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（三）失敗、異常的處理策略

由于數(shù)據(jù)整合過程是一個復(fù)雜的數(shù)據(jù)處理流程，沒有好的失敗、異常處理策略會增加維護(hù)的難度，同時給維護(hù)帶來大量的工作。下圖是一個好的監(jiān)控系統(tǒng)，維護(hù)人員可以很方便的看到系統(tǒng)的執(zhí)行狀態(tài)，并及時進(jìn)行維護(hù)。數(shù)據(jù)整合方法論-設(shè)計方法設(shè)計注意事項（三）48主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesign基本功能Datastage高級功能主題數(shù)據(jù)整合方法論49數(shù)據(jù)整合方法論-實施方法論需求分析報告書開始業(yè)務(wù)需求分析規(guī)則評審數(shù)據(jù)源分析數(shù)據(jù)處理規(guī)則確定概要設(shè)計概要設(shè)計評審詳細(xì)設(shè)計（歷史、增量、失敗處理等）詳細(xì)設(shè)計評審編碼單元功能測試數(shù)據(jù)質(zhì)量測試數(shù)據(jù)質(zhì)量評審流程測試性能測試結(jié)束處理規(guī)則說明書業(yè)務(wù)規(guī)則數(shù)據(jù)源分析報告臟數(shù)據(jù)處理規(guī)則概要設(shè)計說明書開發(fā)計劃詳細(xì)設(shè)計說明書測試計劃數(shù)據(jù)測試報告流程測試報告性能測試報告YesYesNoNoYesNoNoYes數(shù)據(jù)整合方法論-實施方法論需求分析開始業(yè)務(wù)需求分析規(guī)則評審數(shù)50主題數(shù)據(jù)整合方法論主流方法簡介設(shè)計方法論實施方法論AscentialDataIntegrationSolutionDatastage組件AdministratorManagerDirectordesigner基本功能Datastage高級功能主題數(shù)據(jù)整合方法論51Ascential數(shù)據(jù)集成解決方案AscentialEnterpriseIntegrationSuite?ParallelExecutionEngineDISCOVERDiscoverdatacontentandstructurePREPAREStandardize,match,andcorrectdataTRANSFORMandDELIVERTransform,enrich,anddeliverdataProfileStageQualityStageDataStageMetaDataManagementReal-TimeIntegrationServicesEnterpriseConnectivityandEventManagementComplementaryToBPM,EAI,andEIITechnologiesOpen,Service-OrientedArchitectureIntegratedDataProfiling&DataQualityAdvancedDataTransformationandRoutingReusableComponents&RulesUnlimitedPerformancewithLinearScalabilityRobust,IntelligentAdaptersAnytime,AnywhereConnectivityIndustryStandardCompliant(XML,EDI,JMS,JCA)Industry-ReadyIntegrationSolutionsService-OrientedArchitectureAscential數(shù)據(jù)集成解決方案AscentialEn52DataStageDeploymentModesTarget(DatabaseorFile)ODBC/NativeDataStageClient[Manager,Designer,Director](WinNTorWin2000)DataStageConnectAPIDataStageServer(WinNT,Win2000orUNIX)ODBC/NativeDataSources(DatabaseorFile)DataStageManagerDataStageDesignerDataStageDirectorDataStageConnectAPIDataStageConnectAPIDataStageConnectAPIDataflowDataflowDataStageDeploymentModesTarg53DataStageServer運行DataStage作業(yè)底層引擎采用UniVerseRDBMS

可運行于6種平臺IntelNT,AlphaNTAIX,HPUX,SunSolaris,CompaqTru64