數(shù)據(jù)倉庫技術(shù)架構(gòu)及方案

?Teradata簡介?架構(gòu)設計原理?整體架構(gòu)說明?ETL架構(gòu)說明Teradata公司概況?TeradataCorporation–2007年10月1日紐交所上市>企業(yè)級數(shù)據(jù)倉庫全球領導者>自1999年開始，連續(xù)9年被Gartner評為數(shù)據(jù)倉庫第一名>S&P500標準普爾500成員>紐交所上市代碼:“TDC”>NYSEArcaTech100>超過850個世界級客戶>超過2000個安裝系統(tǒng)Teradata市場份額Teradata驅(qū)動世界級企業(yè)的可持續(xù)發(fā)展peutschepostpannonTelecomzvarTecTelecom,nc.9YODAcontinentalAirlinesManufacturingTOTOManufacturingTOTOkerznerfJcpenneyAoyamaShojikerznerfCAALABORA!Teradata數(shù)據(jù)倉庫技術(shù)的領導者ConcurrentQueriesDataModelSophistication“Iterative”,AdQueriesComplex“Where”Teradata系統(tǒng)擴展能力DataStorage(raw,userdata)WorkloadQueryComplexityWorkloadQueryComplexityVolumes?Teradata簡介?架構(gòu)設計原理?整體架構(gòu)說明?ETL架構(gòu)說明當前轉(zhuǎn)換目標邏輯層方案項目技術(shù)應用信息業(yè)務 起止當前轉(zhuǎn)換目標邏輯層方案項目技術(shù)應用信息業(yè)務 起止邏輯架構(gòu)層物理方案輯層轉(zhuǎn)換應邏目項業(yè)務當前目標信息技術(shù)用方案輯層轉(zhuǎn)換應邏目項業(yè)務當前目標信息技術(shù)用applicationsworkwithintheconfinesoftheInfoarchitecture,creatindefinitionsofthatarchiOPTIMAL”?AseparationofBusiness,Data,ProcessandTechnologyasappropriateTier2SingleVersionOfCorporateMemoryTier3SemanticLayerTier1OperationalImage操作型源數(shù)據(jù)影像MMETA-DATATransactionDataAcquisition&IntegTransactionDataAcquisition&IntegC/SWebPartnersInternalSuppliersConsumersWebC/SWAN/VANWAN/VANTransactionalServicesTX3TX2TX1TacticalTX4EDW—AEDW—BAAccessModuleAPPLC/SWebPartnersInternalSuppliersConsumersWebC/SWAN/VANWAN/VANTransactionalServicesTX3TX2TX1TacticalTX4EDW—AEDW—BAAccessModuleAPPLInternet/IntranetDataAcquisition&IntegWebPartnersInternalConsumersWebC/SC/SSuppliersWAN/VANInternet/IntranetWAN/VANTransactionalServicesTX1TacticalTX2TX3TX4EDW—AEDW—BDataAcquisition&IntegHibernate,SQLviaJDBCWebPartnersInternalConsumersWebC/SC/SSuppliersWAN/VANInternet/IntranetWAN/VANTransactionalServicesTX1TacticalTX2TX3TX4EDW—AEDW—BDataAcquisition&IntegHibernate,SQLviaJDBC?Teradata簡介?架構(gòu)設計原理?整體架構(gòu)說明?ETL架構(gòu)說明AssembleAnswerAssembleAnswer輸出接口Portal（訪問控制／統(tǒng)一認證）數(shù)據(jù)導入層源數(shù)據(jù)層數(shù)據(jù)服務層中間服務層SybaseInformix數(shù)據(jù)倉庫管理輸出接口Portal（訪問控制／統(tǒng)一認證）數(shù)據(jù)導入層源數(shù)據(jù)層數(shù)據(jù)服務層中間服務層SybaseInformix數(shù)據(jù)倉庫管理安全管理／機制....元數(shù)據(jù)管理元數(shù)據(jù)管理備份與恢復備份與恢復數(shù)據(jù)倉庫監(jiān)控／運行／管理?核心業(yè)務系統(tǒng)通過?核心業(yè)務系統(tǒng)通過數(shù)據(jù)庫鏡像提供對核心業(yè)務數(shù)據(jù)的訪問?數(shù)據(jù)匯集平臺通過數(shù)據(jù)庫Snapshot來獲取對相關源系統(tǒng)業(yè)務數(shù)據(jù)的訪問?SAP系統(tǒng)直接提供對業(yè)務數(shù)據(jù)的訪問源數(shù)據(jù)層..Sybase源數(shù)據(jù)層..SybaseInformixInformix采用Teradata的數(shù)據(jù)加載工具或數(shù)據(jù)導入層接口數(shù)據(jù)OLAPCube數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)ETL控制數(shù)據(jù)數(shù)據(jù)流流程控制接口數(shù)據(jù)OLAPCube數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)ETL控制數(shù)據(jù)數(shù)據(jù)流流程控制Teradata數(shù)據(jù)庫數(shù)據(jù)質(zhì)量檢查實施框架WarehouseDataQualityRulesEngine模型(PDM)，同時也包括維護和管理數(shù)據(jù)模型各個?數(shù)據(jù)存儲內(nèi)容包括兩部分組成：數(shù)據(jù)服務層 或應用Repository中間服務層源數(shù)據(jù)源數(shù)據(jù)>建立從屬數(shù)據(jù)集>滿足用戶對數(shù)據(jù)訪問的多樣化、?通過各種應用的定制與展現(xiàn)，用戶對數(shù)據(jù)進行訪問，包括：?包括HyperionPerformanceSuite的訪問接口與工具，用于定制與發(fā)布?這些服務是由一些數(shù)據(jù)導出組件組成的，為其他部門或機構(gòu)提供數(shù)據(jù)倉庫的對外數(shù)據(jù)輸出，例如為SAP等其他業(yè)務部門提供業(yè)務數(shù)據(jù)的輸出。PortalPortal（訪問控制／統(tǒng)一認證）HTTPWeb服務、門戶的用戶登錄、用戶認證、門戶的Portal，日后等浦發(fā)銀行有了相應的技術(shù)標準之后，再來>經(jīng)過與浦發(fā)銀行的討論，建議采用2次登錄的方安全認證，而這也是目前浦發(fā)銀行在其他項目中所采用的登錄在生產(chǎn)網(wǎng)段設置Portal服務器的同時，在OA網(wǎng)段設置Portal服務器的代理服務器。所有通過OA網(wǎng)段對數(shù)據(jù)倉庫的訪問，都將通過該代理服務器轉(zhuǎn)到生產(chǎn)網(wǎng)段的Portal服務器其他廠商的BI/挖掘工具Teradata數(shù)據(jù)訪問技術(shù)接口Teradata專有接口Teradata支持業(yè)界標準的數(shù)據(jù)訪問接口其他廠商的BI/挖掘工具Teradata數(shù)據(jù)訪問技術(shù)接口Teradata專有接口Teradata支持業(yè)界標準的數(shù)據(jù)訪問接口數(shù)據(jù)輸出接口TeradataTeradata自己提供的訪問工具Teradata數(shù)據(jù)庫級數(shù)據(jù)保護權(quán)限、視圖對象、存取日志?Teradata簡介?架構(gòu)設計原理?整體架構(gòu)說明?ETL架構(gòu)說明ETL典型流程數(shù)據(jù)源數(shù)據(jù)區(qū)確認、映射臨時數(shù)據(jù)區(qū) 源數(shù)據(jù)ETL控制數(shù)據(jù)DWAutomation調(diào)度和控制多維數(shù)據(jù)生成數(shù)據(jù)更新和生成數(shù)據(jù)備份數(shù)據(jù)檢查加載接收清洗和轉(zhuǎn)換轉(zhuǎn)換數(shù)據(jù)源數(shù)據(jù)區(qū)確認、映射臨時數(shù)據(jù)區(qū) 源數(shù)據(jù)ETL控制數(shù)據(jù)DWAutomation調(diào)度和控制多維數(shù)據(jù)生成數(shù)據(jù)更新和生成數(shù)據(jù)備份數(shù)據(jù)檢查加載接收清洗和轉(zhuǎn)換轉(zhuǎn)換多維數(shù)據(jù)庫Teradata數(shù)據(jù)庫完整的ETL加載系統(tǒng)由三部分組成3.加載腳本?DataStage工具將完成由鏡像數(shù)據(jù)庫或文件到Teradata數(shù)據(jù)庫SA的數(shù)據(jù)抽取和加載過程?ETLAutomation來完成整個數(shù)據(jù)倉庫ETL的統(tǒng)一管理和流程控制?Teradata自主開發(fā)?實現(xiàn)加載流程自動化管理?數(shù)據(jù)倉庫自動化管理?支持多服務器并行?圖形化的管理和監(jiān)控?ETLAutomation知識庫(etlrepository)建立在Teradata數(shù)據(jù)庫中?RepositoryTables可分為兩類：配置表（用戶維護）和日志表（系?ETLAutomation的參數(shù)設置依賴于RepositoryTables中的配置表?ETLAutomation在運行過程中不斷地向RepositoryTables讀寫記錄?加載作業(yè)的圖形化設置、維護和修改?以數(shù)據(jù)驅(qū)動的作業(yè)自動執(zhí)行?協(xié)調(diào)作業(yè)執(zhí)行的相互關系?作業(yè)組管理?作業(yè)日志管理?數(shù)據(jù)定時清理?支持多加載服務器?作業(yè)并行處理?加載作業(yè)的實時監(jiān)控?加載作業(yè)的遠程報警-Email?開放的加載作業(yè)數(shù)據(jù)接口制程序名稱說明etlagent.exe負責執(zhí)行遠程操作的動作etlclean.exe負責執(zhí)行數(shù)據(jù)清除(HouseKeeping)的動作以及在每天晚上12點一過時會將所需要執(zhí)行的作業(yè)新增至作業(yè)的追蹤記錄中,以便后續(xù)的作業(yè)執(zhí)行記錄查詢etlrcv.exe負責處理從各來源系統(tǒng)所傳送來的檔案.當檔案通過檢查后,會將檔案交由etlmaster.pl來處理etlmaster.exe負責處理由etlrcv.pl所交付的檔案.etlmaster.pl會找出檔案所對應的作業(yè)并在作業(yè)的執(zhí)行條件滿足時呼叫etlslave_nt.pl或etlslave_unix.pl來執(zhí)行作業(yè)etlmsg.exe.是負責發(fā)送訊息通知(MessageNotification)的動作.etlwdog.exe在主要服務器(Primaryerver)上是負責接收各次要服務器(SecondaryServer)所傳送來的存活封包(HeartbeatPacket)以判斷各服務的狀態(tài)并更新記錄.而在發(fā)現(xiàn)有次要服務器未能在一段時間內(nèi)送來存活封包的話,則會認定此次要服務器為停止狀態(tài),而會將當時正在此部次要服務器上執(zhí)行的作業(yè)的狀態(tài)設成失敗(Failed).而在次要服務器(SecondaryServer)上則是定時發(fā)送存活封包(HeartbeatPacket)至主要服務器(PrimaryServer)上以通知目前次要服etlschedule.exe定時任務調(diào)度程序務器的狀態(tài).定時任務調(diào)度程序?ETLAutomation支持多ETL加載服務器?PrimaryServer?SecondaryServer?服務器獨立完成各自的作業(yè)?各服務器有各自的加載作業(yè)腳本?服務器的狀態(tài)由PrimaryServer統(tǒng)一監(jiān)控?統(tǒng)一的流程控制?服務器內(nèi)作業(yè)并行?服務器之間作業(yè)并行RDBMSRDBMSee\ETL\etlagentetlwdogetlschedule\ETL\etlagentetlwdogetlscheduleetlrcvetlmasteretlslave_ntetlmsg\receive\queue\process\message\Fail(bypass,corrupt,duplicate,error,unknown)\completeetlclean.exeetlclean.exe?數(shù)據(jù)驅(qū)動?控制文件-控制作業(yè)處理的文件dir.job_source_nameYYYYMMDD由etlrcv監(jiān)控并處理System_Name_Convert_Job_Name_YYYYMMDD.dir由etlmaster監(jiān)控并處理?數(shù)據(jù)文件-作業(yè)處理的數(shù)據(jù)文件，隨控制文件一起在處理時移動如果控制文件是空文件，則表明該作業(yè)無數(shù)據(jù)文件如果控制文件是非空文件，則其中必須包含數(shù)據(jù)文件的名稱、大小DoneRunningPendingFailedDoneRunningPendingFailedReadyDone作業(yè)由控制文件驅(qū)動觸發(fā)，當滿足以下一個條件時被調(diào)用：System_Name_Convert_?通過作業(yè)的觸發(fā)關系(jobstream)自動觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)?通過作業(yè)的群組關系(jobgroup)自動觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)?通過腳本生成控制文件自動觸發(fā)控制文件由腳本自動產(chǎn)生可以處理需要數(shù)據(jù)文件的作業(yè)?通過圖形操作界面手工觸發(fā)控制文件由DWAutomation產(chǎn)生不能處理需要數(shù)據(jù)文件的作業(yè)BBAA?JobStream用來定義兩個作業(yè)間的執(zhí)行關系?JobA執(zhí)行成功后，自動觸發(fā)執(zhí)行JobB?A為UpStreamJob，B為DownStreamJob?一個UpStreamJob可以同時觸發(fā)多個DownStreamJobBB?JobGroup用于定