Trinity-V3.6-2011

1、Trinity v3.6產(chǎn)品及功能介紹探智軟件科技（上海）有限公司2012-03超越繁雜超越繁雜 盡享極速盡享極速Agenda Trinity -整體架構(gòu) Trinity - JCS 功能介紹 Trinity - Data Management功能介紹2022/5/12關(guān)于Trinity2022/5/13Trinity 是探智軟件基于多年在MPP數(shù)據(jù)倉(cāng)庫(kù)建制經(jīng)驗(yàn)基礎(chǔ)上于2008年正式推出的一套適合海量數(shù)據(jù)處理的ETL工具2009年底，Trinity提供GP，Oracle，DB2等主流數(shù)據(jù)庫(kù)的海量數(shù)據(jù)加載接口2010年7月推出Trinity V2.5，具備更強(qiáng)大的協(xié)同開(kāi)發(fā)功能2011年1月推出T

2、rinity V3.0，具備數(shù)據(jù)質(zhì)量，MQ，Web service發(fā)布，單步調(diào)試等眾多強(qiáng)大功能2012年1月推出V3.5 資源監(jiān)控，審計(jì)，調(diào)度，impact analysis目前客戶包括：臺(tái)灣遠(yuǎn)傳電信，內(nèi)蒙移動(dòng)，廣西電信，金通證券，浦發(fā)銀行，武漢鋼鐵，HOLA，吉野家，建達(dá)藍(lán)德，湖州運(yùn)管，溫州運(yùn)管等眾多行業(yè)客戶Trinity 是什么?2022/5/14Trinity印象2022/5/15B/S架構(gòu)海量Writer組件Server和Agent全面的HA功能，并實(shí)現(xiàn)作業(yè)級(jí)的均衡負(fù)載集成數(shù)據(jù)質(zhì)量組件，使ETL設(shè)計(jì)工作更加規(guī)范和高效同時(shí)支持單點(diǎn)調(diào)試和協(xié)同開(kāi)發(fā)，提高開(kāi)發(fā)效率靈活強(qiáng)大的調(diào)度功能更加及時(shí)有效

3、的客戶支持Agenda 關(guān)于Trinity Trinity - JCS 功能介紹 Trinity - Data Management功能介紹2022/5/16Trinity - JCS 系統(tǒng)架構(gòu)圖 2022/5/17Server HeartbeatDM DebugData ProfileMQ Service (NRT)Data Quality*Web ServiceVirtual AgentWebUI 設(shè)計(jì)界面 管理界面 元數(shù)據(jù)設(shè)計(jì)界面2022/5/18JF Designer 設(shè)計(jì)界面2022/5/19TaskConsole監(jiān)控界面2022/5/110jobs and flowsnormal

4、jobLegendfailed jobsuccessful jobnormal flowfailed flowsuccessful flowsearch criteriaJCS Servers 狀態(tài)圖示JCS Agents 狀態(tài)圖示W(wǎng)eb TaskConsole監(jiān)控界面Agenda 關(guān)于Trinity Trinity整體架構(gòu) Trinity - Data Management功能介紹2022/5/112權(quán)限及SSO機(jī)制2022/5/113可針對(duì)使用者或角色進(jìn)行權(quán)限設(shè)定工作, 權(quán)限可分成:查看作業(yè)新增作業(yè)刪除作業(yè)修改作業(yè)執(zhí)行作業(yè)重新執(zhí)行權(quán)限可細(xì)分到單獨(dú)作業(yè)或整個(gè)作業(yè)類別賬號(hào)為系統(tǒng)中最基本的操作單

5、位每一名使用者有一個(gè)賬號(hào)角色為輔助的類別，可用以簡(jiǎn)化權(quán)限的管理一個(gè)賬號(hào)可以擁有多重角色，可根據(jù)其所擁有的角色累加其對(duì)應(yīng)得權(quán)限可結(jié)合LDAP服務(wù)器進(jìn)行使用者認(rèn)證動(dòng)作Virtual Agent排程機(jī)制2022/5/115n 排程條件為公用的資源n 多個(gè)作業(yè)或流程可共用一組排程條件，方便進(jìn)行調(diào)整n Trinity 中可彈性的設(shè)定工作執(zhí)行拍成時(shí)間n 每天n 每周n 每月n 自定日期n 同一天可設(shè)定多個(gè)執(zhí)行時(shí)段工作日2022/5/116n 排程時(shí)可以根據(jù)客戶指定，排除特定日期或者時(shí)間n 在指定時(shí)間里，JOB或者JOB flow不會(huì)啟動(dòng)發(fā)布2022/5/117利用PostgreSQL數(shù)據(jù)庫(kù)發(fā)布利用Trin

6、ity工具發(fā)布1.導(dǎo)出全部知識(shí)庫(kù)（dev-sit-uat-prd)2.導(dǎo)出Job Flow3.導(dǎo)出Job作業(yè)關(guān)系管理Job Flow 作業(yè)流Job Dependency 作業(yè)依賴作業(yè)流說(shuō)明作業(yè)流程是由多個(gè)作業(yè)組合而成的一項(xiàng)群組.執(zhí)行的順序是由層次(Level)來(lái)區(qū)分的, 一個(gè)作業(yè)流程中最多可以包含64個(gè)層次.每一層次當(dāng)中可以包含32個(gè)作業(yè).作業(yè)間的執(zhí)行順序是根據(jù)流程條件來(lái)決定, 第一層的作業(yè)會(huì)無(wú)條件的啟動(dòng)執(zhí)行.2022/5/119Level 1Level 2Level 3Job Flow作業(yè)相關(guān)條件(Job Dependency)作業(yè)相關(guān)條件是用來(lái)在準(zhǔn)備執(zhí)行某一項(xiàng)工作時(shí)用來(lái)檢查是否滿足所設(shè)定的

7、條件.當(dāng)條件成功時(shí), 才會(huì)開(kāi)始執(zhí)行工作.當(dāng)條件不成功時(shí)則不會(huì)允許此項(xiàng)工作的執(zhí)行, 每隔一段時(shí)間JCS Server會(huì)重新檢查條件直到成功.2022/5/120(frequency)10:00am(frequency)10:00amdependencyS() AND TX() = THISJob B會(huì)等到Job A執(zhí)行成功后才會(huì)開(kāi)始執(zhí)行完整的執(zhí)行機(jī)制2022/5/121可設(shè)定在作業(yè)執(zhí)行錯(cuò)誤時(shí)自動(dòng)再次重新執(zhí)行 可設(shè)定等待時(shí)間(Retry Interval)最多嘗試次數(shù)(Max Retry Time)從頭開(kāi)始執(zhí)行(From Beginning )從錯(cuò)誤點(diǎn)開(kāi)始執(zhí)行(From Breakpoint )可

8、指定允許的時(shí)間區(qū)段(Time Window)避開(kāi)系統(tǒng)忙碌時(shí)段執(zhí)行日志查詢功能2022/5/122作業(yè)執(zhí)行日志會(huì)收集回來(lái)記錄在Repository中 日志內(nèi)容會(huì)進(jìn)行壓縮處理以節(jié)省保存空間 使用者透過(guò)監(jiān)控界面可查詢過(guò)去執(zhí)行過(guò)的每一次記錄與日志 日志有三種方式可以查詢：Console界面知識(shí)庫(kù)訪問(wèn)（JDBC，ODBC，Postgres Client）文本文件方式保存至服務(wù)器（可以設(shè)置保存周期，定期后臺(tái)自動(dòng)刪除）執(zhí)行日志查詢界面2022/5/123透過(guò) Task Console 可查詢到每一次作業(yè)執(zhí)行的相關(guān)信息與執(zhí)行日志.信息通知功能2022/5/124訊息種類有電子郵件與行動(dòng)短訊兩種 電子郵件為內(nèi)建

9、功能 行動(dòng)短訊需客制化訊息發(fā)送時(shí)機(jī)有 :作業(yè)開(kāi)始執(zhí)行時(shí)作業(yè)執(zhí)行完成時(shí)作業(yè)執(zhí)行成功時(shí)作業(yè)執(zhí)行失敗時(shí)電子郵件方式可將作業(yè)執(zhí)行日志當(dāng)成附件傳送可針對(duì)單一作業(yè)或整個(gè)作業(yè)類別來(lái)設(shè)定訊息發(fā)送功能訊息發(fā)送對(duì)象可給單一使用者或一個(gè)群組訊息通知功能可在異常狀況發(fā)生時(shí)實(shí)時(shí)通知相關(guān)人員 多樣的監(jiān)控模式_All View2022/5/125多樣的監(jiān)控模式_Tree View2022/5/126豐富的執(zhí)行模式2022/5/127Run JobBatch Run jobGroup Run job審計(jì)功能2022/5/128Agenda 關(guān)于Trinity Trinity 整體架構(gòu) Trinity 管理功能介紹2022/5

10、/129Data Management 說(shuō)明2022/5/130XML ConfigurationFileActual class will be loaded by Wrapper using ClassLoader during runtimeWrapper has its own thread and each reader/transformer/writer is running in a individual thread. Wrapper will also monitor each worker threads execution status.Wrapper(Initiali

11、ze/Statistic Collect/Logger)Plug-InData Management 的特點(diǎn) 多種模式，包含ETL，ELT，也可直接調(diào)用各種SQL腳本 支持對(duì)數(shù)據(jù)質(zhì)量稽核前的概括描述data profiling也支持對(duì)數(shù)據(jù)質(zhì)量的規(guī)則制定，自動(dòng)矯正data quality2022/5/131團(tuán)隊(duì)開(kāi)發(fā)（Version Control） 團(tuán)隊(duì)協(xié)作，協(xié)同開(kāi)發(fā) 保存版本，讓版本可以回溯 增加修改歷史，讓后續(xù)開(kāi)發(fā)者知其所以然2022/5/132數(shù)據(jù)概貌-Data Profile ETL的重要組成部分，ETL設(shè)計(jì)的開(kāi)始 通過(guò)Profile制定更加有效的規(guī)則 豐富的內(nèi)嵌規(guī)則（三十種以上）202

12、2/5/133數(shù)據(jù)管控 先制定規(guī)則 評(píng)分 跟蹤2022/5/134參數(shù) Domain級(jí)別參數(shù) Business Entity級(jí)別的參數(shù)，Job級(jí)參數(shù) Component級(jí)別的參數(shù)2022/5/135數(shù)據(jù)質(zhì)量剖析框架斷點(diǎn)調(diào)試（Debug） 便于開(kāi)發(fā)中發(fā)現(xiàn)定位問(wèn)題 提高解決問(wèn)題的效率2022/5/137支持的數(shù)據(jù)讀取類型(Data Reader)文件檔案文件檔案 定長(zhǎng)格式, 變長(zhǎng)分隔符格式, CSV 格式，Excel，DBF（Foxbase，F(xiàn)oxpro)，XML數(shù)據(jù)庫(kù)數(shù)據(jù)庫(kù) 只要有數(shù)據(jù)庫(kù)提供的 JDBC driver, Trinity就能直接從數(shù)據(jù)庫(kù)中讀取數(shù)據(jù). AS400, DB2, Info

13、rmix, MS SQL Server, MySQL, Oracle, PostgreSQL, Greenplum, Sybase, . 可自定讀取數(shù)據(jù)的SQL SELECT 語(yǔ)法Application SAP Siebel2022/5/138支持的數(shù)據(jù)寫入類型(Data Writer) Trinity 提供了多種的提供了多種的Writer來(lái)進(jìn)行數(shù)據(jù)的輸出來(lái)進(jìn)行數(shù)據(jù)的輸出 文件輸出方式: 可輸出固定長(zhǎng)度, 變動(dòng)長(zhǎng)度與CSV 格式的文本文件，excel，XML. 數(shù)據(jù)庫(kù)輸出方式: 透過(guò)JDBC Driver, 可將數(shù)據(jù)以Insert, Batch Insert, Upsert, Update的方

14、式進(jìn)行更新.2022/5/139 另外也提供了數(shù)據(jù)庫(kù)的大量批量另外也提供了數(shù)據(jù)庫(kù)的大量批量加載工具來(lái)加速數(shù)據(jù)輸出的效能加載工具來(lái)加速數(shù)據(jù)輸出的效能 DB2 - Load Command Oracle - SQL Loader PostgreSQL- Copy Table command Greenplum-gpfdist writer(External table writer) SQL Server - BCP Writer Sybase IQ - Load Table command Teradata - Fastload, Multiload, TpumpExt.Table 集成GP的g

15、pfdist集成gpfdist的快速加載功能簡(jiǎn)化gpfdist的使用，并集成進(jìn)trinity2022/5/140DBFlat FileFlat FileFlat FileGreenplumETLETLGreenplumDBFlat FileFlat FileFlat FileNo TrinityUse TrinityTransformer 數(shù)據(jù)的轉(zhuǎn)換 Trinity 中提供了 Transformer可針對(duì)數(shù)據(jù)字段進(jìn)行處理Pre-Rule, 可設(shè)定在每一筆數(shù)據(jù)進(jìn)行轉(zhuǎn)換前進(jìn)行前置處理, 以獲得特定值放進(jìn)變量中提供給后續(xù)的轉(zhuǎn)換規(guī)則來(lái)處理Lookup, 可設(shè)定對(duì)照表對(duì)數(shù)據(jù)進(jìn)行查找比對(duì)的工作. 所查找的

16、數(shù)據(jù)來(lái)源可以是靜態(tài)定義或透過(guò) SQL 于執(zhí)行時(shí)期動(dòng)態(tài)產(chǎn)生Transform, 提供許多轉(zhuǎn)換規(guī)則函數(shù)對(duì)數(shù)據(jù)進(jìn)行處理，包括匯總函數(shù)，可以做匯總等操作Filter, 可設(shè)定過(guò)濾條件對(duì)數(shù)據(jù)進(jìn)行檢核來(lái)剔除掉不符合的數(shù)據(jù)2022/5/141Data Router 對(duì)數(shù)據(jù)進(jìn)行分流 Data Router可用來(lái)將數(shù)據(jù)進(jìn)行分流 透過(guò)設(shè)定分流過(guò)濾條件來(lái)決定數(shù)據(jù)的走向2022/5/142CDC Transformer 增量數(shù)據(jù)獲取提供CDC Transformer 來(lái)對(duì)數(shù)據(jù)進(jìn)行增量數(shù)據(jù)的比對(duì), 提供給其它的 Plug-in來(lái)作進(jìn)一步的應(yīng)用.經(jīng)過(guò)CDC處理過(guò)后的數(shù)據(jù)會(huì)加上一個(gè)字段用來(lái)標(biāo)示數(shù)據(jù)處理類型 I- Inser

17、t U- Update D- Delete來(lái)源數(shù)據(jù)無(wú)需Timestamp字段即可比較出有增量的數(shù)據(jù)來(lái)源數(shù)據(jù)必須要有Unique Key的定義才能執(zhí)行CDC比對(duì)可節(jié)省后續(xù)加載數(shù)據(jù)的工作時(shí)間2022/5/143Union 跨數(shù)據(jù)庫(kù)的整合器 提供數(shù)據(jù)整合中常用的跨數(shù)據(jù)庫(kù)系統(tǒng)的Union功能 跨數(shù)據(jù)庫(kù)系統(tǒng)包括文件系統(tǒng)，各種Trinity支持的數(shù)據(jù)庫(kù)系統(tǒng)2022/5/144Normlizer 行轉(zhuǎn)列 把寬表轉(zhuǎn)為縱表，提供范式化的工具2022/5/145Store Procedure 存儲(chǔ)過(guò)程 調(diào)用存儲(chǔ)過(guò)程，可以在job中應(yīng)用，獲取返回值，向后續(xù)組件傳遞參數(shù)2022/5/146Trinity SQL強(qiáng)化指

18、令 除了一般的SQL指令之外，Trinity SQL Executor提供了專屬的SQL強(qiáng)化功能，使在絕大部分?jǐn)?shù)據(jù)庫(kù)中都只能在存儲(chǔ)過(guò)程，函數(shù)中使用的邏輯判斷，流程控制，錯(cuò)誤控制，交易控制等功能在Trinity中實(shí)現(xiàn)2022/5/147External Command 調(diào)用外部命令External Command組件用于對(duì)perl，shell，sqlc等腳本進(jìn)行外部調(diào)用，也便于對(duì)外部的ETL工具進(jìn)行整合調(diào)度。抓取返回信息腳本信息顯示腳本可以使用trinity內(nèi)部變量（包括可以使用Trinity中的connection信息）2022/5/148批量作業(yè)維護(hù)外部作業(yè)及關(guān)系批量導(dǎo)入作業(yè)及關(guān)系維護(hù)模板定

19、制外部作業(yè)及關(guān)系批量導(dǎo)入對(duì)應(yīng)Perl，Shell，SQL等腳本導(dǎo)入大批量（幾千甚至近萬(wàn)）；每日維護(hù)交付用戶自己，需要一個(gè)模板及流程模板舉例刪除作業(yè)模板更改作業(yè)狀態(tài)關(guān)系模板JCS Command 命令行方式JCS Command用于Trinity被外部調(diào)用整合，比如Portal，或者客戶現(xiàn)有的平臺(tái)。2022/5/152WS Web Service服務(wù)用于外部調(diào)用，在外部Web程序中調(diào)用觸發(fā)Trinity的ETL Job2022/5/153MQ 實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)企業(yè)級(jí)的數(shù)據(jù)實(shí)時(shí)整合針對(duì)MDM和一些相關(guān)應(yīng)用，給出數(shù)據(jù)解決方案針對(duì)MQ工具，提供數(shù)據(jù)整合接口2022/5/154DM Job 1DM Job 2DM Job 3DIS MQServiceMQ Source 1MQ Source 1Queue 1Queue 2Queue 3XMLMessage和其他工具的比較（一）支持否部分支持支持支持支持支持支持否帶參數(shù)支