Datastage控件使用指南

Datastage控件使用指南MACROBUTTONAcceptChangesSelected目錄Datastage 11.引言 12.常用Stage使用闡明 12.1.SequentialFileStage 12.2.Annotation 52.3.ColumnExportStage 72.4.ChangeCaptureStage 92.5.CopyStage 122.6.FilterStage 132.7.FunnelStage 142.8.TansformerStage 152.9.SortStage 172.10.LookUpStage 182.11.JoinStage 192.12.MergeStage 212.13.ModifyStage 222.14.DataSetStage 232.15.FileSetStage 252.16.LookupFileSetStage 272.17.OracleEnterpriseStage 302.18.AggregatorStage 332.19.RemoveDuplicatesStage 352.20.CompressStage 362.21.ExpandStage 382.22.DifferenceStage 402.23.CompareStage 432.24.SwitchStage 442.25.ColumnImportStage 463.DataStageManager使用 493.1.導入導出Job及其他組件 493.2.管理配置文獻 504.DataStageAdministrator常用配置 514.1.設置TimeOut時間 514.2.設置Project的屬性 524.3.更新DataStageServer的License和當?shù)谻lient的License 535.DataStageDirector使用 545.1.察看Job的狀態(tài)，運行已經(jīng)編譯好的Job 545.2.將編譯好的Job加入計劃任務 575.3.監(jiān)控Job的運行狀況 58引言DataStageEE的開發(fā)重要由DataStageDesigner完畢。現(xiàn)對常用部分加以闡明，詳細使用措施請查閱在線協(xié)助文檔。常用Stage使用闡明DataStage的基本邏輯處理單位是Job，每個Job由許多Stage構成；由Stage來完畢對數(shù)據(jù)的抽取，轉(zhuǎn)換，加載等，現(xiàn)對常用的Stage做闡明SequentialFileStage功能特點：合用于一般次序文獻（定長或不定長），可識別文本文獻或IBM大機ebcdic文獻。使用要點：按照命名規(guī)范命名點住文獻，雙擊鼠標，在general闡明此文獻內(nèi)容，格式，存儲目錄等修改文獻屬性，文獻名稱，reject方式等到修改文獻格式，例如記錄結束符是什么，字段分隔符，字符串是用什么區(qū)別等輸入此文獻字段內(nèi)容Annotation功能特點：一般用于注釋，可運用其背景顏色在job中分顏色區(qū)別不一樣功能塊使用要點：ColumnExportStageStage類型：RestructureStage功能闡明：與ColumnImportStage相反，將多種類型不一樣的字段合并成一種string或者binary類型的字段。詳細使用方法：StagePage：關鍵是properties的配置，選擇將哪些字段合并，合并后的新字段在Output下的column中直接定義。InputsPage：對輸入數(shù)據(jù)字段的描述，這里關鍵是Format的配置，決定合并后的字段的格式OupputsPage：對最終合并后的輸出數(shù)據(jù)字段的描述通過stage的前后數(shù)據(jù)的對比合并字段后：ChangeCaptureStage功能特點：ChangeCaptureStage有兩個輸入，分別標識為beforelink及afterlink。輸出的數(shù)據(jù)表達beforelink和afterlink的區(qū)別，我們稱作changeset。ChangeCaptureStage可以和ChangeApplyStage配合使用來計算afterset。key及value的闡明key值是比較的關鍵值，value是當key值相似是作深入比較用的。changemode選項闡明：Allkeys，ExplicitValues需要指定value，其他字段為keyExplicitKeys&Valueskey及value都需要指定ExplicitKeys，AllValues需要指定key，其他的字段為value輸出方略闡明DropOutputForCopyFalse：保留before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保留beforelink中有不過afterlink中沒有的key值所在的行True：刪除beforelink中有不過aftelink中沒有的key值所在的行DropOutputForEditFalse：保留key值相似,value不一樣的行True：刪除key值相似,value不一樣的行DropOutputForInsertFalse：保留beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行CopyStage功能闡明：CopyStage可以有一種輸入，多種輸出。它可以在輸出時變化字段的次序，不過不能變化字段類型。注意：當只有一種輸入及一種輸出時最佳將Force設置為True，這樣可以在Designer里看到運行結束，否則將無法標識運行結束，但不會影響運行成果數(shù)據(jù)。FilterStage功能闡明：FilterStage只有一種輸入，可以有多種輸出。根據(jù)不一樣的篩選條件，可以將數(shù)據(jù)輸出到不一樣的outputlink。FunnelStage功能闡明：將多種字段相似的數(shù)據(jù)文獻合并為一種單獨的文獻輸出合并方略闡明ContinuousFunnel：從每一種inputlink中循環(huán)取一條記錄SortFunnel：按照Key值排序合并輸出Sequence：先輸出第一種inputlink的數(shù)據(jù)，輸出完畢后再輸出第二個inputlink的數(shù)據(jù)，依此類推，直到結束。(此時可以通過調(diào)整linkOrdering調(diào)整輸出次序)TansformerStage功能闡明：一種功能極為強大的Stage。有一種inputlink，多種outputlink，可以將字段進行轉(zhuǎn)換，也可以通過條件來指定數(shù)據(jù)輸出到那個outputlink。在開發(fā)過程中可以使用拖拽。Constraint及Derivation的區(qū)別Constraint通過限定條件使符合條件的數(shù)據(jù)輸出到這個outputlink。Derivation通過定義體現(xiàn)式來轉(zhuǎn)換字段值。在Constraint及Derivation中可以使用Jobparameters及StageVariables。注意：TransformerStage功能強大，但在運行過程中是以犧牲速度為代價的。在只有簡樸的變換，拷貝等操作時，最佳用ModifyStage，CopyStage，F(xiàn)ilterStage等來替代TransformerStage。SortStage功能闡明：只能有一種輸入及一種輸出，按照指定的Key值進行排列?？梢赃x擇升序還是降序，與否清除反復的數(shù)據(jù)等等。Option詳細闡明AllowDuplicates：與否清除反復數(shù)據(jù)。為False時，只選用一條數(shù)據(jù)，當StableSort為True時，選用第一條數(shù)據(jù)。當SortUnility為UNIX時此選項無效。SortUtility：選擇排序時執(zhí)行應用程序，可以選擇DataStage內(nèi)建的命令或者Unix的Sort命令OutputStatistics：與否輸出排序記錄信息到job日志StableSort：與否對數(shù)據(jù)進行二次整頓CreateClusterKeyChangeColumn：與否為每條記錄創(chuàng)立一種新的字段：clusterKeyChange。當SortKeyMode為Don’tSort(PreviouslySorted)或Don’tSort(PreviouslyGrouped)時，對于第一條記錄該字段被設置為1，其他的記錄設置為0。CreateKeyChangeColumn：與否為每一條記錄創(chuàng)立一種新的字段KeyChange。LookUpStage功能闡明：LookUpStage把數(shù)據(jù)讀入內(nèi)存執(zhí)行查詢操作，將匹配的字段輸出，或者在在符合條件的記錄中修改或加入新的字段。JoinStage功能闡明：將多種表連接后輸出LookUpStage和JoinStage的區(qū)別LookUpStage將數(shù)據(jù)讀入到內(nèi)存中，因此效率很高，不過占用了較多的物理內(nèi)存。因此當referencedata比較小的時候，我們推薦用LookUpStage；當referencedata比較大的時候，我們推薦用JoinStage。MergeStage功能闡明：將MergeKey值相似的記錄合并。將其中的一種輸入設定為Master，其他的為Update。把Update中MergeKey相似的記錄合并入Master。ModifyStage功能闡明：Modifystage只能有一種輸入及一種輸出，它可以修改表構造：刪除，保留一種字段；給字段更名；修改字段的數(shù)據(jù)類型。Specification的詳細使用方法：刪除一種字段：DROPcolumnname[,columnname]保留一種字段： KEEPcolumnname[,columnname]變化字段：new_columnname[:new_type]=[explicit_conversion_function]old_columnname可用的explicit_conversion_function請參看《ParallelJobDeveloper’sGuide》7DataSetStageStage類型：Filestage功能闡明：從dataset文獻中讀取數(shù)據(jù)或者寫數(shù)據(jù)到dataset文獻中，一種DateSetStage只能有一種輸入連接（inputlink）或者一種輸出連接（outputlink）。詳細使用方法：包括StagePage，InputsPage，OutputsPageStagePage一般描述了stage的一般信息，諸如名稱等；InputsPage描述了即要寫入信息的dataset文獻的詳細信息；重要是Properties和Column的定義Properties中配置了文獻的寄存途徑和更新方略Column詳細定義文獻中的各個字段OutputsPage描述了讀取信息的dataset文獻的詳細信息；操作過程與InputsPage類似。FileSetStageStage類型：Filestage功能闡明：從fileset文獻中讀取數(shù)據(jù)或者寫數(shù)據(jù)到fileset文獻中，一種FileSetStage只能有一種輸入連接（inputlink）、一種輸出連接（outputlink）和一種拒絕連接（rejectslink）。并且只能在并行模式下執(zhí)行。詳細使用方法：StagePage：對Stage的基本定義InputsPage：重要是Properties和Format的配置Properties的配置：定義文獻的存取途徑及其他讀寫的有關的參數(shù)。尤其要闡明的是Options下的RejectMode的選擇，當stage有rejectlink的時候，必須選擇Output；沒有rejectlink時，可選擇其他兩個選項。Format的配置：定義了數(shù)據(jù)寫到文獻中的格式OutputsPage：對stage輸出的數(shù)據(jù)字段的描述，此外，rejectlink的輸出系統(tǒng)將默認，不需要顧客自己定義字段。LookupFileSetStageStage類型：Filestage功能闡明：為執(zhí)行查找操作而創(chuàng)立的參照文獻。作為查找的參照數(shù)據(jù)，一般在參照數(shù)據(jù)比較大量或者反復使用率較高的狀況下，將參照數(shù)據(jù)生成專門的LookupFileSet文獻，以便提高查找的效率詳細使用方法：StagePageInputsPage：重要定義了查找關鍵字和寄存途徑等重要信息創(chuàng)立一種LookupFileSet文獻：OutputsPage：當作為參照數(shù)據(jù)進行查找操作時，由于文獻是已經(jīng)生成好的，因此在這里不需要再做詳細的定義，只要引入即可。OracleEnterpriseStageStage類型：DatabaseStage功能闡明：從Oracle數(shù)據(jù)庫中讀取數(shù)據(jù)或者寫數(shù)據(jù)到Oracle數(shù)據(jù)庫中。一般完畢的操作：使用INSERT或UPDATWE命令更新數(shù)據(jù)庫表裝入數(shù)據(jù)庫表讀取數(shù)據(jù)庫表從數(shù)據(jù)庫表中刪除行在庫表中直接執(zhí)行查詢操作將庫表裝入內(nèi)存，然后執(zhí)行查詢操作詳細使用方法：InputsPage向數(shù)據(jù)庫中寫數(shù)據(jù)，關鍵是對Properties的配置OutputsPage：與InputsPage類似，只是完畢的是從數(shù)據(jù)庫中讀取數(shù)據(jù)。AggregatorStageStage類型：ProcessingStage功能闡明：將輸入的數(shù)據(jù)分組，計算各組數(shù)據(jù)的總和或者按組進行其他的操作，最終將成果數(shù)據(jù)輸出到其他的stage。詳細使用方法：StagePage：描述stage的一般信息以及字段的分組信息和選擇分組計算函數(shù)InputsPage：詳細描述輸入數(shù)據(jù)信息，一般直接反應輸入數(shù)據(jù)字段信息OupputsPage：詳細描述輸出數(shù)據(jù)信息，即通過度組計算后的數(shù)據(jù)字段信息RemoveDuplicatesStageStage類型：ProcessingStage功能闡明：輸入根據(jù)關鍵字分好類的有序數(shù)據(jù)，清除所有記錄中關鍵字反復的記錄，一般與sortstage配合使用詳細使用方法：StagePage：Properties中的key值與之前sortstage的分類key值相似InputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段的描述CompressStageStage類型：ProcessingStage功能闡明：將dataset文獻壓縮成二進制文獻（與expenddatastage相對應）詳細使用方法：StagePage運行成果InputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段的描述ExpandStageStage類型：ProcessingStage功能闡明：將壓縮的二進制文獻解壓縮（解壓縮compressstage生成的壓縮文獻）詳細使用方法：StagePage運行成果：InputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段的描述DifferenceStageStage類型：ProcessingStage功能闡明：按字段比較兩個文獻，找出不一樣的記錄。（兩個文獻before和after，以before為準，與after文獻中的記錄進行比較，找出before在after文獻中沒有或者有的記錄）詳細使用方法：StagePage比較方略闡明DropOutputForCopyFalse：保留before及aftelink中key值相似的行True：刪除before及aftelink中key值相似的行DropOutputForDeleteFalse：保留beforelink中有不過aftelink中沒有的key值所在的行True：刪除beforelink中有不過aftelink中沒有的key值所在的行DropOutputForEditFalse：保留key值相似,value不一樣的行True：刪除key值相似,value不一樣的行DropOutputForInsertFalse：保留beforelink中沒有但aftelink中有的key值所在的行True：刪除beforelink中沒有但aftelink中有的key值所在的行調(diào)整before和after的次序：InputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段的描述CompareStageStage類型：ProcessingStage功能闡明：按字段對比兩個已經(jīng)分類的有序的文獻詳細使用方法：StagePageInputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段的描述SwitchStageStage類型：ProcessingStage功能闡明：將文獻按照一定的條件（一般為字段的值）分割成多種子文獻。詳細是將輸入的每一條記錄按照各自符合的條件（關鍵字的值）分派到不一樣的輸出（SwitchStage有一種inputlink和多種outputlink，一種rejectlink，outputlink最多可達128個；此功能很類似與C函數(shù)中的switch函數(shù)）。詳細使用方法：StagePage定義分派記錄的關鍵字及其值InputsPage：對輸入數(shù)據(jù)字段的描述OupputsPage：對輸出數(shù)據(jù)字段