版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
Datastage控件使用指南MACROBUTTONAcceptChangesSelected目錄Datastage 11.引言 12.慣用Stage使用闡明 12.1.SequentialFileStage 12.2.Annotation 52.3.ColumnExportStage 72.4.ChangeCaptureStage 92.5.CopyStage 122.6.FilterStage 132.7.FunnelStage 142.8.TansformerStage 152.9.SortStage 172.10.LookUpStage 182.11.JoinStage 192.12.MergeStage 212.13.ModifyStage 222.14.DataSetStage 232.15.FileSetStage 252.16.LookupFileSetStage 272.17.OracleEnterpriseStage 302.18.AggregatorStage 332.19.RemoveDuplicatesStage 352.20.CompressStage 362.21.ExpandStage 382.22.DifferenceStage 402.23.CompareStage 432.24.SwitchStage 442.25.ColumnImportStage 463.DataStageManager使用 493.1.導入導出Job及其它組件 493.2.管理配備文獻 504.DataStageAdministrator慣用配備 514.1.設立TimeOut時間 514.2.設立Project的屬性 524.3.更新DataStageServer的License和本地Client的License 535.DataStageDirector使用 545.1.察看Job的狀態(tài),運行已經(jīng)編譯好的Job 545.2.將編譯好的Job加入計劃任務 575.3.監(jiān)控Job的運行狀況 58引言DataStageEE的開發(fā)重要由DataStageDesigner完畢?,F(xiàn)對慣用部分加以闡明,具體使用辦法請查閱在線協(xié)助文檔。慣用Stage使用闡明DataStage的基本邏輯解決單位是Job,每個Job由許多Stage構(gòu)成;由Stage來完畢對數(shù)據(jù)的抽取,轉(zhuǎn)換,加載等,現(xiàn)對慣用的Stage做闡明SequentialFileStage功效特點:合用于普通次序文獻(定長或不定長),可識別文本文獻或IBM大機ebcdic文獻。使用要點:按照命名規(guī)范命名點住文獻,雙擊鼠標,在general闡明此文獻內(nèi)容,格式,存儲目錄等修改文獻屬性,文獻名稱,reject方式等到修改文獻格式,例如統(tǒng)計結(jié)束符是什么,字段分隔符,字符串是用什么區(qū)別等輸入此文獻字段內(nèi)容Annotation功效特點:普通用于注釋,可運用其背景顏色在job中分顏色區(qū)別不同功效塊使用要點:ColumnExportStageStage類型:RestructureStage功效闡明:與ColumnImportStage相反,將多個類型不同的字段合并成一種string或者binary類型的字段。具體使用方法:StagePage:核心是properties的配備,選擇將哪些字段合并,合并后的新字段在Output下的column中直接定義。InputsPage:對輸入數(shù)據(jù)字段的描述,這里核心是Format的配備,決定合并后的字段的格式OupputsPage:對最后合并后的輸出數(shù)據(jù)字段的描述通過stage的前后數(shù)據(jù)的對比合并字段后:ChangeCaptureStage功效特點:ChangeCaptureStage有兩個輸入,分別標記為beforelink及afterlink。輸出的數(shù)據(jù)表達beforelink和afterlink的區(qū)別,我們稱作changeset。ChangeCaptureStage能夠和ChangeApplyStage配合使用來計算afterset。key及value的闡明key值是比較的核心值,value是當key值相似是作進一步比較用的。changemode選項闡明:Allkeys,ExplicitValues需要指定value,其它字段為keyExplicitKeys&Valueskey及value都需要指定ExplicitKeys,AllValues需要指定key,其它的字段為value輸出方略闡明DropOutputForCopyFalse:保存before及aftelink中key值相似的行True:刪除before及aftelink中key值相似的行DropOutputForDeleteFalse:保存beforelink中有但是afterlink中沒有的key值所在的行True:刪除beforelink中有但是aftelink中沒有的key值所在的行DropOutputForEditFalse:保存key值相似,value不同的行True:刪除key值相似,value不同的行DropOutputForInsertFalse:保存beforelink中沒有但aftelink中有的key值所在的行True:刪除beforelink中沒有但aftelink中有的key值所在的行CopyStage功效闡明:CopyStage能夠有一種輸入,多個輸出。它能夠在輸出時變化字段的次序,但是不能變化字段類型。注意:當只有一種輸入及一種輸出時最佳將Force設立為True,這樣能夠在Designer里看到運行結(jié)束,否則將無法標記運行結(jié)束,但不會影響運行成果數(shù)據(jù)。FilterStage功效闡明:FilterStage只有一種輸入,能夠有多個輸出。根據(jù)不同的篩選條件,能夠?qū)?shù)據(jù)輸出到不同的outputlink。FunnelStage功效闡明:將多個字段相似的數(shù)據(jù)文獻合并為一種單獨的文獻輸出合并方略闡明ContinuousFunnel:從每一種inputlink中循環(huán)取一條統(tǒng)計SortFunnel:按照Key值排序合并輸出Sequence:先輸出第一種inputlink的數(shù)據(jù),輸出完畢后再輸出第二個inputlink的數(shù)據(jù),依這類推,直到結(jié)束。(此時能夠通過調(diào)節(jié)linkOrdering調(diào)節(jié)輸出次序)TansformerStage功效闡明:一種功效極為強大的Stage。有一種inputlink,多個outputlink,能夠?qū)⒆侄芜M行轉(zhuǎn)換,也能夠通過條件來指定數(shù)據(jù)輸出到那個outputlink。在開發(fā)過程中能夠使用拖拽。Constraint及Derivation的區(qū)別Constraint通過限定條件使符合條件的數(shù)據(jù)輸出到這個outputlink。Derivation通過定義體現(xiàn)式來轉(zhuǎn)換字段值。在Constraint及Derivation中能夠使用Jobparameters及StageVariables。注意:TransformerStage功效強大,但在運行過程中是以犧牲速度為代價的。在只有簡樸的變換,拷貝等操作時,最佳用ModifyStage,CopyStage,F(xiàn)ilterStage等來替代TransformerStage。SortStage功效闡明:只能有一種輸入及一種輸出,按照指定的Key值進行排列。能夠選擇升序還是降序,與否去除重復的數(shù)據(jù)等等。Option具體闡明AllowDuplicates:與否去除重復數(shù)據(jù)。為False時,只選用一條數(shù)據(jù),當StableSort為True時,選用第一條數(shù)據(jù)。當SortUnility為UNIX時此選項無效。SortUtility:選擇排序時執(zhí)行應用程序,能夠選擇DataStage內(nèi)建的命令或者Unix的Sort命令OutputStatistics:與否輸出排序統(tǒng)計信息到job日志StableSort:與否對數(shù)據(jù)進行二次整頓CreateClusterKeyChangeColumn:與否為每條統(tǒng)計創(chuàng)立一種新的字段:clusterKeyChange。當SortKeyMode為Don’tSort(PreviouslySorted)或Don’tSort(PreviouslyGrouped)時,對于第一條統(tǒng)計該字段被設立為1,其它的統(tǒng)計設立為0。CreateKeyChangeColumn:與否為每一條統(tǒng)計創(chuàng)立一種新的字段KeyChange。LookUpStage功效闡明:LookUpStage把數(shù)據(jù)讀入內(nèi)存執(zhí)行查詢操作,將匹配的字段輸出,或者在在符合條件的統(tǒng)計中修改或加入新的字段。JoinStage功效闡明:將多個表連接后輸出LookUpStage和JoinStage的區(qū)別LookUpStage將數(shù)據(jù)讀入到內(nèi)存中,因此效率很高,但是占用了較多的物理內(nèi)存。因此當referencedata比較小的時候,我們推薦用LookUpStage;當referencedata比較大的時候,我們推薦用JoinStage。MergeStage功效闡明:將MergeKey值相似的統(tǒng)計合并。將其中的一種輸入設定為Master,其它的為Update。把Update中MergeKey相似的統(tǒng)計合并入Master。ModifyStage功效闡明:Modifystage只能有一種輸入及一種輸出,它能夠修改表構(gòu)造:刪除,保存一種字段;給字段改名;修改字段的數(shù)據(jù)類型。Specification的具體使用方法:刪除一種字段:DROPcolumnname[,columnname]保存一種字段: KEEPcolumnname[,columnname]變化字段:new_columnname[:new_type]=[explicit_conversion_function]old_columnname可用的explicit_conversion_function請參看《ParallelJobDeveloper’sGuide》7DataSetStageStage類型:Filestage功效闡明:從dataset文獻中讀取數(shù)據(jù)或者寫數(shù)據(jù)到dataset文獻中,一種DateSetStage只能有一種輸入連接(inputlink)或者一種輸出連接(outputlink)。具體使用方法:涉及StagePage,InputsPage,OutputsPageStagePage普通描述了stage的普通信息,諸如名稱等;InputsPage描述了即要寫入信息的dataset文獻的具體信息;重要是Properties和Column的定義Properties中配備了文獻的寄存途徑和更新方略Column具體定義文獻中的各個字段OutputsPage描述了讀取信息的dataset文獻的具體信息;操作過程與InputsPage類似。FileSetStageStage類型:Filestage功效闡明:從fileset文獻中讀取數(shù)據(jù)或者寫數(shù)據(jù)到fileset文獻中,一種FileSetStage只能有一種輸入連接(inputlink)、一種輸出連接(outputlink)和一種回絕連接(rejectslink)。并且只能在并行模式下執(zhí)行。具體使用方法:StagePage:對Stage的基本定義InputsPage:重要是Properties和Format的配備Properties的配備:定義文獻的存取途徑及其它讀寫的有關的參數(shù)。特別要闡明的是Options下的RejectMode的選擇,當stage有rejectlink的時候,必須選擇Output;沒有rejectlink時,可選擇其它兩個選項。Format的配備:定義了數(shù)據(jù)寫到文獻中的格式OutputsPage:對stage輸出的數(shù)據(jù)字段的描述,另外,rejectlink的輸出系統(tǒng)將默認,不需要顧客自己定義字段。LookupFileSetStageStage類型:Filestage功效闡明:為執(zhí)行查找操作而創(chuàng)立的參考文獻。作為查找的參考數(shù)據(jù),普通在參考數(shù)據(jù)比較大量或者重復使用率較高的狀況下,將參考數(shù)據(jù)生成專門的LookupFileSet文獻,方便提高查找的效率具體使用方法:StagePageInputsPage:重要定義了查找核心字和寄存途徑等重要信息創(chuàng)立一種LookupFileSet文獻:OutputsPage:當作為參考數(shù)據(jù)進行查找操作時,由于文獻是已經(jīng)生成好的,因此在這里不需要再做具體的定義,只要引入即可。OracleEnterpriseStageStage類型:DatabaseStage功效闡明:從Oracle數(shù)據(jù)庫中讀取數(shù)據(jù)或者寫數(shù)據(jù)到Oracle數(shù)據(jù)庫中。普通完畢的操作:使用INSERT或UPDATWE命令更新數(shù)據(jù)庫表裝入數(shù)據(jù)庫表讀取數(shù)據(jù)庫表從數(shù)據(jù)庫表中刪除行在庫表中直接執(zhí)行查詢操作將庫表裝入內(nèi)存,然后執(zhí)行查詢操作具體使用方法:InputsPage向數(shù)據(jù)庫中寫數(shù)據(jù),核心是對Properties的配備OutputsPage:與InputsPage類似,只是完畢的是從數(shù)據(jù)庫中讀取數(shù)據(jù)。AggregatorStageStage類型:ProcessingStage功效闡明:將輸入的數(shù)據(jù)分組,計算各組數(shù)據(jù)的總和或者按組進行其它的操作,最后將成果數(shù)據(jù)輸出到其它的stage。具體使用方法:StagePage:描述stage的普通信息以及字段的分組信息和選擇分組計算函數(shù)InputsPage:具體描述輸入數(shù)據(jù)信息,普通直接反映輸入數(shù)據(jù)字段信息OupputsPage:具體描述輸出數(shù)據(jù)信息,即通過分組計算后的數(shù)據(jù)字段信息RemoveDuplicatesStageStage類型:ProcessingStage功效闡明:輸入根據(jù)核心字分好類的有序數(shù)據(jù),去除全部統(tǒng)計中核心字重復的統(tǒng)計,普通與sortstage配合使用具體使用方法:StagePage:Properties中的key值與之前sortstage的分類key值相似InputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的描述CompressStageStage類型:ProcessingStage功效闡明:將dataset文獻壓縮成二進制文獻(與expenddatastage相對應)具體使用方法:StagePage運行成果InputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的描述ExpandStageStage類型:ProcessingStage功效闡明:將壓縮的二進制文獻解壓縮(解壓縮compressstage生成的壓縮文獻)具體使用方法:StagePage運行成果:InputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的描述DifferenceStageStage類型:ProcessingStage功效闡明:按字段比較兩個文獻,找出不同的統(tǒng)計。(兩個文獻before和after,以before為準,與after文獻中的統(tǒng)計進行比較,找出before在after文獻中沒有或者有的統(tǒng)計)具體使用方法:StagePage比較方略闡明DropOutputForCopyFalse:保存before及aftelink中key值相似的行True:刪除before及aftelink中key值相似的行DropOutputForDeleteFalse:保存beforelink中有但是aftelink中沒有的key值所在的行True:刪除beforelink中有但是aftelink中沒有的key值所在的行DropOutputForEditFalse:保存key值相似,value不同的行True:刪除key值相似,value不同的行DropOutputForInsertFalse:保存beforelink中沒有但aftelink中有的key值所在的行True:刪除beforelink中沒有但aftelink中有的key值所在的行調(diào)節(jié)before和after的次序:InputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的描述CompareStageStage類型:ProcessingStage功效闡明:按字段對比兩個已經(jīng)分類的有序的文獻具體使用方法:StagePageInputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的描述SwitchStageStage類型:ProcessingStage功效闡明:將文獻按照一定的條件(普通為字段的值)分割成多個子文獻。具體是將輸入的每一條統(tǒng)計按照各自符合的條件(核心字的值)分派到不同的輸出(SwitchStage有一種inputlink和多個outputlink,一種rejectlink,outputlink最多可達128個;此功效很類似與C函數(shù)中的switch函數(shù))。具體使用方法:StagePage定義分派統(tǒng)計的核心字及其值InputsPage:對輸入數(shù)據(jù)字段的描述OupputsPage:對輸出數(shù)據(jù)字段的
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年繁華商圈店鋪租賃合同3篇
- 2024年跨國保險業(yè)務分銷合同
- 2024年版:項目合作風險共擔協(xié)議
- 2024黃山旅游紀念品設計合同
- 2025年度大理石石材進出口貿(mào)易承包合同規(guī)范3篇
- 2024藝術品代理銷售與藝術品展覽策劃合同3篇
- 2024蔬菜產(chǎn)地直供與電商平臺合作意向協(xié)議書3篇
- 2025年度物業(yè)費收取與調(diào)整協(xié)議3篇
- 2024甲乙雙方共建智慧城市戰(zhàn)略合作合同
- 西南大學《特殊兒童運動康復》2023-2024學年第一學期期末試卷
- 2025年中聯(lián)重科公司發(fā)展戰(zhàn)略和經(jīng)營計劃
- Unit8 Chinese New Year 第一課時(說課稿)-2024-2025學年譯林版(三起)英語六年級上冊
- 半結(jié)構(gòu)化面試題100題
- 服裝廠班組長培訓
- 2024-2030年中國鋼結(jié)構(gòu)行業(yè)發(fā)展需求及投資規(guī)劃分析報告版
- 廣東省公立醫(yī)療機構(gòu)基本醫(yī)療服務價格項目修訂表
- 《激光原理及應用》全套課件
- 2022年河南省公務員錄用考試《行測》真題及答案解析
- 北京市海淀區(qū)2023-2024學年高三上學期期末考試+歷史 含答案
- 急診心律失常的治療
- 2024ESC心房顫動管理指南解讀
評論
0/150
提交評論