數(shù)據(jù)抽取操作實(shí)例(ETLDataStage)

1、ETL操作實(shí)例1、建立項(xiàng)目1.1、建項(xiàng)目在下建立項(xiàng)目 “NWSJJH”,該項(xiàng)目用于全部的內(nèi)外網(wǎng)的數(shù)據(jù)，（若存在則不用建立）。1.2、設(shè)置全項(xiàng)目參數(shù)過(guò)程為：項(xiàng)目à屬性à環(huán)境à用戶(hù)定義，設(shè)置對(duì)應(yīng)參數(shù)。將公示系統(tǒng)（xxgsxt）數(shù)據(jù)庫(kù)作為SID參數(shù)設(shè)置步驟1：在選中項(xiàng)目界面點(diǎn)擊屬性步驟2：點(diǎn)擊環(huán)境(V) 步驟3：點(diǎn)擊用戶(hù)定義步驟4：設(shè)置對(duì)應(yīng)參數(shù)名稱(chēng)：DB_XXGSDB_NAME（參照對(duì)應(yīng)命名規(guī)則）類(lèi)型：選擇字符串提示：公示系統(tǒng)SID值 ：xxgsdb（服務(wù)器配置的數(shù)據(jù)庫(kù)sid名稱(chēng)）配置完成后點(diǎn)擊確定保存2、設(shè)計(jì)打開(kāi)輸入用戶(hù)名登錄,打開(kāi)一個(gè)空白并行job2.1、設(shè)置參數(shù)2

2、.1.1、設(shè)置該job參數(shù)步驟1：點(diǎn)擊工具蘭上作業(yè)屬性，打開(kāi)作業(yè)屬性界面步驟2：點(diǎn)擊作業(yè)屬性界面上 參數(shù)P 步驟3：在編輯地方配置參數(shù)，參數(shù)配置好后，點(diǎn)擊確定保存。在開(kāi)發(fā)過(guò)程中，也可以再補(bǔ)充加入?yún)?shù)設(shè)置步驟3.1：若在參數(shù)中用到全項(xiàng)目參數(shù)，點(diǎn)擊作業(yè)屬性上，引入全項(xiàng)目參數(shù)步驟3.2：選擇配置好的全項(xiàng)目參數(shù)，單擊即可加入全項(xiàng)目參數(shù)名以美元$符號(hào)開(kāi)頭。步驟3.3：若參數(shù)添加或者書(shū)寫(xiě)錯(cuò)誤，選擇對(duì)應(yīng)參數(shù)，點(diǎn)擊右鍵，選擇刪除行，即可刪除該參數(shù)備注:全項(xiàng)目參數(shù)在 作業(yè)屬性界面 不可更改參數(shù)設(shè)置完成后，在job中就可以使用2.1.2、設(shè)置參數(shù)集 參數(shù)集設(shè)置，使作業(yè)屬性界面看起來(lái)更加簡(jiǎn)潔步驟1：將要設(shè)置為參數(shù)集

3、的SID、用戶(hù)、密碼選中，點(diǎn)擊進(jìn)入?yún)?shù)集配置界面步驟2：在參數(shù)集界面常規(guī)頁(yè)面上，填寫(xiě)參數(shù)集名稱(chēng)、簡(jiǎn)短描述，詳細(xì)描述，填寫(xiě)完成后點(diǎn)擊，配置參數(shù)集步驟3：設(shè)置參數(shù)集中參數(shù)在步驟1中選中的三個(gè)參數(shù)顯示到界面中，修改參數(shù)名稱(chēng)點(diǎn)擊確定保存步驟4：選擇保存參數(shù)集位置將保存位置選擇為：Table DefinitionsDatabaseDistributed Transaction 保存即可2.1.3、添加參數(shù)集步驟1：在作業(yè)屬性，參數(shù)界面點(diǎn)擊步驟2：在彈出界面中選擇要添加的參數(shù)集，點(diǎn)擊確定在作業(yè)屬性，參數(shù)界面可以看到加入的參數(shù)集2.2、設(shè)計(jì)job2.2.1、導(dǎo)入表定義步驟1：在項(xiàng)目下建文件夾取名表定義步驟2

4、：選中表定義à右鍵導(dǎo)入表定義à點(diǎn)擊啟動(dòng)連接導(dǎo)入向?qū)Р襟E3：選擇數(shù)據(jù)庫(kù)類(lèi)型，點(diǎn)擊步驟4：選擇數(shù)據(jù)庫(kù)，輸入用戶(hù)名、密碼，點(diǎn)擊步驟5：選擇數(shù)據(jù)庫(kù)所在位置、名稱(chēng)，點(diǎn)擊步驟6：對(duì)表、視圖等進(jìn)行選擇，本次選擇表，點(diǎn)擊步驟7：選擇要導(dǎo)入的表（按Shit可以多選），點(diǎn)擊下一步步驟8：選擇表，點(diǎn)擊導(dǎo)入步驟9：選擇表定義存放位置，點(diǎn)擊確定完成。存放結(jié)果如下：2.2.2、設(shè)計(jì)作業(yè)步驟1：在打開(kāi)的job中拖入sql server 、oracle數(shù)據(jù)源的stageSql server stage為：ODBC_Connector Oracle stage 為：Oracle_Connector 數(shù)據(jù)處理

5、 stage：Copy 選中一個(gè)stage右鍵拖拉一條線到令一個(gè)stage，將導(dǎo)數(shù)據(jù)流向連接起來(lái)步驟2：選擇sql server odbc_connector數(shù)據(jù)源stage進(jìn)行配置，默認(rèn)屬性界面該界面配置數(shù)據(jù)庫(kù)SID、用戶(hù)名、密碼以及表或者sql語(yǔ)句· 提示為必填項(xiàng)，填寫(xiě)方式有三種步驟3：配置SID、用戶(hù)、密碼（3種方式）方式1：點(diǎn)擊選擇數(shù)據(jù)庫(kù)，點(diǎn)擊確定在Username、Password項(xiàng)手動(dòng)輸入用戶(hù)名密碼方式2：點(diǎn)擊來(lái)選擇配置好的參數(shù)（可以選擇定義好的參數(shù)集）方式3：點(diǎn)擊 “裝入”，直接導(dǎo)入保存好的數(shù)據(jù)連接配置好后點(diǎn)擊測(cè)試，可查看是否連接成功。步驟4:配置表或者sqlGener

6、ate SQL 選擇“是”時(shí)，Table name* 位置寫(xiě)入表明。Generate SQL 選擇“否”時(shí)，Select statement *位置寫(xiě)入sql語(yǔ)句。步驟5：點(diǎn)擊“列(C)”裝入列字段點(diǎn)擊裝入， 在彈出頁(yè)面中選擇對(duì)應(yīng)表，點(diǎn)擊確定選擇對(duì)應(yīng)的列，點(diǎn)擊確定列裝入后，點(diǎn)擊確定。Odbc_connector配置完成重復(fù)步驟2到步驟5完成 oracle_connector配置步驟6：點(diǎn)擊copy stage可以查看輸入輸出列步驟7：點(diǎn)擊“輸出”>“映射”可以手動(dòng)拖動(dòng)、左邊列內(nèi)容放入右邊進(jìn)行映射也可以點(diǎn)擊“自動(dòng)匹配”進(jìn)行映射根據(jù)需要選擇對(duì)應(yīng)的匹配方法，選擇好后點(diǎn)擊確定，完成點(diǎn)擊確定，完成整個(gè)job的設(shè)計(jì)2.2.3、作業(yè)編譯及運(yùn)行設(shè)計(jì)完成一個(gè)job保存