DataService操作技巧介紹材料

,.DataServices培訓(xùn)總結(jié)-操作手冊目錄一、DS簡介 2二、DS數(shù)據(jù)加載方式 2三、DS進(jìn)行數(shù)據(jù)抽取模型開發(fā)的基本過程 3四、DS創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)存儲(chǔ) 31、Oracle數(shù)據(jù)庫作為數(shù)據(jù)源系統(tǒng) 32、ECC作為數(shù)據(jù)源系統(tǒng) 43、HANA數(shù)據(jù)庫作為目標(biāo)系統(tǒng) 5五、全量加載過程 51、創(chuàng)建Project和Job 52、導(dǎo)入源表的元數(shù)據(jù)到資源庫 63、創(chuàng)建DataFlow 64、設(shè)置源表和目標(biāo)表 75、手工執(zhí)行Job 7六、基于表比較的增量加載 81、在Job下定義工作流 82、在工作流中定義數(shù)據(jù)流 83、加入Table_Comparison控件 9感謝閱讀4、設(shè)置Table_Comparison控件 9謝謝閱讀七、基于時(shí)間戳的增量加載 101、在Job下定義工作流 102、定義Script控件 103、定義處理新增數(shù)據(jù)的數(shù)據(jù)流和處理更新數(shù)據(jù)的數(shù)據(jù)流 11精品文檔放心下載八、DS中常用控件介紹 131、Key_Generation 132、Case 133、Merge 144、Validation 155、設(shè)置過濾器和斷點(diǎn) 15九、定義Job定期執(zhí)行 161、登錄DataServicesManagementConsole 16精品文檔放心下載2、定義BatchJobSchedules 17謝謝閱讀十、其他注意事項(xiàng) 18,.一、DS簡介SAPBusinessObjectsDataServices是通過SAPHANA認(rèn)證的ETL工具。采用數(shù)據(jù)批量處理的方式，定期執(zhí)行后臺(tái)作業(yè)，將數(shù)據(jù)從多個(gè)業(yè)務(wù)系統(tǒng)中抽取出來，并進(jìn)行必要的處理（轉(zhuǎn)換，合并，過濾，清洗），然后再加載到HANA數(shù)據(jù)庫中。DS的組件之間的關(guān)系：精品文檔放心下載ManagementConsol：管理控制臺(tái)是網(wǎng)頁版DS管理工具，可以進(jìn)行一些系統(tǒng)配置和定義Job執(zhí)行謝謝閱讀Designer：Designer是一個(gè)具有易于使用的圖形用戶界面的開發(fā)工具。它允許開發(fā)人員定義包括數(shù)據(jù)映射，轉(zhuǎn)換和控制邏輯的數(shù)據(jù)管理應(yīng)用程序，創(chuàng)建包含工作流（作業(yè)執(zhí)行定義）和數(shù)據(jù)流（數(shù)據(jù)轉(zhuǎn)換定義）的應(yīng)用程序精品文檔放心下載Repository：應(yīng)用程序設(shè)計(jì)器使用的本地資源庫用來存儲(chǔ)DataServices對象（如項(xiàng)目，作業(yè)，工作流，和數(shù)據(jù)流）的定義和源和目標(biāo)的元數(shù)據(jù)感謝閱讀Jobserver：作業(yè)服務(wù)器啟動(dòng)數(shù)據(jù)移動(dòng)的從多個(gè)不同種類的源集成數(shù)據(jù)的引擎，執(zhí)行復(fù)雜的數(shù)據(jù)轉(zhuǎn)換，并管理從ERP系統(tǒng)和其他源的抽取和事務(wù)精品文檔放心下載二、DS數(shù)據(jù)加載方式全量加載增量上載基于表比較作業(yè)在執(zhí)行時(shí)讀取數(shù)據(jù)源和目標(biāo)中的全部數(shù)據(jù)，在服務(wù)器的內(nèi)存中進(jìn)行比較，計(jì)算數(shù)據(jù)謝謝閱讀差異,.時(shí)間戳增量需要在數(shù)據(jù)源中添加時(shí)間戳字段，一般為創(chuàng)建時(shí)間和最后修改時(shí)間，在抽取作業(yè)中定義感謝閱讀對兩個(gè)時(shí)間戳字段進(jìn)行對比，符合條件的創(chuàng)建時(shí)間條目進(jìn)行插入，符合條件的修改時(shí)間條目進(jìn)行更新謝謝閱讀c) 利用數(shù)據(jù)庫CDC（changeddatacapture）感謝閱讀首先需要開啟數(shù)據(jù)庫的CDC服務(wù)，為數(shù)據(jù)庫實(shí)例啟用CDC功能，為源表啟用CDC功能。在這種模式下，DS的增量更新不再直接訪問源表，而是在與源表相關(guān)的變更記錄表中讀取增量謝謝閱讀三、DS進(jìn)行數(shù)據(jù)抽取模型開發(fā)的基本過程為數(shù)據(jù)源創(chuàng)建數(shù)據(jù)存儲(chǔ)導(dǎo)入源表的元數(shù)據(jù)到資源庫為SAPHANA目標(biāo)系統(tǒng)創(chuàng)建數(shù)據(jù)存儲(chǔ)新建DS項(xiàng)目和批量作業(yè)新建DS數(shù)據(jù)流：定義源表和目標(biāo)表，定義變量、編輯Query和Map_CDC_Operation精品文檔放心下載執(zhí)行批量作業(yè)四、DS創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)存儲(chǔ)1、Oracle數(shù)據(jù)庫作為數(shù)據(jù)源系統(tǒng)登錄DataServicesDesigner，在本地對象庫的數(shù)據(jù)存儲(chǔ)頁簽中單擊鼠標(biāo)右鍵，選擇新建菜單感謝閱讀,.創(chuàng)建數(shù)據(jù)存儲(chǔ)“EAM_TEST”，在彈出的對話框中輸入EAM數(shù)據(jù)庫的連接信息精品文檔放心下載2、ECC作為數(shù)據(jù)源系統(tǒng)同樣在創(chuàng)建DataStore時(shí)，輸入ECC的連接信息感謝閱讀,.3、HANA數(shù)據(jù)庫作為目標(biāo)系統(tǒng)在創(chuàng)建DataStore時(shí)，輸入HANA數(shù)據(jù)庫的連接信息感謝閱讀五、全量加載過程1、創(chuàng)建Project和Job在本地對象庫的project頁簽中單擊鼠標(biāo)右鍵，選擇新建菜單，創(chuàng)建項(xiàng)目“ERP_DS”。雙擊該項(xiàng)目，在“ProjectArea”，可以在該項(xiàng)目下創(chuàng)建Job精品文檔放心下載,.2、導(dǎo)入源表的元數(shù)據(jù)到資源庫在本地對象庫的數(shù)據(jù)存儲(chǔ)頁簽中，選擇源系統(tǒng)的數(shù)據(jù)存儲(chǔ)，單擊鼠標(biāo)郵件，選擇“ImportByName”，輸入需要導(dǎo)入到資源庫的表名稱。導(dǎo)入成功后，在數(shù)據(jù)存儲(chǔ)的table目錄下可以看到導(dǎo)入的表謝謝閱讀3、創(chuàng)建DataFlow單擊“General”Job，在右邊空白區(qū)域單擊鼠標(biāo)郵件，選擇“AddNew”-“DataFlow”感謝閱讀,.4、設(shè)置源表和目標(biāo)表單擊創(chuàng)建的DataFlow，將需要導(dǎo)入到HANA數(shù)據(jù)庫中的源表拖入到DataFlow區(qū)域中，將DataFlow區(qū)域右側(cè)的工具條中的模版表拖入DataFlow區(qū)域創(chuàng)建模版表謝謝閱讀輸入模版表名稱、HANA目標(biāo)系統(tǒng)的數(shù)據(jù)存儲(chǔ)、HANA數(shù)據(jù)庫存放DS抽取數(shù)據(jù)表的用戶名。連接源表和目標(biāo)表謝謝閱讀雙擊模版表，設(shè)置“Options”中的“UseNVARCHARforVARCHAR”感謝閱讀5、手工執(zhí)行Job選擇Job，單擊鼠標(biāo)右鍵，選擇“Execute”,.執(zhí)行成功之后，在HANA數(shù)據(jù)庫中的ERPDSUSER下可以看到“T161T”，可以查看數(shù)據(jù)表的內(nèi)容。執(zhí)行過程信息和結(jié)果可以在監(jiān)控器中查看。感謝閱讀六、基于表比較的增量加載1、在Job下定義工作流2、在工作流中定義數(shù)據(jù)流在數(shù)據(jù)流中定義源表和模版表，執(zhí)行Job，執(zhí)行成功之后，在目標(biāo)系統(tǒng)數(shù)據(jù)存儲(chǔ)的TemplateTable目錄下可以看到創(chuàng)建的模版表感謝閱讀,.3、加入Table_Comparison控件選擇模版表，單擊鼠標(biāo)郵件，選擇“ImportTable”。模版表會(huì)更新為Tables目錄下的數(shù)據(jù)表。通過將轉(zhuǎn)換-數(shù)據(jù)集成中的“Table_Comparison”控件拖入到數(shù)據(jù)流中的方式添加“Table_Comparison”控件謝謝閱讀將源表連接“Table_Comparison”控件，“Table_Comparison”控件連接目標(biāo)表。感謝閱讀4、設(shè)置Table_Comparison控件雙擊“Table_Comparison”控件，設(shè)置相關(guān)參數(shù)：比較的目標(biāo)表、表的主鍵，需要比較的字段。當(dāng)需要比較的字段為空時(shí)，會(huì)比較所有字段。建議按照需要填寫需要比較的字段，可以加快處理速度。保存后執(zhí)行Job。謝謝閱讀,.七、基于時(shí)間戳的增量加載1、在Job下定義工作流在工作流中定義Script控件，讀取數(shù)據(jù)抽取后最新的創(chuàng)建時(shí)間和更改時(shí)間，定義一個(gè)處理新增數(shù)據(jù)的數(shù)據(jù)流和一個(gè)處理更新數(shù)據(jù)的數(shù)據(jù)流精品文檔放心下載2、定義Script控件Script控件中需要使用變量存放讀取的最新的創(chuàng)建時(shí)間和最新的更改時(shí)間。選擇Job，在工具欄選擇“Variables”按鈕，創(chuàng)建全局變量感謝閱讀,.雙擊“Script”控件，編寫SQL語句，從HANA數(shù)據(jù)庫表中讀取最新的創(chuàng)建時(shí)間和更改時(shí)間感謝閱讀3、定義處理新增數(shù)據(jù)的數(shù)據(jù)流和處理更新數(shù)據(jù)的數(shù)據(jù)流雙擊“EBAN_New”數(shù)據(jù)流，加載源表，Query，Map_CDC_Operation控件和目標(biāo)表謝謝閱讀雙擊Query，在輸出字段中增加“Sequence”和“Operation”兩個(gè)字段?！癝equence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation”賦值為‘I’精品文檔放心下載,.Quey中設(shè)置Where條件雙擊Map_CDC_Operation控件，設(shè)置CDCColumns精品文檔放心下載同樣的方式定義“EBAN_Upd”數(shù)據(jù)流，在Query的where條件中定義為謝謝閱讀Query的數(shù)據(jù)結(jié)果中增加“Sequence”和“Operation”兩個(gè)字段?！癝equence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation”賦值為‘U’感謝閱讀保存后，執(zhí)行Job?？梢酝ㄟ^修改源系統(tǒng)數(shù)據(jù)測試基于時(shí)間戳的增量加載。感謝閱讀,.八、DS中常用控件介紹1、Key_Generation在源表基礎(chǔ)上為目標(biāo)表重新生成主鍵在Query中增加“ID”字段，賦值為0。在Key_Generation控件中設(shè)置目標(biāo)表、主鍵字段、主鍵值增加量感謝閱讀2、Case將源表根據(jù)規(guī)則進(jìn)行拆分雙擊Case控件，設(shè)置拆分條件,.SOURCE=1時(shí)，輸出SPFLI_1，當(dāng)SOURCE=2時(shí)，輸出SPFLI_2謝謝閱讀3、Merge將具有同樣數(shù)據(jù)結(jié)構(gòu)的源表進(jìn)行合并Query中增加輸出字段Source，賦值為1。在Query1中增加輸出字段Source，賦值為2。精品文檔放心下載Merge中將兩個(gè)表的內(nèi)容合并輸出。,.4、Validation提取數(shù)據(jù)源表中的正確數(shù)據(jù)，將錯(cuò)誤數(shù)據(jù)單獨(dú)存放在其他表中謝謝閱讀雙擊Validation控件，設(shè)置“ValidationRule”感謝閱讀5、設(shè)置過濾器和斷點(diǎn)過濾器和斷點(diǎn)結(jié)合使用，用于設(shè)置Debug的條件選擇源表到目標(biāo)表的連接線，單擊鼠標(biāo)右鍵，選擇SetFilter/Breakpoint，設(shè)置Debug條件（當(dāng)滿足某種條件時(shí)進(jìn)入斷點(diǎn)，或者在滿足過濾條件的同時(shí)執(zhí)行多少條數(shù)據(jù)后時(shí)進(jìn)入斷點(diǎn)）精品文檔放心下載,.選擇Job，單擊鼠標(biāo)右鍵，選擇Startdebug精品文檔放心下載工具欄上的按鈕可以控制執(zhí)行下一條數(shù)據(jù)、繼續(xù)執(zhí)行、終止Debug精品文檔放心下載Debug過程中進(jìn)入斷點(diǎn)后，可以一次查看數(shù)據(jù)加載結(jié)果精品文檔放心下載九、定義Job定期執(zhí)行1、登錄DataServicesManagementConsole精品文檔放心下載單擊工具欄的“DataServicesManagementConsole”按鈕謝謝閱讀進(jìn)入DataServicesManagementConsole的登錄界面精品文檔放心下載,.單擊進(jìn)入Administrator界面2、定義BatchJobSchedules在BatchJobConfiguration頁簽選擇AddSchedules感謝閱讀進(jìn)入批量執(zhí)行Job的設(shè)置界面,.可以設(shè)置每周的某一天執(zhí)行（一周執(zhí)行一次）或則每月的某一天執(zhí)行（一個(gè)月執(zhí)行一次），也可以設(shè)置為每天都執(zhí)行。都選“Recurring”則會(huì)定期循環(huán)執(zhí)行，否則只執(zhí)行一次。可以設(shè)置一天執(zhí)行一次，也可以一天執(zhí)行多次，設(shè)置開始執(zhí)行時(shí)間。精品文檔放心下載上圖中如果設(shè)置為一天多次執(zhí)行，開始時(shí)間為上午1點(diǎn)，持續(xù)時(shí)間為600分鐘，間隔時(shí)間為360分鐘，則Job會(huì)在一天的上午1點(diǎn)和上午6點(diǎn)各執(zhí)行一次。如果設(shè)置時(shí)間間隔為240分鐘，則Job會(huì)在一天的上午1點(diǎn)、上午5點(diǎn)和上午9點(diǎn)各執(zhí)行一次。（總持續(xù)時(shí)間不超過10小時(shí)）。精品文檔放心下載十、其他注意事項(xiàng)1、客戶端安裝包需要注意和服務(wù)器DS版本一致2、在第一次登錄CMS信息時(shí)，無法成功。pingsapdstest也失敗，需要在host文件中添加謝謝閱讀對應(yīng)的地址和域名3、連接Oracle數(shù)據(jù)庫作為數(shù)據(jù)源時(shí)，需要在客戶端上安裝Oracle客戶端，設(shè)置tnsname.ora文件，設(shè)置環(huán)境變量ORACLE_HOME之后重啟服務(wù)器；連接HANA數(shù)據(jù)庫時(shí)，需要安裝HANA客戶端精品文檔放心下載4、在連接ECC作為數(shù)據(jù)源時(shí)，需要開啟系統(tǒng)跨客戶端編輯權(quán)限感謝閱讀5、在HANA中新