標(biāo)準(zhǔn)數(shù)據(jù)源增量

經(jīng)典教材標(biāo)準(zhǔn)數(shù)據(jù)源增量增量管理是向數(shù)據(jù)倉庫提供數(shù)據(jù)時(shí)所必需的，其作用在于及時(shí)加載數(shù)據(jù)倉庫的源系統(tǒng)中更改的數(shù)據(jù)，以及把需要傳輸?shù)綌?shù)據(jù)倉庫的數(shù)據(jù)縮小到最相關(guān)的數(shù)據(jù)范圍。此外，增量管理將有助于您對(duì)各自應(yīng)用程序更改數(shù)據(jù)的訪問，在某些情況下，還將使您第一時(shí)間獲取這些數(shù)據(jù)。下圖說明了哪些BI源系統(tǒng)類型支持增量管理。增量管理意味著能夠在單個(gè)數(shù)據(jù)請(qǐng)求中只將新建、已更改的數(shù)據(jù)記錄提取到BI系統(tǒng)中。從技術(shù)角度而言，這表示請(qǐng)求DataSource的"增量更新”。標(biāo)有"DQ”=增量隊(duì)列的表表明由增量隊(duì)列使用的源系統(tǒng)暫時(shí)儲(chǔ)存新建、已更改的數(shù)據(jù)記錄（下面再做詳細(xì)解釋）。增量隊(duì)列是SAP源系統(tǒng)中用于增量記錄（即新記錄和已更改的記錄）的臨時(shí)中央資源庫。BI增量隊(duì)列基于SAPWeb應(yīng)用程序服務(wù)器（qRFC）RFC技術(shù)中的隊(duì)列功能。Delta增量管理分為（看下圖）：?對(duì)標(biāo)準(zhǔn)SAP數(shù)據(jù)源增量?對(duì)LO后勤數(shù)據(jù)增量?對(duì)其他數(shù)據(jù)源增量，如文件等

既然我們要對(duì)數(shù)據(jù)進(jìn)行增量，那么首先就應(yīng)該找到存放數(shù)據(jù)的數(shù)據(jù)源，也就是說要找到一個(gè)數(shù)據(jù)源的目錄，也就是下面第個(gè)表。詳細(xì)查看所有字段可輸入T-CodeSE11,在輸入下面表名稱查看詳細(xì)信息）。ROOSOURCE表：定義了每個(gè)數(shù)據(jù)源的基本屬性。下面我們先來分析一下這個(gè)表，這里我們只分析一些重要的字段。?TYPE（表示數(shù)據(jù)源的類型）|&DataSourceTypeCl}7Entriesfo-und口回”~p圖園慳UTDataSourceT|Shi>rtDescrrpt.T|&DataSourceTypeCl}7Entriesfo-und口回”~p圖園慳UTDataSourceT|Shi>rtDescrrpt.TranactianalDataTRANTEXTTextHierarchy:N&JcsDataSourceAppend□D&DatasourceSEGMSegmentedDataHIEkAPPE?EXMETHOD：ExtractionMethod（抽取方法）|：:■-Extractan[I)SEntnesfourd|3DatasourceExtractionMt|ShortDeaoipt-|vTrarisDaTefltTabit?wdeiDF?edforFlFuftrtM襯曲3血｛ComplexInwrfa?)暑FiiMtaMMuk(SittpfeI朮電焉比)(^grrentedOataQExtnctonWif^BApQueryADaUSourceappendCA8匹8折寸BlAgent?TFMETHODS:TransferMethods(傳輸方法)SupportedTranterMethcwlE(1)4SupportedTranterMethcwlE(1)4Entriesfbund口因/1:油|闔|閱舊［釧◎冋TransferMethodsShortDescript.Undefined(Dependno-onDatsType)IDOCOnlyPSA時(shí)PSA翻對(duì)IDOC?ZDD_ABLE字段表示是否支持"早期增量初始化”，這個(gè)表示在初始化時(shí)候是否繼續(xù)收集增量;?DETLA(DeltaProcessforaDataSource)(這個(gè)字段很重要)增量流程是指數(shù)據(jù)的傳輸過程。它指定如何在BI中確定數(shù)據(jù)目標(biāo)的數(shù)據(jù)。例如，這使您能設(shè)計(jì)出DataSource適合的數(shù)據(jù)目標(biāo)、更新方法以及序列化的完成方法

從上圖可以看到它有20種增量流程，我們接著開始了解下一些重要的增量流程。增量過程字段都存儲(chǔ)在下面這個(gè)表中。RODELTAM表：定義了每種增量提取方式的方法，這里的增量過程表也是需要講解一些重要字段，方便對(duì)增量有更深入和全方位的了解。（下面圖中的X表示Yes的意思，“”空表示NO）LIE鼻：丄￡1皿口mman...ILIE鼻：丄￡1皿口mman...IOt?fiEit匸tn：<ta'ttafpKlfkf?JFir!ft!)肉J4■制『肌畀曲輛時(shí)眥常【r占和細(xì)骯時(shí)忙打皿U翻忸應(yīng)店Ii:(eDit]：-'■?p!ci?birt*IthMrtlonFl■<Hi￡rli■&urz<Ctie<<t;Like和鹹'腐胡i陌】1】皿口《1苗討t>-JcrzitiI^d4^flilrt:tl4(iTLiEitmtp，t皿IiitoStraclifftf]UbEuiVhhlti4neitf^hanrliJl-fiZtr/tf'1ItTcrlniEcirHb.Mri'.x;ftiLrruccrjl^cr-luptirhteifi(um:r.tI?rlihPtltlEMir：?[JLiMiaQu?t.j.Bi2inf<O;brIrm仙:富煦汕岸:艶：鴨>5b怔:”丄上北iJj!(K"Cc<Ji￡/D帕ptd縱配u血li^KleX：-i甜■&■抖HkhDtiti￡話F：LrLictTlrltlii(-rrCti(tJ：iittUiFlitbpmr.tfiMUEu|tsC/nkflr?fmrai:."sf!rif)昨?泌“4才丄■&?》日制「gf冶尿曲〔加''li圖是每個(gè)字段的解釋（看不懂沒關(guān)系，后面會(huì)有更深入的介紹）。jogpcisn磁ZIl-YfLILLnailiis^cmV|空1喩f燦ajogpcisn磁ZIl-YfLILLnailiis^cmV|空1喩f燦a應(yīng)U）*ieE班□PVJkbPrtKRT?邙鳩ClURCfliRl為服CUECK陽C1UEi衛(wèi)応SlffCCIEAE■OEXJUmon』.口□wtiP?x<aworw0?0竹茁枷》?中時(shí)咖杓詢5賦4WC^Il*tw!<nagDSWCMaPrs￡*u^Emiwg」肌伽□昶D&￥^OitifiKuniK恢iwnnfliAftitf-lnnagtQMP/M^.3t怦0<WEMaPyqc晝測(cè)IDdk?wO^tbcnDoev/[MtaPr&e嗣:C4l?m皿DriVEhtiaProc?5?囲如ROOItPDSFR好的我們繼續(xù)介紹幾種重要的增量流程方法的詳細(xì)含義：ABR采用前鏡像、后鏡像和反轉(zhuǎn)鏡像的更新模式，既支持覆蓋又支持累加，所以數(shù)據(jù)源可以更新到DSO或者CUBE;AIE采用后鏡像模式，只支持覆蓋，不支持累加，所以該類型數(shù)據(jù)源不能直接加載到CUBE，一般會(huì)先加載到DSO;在FI-AR/AP中此種增量處理方式應(yīng)用較多；ADD只支持累加，采用的是附加鏡像的更新方式，所以既可以更新到DSO又可以更新到CUBE。一般來說：CO的數(shù)據(jù)源都是ADD的，差額鏡像，EFI的基本都是AIE,后鏡像，ELO的基本都是ABR，這個(gè)就不用說了，很明細(xì)，新、前、后、翻轉(zhuǎn)的鏡像都存，量很大，D自建的默認(rèn)是AIE,同F(xiàn)I（BT的是沒有提供更改方法，所以自建的統(tǒng)一都是AIE）,E主數(shù)據(jù)的一般采用AIE、AIM和NEWE，說明比較側(cè)重結(jié)果和新增數(shù)據(jù)。GenericDelta通用增量流程服務(wù)如果需要，您也可以集成“通用DataSource”的增量流程。但是，需要符合某些前提條件。必須具有一種確認(rèn)已傳輸數(shù)據(jù)記錄的方式，以便能夠確定增量。也就是說怎么去判斷記錄是增量產(chǎn)生的。一般來說非后勤和主數(shù)據(jù)還有自建的數(shù)據(jù)源都是GenericDelta。輸入T-Code"RSO2”進(jìn)入數(shù)據(jù)源管理，如果要使用"通用增量流程”，點(diǎn)擊下圖中紅圈按鈕。匚DUI□佃u低匚DUI□佃u低ZMplT_ATTIhK-10TensdKCrotvi-iMiuiTliHsiJurndfifcrptsnZNAT_AlTflAecfpfiflftHiAT_4TW￡xtra<tix!frcE軸W玄IKS--AI[ZOiiirarasE■Knrawfrwi5iiBiqu#)rBrtrHLorjRFLr^tanHDduk-r^W?TTHMhi-*Extnd^bud：.進(jìn)入下圖界面：tf*itFMdNrtn帥戈T10Ohm；.Dm沁;T州MLApvrLrrt1CiUM-DBvf廠加IT貝c3bl■*rstw主血*也OwgtidJtiarl.t_.1Brta這個(gè)界面是做什么用的哪？這里就是前面說的設(shè)置判斷數(shù)據(jù)是否為增量數(shù)據(jù)的地方。?有四中字段類型來選擇:1Timestamp（UTC）世界通用時(shí)間2Timestamp（Local）本地時(shí)間3CalendarDay日歷日4NumericPointer數(shù)字指針（例如憑證編號(hào)等）?設(shè)置增量選擇的安全間隔上下限安全間隔上限如果此值為初始值，則存在提取期間產(chǎn)生的記錄無法提取的危險(xiǎn)。示例：使用時(shí)戳指定增量。上次讀取的時(shí)戳是12:00:00。下次增量提取從12:30:00開始。因此，選擇間隔從12:00:00到12:30:00。提取結(jié)束時(shí)，計(jì)數(shù)器設(shè)置為12:30:00。比如文檔記錄的創(chuàng)建時(shí)間是12:25，保存時(shí)間是12:35。此記錄不包括在已提取數(shù)據(jù)范圍之內(nèi)，但下次由于記錄的時(shí)戳，也不提取此記錄。為此，讀取和傳輸數(shù)據(jù)之間的安全間隔應(yīng)總是大于為此DataSource（為時(shí)戳增量）創(chuàng)建記錄所需的最大時(shí)間范圍，或應(yīng)該是足夠大的數(shù)據(jù)間隔（使用連續(xù)的數(shù)字指定增量）。增量類型字段增量類型字段(RODELTAM-DELTATYPE)是增量流程的屬性。它描述了如何在增量流程中加載增量。安全間隔下限此字段包括必須從上次增量提取的最大值進(jìn)行提取的值，以確定下次增量提取的時(shí)戳下限。示例：使用時(shí)戳指定增量。提取的數(shù)據(jù)為主數(shù)據(jù)：僅傳輸后像，覆蓋BI中的狀態(tài)。對(duì)于此類數(shù)據(jù)，記錄可能提取到BI兩次而不會(huì)出現(xiàn)問題?？紤]到這一情況，總是將當(dāng)前時(shí)戳用作提取期間的上限：然后，下次提取的下限不會(huì)無縫連接到上次提取的上限。然而，它接受與此上限減去安全間隔相符合的值。此安全間隔必須足夠大，以便提取可以包含上次提取時(shí)已經(jīng)收到時(shí)戳但未讀取的所有值。當(dāng)然，記錄或許可以傳輸兩次，但這不會(huì)因上述原因而帶來任何影響。?也可以選擇增量的類型，如NewStatusforChangedReocrds（適合DSO和Cube）,AdditiveDelta（適合DSO）.同時(shí)我們也可以查看設(shè)置增量的隊(duì)列狀態(tài)信息。RSA7進(jìn)入增量隊(duì)列管理，如下圖BWDeltiiQueueM^intcnamc^StatIPiiiStwfEi\<SWMlTTl|lo?OCO2LIS_1I_￥_IT1TWaJTOflOST8StatIPiiiStwfEi\<SWMlTTl|lo?OCO2LIS_1I_￥_IT1TWaJTOflOST8^ysMi?aivcwfiTWUrr^oi?00?2Ll￡_l!._V_￡aTWCUT0M2□OUZD5_TEST_ALEIT-WCUTOW1ee?xisjLwiiTwurrtwoooaI'f'tzt■MOCUTOOQa-.CRL孔珥叫的TTOaJTfWOG上面穿插的介紹了通用數(shù)據(jù)源的增量方法。下面接著講解標(biāo)準(zhǔn)數(shù)據(jù)源的參數(shù)。我們接著RODELTAM表其他字段來講解。田1閒|06|辺|洌2口|田1閒|06|辺|洌2口|，魚BW1^4(0召曰Efetfpgd口兇/1riotdefiied-ALEUftda*e-PtmtcrGeneric心史!:彳fofSeivte-APIEMRftor氐,呷$OkTPSqutc?D電壯FteDeU0?t3S-upport?d,(io'FurtherSDec^canon(ObsofeLe)以下特性值是允許的：?'':未定義增量類型。?'A':DataSource使用ALE更新指針確定增量。此方法主要與DataSource結(jié)合使用，用于SAP源系統(tǒng)的屬性和文本中。它也用于使通用DataSource能夠提供增量值（提供基礎(chǔ)主數(shù)據(jù)表支持通用DataSource）。主數(shù)據(jù)的ALE更新指針已經(jīng)提供了很多年。在過去，它們用于協(xié)調(diào)SAP系統(tǒng)外的主數(shù)據(jù)。?’D':SAP應(yīng)用程序?qū)⒃隽繑?shù)據(jù)記錄直接寫入至DataSource的增量隊(duì)列（"推送”）。每條數(shù)據(jù)記錄a）在保存/更新應(yīng)用程序的相應(yīng)事務(wù)時(shí)單獨(dú)儲(chǔ)存在增量隊(duì)列中（例如，F(xiàn)I-AR/AP或LOCockpit中的直接增量）b）通過應(yīng)用程序特定的作業(yè)寫入至增量隊(duì)列的增量數(shù)據(jù)記錄組中（在更新事務(wù)后）。但是，在每一種情況下，增量數(shù)據(jù)記錄在執(zhí)行增量更新前仍然是SAP源系統(tǒng)增量隊(duì)列中的記錄。如果是DataSource增量更新，則讀取此增量隊(duì)列，并將增量隊(duì)列中的數(shù)據(jù)記錄傳輸?shù)紹I系統(tǒng)。此增量類型通常用于通過字段或控制表無法為基礎(chǔ)應(yīng)用程序表確定增量數(shù)據(jù)記錄的應(yīng)用程序中。?’E'QataSource在請(qǐng)求時(shí)通過提取器確定增量。這表示請(qǐng)求時(shí)提取器必須能夠?yàn)镈ataSource提供增量記錄（"拉取”）。提取器將已經(jīng)確定的增量數(shù)據(jù)記錄放在增量隊(duì)列中，然后再從增量隊(duì)列中傳輸?shù)秸?qǐng)求的BI目標(biāo)系統(tǒng)。如果已經(jīng)為多個(gè)BI系統(tǒng)執(zhí)行了增量初始化，或?yàn)橥瑐€(gè)BI系統(tǒng)執(zhí)行了多次增量初始化，則提取器必須加載所有增量初始化的增量記錄，并將增量記錄保存在特定于BI目標(biāo)系統(tǒng)的所有增量隊(duì)列中。此增量類型通常用于通過字段或控制表能夠?yàn)榛A(chǔ)應(yīng)用程序表確定增量數(shù)據(jù)記錄的應(yīng)用程序中（例如，每個(gè)增量記錄的時(shí)戳信息）。?‘F':通過平面文件加載增量數(shù)據(jù)記錄。這種增量類型僅用于平面文件源系統(tǒng)的DataSource中。在執(zhí)行InfoPackage時(shí)，將平面文件導(dǎo)入到PSA。然后開始數(shù)據(jù)加載流程。這里不使用增量隊(duì)列。這里再穿插介紹下平面文件的增量流程。重要的DeltaType：?DGenericDeltaforServiceAPI---PUSH方式?EExtractorDeliversOLTPSourceDelta---PULL方式序列化請(qǐng)求DREQSER字段。圖是是增量流程中的序列化請(qǐng)求的3種方式。l&BWDeltaPrace&s:SerraDzationRequest(1)3Ent「iE...E3區(qū)I丨I釧即囲|刖I?祠—Seria咿甲n蘇q.|號(hào)hortOesalpt0NoS^rslizstianKequredSerialczationofRequestsRequiredSerialtzati&nofDataPacketRequired無序列化。對(duì)請(qǐng)求序列化。對(duì)數(shù)據(jù)包的序列化。通過上面學(xué)習(xí)我們知道了：?一個(gè)數(shù)據(jù)源支持什么樣的增量更新；?數(shù)據(jù)能更新到什么樣的對(duì)象中；?增量更新的類型和序列化方式；我們來簡(jiǎn)單列一下增量提取的操作步驟：1分析要提取的數(shù)據(jù)源（RSO2），然后查看其是否可以做Delta，它的增量流程用哪個(gè)，增量類型用哪個(gè)，增量怎樣序列化。2到BI數(shù)據(jù)源（RSA1）進(jìn)行復(fù)制數(shù)據(jù)源。3創(chuàng)建InfoPackage，對(duì)其進(jìn)行增量參數(shù)選擇，要匹配在R/3數(shù)據(jù)源端的配置。4然后抽取數(shù)據(jù)到對(duì)應(yīng)的DSO或者Cube中?，F(xiàn)在記錄模式描述了數(shù)據(jù)記錄包含的更改類型。各種增量流程間的差異是每個(gè)增量流程僅支持七個(gè)可能特性值的子集。如果DataSource實(shí)施的增量流程使用多個(gè)特性值，則字段ROCANCEL（保存記錄模式）自動(dòng)成為此DataSource的一部分。DataSource的此字段會(huì)分配到BI系統(tǒng)的InfoObject0RECORDMODE中。特性值如下：?'':記錄提供后像。在更改記錄或添加數(shù)據(jù)后傳輸記錄狀態(tài)。只有在請(qǐng)求相應(yīng)的前像時(shí)，才會(huì)將記錄直接更新到InfoCube（稍后解釋）。?’X':記錄提供前像。在更改或刪除記錄前傳輸記錄狀態(tài)。所有可以匯總（關(guān)鍵值）的記錄屬性必須用加/減沖銷符號(hào)進(jìn)行傳輸。沖銷加/減符號(hào)由提取器（缺?。┗蚍?wù)ServiceAPI負(fù)責(zé)。這些記錄在DataStore對(duì)象的非附加（覆蓋）更新中予以忽略。前像補(bǔ)充后像。?’A':記錄提供附加圖像。如果屬性可以集合，則僅傳輸更改。如果屬性無法集合，則傳輸數(shù)據(jù)更改或創(chuàng)建后的狀態(tài)。記錄可以無限制地更新到InfoCube，但需要對(duì)DataStore對(duì)象進(jìn)行附加更新。?'D':記錄必須刪除。僅傳輸代碼。此記錄只能更新到DataSource對(duì)象（因此DataStore也只能更新到DataSource對(duì)象）。?'R':記錄提供倒像。此記錄的內(nèi)容與前像相同。唯一的區(qū)別是更新DataStore對(duì)象時(shí)：刪除代碼相同的現(xiàn)有記錄。?'N':記錄提供新像。此記錄的內(nèi)容與沒有前像的后像相同。創(chuàng)建記錄時(shí)，應(yīng)傳輸新像而不是后像。新像補(bǔ)充倒像。在表RODELTAM中，可以確定增量更新（列UPDM_NIM、UPDM_BIM、UPDM_AIM、UPDM_ADDUPDM_DEL和UPDM_RIM）所使用的特性值。該表必須確保增量流程中只使用上述有用的特性值組合。在以"增量更新”模式提取數(shù)據(jù)時(shí)，使用增量流程的DataSource僅為記錄模式提供增量流程中指定的、已提取記錄的特性值。文件增量流程如果增量流程使用平面文件，數(shù)據(jù)不會(huì)通過增量隊(duì)列傳輸?shù)紹I。而是直接從DataSource加載到PSA。在此平面文件DataSource的傳輸規(guī)則中設(shè)置的增量流程必須得到關(guān)于基本數(shù)據(jù)和其增量屬性的通知。FIL0增量數(shù)據(jù)（后像）1ft8tft飾訥點(diǎn)｝7MIMJ1"藹冊(cè)廉址訂你；啲M-01?fit10L1ft8tft飾訥點(diǎn)｝7MIMJ1"藹冊(cè)廉址訂你；啲M-01?fit10LLLMJiJfc訂心訂平泊今720塞相科幻訂M-O1ttiKBLAltCifthl燭抵）DataStore証冷加、■ISSh：<?CVtA*cr）宓曲Iri林購御tDataStoi*糾1FIL1增量數(shù)據(jù)（增量圖像）mm弓T20KttBLJ<rU^720■K出件?屮:M-01mm弓T20KttBLJ<rU^720■K出件?屮:M-01[noIM<lI*2IL1FJOM-ai-10Lrii'?HM*sLLO增量流程LIS的更新方法（早期更新方法）：同步更新（V1）:DELTA隊(duì)列與憑證同步更新，如果DELTA隊(duì)列寫入出現(xiàn)錯(cuò)誤，那么憑證也被取消。異步修改（V2）:與V1相比，寫入DELTA若出現(xiàn)錯(cuò)誤，不對(duì)憑證的保存產(chǎn)生影響。異步收集更新（V3）:與做憑證沒有關(guān)系。在后臺(tái)定義一程序，定時(shí)運(yùn)行，收集產(chǎn)生變化的數(shù)據(jù)到DELTA隊(duì)列。知道了早期3種更新模式后，再來看LBWE中的幾種增量模式:

回S-elertUpd^t&Mode回S-elertUpd^t&Mode:?DirectDeltaOQueuedDelt^OUnsenakedV3UpdateDirectDelta：這就是一種V1模式，數(shù)據(jù)同步更新到增量隊(duì)列，這種模式系統(tǒng)負(fù)荷很重，特別是對(duì)于業(yè)務(wù)量大的憑證;這是一種VI,直接V1到DeltaQueue，我們目前的LO數(shù)據(jù)源統(tǒng)統(tǒng)采用這個(gè);直接增量”的好處與屬性：通過在V1過帳流程中寫入增量隊(duì)列，使用應(yīng)用程序的排隊(duì)概念來保證按憑證進(jìn)行的序列化。對(duì)于憑證較少的客戶，如果在重組期間的初始化流程和增量初始化請(qǐng)求中出現(xiàn)停機(jī)時(shí)間，則建議采用該流程。此流程會(huì)比V3或“隊(duì)列化增量”更加重V1的負(fù)擔(dān)。對(duì)于具有上述憑證數(shù)量的客戶，這實(shí)際上并不是一個(gè)因素?提取與V2更新無關(guān)。?對(duì)更新數(shù)據(jù)或提取隊(duì)列進(jìn)行其他監(jiān)控是沒有必要的。

QueuedDelta:類似于V3的更新模式，與V3更新的區(qū)別在于，數(shù)據(jù)先被收集到一個(gè)抽取隊(duì)列中（V1模式），然后被送到增量隊(duì)列（V3模式）。QueueDelta:這是一種混合型，先V1到ExtractionQueue，后V3到DeltaQueue；借助于此更新模式，在提取隊(duì)列中收集受影響應(yīng)用程序中的提取數(shù)據(jù)，而不是在更新數(shù)據(jù)中收集，并且可以將這些提取數(shù)據(jù)通過更新集中運(yùn)行以類似于V3更新的方式傳輸?shù)皆隽筷?duì)列。根據(jù)應(yīng)用程序，可以將多達(dá)10,000次的憑證增量提取集中到每DataSource增量隊(duì)列中的LUW。島申比卄wAtt.MFRQAtE叩忡做：■DWiSqviie-iZUS11Hjwt.島申比卄wAtt.MFRQAtE叩忡做：■DWiSqviie-iZUS11Hjwt.7十“UCUBllLgjW11需晦與11~u慣*專aR—"■畀4LTA■呵■17iy:ewu-J隊(duì)列化增量”的好處和屬性:通過在V1更新流程中寫入提取隊(duì)列，使用應(yīng)用程序的排隊(duì)概念來確保按憑證進(jìn)行的序列化。由于在定期處理（SAP建議每小時(shí)執(zhí)行一次）的提取隊(duì)列中收集數(shù)據(jù)，所以特別建議憑證數(shù)量很多的客戶采用該流程。?收集運(yùn)行使用與以前相同的報(bào)告（RMBWV311,...）。在初始化過程中，在增量初始化請(qǐng)求過程中收集新憑證數(shù)據(jù)會(huì)減少重組運(yùn)行的停機(jī)時(shí)間（填充設(shè)置表）。V1比V3更難使用。與V3集中運(yùn)行相比，該集中運(yùn)行可實(shí)現(xiàn)最后的目標(biāo)，且可以安排后續(xù)流程。在完成應(yīng)用程序的集中運(yùn)行后，會(huì)自動(dòng)觸發(fā)可以在后續(xù)作業(yè)開始時(shí)使用的事件（&MCEX_11,..J。

?提取與V2更新無關(guān)。UnserializedV3Update：此類型的最大特征是沒有序列化，就是說增量隊(duì)列中憑證是無序的，這個(gè)對(duì)于采用覆蓋模式的模型來說是最致命的，所以如果目標(biāo)隊(duì)列是DSO的話，還是不要采用這種模式好。這是一種V3，先V3到UpdateTable，后V3到DeltaQueue。借助于此更新模式，將正在查看的應(yīng)用程序的提取數(shù)據(jù)寫入含有V3更新模塊的更新表，這些數(shù)據(jù)在使用更新集中運(yùn)行讀取和處理之前會(huì)一直保留在該更新表中。不過會(huì)從更新表讀取更新集中運(yùn)行中的數(shù)據(jù)且不考慮順序，然后將其傳輸?shù)皆隽筷?duì)列。史■戟52學(xué)心4亠JV“?■?OM0Mirc.?rr?a『.*史■戟52學(xué)心4亠JV“?■?OM0Mirc.?rr?a『.*u?*ft11IMlHWanIfl=w][rt!||NW審■閔齊IK,作押?T!?Mi州■業(yè)殆丹僅皿硏訶領(lǐng)EYJK_-Iffz護(hù)i1片2i[jTrillMTFf■-E-wnl三種增量區(qū)別，你參照小結(jié)里的這些內(nèi)容直接增量V1：order(VA01)--->deltaqueue(rsa7)隊(duì)列化增量V2：order(va01)--->extractorqueue(LBWO)--->jobcontrol(LBWE)--->deltaqueue(rsa7)未序列化的V3：order(VA01)-updatetable(SM13)--->jobcontrol(LBWE)--->deltaqueue(RSA7)updatetable--->deltaqueue對(duì)數(shù)據(jù)源抽取機(jī)制的深入探討一、什么數(shù)據(jù)源需要初始化，為什么要進(jìn)行初始化有增量機(jī)制的數(shù)據(jù)源就需要初始化，初始化的目的是為了給系統(tǒng)一個(gè)時(shí)間點(diǎn)，來生成Delta隊(duì)列。怎樣進(jìn)行初始化：其實(shí)當(dāng)我們跑I包的時(shí)候，Delta隊(duì)列就建立了，這個(gè)和Setuptable沒有關(guān)系Setuptable是怎么回事兒：在LO(Logistic,后勤)的抽取中，Extractor不允許直接操作應(yīng)用表，也許是為了方式讀寫的沖突，也許是為了保證憑證的安全，也許是為了減輕負(fù)載…反正就是不行，所以就得在initialization的時(shí)候Delete然后FillSetuptable。僅限于LO的數(shù)據(jù)源。Reasonsforwhysetuptablesis:MainreasonisHUGEVOLUMESOFLOdata.Toavoidinterdependency,whilestillmakingchangestransactionaltablesinR/3.Customizedclusterandpooltablesenhancingextractioneasier.FI的為什么不用Setuptable：因?yàn)镕I的數(shù)據(jù)可以直接從Table里抽取。RSA7(DeltaQueue)，這是虛擬的，真實(shí)存放數(shù)據(jù)的是SMQ1(OutboundQueue)V3UpdateMode1、Basedonyourdeltaupdatedmechanism,itwillbeeitherV1orV2orV32、Deltatableswillbebasedyourdeltaupdatedprocess,itwillbeeitherExtractionqueueorUpdatetablesandthecollectiverunwillbeeitherextractioncollectiverunorV3collectiverun所謂的VI、V2、V3有如下解釋，這個(gè)東西在激活LO數(shù)據(jù)源的信息結(jié)構(gòu)時(shí)可以看到：V1同步更新模式，即憑證產(chǎn)生就更新增量，與業(yè)務(wù)數(shù)據(jù)同步更新；V2異步更新模式，就如一個(gè)兩步的操作一樣，第一步業(yè)務(wù)憑證更新了，然后再更新第二步的數(shù)據(jù)源增量表V3異步更新模式，與V2的區(qū)別在于他的更新時(shí)通過后臺(tái)事件來觸發(fā)的，即定一個(gè)任務(wù)定是收集增量并更新至增量表下圖源自LBWE：這里三種簡(jiǎn)單的說一下，更新方式的解釋詳見附件：GistofLOCockpitDelta,據(jù)說本來還有個(gè)SerializedV3，7.0后就被取締了。DirectDelta:這是一種VI,直接V1到DeltaQueue，我們目前的LO數(shù)據(jù)源統(tǒng)統(tǒng)采用這個(gè)QueueDelta:這是一種混合型，先V1到ExtractionQueue，后V3到DeltaQueueUnserializedV3Update:這是一種V3，先V3到UpdateTable，后V3到DeltaQueueRecords在Transactiontables里在初始化時(shí)，執(zhí)行一個(gè)將Transactiondata存放在setuptable里的setup操作，也就是我們的填充設(shè)置表在執(zhí)行初始化和Full包時(shí)讀取的是設(shè)置表的內(nèi)容新的Transactions被送到Transactiontables，之后被提取到Updatetables/ExtractionQueue(SM12/SM13)，也就是SMQ1之后呢，會(huì)有一個(gè)周期性的Job，來把數(shù)據(jù)提取到DeltaQueue中(如果是V1的話就不用啦)當(dāng)Delta上載執(zhí)行時(shí)，會(huì)去讀這個(gè)DeltaQueueo二、Delta機(jī)制TimeStamp我們的R/3系統(tǒng)提供了這么一種功能，來標(biāo)記新舊數(shù)據(jù)的差別，可以通過Timestamp，CalendarDayNumericPointer來標(biāo)注。設(shè)置方法：數(shù)據(jù)源要提供字段，用來填充DeltaSpecificFieldRS02dGenericDeltadTimestamp，有需求可以設(shè)置SafetyIntervalUpper/LowerLimit,拓展Timestamp和CalendarDay的邊界。只要在建立數(shù)據(jù)源的時(shí)候設(shè)置增量的特定字段，選取時(shí)間標(biāo)記。這里拿ZMAT_ATTR做例子，選的是Calend.Day，SafetyIntervalUpperLimit是ICalend.Days，NewStatusforChangedRecords，這么說來，就會(huì)每天跑一次，每次跑前兩天的數(shù)據(jù)，而且以最后更改的記錄為準(zhǔn)(這個(gè)在下面會(huì)說到)。這樣做的效果可以在RSA7里看到，點(diǎn)GenericDelta：CurrentStatus：很簡(jiǎn)單，當(dāng)前的Timestamp。Notes:為什么不是所有的都有呢？因?yàn)檫@個(gè)叫做GenericDelta,可以簡(jiǎn)單的看一下，LO的數(shù)據(jù)源一個(gè)都沒有，那種比較BT，一般來說非后勤和主數(shù)據(jù)還有自建的數(shù)據(jù)源都是GenericDelta?？磶讖埍?ROOSPRMSC，222系統(tǒng)要了解這張表，還需要知道一個(gè)概念叫做LUW，LUWislogicalunitofwork.TheqRFCoutboundqueuecontrolledusinganOutboundScheduler(QOUTScheduler).TheQOUTSchedulerpromptsthetransferofaLUWtoatargetsystemwhenallpreviousLUWsinthisqueuehavebeenprocessed.WhenoneLUWhasbeenexecuted,theQOUTSchedulerautomaticallyexecutesthenextLUWinthequeue.InotherwordswhenwerequestdeltaloadfromBW,SourcesystemwillidentifythelastdeltarecordswhichareinformofTID'sbyusingROOSPRMSCtableanditwilldeletepreviousconfirmedLUWs(repeatdeltatable)andProcessnewLUWs(deltatable)另外，想看這些請(qǐng)求號(hào)，可以到表RSREQDONE，這個(gè)要在200系統(tǒng)里。Notes：咱們用的Timestamp叫做UTCTimeStamp，什么是UTC，等同于GMT,就是世界時(shí)，咱們要+8:00，也就是說這個(gè)DTP的時(shí)間是2009.03.13,08:36:26。PS：不過和222那邊有那么10s的時(shí)間差(RSREQDONE表里的時(shí)間小10S)，我也不知道怎么回事兒，后來查了下03_BF的，也是有10s的差，知道的同志可以告訴我呀。。。當(dāng)然這些并不重要接下來幾張表：ARFCSSTATEARFCSDATATRFCQOUT不多做解釋，參照附件BW_DELTA-QUEUE-詳細(xì)說明，第11頁BWDeltaProcess這個(gè)可以用兩張表來做解釋：第一個(gè)：ROOSOURCE這里的四個(gè)數(shù)據(jù)源，分別是LO（后勤），F(xiàn)I,主數(shù)據(jù)和自建數(shù)據(jù)源，各有不同。這里的DeltaProcess共有20種，于是需要第二張表：RODELTAM這里的幾個(gè)列，控制了Delta方式對(duì)鏡像的操作，序列化方式，Delta處理類型等等需要著重的是DeltaType：DGenericDeltaforServiceAPIEExtractorDeliversOLTPSourceDelta這種方式叫做PULLmeansthedeltadatarecordsaredeterminedduringthedeltaupdatebythedatasourceextractor,updatedtothedeltaqueueandpassedontoBIdirectlyfromthere.一般來說：CO的數(shù)據(jù)源都是ADD的，差額鏡像，EFI的基本都是AIE，后鏡像，ELO的基本都是ABR，這個(gè)就不用說了，很明細(xì)，新、前、后、翻轉(zhuǎn)的鏡像都存，量很大，D自建的默認(rèn)是AIE，同F(xiàn)I（BT的是沒有提供更改方法，所以自建的統(tǒng)一都是AIE），E主數(shù)據(jù)的一般采用AIE、AIM和NEWE，說明比較側(cè)重結(jié)果和新增數(shù)據(jù)下面簡(jiǎn)述下AIE和ABR的區(qū)別：ABR的方式注定了，不僅適合直接上載到DSO，可以直接上載到CUBE，不通過DSO，因?yàn)椴粌H序列化，而且是連帶各種鏡像。AIE不同，只支持后鏡像，也就是說，只能首先加載到DSO,然后進(jìn)行分析，會(huì)在激活數(shù)據(jù)時(shí)幫我們補(bǔ)齊前鏡像，到DSO的LOG表里，從而保證了DSO的明細(xì)要求，又能在CUBE提取LOG表的時(shí)候獲得正確的數(shù)據(jù)。因?yàn)镃UBE只有匯總，沒有覆蓋功能。最后還要說明一下，F(xiàn)I與其他模塊的數(shù)據(jù)抽取方式不太一樣。FI是通過BW