BW數(shù)據(jù)倉(cāng)庫(kù)模型創(chuàng)建注意事項(xiàng)

1、創(chuàng)建一個(gè)IO：Bw中D版本的意思是delivery版本，就是BW系統(tǒng)預(yù)定義的版本上邊是事物數(shù)據(jù)類型更新下邊是主數(shù)據(jù)類型更新當(dāng)主數(shù)據(jù)的數(shù)據(jù)源FlatFile中包含中文時(shí)候：如果主數(shù)據(jù)包含中文字符字符集要選8400創(chuàng)建完成InfoObject之后，上圖創(chuàng)建了MasterData Table 和TextTable 并沒有創(chuàng)建SID Table 如果選中“帶文本”系統(tǒng)就會(huì)創(chuàng)建相應(yīng)文本表，文本表和SID表、層級(jí)表之間是用主外間關(guān)系來(lái)關(guān)聯(lián)，點(diǎn)中和 系統(tǒng)就在文本表中分別創(chuàng)建長(zhǎng)文本和語(yǔ)言的2個(gè)字段上圖暫時(shí)不明白什么意思？上圖沒有練習(xí)過(guò)？ 一般使用什么情況下使用?: : 點(diǎn)：DIS代表Display 說(shuō)明屬性是

2、顯示屬性導(dǎo)航屬性：點(diǎn)將Display屬性轉(zhuǎn)換為導(dǎo)航屬性創(chuàng)建InfoObject的時(shí)候注意取值是大寫還是小寫，如果存在小寫則選中InfoObject中存在的數(shù)據(jù)類型：分析：SLD表、屬性表、文本表、層級(jí)表抽取主數(shù)據(jù)的時(shí)候主數(shù)據(jù)和語(yǔ)言相關(guān)的話中文是 “1” 英文是 “E”當(dāng)主數(shù)據(jù)帶有文本數(shù)據(jù)的時(shí)候一定要注意文本的長(zhǎng)度，一般選擇長(zhǎng)文本，避免文本長(zhǎng)度不夠的現(xiàn)象，短文本是20Char的長(zhǎng)度，長(zhǎng)文本是60Char的長(zhǎng)度當(dāng)出現(xiàn)轉(zhuǎn)換錯(cuò)誤時(shí)，是0unit轉(zhuǎn)換出錯(cuò)，就是數(shù)量單位的字段，沒有對(duì)象正確，也就是說(shuō)CommunicationStructure中的字段和.CSV中的列數(shù)據(jù)沒有對(duì)應(yīng)正確下邊是正確倒入數(shù)據(jù)后的“

3、維護(hù)主數(shù)據(jù)” 依賴于時(shí)間的層次結(jié)構(gòu)：上圖右邊圈中是層級(jí)表F：fact tableD：Dimensions table (緯度表)P：Master Data TableT：Text Data TableS：SID TableH:Hierarchy(層級(jí)表) I：Hierarchy依賴表，與D(Dimentions表通過(guò)ABAP程序關(guān)聯(lián))K：Hiearchy依賴表，與I表關(guān)聯(lián)/BIC/SIO_SREP：Hiearchy依賴表與K表關(guān)聯(lián)Navigation attribute:導(dǎo)航屬性Display attribute:顯示屬性現(xiàn)在沒有做InfoCube所以沒有生成SID表，繼續(xù)往下練習(xí)，注意生成S

4、ID表在哪一步。InfoCube三種設(shè)計(jì)方案：1、依賴于時(shí)間的導(dǎo)航2、緯度特征法：將特征作為緯度的特征3、依賴于時(shí)間的整體層級(jí)關(guān)系，依賴于時(shí)間的整體層級(jí)允許我們構(gòu)建聚集，在開始的練習(xí)中不允許我們構(gòu)建聚集，開始是依賴于時(shí)間的層次結(jié)構(gòu)，我們當(dāng)前練習(xí)是依賴時(shí)間的整體層級(jí)依賴于時(shí)間的整體層級(jí)關(guān)系：層級(jí)自身依賴時(shí)間，層級(jí)中的節(jié)點(diǎn)和葉子并不依賴時(shí)間依賴于時(shí)間的層次結(jié)構(gòu)：層級(jí)自身不依賴時(shí)間，而層級(jí)下的節(jié)點(diǎn)和葉子依賴于時(shí)間IO_CUSTW1IO_MATW1IO_OFFCWIO_SREGWIO_SREPW注意，抽取平面文件主數(shù)據(jù)時(shí)從新抽取一定要把已經(jīng)存在的主數(shù)據(jù)刪除，主數(shù)據(jù)可以存在文本，主數(shù)據(jù)的屬性組好不要存在

5、文本出現(xiàn)這種情況原因？原因是：主數(shù)據(jù)表和文本表中字段不對(duì)應(yīng)，在文本表中加一列語(yǔ)言代碼“1”：正確后主數(shù)據(jù)是：連接offic、銷售地區(qū)和銷售代表的兩種方式：用屬性的方式連接用依賴時(shí)間的層次結(jié)構(gòu)的連接用依賴依賴時(shí)間的整體層級(jí)連接用依賴時(shí)間的導(dǎo)航屬性連接幾種在顯示上沒有區(qū)別，僅僅在執(zhí)行效率上有區(qū)別，最重要的是：有些可以使用聚集有些不能使用聚集 BW Data Mart1、data mart的作用類似ALE2、用于數(shù)據(jù)的清洗作用ALE的作用是在不同的CLIENT之間交換傳遞數(shù)據(jù)：Data mart 幾種分布數(shù)據(jù)模型：當(dāng)創(chuàng)建一個(gè)ODS時(shí)候，系統(tǒng)會(huì)自動(dòng)創(chuàng)建一個(gè)data mart interface（數(shù)據(jù)棧

6、接口）以8打頭的一個(gè)導(dǎo)出數(shù)據(jù)源用BW中已有的ODS和Cube作為數(shù)據(jù)源向其他Cube導(dǎo)入數(shù)據(jù)的時(shí)候，是用data mart interface來(lái)導(dǎo)入下圖是兩個(gè)BW系統(tǒng)之間傳遞數(shù)據(jù)BW到R/3的連接步驟前邊有所講解，回頭要寫詳細(xì)步驟文檔從原系統(tǒng)生成導(dǎo)出數(shù)據(jù)源：Generate生成 Export導(dǎo)出，生成后是以8開頭的數(shù)據(jù)源，在object tree中是不能顯示找到的，留下此問(wèn)題？在目標(biāo)系統(tǒng)中復(fù)制數(shù)據(jù)源，這樣就把剛才的導(dǎo)出數(shù)據(jù)源復(fù)制到了target系統(tǒng)中復(fù)制完成后點(diǎn)data source overview來(lái)顯示數(shù)據(jù)源中對(duì)象，檢查是否對(duì)象已經(jīng)復(fù)制到原系統(tǒng)下搜索以8開頭的原系統(tǒng)中的導(dǎo)出數(shù)據(jù)源，看目標(biāo)系

7、統(tǒng)中是否已經(jīng)過(guò)來(lái)了導(dǎo)出數(shù)據(jù)源上圖說(shuō)明已經(jīng)過(guò)來(lái)了Assign infosource: 注意：infoobject的數(shù)據(jù)源assign的時(shí)候必須先手動(dòng)創(chuàng)建出來(lái)他，否則找不到相應(yīng)的infosource,必須事先手功能創(chuàng)建它創(chuàng)建之后就可以進(jìn)行infosource的assign了Assign之后自動(dòng)創(chuàng)建的是：transer structure,communication structure,transfer rule下邊就可以創(chuàng)建infopackage了，此時(shí)是沒有住數(shù)據(jù)的，要通過(guò)infopackage來(lái)加載特征主數(shù)據(jù)在目標(biāo)系統(tǒng)顯示復(fù)制過(guò)來(lái)的數(shù)據(jù)源的8開頭的方法：注意sap liabary上的一些小黃燈

8、，都是小技巧的地方在IP中選擇抽取條件的時(shí)候有時(shí)候會(huì)出來(lái)一個(gè)提示框，提示你登陸，這時(shí)把sm59中改成后臺(tái)登陸SM59看用戶是選擇屏幕登陸還是后臺(tái)登陸抽取主數(shù)據(jù)結(jié)束后看效果:重復(fù)剛才的操作找到文本數(shù)據(jù)源，用搜索來(lái)查找下邊小節(jié)是介紹從數(shù)據(jù)源到infocube過(guò)程中一個(gè)數(shù)據(jù)清洗的過(guò)程下邊首先看BW和R/3的連接配置：然后把連接配置做好810的，順便把上邊練習(xí)做好BW到R/3的連接，以810為例子在BW中創(chuàng)建一個(gè)獨(dú)立的client作為練習(xí)之用在r/3（P35）創(chuàng)建一個(gè)邏輯系統(tǒng)并復(fù)制到BW系統(tǒng)中去進(jìn)入810SPRO點(diǎn)定義邏輯系統(tǒng)定義完成后，把client分配給我們剛才定義的邏輯系統(tǒng)注意上圖點(diǎn)這樣我們可以

9、從BW客戶端允許修改810這個(gè)client保存后：進(jìn)入BW系統(tǒng)也要做上述步驟spro選擇定義邏輯系統(tǒng)定義邏輯系統(tǒng)BWCLNT110:然后分配client給邏輯系統(tǒng)BWCLNT110為后臺(tái)用戶命名(創(chuàng)建兩個(gè)后臺(tái)通信用戶) 創(chuàng)建后臺(tái)用戶client 810 for r/3:ALEREMOTE 密碼：pass1234 Client110 for BW:BWREMOTE 密碼：pass1234810：BW原系統(tǒng)（R/3）創(chuàng)建步驟：1、SM59創(chuàng)建目標(biāo)系統(tǒng)連接(以P35Cli810為例子)2、創(chuàng)建P35CLNT810原系統(tǒng) RSA1寫入原系統(tǒng)相關(guān)信息：結(jié)果：原系統(tǒng)810創(chuàng)建完畢下邊是將P35CLIENT

10、810的全局變量設(shè)置傳遞到BW中來(lái)：上圖代表傳送成功！也可以對(duì)系統(tǒng)默認(rèn)ALE用戶進(jìn)行修改：Tcode:SPRO在上圖中可以對(duì)系統(tǒng)默認(rèn)ALE用戶進(jìn)行修改下邊是新client的創(chuàng)建110: 維護(hù)clinet 110對(duì)于新建的client用sap*進(jìn)入，密碼：pass看右下角狀態(tài)：注意以上步驟都要在001中完成而不是在300中完成配置001：進(jìn)入spro: 進(jìn)入：SCCL: COPY可以是后臺(tái)也可以是前臺(tái)這里我選擇的前臺(tái)立刻執(zhí)行COPY過(guò)來(lái)之后,在spro中定義國(guó)家中的數(shù)據(jù)都過(guò)來(lái)了，此時(shí)可以定義su01用戶了COPY結(jié)束如下圖：設(shè)置公司或個(gè)人：BW IGS配置過(guò)程IGS配置需要很長(zhǎng)時(shí)間，回宿舍在配置

11、，配置過(guò)程要事先安裝好patch和組件第2套資料記錄：BWAUth* 類視頻是BW權(quán)限控制講解，放到最后來(lái)看BW Reporting&Analyzer 報(bào)表和分析（先看此部分視頻）EXTR_LO_* BW物流數(shù)據(jù)抽取 EXTR_LO_* BW物流數(shù)據(jù)抽取1、利用 HYPERLINK E:usrsapNTWDVEBMGS00igsconfigs.xml l # - 0 HYPERLINK E:usrsapNTWDVEBMGS00igsconfigs.xml l # - RSZC - Copying Queries between InfoCubes在InfoCube之間復(fù)制queries，具體好

12、處有待驗(yàn)證插曲：sql 刪除表中數(shù)據(jù)：Truncate是SQL中的一個(gè)刪除數(shù)據(jù)表內(nèi)容的語(yǔ)句，用法是：TRUNCATE TABLE Table Name。 下面是對(duì)Truncate語(yǔ)句在MSSQLServer2000中用法和原理的說(shuō)明：Truncate table 表名 速度快,而且效率高,因?yàn)? TRUNCATE TABLE 在功能上與不帶 WHERE 子句的 DELETE 語(yǔ)句相同：二者均刪除表中的全部行。但 TRUNCATE TABLE 比 DELETE 速度快，且使用的系統(tǒng)和事務(wù)日志資源少。 DELETE 語(yǔ)句每次刪除一行，并在事務(wù)日志中為所刪除的每行記錄一項(xiàng)。TRUNCATE TABL

13、E 通過(guò)釋放存儲(chǔ)表數(shù)據(jù)所用的數(shù)據(jù)頁(yè)來(lái)刪除數(shù)據(jù)，并且只在事務(wù)日志中記錄頁(yè)的釋放。 TRUNCATE TABLE 刪除表中的所有行，但表結(jié)構(gòu)及其列、約束、索引等保持不變。新行標(biāo)識(shí)所用的計(jì)數(shù)值重置為該列的種子。如果想保留標(biāo)識(shí)計(jì)數(shù)值，請(qǐng)改用 DELETE。如果要?jiǎng)h除表定義及其數(shù)據(jù)，請(qǐng)使用 DROP TABLE 語(yǔ)句。 對(duì)于由 FOREIGN KEY 約束引用的表，不能使用 TRUNCATE TABLE，而應(yīng)使用不帶 WHERE 子句的 DELETE 語(yǔ)句。由于 TRUNCATE TABLE 不記錄在日志中，所以它不能激活觸發(fā)器。 TRUNCATE TABLE 不能用于參與了索引視圖的表。Bw Quer

14、ies開發(fā)與設(shè)計(jì)記錄：Context Menu 開發(fā)與設(shè)計(jì)是重點(diǎn)： 憑記憶內(nèi)容：1、報(bào)表設(shè)計(jì)2、？3、?4、?5、?6、?7、?8、?BW從R/3加載數(shù)據(jù)練習(xí)記錄：2個(gè)目標(biāo)：1、和從平面文件抽取數(shù)據(jù)的區(qū)別平面文件：當(dāng)創(chuàng)建InfoSource的時(shí)候系統(tǒng)自動(dòng)附加DataSource到InfoSource2、基本操作步驟（一個(gè)圖片）步驟：創(chuàng)建或者激活BussinessCountent中的InfoObjectBC:SAP預(yù)定義的一些Object以0plant（工廠）為例進(jìn)入R/3rsa5 激活數(shù)據(jù)源r/3中DataSource分為兩個(gè)狀態(tài)：D狀態(tài) Active狀態(tài)rsa5中都是D狀態(tài)版本在P35-81

15、0rsa5中找不到0plant這個(gè)用于主數(shù)據(jù)的數(shù)據(jù)源，不明原因？是否是定在BW端定義原系統(tǒng)的時(shí)候傳遞完全局設(shè)置后，復(fù)制數(shù)據(jù)源，復(fù)制結(jié)束后，在原系統(tǒng)右鍵激活。理解BussinessContent中安裝相應(yīng)對(duì)象后本質(zhì)上是安裝了哪些東西 0MATERIAL（出錯(cuò)）利用sapBussniessContent做為模版修改或者創(chuàng)建新的InfoObject數(shù)據(jù)流圖：兩種方式：以0plant作為模版，創(chuàng)建一個(gè)新的InfoObject以現(xiàn)有DataSouce為模版，創(chuàng)建一個(gè)新的DataSource手工DIY步驟：注意點(diǎn)：Replicated Transfer Structure的過(guò)程就是將原系統(tǒng)數(shù)據(jù)源中的Fil

16、ed和ConmmunicationStructure中的InfoObject建立映射的過(guò)程，類似Xi中的MM.在原系統(tǒng)中的幾個(gè)TransferStructure可以通過(guò)TranferRule匯集到一個(gè)CommunicationStructure上圖就是一個(gè)TransferStructure它組成了字段和InfoObject的映射關(guān)系上圖右邊信息是數(shù)據(jù)源中的字段和InfoObject的映射，左邊是字段和CommunicationStructure中相應(yīng)的InfoObject的映射，這樣體現(xiàn)了DataSource中字段和CommunicationStructure、InfoObject之間的映射關(guān)

17、系，底層傳輸是RFC，IDOC邏輯系統(tǒng)之間的傳輸方式。IO字段是InfoObject中的主要字段，就是輸入輸出字段，對(duì)應(yīng)的是也就是說(shuō)原系統(tǒng)中的字段BELNR(憑證編號(hào))最終被映射到了InfoObject中的IO字段DOC_NUM上來(lái) 上圖中在轉(zhuǎn)換結(jié)構(gòu)中“選擇”上打鉤復(fù)制完成后激活相應(yīng)對(duì)象和結(jié)構(gòu)，BW將TransferStructure再?gòu)?fù)制回R/3中去InfoSource: UpdateRule:主要是指定金額數(shù)據(jù)如何（運(yùn)算）傳輸?shù)綌?shù)據(jù)目標(biāo)中去0vendor供應(yīng)商加一個(gè)綁定屬性“采購(gòu)組織”在BS(業(yè)務(wù)目錄)中不存在需要自己DIYZVENDOR05 屬性數(shù)據(jù)：文本數(shù)據(jù)：步驟：1、Tcode：se

18、11注意：在西北P35系統(tǒng)上只能以”Z”開頭命名注意：從D00創(chuàng)建視圖然后傳到810系統(tǒng)中去視圖ZVENDOR05_ATTR的數(shù)據(jù)全部來(lái)源于LFM1設(shè)計(jì)好視圖，檢查并激活，生成傳輸請(qǐng)求號(hào)同樣創(chuàng)建TEXT視圖：此視圖中存在表之間聯(lián)結(jié)關(guān)系注意：聯(lián)結(jié)條件和Filed中的字段必須包括兩個(gè)表的所有KEY，不包括則會(huì)抱錯(cuò)，當(dāng)KEY作為聯(lián)結(jié)條件時(shí)，在Filed中可以只出現(xiàn)一次2、用戶：yyqchu 密碼：pass1234Tcode：SBIW在下圖打鉤，說(shuō)明該字段可以作為將來(lái)的選擇加載數(shù)據(jù)的條件，就是數(shù)據(jù)加載的過(guò)濾條件同樣的創(chuàng)建文本數(shù)據(jù)源：注意上圖選擇“文本”而不是“主數(shù)據(jù)屬性”進(jìn)入rsa6(active的v

19、ersion)，檢查剛才建立的兩個(gè)數(shù)據(jù)源：說(shuō)明數(shù)據(jù)源已經(jīng)激活，創(chuàng)建數(shù)據(jù)源完成。（RSA5中并不存在著兩個(gè)數(shù)據(jù)源，因?yàn)閞sa5是SAP傳遞過(guò)來(lái)的標(biāo)準(zhǔn)數(shù)據(jù)源）RSA5是否是由BussinessConten安裝過(guò)來(lái)的？到此步驟，TransferDatasource也已經(jīng)完成，因?yàn)樗鼈円呀?jīng)是Active的狀態(tài)了下一步：在BW中復(fù)制數(shù)據(jù)源（先將申請(qǐng)?zhí)杺鬏數(shù)?10）問(wèn)題：下圖中的作用什么？是否就是增量加載數(shù)據(jù)？3、上圖為特征0VENDOR05的結(jié)構(gòu)，G_EKOGRG為綁定屬性，下邊為DISPLAY屬性SAP標(biāo)準(zhǔn)練習(xí)記錄：分析一家公司的費(fèi)用中心帳號(hào)使用情況BC中提供了一個(gè)0CCA_C11費(fèi)用中心在此公司是1

20、3位，而在BW中是10個(gè)字符，這樣需要?jiǎng)?chuàng)建一個(gè)新的InfoObject規(guī)則：以13位為標(biāo)準(zhǔn)，其他數(shù)據(jù)源到過(guò)來(lái)的費(fèi)用中心都增加三個(gè)字符，變成13位Step：創(chuàng)建新的代表費(fèi)用中心編號(hào)的InfoObject激活I(lǐng)nfoObject訣竅:激活它所在的InfoSource就可以激活有用的所有InfoObject顯示屬性：創(chuàng)建InfoCube以下是視頻上沒有的幾個(gè)InfoObject問(wèn)題: 什么情況下需要“導(dǎo)航屬性”“綁定屬性”？練習(xí)在InfoObject上創(chuàng)建TransferRouting(例如增加3位長(zhǎng)度) 上圖增加一句檢查原系統(tǒng)名稱：如果原系統(tǒng)名稱不是I_EXTERN則執(zhí)行此句下邊的語(yǔ)句。Query

21、上發(fā)現(xiàn)新問(wèn)題：在QueryDesigner上當(dāng)兩個(gè)計(jì)算公式發(fā)生沖突時(shí)，在下圖選擇顯示哪個(gè)公式的結(jié)果：點(diǎn)則顯示當(dāng)前公式結(jié)果點(diǎn)則顯示競(jìng)爭(zhēng)對(duì)手的結(jié)果此場(chǎng)景選擇“該公式的結(jié)果”問(wèn)題解決！資產(chǎn)BW分析：重點(diǎn)：1、ODS2、聚集3、BC學(xué)習(xí)InfoCube設(shè)計(jì)基礎(chǔ)：1、依賴時(shí)間的層次結(jié)構(gòu)（第一個(gè)平面文件抽取例子就是依賴時(shí)間的層次結(jié)構(gòu)）如上圖選中在設(shè)計(jì)層級(jí)時(shí)就會(huì)如下圖所示:出現(xiàn)“開始時(shí)間”和“結(jié)束時(shí)間”記住如下圖給層級(jí)加上相關(guān)的外部特征三種屬性:導(dǎo)航屬性、顯示屬性、綁定屬性（綁定屬性和主對(duì)象密切相關(guān)，在Query中使用主對(duì)象時(shí)綁定屬性隨著拖過(guò)來(lái)，不顯示時(shí)寫好固定值然后隱藏，做為查詢sql條件）2、依賴時(shí)間的

22、導(dǎo)航屬性把之前做過(guò)的練習(xí)的依賴層級(jí)的例子改為（依賴時(shí)間導(dǎo)航屬性）上圖顯示此種立方體設(shè)計(jì)方法的結(jié)構(gòu)：主要：應(yīng)用此種方式創(chuàng)建InfoCube時(shí)，要選中相應(yīng)的例如：IO_SREG、IO_SOFF作為其他特征的屬性的時(shí)候不能加在CommunacationStructurez中依賴時(shí)間的導(dǎo)航屬性好處：可以方便靈活的從相關(guān)主數(shù)據(jù)表中修改和維護(hù)時(shí)間：（需要增加練習(xí)）緯度特征設(shè)計(jì)法上圖特征作為緯度的時(shí)候InfoSource中的CommunicationStructure里要加入“銷售辦公室”等特征上圖三個(gè)特征共同組成一個(gè)銷售代表緯度叫做“緯度特征法次設(shè)計(jì)方法完全根據(jù)事務(wù)數(shù)據(jù)表中的內(nèi)容展示數(shù)據(jù)，例如“銷售辦公室

23、隨時(shí)間變化”這種場(chǎng)景概念：緯度隨時(shí)間緩慢變化（根據(jù)主數(shù)據(jù)從屬關(guān)系分析事物數(shù)據(jù)的4種規(guī)則）緯度特征法屬于：“今天是昨天”就是按照今天的主數(shù)據(jù)歸屬去判斷昨天的事務(wù)數(shù)據(jù)昨天是今天類似今天是昨天的道理上圖是“今天和昨天”：只有昨天和今天的并集才能在報(bào)表中被反映昨天和今天的意思是在“報(bào)表”中以什么時(shí)間的主數(shù)據(jù)結(jié)構(gòu)來(lái)反映事物數(shù)據(jù)的標(biāo)準(zhǔn)相比“依賴時(shí)間的導(dǎo)航屬性”（作為主對(duì)象的屬性同時(shí)要作為緯度的屬性）“緯度特征法”速度要比較快，因?yàn)椤颁N售辦公室”等距離緯度表比較近依賴時(shí)間的整體層級(jí)以前的依賴時(shí)間的層次結(jié)構(gòu)（將時(shí)間作為層級(jí)的一個(gè)節(jié)點(diǎn)）：缺點(diǎn)：不能在InfoCube上構(gòu)成聚集現(xiàn)在依賴時(shí)間的整體層級(jí)解決了不能在層

24、級(jí)上構(gòu)建聚集的缺點(diǎn)，創(chuàng)建兩個(gè)層級(jí)：選擇要用到特征創(chuàng)建第一個(gè)層級(jí)（年以后）創(chuàng)建第二個(gè)層級(jí)：（以前）點(diǎn)圖標(biāo)：是代表截至日期InfoCube中多個(gè)InfoObject可以分配給同一個(gè)緯度，例如：下圖“成本中心編號(hào)”和“成本控制范圍”都分配給了”CostCenter”這個(gè)緯度附錄資料：不需要的可以自行刪除如何構(gòu)建銀行數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)作為一項(xiàng)數(shù)據(jù)管理領(lǐng)域的新技術(shù)，其精髓在于針對(duì)聯(lián)機(jī)分析處理(OLAP)提出了一種綜合的解決方案，與以往很多技術(shù)不同的是，它主要是一種概念，在此概念指導(dǎo)下完成系統(tǒng)的構(gòu)造。既沒有可以直接購(gòu)買到的現(xiàn)成產(chǎn)品，也沒有具體的分析規(guī)范和實(shí)現(xiàn)方法，也就是說(shuō)沒有成熟、可靠且被廣泛接受的數(shù)據(jù)

25、倉(cāng)庫(kù)標(biāo)準(zhǔn)。在以往關(guān)系數(shù)據(jù)庫(kù)的設(shè)計(jì)和實(shí)現(xiàn)中，不僅有詳細(xì)的理論推導(dǎo)，還有無(wú)數(shù)的設(shè)計(jì)實(shí)例，無(wú)論你使用的是什么公司的數(shù)據(jù)庫(kù)產(chǎn)品、開發(fā)工具，只要按照規(guī)范做，那么實(shí)現(xiàn)同一業(yè)務(wù)需求的方案都會(huì)很相似。而現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)中，出現(xiàn)了MOLAP方案和ROLAP方案的區(qū)別，出現(xiàn)了形形色色的數(shù)據(jù)倉(cāng)庫(kù)建模工具、表現(xiàn)工具，而設(shè)計(jì)人員的個(gè)人經(jīng)驗(yàn)和素質(zhì)也會(huì)在其中扮演很重要的角色。 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的實(shí)現(xiàn)方式 目前在數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的實(shí)際應(yīng)用中主要包括如下幾種具體實(shí)現(xiàn)方式。 1、在關(guān)系數(shù)據(jù)庫(kù)上建立數(shù)據(jù)倉(cāng)庫(kù)(ROLAP) 2、在多維數(shù)據(jù)庫(kù)上建立數(shù)據(jù)倉(cāng)庫(kù)(MOLAP) MOLAP方案是以多維方式來(lái)組織數(shù)據(jù)，以多維方式來(lái)存儲(chǔ)數(shù)據(jù)；ROLAP

26、方案則以二維關(guān)系表為核心表達(dá)多維概念，通過(guò)將多維結(jié)構(gòu)劃分為兩類表:維表和事實(shí)表，使關(guān)系型結(jié)構(gòu)能較好地適應(yīng)多維數(shù)據(jù)的表示和存儲(chǔ)。在多維數(shù)據(jù)模型的表達(dá)方面，多維矩陣比關(guān)系表更清晰且占用的存儲(chǔ)更少，而通過(guò)關(guān)系表間的連接來(lái)查詢數(shù)據(jù)的ROLAP系統(tǒng)，系統(tǒng)性能成為最大問(wèn)題。MOLAP方案比ROLAP方案要簡(jiǎn)明，索引及數(shù)據(jù)聚合可以自動(dòng)進(jìn)行并自動(dòng)管理，但同時(shí)喪失了一定的靈活性。ROLAP方案的實(shí)現(xiàn)較為復(fù)雜，但靈活性較好，用戶可以動(dòng)態(tài)定義統(tǒng)計(jì)和計(jì)算方式，另外能保護(hù)在已有關(guān)系數(shù)據(jù)庫(kù)上的投資。 由于兩種方案各有優(yōu)劣，因此在實(shí)際應(yīng)用中，往往將MOLAP和ROLAP結(jié)合使用，即所謂的混合模型。利用關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)歷史數(shù)據(jù)

27、、細(xì)節(jié)數(shù)據(jù)或非數(shù)值型數(shù)據(jù)，發(fā)揮關(guān)系數(shù)據(jù)庫(kù)技術(shù)成熟的優(yōu)勢(shì)，減少花費(fèi)，而在多維數(shù)據(jù)庫(kù)中存儲(chǔ)當(dāng)前數(shù)據(jù)和常用統(tǒng)計(jì)數(shù)據(jù)，以提高操作性能。 3、在原有關(guān)系庫(kù)上建立邏輯上的數(shù)據(jù)倉(cāng)庫(kù) 由于目前正在運(yùn)行的OLTP系統(tǒng)中已經(jīng)積累了海量數(shù)據(jù)，如何從中提取出決策所需的有用信息就成為用戶最迫切的需要。新建數(shù)據(jù)倉(cāng)庫(kù)固然能從功能、性能各方面給出一個(gè)完整的解決方案，但需要投入大量的人力、物力，并且數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)和分析數(shù)據(jù)的積累需要一段時(shí)間，無(wú)法及時(shí)滿足用戶對(duì)信息分析的迫切需要。因此在籌建數(shù)據(jù)倉(cāng)庫(kù)的前期，可以采用一些合適的表現(xiàn)工具，在原有OLTP系統(tǒng)上建立起一個(gè)邏輯的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。盡管由于原有OLTP系統(tǒng)設(shè)計(jì)上的局限性，這樣的

28、系統(tǒng)可能無(wú)法實(shí)現(xiàn)很多分析功能，但這樣一個(gè)系統(tǒng)中數(shù)據(jù)結(jié)構(gòu)固定、信息分析需求相對(duì)穩(wěn)定成熟，因此數(shù)據(jù)倉(cāng)庫(kù)的建模、實(shí)現(xiàn)過(guò)程會(huì)相對(duì)容易、便捷；同時(shí)，這樣的系統(tǒng)也會(huì)成為將來(lái)真正數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的原型。 信息系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系 由于數(shù)據(jù)量大、數(shù)據(jù)來(lái)源多樣化，在商業(yè)銀行構(gòu)建管理信息系統(tǒng)時(shí)，不可避免地會(huì)遇上如何管理這些浩如煙海的數(shù)據(jù)，以及如何從中提取有用的信息的問(wèn)題；而數(shù)據(jù)倉(cāng)庫(kù)的最大優(yōu)點(diǎn)在于它能把企業(yè)網(wǎng)絡(luò)中不同信息島上的商業(yè)數(shù)據(jù)集中到一起，存儲(chǔ)在一個(gè)單一的集成的數(shù)據(jù)庫(kù)中，并提供各種手段對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析。因此可以說(shuō)，在銀行使用數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建管理信息系統(tǒng)，既有壓力，又有數(shù)據(jù)基礎(chǔ)，它們之間的聯(lián)系是必然的，難以割舍的。

29、 數(shù)據(jù)倉(cāng)庫(kù)在商業(yè)銀行的應(yīng)用范圍包括存款分析、貸款分析、客戶市場(chǎng)分析、相關(guān)金融業(yè)分析決策(證券、外匯買賣)、風(fēng)險(xiǎn)預(yù)測(cè)、效益分析等。 在銀行信息系統(tǒng)構(gòu)建時(shí)，由于歷史情況和現(xiàn)實(shí)需求的不同，存在兩種途徑: 1、建設(shè)新系統(tǒng) 由于目前國(guó)內(nèi)商業(yè)銀行對(duì)銀行內(nèi)部運(yùn)營(yíng)的監(jiān)管，缺乏很好的數(shù)據(jù)搜集機(jī)制，因此可以在構(gòu)建管理信息系統(tǒng)時(shí)，分?jǐn)?shù)據(jù)收集錄入和數(shù)據(jù)匯總分析兩部分來(lái)考慮。這樣的系統(tǒng)中由于不需考慮大量歷史數(shù)據(jù)的處理問(wèn)題，同時(shí)考慮到搜集過(guò)程中可能存在多個(gè)數(shù)據(jù)來(lái)源，因此可以在系統(tǒng)建設(shè)的同時(shí)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)，將搜集來(lái)的各種數(shù)據(jù)通過(guò)數(shù)據(jù)抽取整合到數(shù)據(jù)倉(cāng)庫(kù)中。 2、完善原有系統(tǒng) 而對(duì)于已經(jīng)存在OLTP系統(tǒng)，其中沉淀了大量歷史數(shù)據(jù)，

30、則可以先在原有系統(tǒng)上建立邏輯數(shù)據(jù)倉(cāng)庫(kù)，即使用數(shù)據(jù)分析的表現(xiàn)工具，在關(guān)系模型上構(gòu)建一個(gè)虛擬的多維模型。當(dāng)系統(tǒng)需求穩(wěn)定后，再建立物理數(shù)據(jù)倉(cāng)庫(kù)，這樣既節(jié)省投資，又縮短開發(fā)工期。 實(shí)現(xiàn)中需要注意的問(wèn)題 一、模型設(shè)計(jì)中的問(wèn)題 模型設(shè)計(jì)(包括邏輯模型設(shè)計(jì)和物理模型設(shè)計(jì))是系統(tǒng)的基礎(chǔ)和成敗的關(guān)鍵，在實(shí)際操作中，視實(shí)現(xiàn)技術(shù)的不同應(yīng)分別對(duì)下列問(wèn)題引起注意。 1、直接構(gòu)建數(shù)據(jù)倉(cāng)庫(kù) 直接構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)時(shí)，必須按業(yè)務(wù)分析的要求重組OLTP系統(tǒng)中的數(shù)據(jù)，并要按不同側(cè)重點(diǎn)分別組織，使之便于使用。 *主題的確定 主題是一個(gè)邏輯概念，它應(yīng)該能夠完整、統(tǒng)一地刻畫出分析對(duì)象所涉及的各項(xiàng)數(shù)據(jù)以及相互聯(lián)系。劃分主題的根據(jù)主要來(lái)源于兩方

31、面:對(duì)原有固定報(bào)表的分析和對(duì)業(yè)務(wù)人員的訪談。原有固定報(bào)表能較好地反映出以往工作對(duì)數(shù)據(jù)分析的需求，而且數(shù)據(jù)含義和格式相對(duì)成熟、穩(wěn)定，在模型設(shè)計(jì)中需要大量借鑒。但僅僅滿足于替代目前的手工報(bào)表還遠(yuǎn)遠(yuǎn)不應(yīng)是構(gòu)建管理信息系統(tǒng)的目標(biāo)，還應(yīng)該通過(guò)業(yè)務(wù)訪談，進(jìn)一步挖掘出日常工作中潛在的更廣、更深的分析需求。只有這樣，才能真正了解構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)模型所需的主題劃分。 *分析內(nèi)容的細(xì)化 主題的劃分實(shí)際上是與分析內(nèi)容的范圍直接相關(guān)的，一旦主題劃分清楚了，下一步就是細(xì)化分析的具體內(nèi)容以及根據(jù)分析內(nèi)容的性質(zhì)確定它在數(shù)據(jù)倉(cāng)庫(kù)中的位置。通常維元素對(duì)應(yīng)的是分析角度，而度量對(duì)應(yīng)的是分析關(guān)心的具體指標(biāo)。一個(gè)指標(biāo)究竟是作為維元素、度量

32、還是維屬性，取決于具體的業(yè)務(wù)需求，但從實(shí)際操作中可以總結(jié)出如下的概念性經(jīng)驗(yàn):作為維元素或維屬性的通常是離散型的數(shù)據(jù)，只允許有限的取值；作為度量的是連續(xù)型數(shù)據(jù)，取值無(wú)限。如果一定要用連續(xù)型數(shù)據(jù)作為維元素，則必須對(duì)其按取值進(jìn)行分段，以分段值作為實(shí)際的維元素。判斷分析指標(biāo)是作為維元素還是維屬性時(shí)，則需要綜合考慮這個(gè)指標(biāo)占用的存儲(chǔ)空間與相關(guān)查詢的使用頻度。 需要特別強(qiáng)調(diào)的是，在細(xì)化分析內(nèi)容的過(guò)程中，務(wù)必解決指標(biāo)的歧義問(wèn)題。在不同報(bào)表中以及在業(yè)務(wù)訪談中同一名稱的指標(biāo)，是否是在同樣條件限定下，通過(guò)同樣方法提取或計(jì)算得到的，它們之間的相互關(guān)系是什么，這些問(wèn)題都必須從熟悉業(yè)務(wù)的分析人員那里得到準(zhǔn)確、清晰的答案

33、，否則將會(huì)影響到模型設(shè)計(jì)、數(shù)據(jù)提取、數(shù)據(jù)展現(xiàn)等多個(gè)方面。 *粒度的設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)模型中所存儲(chǔ)的數(shù)據(jù)的粒度將對(duì)信息系統(tǒng)的多方面產(chǎn)生影響。事實(shí)表中以各種維度的什么層次作為最細(xì)粒度，將決定存儲(chǔ)的數(shù)據(jù)能否滿足信息分析的功能需求，而粒度的層次劃分、以及聚合表中粒度的選擇將直接影響查詢的響應(yīng)時(shí)間。 如果同一個(gè)信息系統(tǒng)要在大范圍、多層次上同時(shí)運(yùn)行，如部門級(jí)和企業(yè)級(jí)，還應(yīng)考慮不同層次的數(shù)據(jù)倉(cāng)庫(kù)采用不同的粒度。 *模型設(shè)計(jì)中的技巧 復(fù)合指標(biāo)尤其是比率類指標(biāo)的定義，必須注意累加時(shí)是先加減后乘除，還是反之。戶數(shù)、筆數(shù)的計(jì)算，這類指標(biāo)在分析或報(bào)表中經(jīng)常出現(xiàn)，但不需要作為單獨(dú)的指標(biāo)物理存在于數(shù)據(jù)庫(kù)中，但定義分析模型時(shí)一

34、定應(yīng)該準(zhǔn)備。度量的時(shí)間特性，針對(duì)分析指標(biāo)在時(shí)間維上的不同表現(xiàn)，可分為可累加指標(biāo)、半可累加指標(biāo)和不可累加指標(biāo)。 2、在原有數(shù)據(jù)基礎(chǔ)上構(gòu)建邏輯數(shù)據(jù)倉(cāng)庫(kù) 如果直接使用OLTP系統(tǒng)中的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析處理，會(huì)遇到許多麻煩，有時(shí)甚至是不可能實(shí)現(xiàn)的。這并不是說(shuō)關(guān)系數(shù)據(jù)庫(kù)不好，而是因?yàn)槠湓O(shè)計(jì)思路不適應(yīng)較大規(guī)模數(shù)據(jù)分析。因此在使用這種方法時(shí)，需要注意下列問(wèn)題的處理: *不同的時(shí)間單位 這是實(shí)現(xiàn)過(guò)程中最常遇到的問(wèn)題，也往往是最難解決的問(wèn)題。OLTP系統(tǒng)中存儲(chǔ)的時(shí)間往往采用與實(shí)際業(yè)務(wù)發(fā)生相同的時(shí)間單位，如帳務(wù)數(shù)據(jù)單位為日期，財(cái)務(wù)報(bào)表單位為月或半年。而面向分析時(shí)，往往要將不同時(shí)間單位的數(shù)據(jù)統(tǒng)一到同一個(gè)結(jié)果中，這樣就

35、必須存在適當(dāng)?shù)霓D(zhuǎn)換機(jī)制才能實(shí)現(xiàn)。 *冗余信息 所謂冗余信息，就是指不同關(guān)系表中存在的同一含義的字段，而同一含義不僅指這些字段的取得或計(jì)算方式一樣，還指它們成立的條件一樣，例如截止某一時(shí)間同一地區(qū)的同一貸種的貸款余額。在OLTP系統(tǒng)中，這樣的字段往往是基于性能考慮而設(shè)計(jì)的，而在面向分析設(shè)計(jì)模型時(shí)，為了保證結(jié)果的唯一性和準(zhǔn)確性，就必須用且只用其中之一的數(shù)據(jù)產(chǎn)生分析結(jié)果。 *表間連接 由于OLTP系統(tǒng)中表的設(shè)計(jì)面向業(yè)務(wù)處理，既要保證數(shù)據(jù)的完整性、一致性，又要考慮響應(yīng)時(shí)間，因此表與表之間既相對(duì)獨(dú)立，又相互依賴。在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)邏輯模型時(shí)，對(duì)表間的連接必須做出相應(yīng)取舍，既要保證分析數(shù)據(jù)能通過(guò)連接取得或計(jì)算出，又要避免出現(xiàn)環(huán)路，造成分析數(shù)據(jù)的歧義。另外，不同的連接途徑還會(huì)出現(xiàn)不同的查詢速度，影響數(shù)據(jù)分析的響應(yīng)性能。 *統(tǒng)計(jì)表的設(shè)計(jì) 如果上述問(wèn)題不能在原有數(shù)據(jù)庫(kù)基礎(chǔ)上得到很好的解決，那么權(quán)益之計(jì)就是構(gòu)建統(tǒng)計(jì)表，即簡(jiǎn)單化的數(shù)據(jù)倉(cāng)庫(kù)，形式類似數(shù)據(jù)倉(cāng)庫(kù)的事實(shí)表，定時(shí)計(jì)算統(tǒng)計(jì)數(shù)據(jù)放入，將時(shí)間、冗余、連接等問(wèn)題擯除，進(jìn)行簡(jiǎn)單分析。