中國建設(shè)銀行CognosTransformer模型開發(fā)手冊

1、中國建設(shè)銀行Cognos Transformer模型開發(fā)手冊信息技術(shù)管理部廈門開發(fā)中心2022/2/20修改記錄編號日期描述 版本作者審核發(fā)布日期12007-07-01 初稿V1.0RTAO Team2目錄1.前言31.1.編寫目的31.2.參考文檔31.3.預(yù)期讀者31.4.術(shù)語定義32.POWERPLAY TRANSFORMER模型開發(fā)手冊42.1.PowerPlay Transformer功能簡介42.2.Transformer界面簡介42.3.建立模型設(shè)計(jì)的方法52.4.制作IQD文件62.5.建立多維模型82.5.1.定義數(shù)據(jù)源連接82.5.2.添加數(shù)據(jù)源92.5.3.添加Measu

2、re度量112.5.4.建立層次維112.6.模型的一些屬性說明和設(shè)置142.6.1.Numeric型Column的設(shè)置142.6.2.Rollup設(shè)置162.6.3.設(shè)置數(shù)值的格式162.6.4.添加Cube文件172.6.5.維度內(nèi)容顯示配置192.7.運(yùn)行模型生成Cube202.8.Cube的權(quán)限設(shè)置212.8.1.導(dǎo)入角色212.8.2.權(quán)限設(shè)計(jì)232.9.Cube增量更新252.10.模型打包發(fā)布251. 前言 1.1. 編寫目的中國建設(shè)銀行Cognos Transformer模型開發(fā)手冊是Cognos Transformer模型設(shè)計(jì)的操作手冊，包括了Transformer模型設(shè)計(jì)的

3、基本方法和一些使用技巧，為建行Cognos Transformer模型開發(fā)和設(shè)計(jì)人員提供參考和指導(dǎo)。1.2. 參考文檔中國建設(shè)銀行Cognos報(bào)表開發(fā)交付規(guī)范Cognos的幫助文檔1.3. 預(yù)期讀者n Transformer模型設(shè)計(jì)人員n Transformer模型開發(fā)人員1.4. 術(shù)語定義2. PowerPlay Transformer模型開發(fā)手冊2.1. PowerPlay Transformer功能簡介PowerPlay Transformer（以下簡稱Transformer）是Cognos8中一個(gè)重要的組件，也是一個(gè)OLAP服務(wù)器，主要用來創(chuàng)建模型，幫助你組織數(shù)據(jù)，將不同數(shù)據(jù)源的數(shù)據(jù)整

4、合到PowerCube當(dāng)中，形成多維數(shù)據(jù)源。而根據(jù)生成好的PowerCube模型，Analysis Studio便可在此基礎(chǔ)上各種報(bào)表，比較數(shù)據(jù)和發(fā)現(xiàn)業(yè)務(wù)發(fā)展趨勢。Transfomer模型能夠幫助將數(shù)據(jù)從各種數(shù)據(jù)源組織進(jìn)多維的PowerCube中，創(chuàng)建能夠比較數(shù)據(jù)和發(fā)現(xiàn)趨勢的報(bào)表。在用Transfomer建立模型之前，首先要評測數(shù)據(jù)，以及確定如何構(gòu)造它們，以使它們能夠支持業(yè)務(wù)分析的類型；然后用Transfomer構(gòu)造創(chuàng)建數(shù)據(jù)的模型；最后生成一個(gè)PowerCube，讓用戶通過Analysis Studio直接查看和應(yīng)用其中的數(shù)據(jù)。2.2. Transformer界面簡介Transformer界面

5、包括以下四個(gè)基本窗格：n 數(shù)據(jù)源(Data Sources)窗格數(shù)據(jù)源窗格的作用是將數(shù)據(jù)集成到模型中來。根據(jù)模型設(shè)計(jì)文檔，從能夠支持應(yīng)用的數(shù)據(jù)倉庫及數(shù)據(jù)庫中確定要查詢哪些數(shù)據(jù)，并將它們加載進(jìn)數(shù)據(jù)源窗格。然后再將數(shù)據(jù)源窗格的數(shù)據(jù)用于建立維度圖，并創(chuàng)建PowerCube。在數(shù)據(jù)源窗格中可以有一個(gè)或多個(gè)數(shù)據(jù)源，每個(gè)數(shù)據(jù)源來自于一個(gè)數(shù)據(jù)源文件 (例如.iqd等) ，每個(gè)數(shù)據(jù)源都有自己的數(shù)據(jù)源名。每個(gè)數(shù)據(jù)源由構(gòu)成它的若干列(Columns)組成。這是做模型的原始基本素材。l 數(shù)據(jù)源窗格中列的數(shù)據(jù)類型：打開列的屬性(雙擊列名)-General標(biāo)簽頁-Data class如果數(shù)據(jù)源不是來源于.iqd，則它的

6、列的數(shù)據(jù)類型開始為Unspecified(未指定)。n 維度圖（Dimension Map）窗格維度圖窗格是一個(gè)用于建立多維立方體結(jié)構(gòu)的工作區(qū)。根據(jù)數(shù)據(jù)源中的文本數(shù)據(jù)，各個(gè)維度以及每個(gè)維度下層的設(shè)定在此組織 (維度和層)。最底層要對應(yīng)數(shù)據(jù)源窗格中的一個(gè)列。n 度量（Measures）窗格度量窗格用于建立和顯示模型所需要的度量。度量值是在PowerPlay報(bào)表單元中可視的數(shù)據(jù)。根據(jù)模型設(shè)計(jì)文檔，定義應(yīng)用中需要的度量。模型中至少要有一個(gè)度量，度量與維度的最底一層關(guān)聯(lián)。每個(gè)標(biāo)準(zhǔn)度量要在數(shù)據(jù)源中對應(yīng)有一個(gè)列 (計(jì)算度量除外)。n PowerCube窗格PowerCube窗格顯示用模型創(chuàng)建的PowerC

7、ube。2.3. 建立模型設(shè)計(jì)的方法建立模型設(shè)計(jì)時(shí)，應(yīng)首先選擇度量，然后選擇能夠支持度量的維度和層。作模型設(shè)計(jì)時(shí)，選好要說明的業(yè)務(wù)領(lǐng)域：1) 選定能夠說明業(yè)務(wù)領(lǐng)域關(guān)鍵成功因素的度量指標(biāo)；2) 確定能夠準(zhǔn)確地反映數(shù)據(jù)等級結(jié)構(gòu)的層。為了使應(yīng)用導(dǎo)航比較快速和易于操作，盡量保持每個(gè)維度中的層數(shù)不超過5層。3) 選擇的維度與度量要匹配。推薦維度數(shù)盡量保持在57個(gè)，因?yàn)檩^少的維度可以使得應(yīng)用幾乎更直觀和易于使用。在生成PowerCube前，在Transfomer模型中必須完成：1) 集成數(shù)據(jù)源數(shù)據(jù)2) 建立維度圖3) 定義需求的度量建立模型的一般流程：制作IQD文件建立多維模型運(yùn)行模型生成CUBE模型打包

8、發(fā)布2.4. 制作IQD文件IQD文件用于在多維模型中組織數(shù)據(jù)源，實(shí)際的作用就是將所需要的維表和事實(shí)表從數(shù)據(jù)庫中讀出來，成為生成Cube的數(shù)據(jù)來源。根據(jù)以往的經(jīng)驗(yàn)，雖然IQD文件中可以手寫較為復(fù)雜的SQL語句，但如果是事實(shí)表IQD不建議這樣做，IQD文件中最好只有簡單的SELECT語句，這樣不至于影響效率。可以通過一個(gè)IQD的模版手工編寫IDQ文件： a) 第1、2行是固定語句b) 第3行指明了到數(shù)據(jù)庫的邏輯連接名c) 第4行實(shí)際是表名d) 從第5行到第8行是IQD中的查詢語句主體e) 從第9行到結(jié)束是對查詢出來的每個(gè)字段的申明以上皆為固定格式也可通過Framework生成IQD文件，避免手寫

9、的勞動(dòng)。由軟件自動(dòng)完成，可以避免出錯(cuò)的可能性：1、首先把查詢對象的屬性修改成iqd 2、然后發(fā)布模型時(shí)把下面的選項(xiàng)的勾打上，并且設(shè)置好存放iqd腳本的路徑如下圖：2.5. 建立多維模型2.5.1. 定義數(shù)據(jù)源連接使用IQD作為多維模型的數(shù)據(jù)源首先要在Cognos安裝路徑下的Cognos.ini文件中正確定義到數(shù)據(jù)庫的連接，連接字符串可以從Cognos的Portal上獲得。 打開Cognos.ini（Cognos cs7g.ini）文件，在文件內(nèi)容后面添加邏輯數(shù)據(jù)源名稱及”=”符號，然后把連接字符串拷入。 2.5.2. 添加數(shù)據(jù)源配置好數(shù)據(jù)源連接后，添加IQD文件作為多維模型的數(shù)據(jù)源：點(diǎn)擊菜單上

10、的“NEW”按鈕新建一個(gè)模型，輸入模型名稱和數(shù)據(jù)源名稱后，在“Data source type”中選擇“Impromptu query definition”，即IQD類型。 接著輸入IQD的文件目錄和名稱。 所添加的IQD文件，通?？梢苑譃榫S表IQD和事實(shí)表IQD：Ø 維表IQD實(shí)際上就是對維表的查詢語句，用來建立多維模型的維度，實(shí)際上就是搭出多維模型的架子。Ø 事實(shí)表IQD給出的就是多維模型中最細(xì)粒度的數(shù)據(jù)，實(shí)際上就是給多維模型中的Measures提供數(shù)值。目前已經(jīng)在實(shí)踐中證明最不易出問題的做法就是：在維表中進(jìn)行逐級分層，在事實(shí)表中給出維表中最細(xì)一層的明細(xì)數(shù)據(jù)，以事實(shí)表

11、自動(dòng)關(guān)聯(lián)維表的最底層來生成Cube。此種開發(fā)，生成Cube的效率瓶頸主要會(huì)出現(xiàn)在事實(shí)表數(shù)據(jù)的生成階段，因?yàn)槭聦?shí)表要滿足多維模型的話就必須給出模型中所有維度的最明細(xì)數(shù)據(jù)，這需進(jìn)行一系列數(shù)據(jù)抽取以及轉(zhuǎn)換的過程。生成事實(shí)表所消耗的時(shí)間取決于數(shù)據(jù)量的大小和進(jìn)行數(shù)據(jù)抽取轉(zhuǎn)換運(yùn)算的復(fù)雜程度。然后點(diǎn)擊下一步，在彈出的框中要求輸入數(shù)據(jù)庫的登錄用戶名和密碼。最后點(diǎn)擊完成。 添加IQD文件作為數(shù)據(jù)源后，雙擊IQD中的列便可以看到列的屬性 2.5.3. 添加Measure度量直接將事實(shí)表IQD中的度量拖到“Measure”窗格。多維模型中的Measure就來源于事實(shí)表IQD中的Numeric型Column。 l 維

12、表和事實(shí)表在多維模型中能夠自動(dòng)正確關(guān)聯(lián)的保證：維表的最低層字段名和事實(shí)表的維度字段名一致，事實(shí)表IQD放在所有維表IQD之后。2.5.4. 建立層次維導(dǎo)入數(shù)據(jù)源和建立好度量后，建立模型的層次維：將數(shù)據(jù)源窗格中維表的字段拖到維度圖窗格，以機(jī)構(gòu)為例，先將一級編碼拖到維度圖窗格的陰影部分，再將二級編碼拖到一級編碼的先面，如此類推，從高層次到低層次往下拖。最后便生成一個(gè)層次結(jié)構(gòu)的維。 對于日期維，把事實(shí)表中的日期字段直接拖入維度圖窗格，Transformer會(huì)自動(dòng)生成一個(gè)層次結(jié)構(gòu)的維。 拖入之后我們看到自動(dòng)生成的層次維最小到月，可以右鍵點(diǎn)擊自動(dòng)生成的日期維，選擇其中的“Insert Level“添加日

13、層次，在彈出的框的“source”中點(diǎn)擊source的Data source type，在彈出的框中選擇事實(shí)表的日期字段，點(diǎn)擊確定。 然后在“Time”的日期函數(shù)中我們選擇“day”。 最后點(diǎn)擊確定?？梢钥吹饺盏膶哟伪闵闪?。 2.6. 模型的一些屬性說明和設(shè)置2.6.1. Numeric型Column的設(shè)置對空值的特殊設(shè)置：如果原數(shù)據(jù)庫中數(shù)據(jù)為空或者緯度組合所對應(yīng)的數(shù)據(jù)為空，通過設(shè)置missing value 可以選擇顯示為空或者為0： 數(shù)值輸出倍數(shù)及精度設(shè)置： 之所以會(huì)有數(shù)值輸出倍數(shù)及精度設(shè)置有如下原因：Cube生成中由于整型數(shù)據(jù)的運(yùn)算效率比浮點(diǎn)型要高，所以輸入數(shù)值會(huì)被根據(jù)其小數(shù)位數(shù)自動(dòng)進(jìn)

14、行放大為整數(shù)，而作為運(yùn)算結(jié)果輸入到Cube時(shí)則會(huì)被恢復(fù)回原來的值，也就是縮小相應(yīng)的倍數(shù)，OutputScale=2，就是乘以0.01，Precision=2就是精確到小數(shù)點(diǎn)后兩位。對于Numeric型Column的聚合運(yùn)算：根據(jù)度量的業(yè)務(wù)含義進(jìn)行控制，如果度量是按時(shí)間維度進(jìn)行聚合的話如余額度量，就要在 time state rollup 中配置“l(fā)ast priod”。如果是發(fā)生額就要在regular rollup中選擇deflautsum： 2.6.2. Rollup設(shè)置Regular rollup：用于定義在普通維度上進(jìn)行聚合的運(yùn)算。 Time State rollup：用于定義在時(shí)間維度

15、上的聚合運(yùn)算，如果選擇none（regular rollup）則在時(shí)間維度上是匯總。 2.6.3. 設(shè)置數(shù)值的格式對數(shù)據(jù)的顯示格式進(jìn)行設(shè)置。 2.6.4. 添加Cube文件右鍵點(diǎn)擊Powercube窗格，選擇“Insert PowerCube”。 添加Cube文件后的主要設(shè)置：選擇cube文件在本地保存的路徑 如果是在本地生成cube，要在processing里面選擇“l(fā)ocally”；如果cube是要在服務(wù)器上生成的話，就要選擇“on the server”。 增量更新Cube需要的額外設(shè)置：在插入cube后，要在cubegroup里面配置dimension 及 level 進(jìn)行自動(dòng)關(guān)聯(lián)所需

16、要的配置Unique： l 注意：我們在維屬性框里可以看到（上圖），Source表示該層次的來源，一般選擇ID號。這里還有個(gè)Label標(biāo)簽，我們選擇該ID對應(yīng)的name，作為顯示時(shí)的名字。2.6.5. 維度內(nèi)容顯示配置選擇 always include 表示在生成cube的時(shí)候，事實(shí)表和緯表里面的緯度數(shù)據(jù)都會(huì)存在。選擇when needed表示只有事實(shí)表里面緯度存在的數(shù)據(jù)在生成cube的時(shí)候才會(huì)存在。 2.7. 運(yùn)行模型生成Cube在Windows客戶端上生成Cube： 在UNIX系統(tǒng)上生成Cube的命令：Rsserver c m cubename.mdlRsserver c p cubena

17、me.pyi在UNIX系統(tǒng)上將MDL文件轉(zhuǎn)換為PYI的命令：Rsserver m cubename.mdl s cubename.pyi（增量更新的cube需要將模型裝換成pyi格式，才能正常進(jìn)行更新。因?yàn)樵趗nix增量更新的過程中系統(tǒng)會(huì)自動(dòng)打上時(shí)間戳，mdl不支持，pyi支持）l 在UNIX下，建議使用PYI文件來生成Cube，因?yàn)镻YI是編譯過的模型文件，打開較快，另外，生成Cube過程中，維度中的內(nèi)容會(huì)被保留到模型文件中，對于要保留歷史維度信息的模型文件就需要這么做。而mdl在unix因?yàn)橹荒茏鋈扛?，所以無法保留歷史數(shù)據(jù)為了能夠在UNIX服務(wù)器上正常運(yùn)行模型文件生成Cube，需要早用

18、戶配置文件中添加的變量：#PPESCOGNOS_HOME=/home/cognos81/cer4/bin;export COGNOS_HOME#MDC生成路徑ModelWorkDirectory=/home/cognos81/report/mdlwork;export ModelWorkDirectoryDataSourceDirectory=/home/cognos81/report/iqd;export DataSourceDirectoryDataWorkDirectory=/home/cognos81/report/temp;export DataWorkDirectoryCubeSa

19、veDirectory=/home/cognos81/report/mdc;export CubeSaveDirectoryModelSaveDirectory=/home/cognos81/report/mdl;export ModelSaveDirectoryLogFileDirectory=/home/cognos81/report/log;export LogFileDirectoryLogDetailLevel=4;export LogDetailLevel2.8. Cube的權(quán)限設(shè)置Cube或者報(bào)表都需要進(jìn)行權(quán)限的設(shè)置。Cube的權(quán)限配置步驟如下：2.8.1. 導(dǎo)入角色1、 點(diǎn)擊powerpyay transformer 的file后選擇model properties。如下圖：2、 選擇auth