已閱讀5頁,還剩1頁未讀, 繼續(xù)免費閱讀
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1. 與數(shù)據(jù)相關(guān)的考慮事項 對源數(shù)據(jù)進行分析是確定數(shù)據(jù)質(zhì)量、存儲方式、源數(shù)據(jù)類型和所需準備工作的重要一步。 1.1 清潔合并數(shù)據(jù) 對數(shù)據(jù)進行預處理可以帶來性能上的提高: 如果源數(shù)據(jù)只含有模型所需的信息,將會加快Transformer 的讀取時間。例如,如果在數(shù)據(jù)源中包含了一些沒有用的列,那么即使在模型中沒有用到這些列,Transformer 也會花費額外的時間對它們進行處理。 數(shù)據(jù)合并可以減少被讀取的記錄的數(shù)量。Transformer讀取的記錄數(shù)量越少,PowerCube生成的時間也就越短。 1.1.1 提示 當設(shè)計將在Transformer中所使用的數(shù)據(jù)源時,要盡量只包含那些生成模型所需的列,使處理時間最小化。如果包含了不需要的列,可能就會對數(shù)據(jù)源的處理時間產(chǎn)生影響。 在可能的情況下,請保持Transformer模型中的類別結(jié)構(gòu),這樣就可以減少對它們進行重建所需的多余的處理過程。 如果模型中包含了較長的描述,我們推薦您使用已經(jīng)含有和描述相關(guān)聯(lián)的類別的模型來生成PowerCubes。 1.2 定時(Timing) 定時控制 (在數(shù)據(jù)源屬性頁上)可以控制Transformer在什么時候?qū)?shù)據(jù)源進行處理。 首先應(yīng)該執(zhí)行結(jié)構(gòu)型數(shù)據(jù)源來創(chuàng)建模型中的類別結(jié)構(gòu)。完成這一步后,如果在PowerCube生成過程中不需要執(zhí)行它們 (數(shù)據(jù)源中沒有添加新的類別,并且含有這些類別的模型已經(jīng)得到保存) ,那么可以將數(shù)據(jù)源的定時功能(timing)設(shè)置如下: 有些結(jié)構(gòu)型數(shù)據(jù)源代表一種易變動的結(jié)構(gòu),這種結(jié)構(gòu)需要在每次生成PowerCube時對這些類別進行更新??梢詫⑦@種類型的數(shù)據(jù)源的定時功能設(shè)置為在創(chuàng)建PowerCube的類別生成階段來運行。 事務(wù)型數(shù)據(jù)源隨著每次生成PowreCube時度量值所需的新數(shù)據(jù)的變化而不斷發(fā)生變化 。事務(wù)型數(shù)據(jù)源在PowerCube創(chuàng)建過程中執(zhí)行來提供度量值: 1.3 驗證類別唯一性,最大化數(shù)據(jù)訪問的速度 在數(shù)據(jù)源屬性頁上有兩個用于唯一性驗證的設(shè)置。默認的屬性設(shè)置為Verify Category Uniqueness。對于所提供的列與含有唯一層的維度中的層相關(guān)聯(lián)的數(shù)據(jù)源,推薦使用該項設(shè)置。通常這些數(shù)據(jù)源為結(jié)構(gòu)型數(shù)據(jù)源。 如果設(shè)置為Verify Category Uniqueness并且Transformer 檢測到在一個標識為“Unique”(層屬性)的層上有兩個類別具有相同的源值,就會返回以下錯誤信息: (TR2317) The level City is designated as unique. Source value Green Bay was used in an attempt to create a category in the path (By state,Illinois,Green Bay). Green Bay already exists in level City in the path (By state,Wisconsin,Green Bay). (TR0136) A uniqueness violation was detected. The process has been aborted. 例如,State維度在City層上被設(shè)置為Unique: 該錯誤表示在City層下存在第二個Green Bay實例 (本例中為Illinois)。例如,如果您的源數(shù)據(jù)如下: Measure, State, City 1, Wisconsin, Green Bay 2, Wisconsin, Appleton 3, Illinois, Green Bay 當在City層上沒有選定“Unique”時,維度視圖顯示為: 當在City層上選定“Unique”,過程會被中斷,維度視圖顯示為: 如果您確定模型數(shù)據(jù)源中的值被映射到層的唯一類別中,則可以設(shè)置Maximize Data Access Speed屬性。 當啟用該屬性時,唯一性驗證將會將到最低,數(shù)據(jù)源處理的性能將會提高。Transformer不會不停的對現(xiàn)有值和類別值進行驗證。這就意味著性能可以得到極大的提高。 警告! 如果啟用了Maximize Data Access Speed,而在數(shù)據(jù)中存在違反唯一性的問題,Transformer將不會通知您。會造成在PowerCube中產(chǎn)生類別丟失和值不準確的問題。 使用和上面相同的例子,如果啟用了Maximize Data Access Speed并且City層被設(shè)置為“ Unique” ,Transformer將不會通知您Green Bay存在于兩個不同的State(Wisconsin和Illinois)下,PowerPlay中的最終結(jié)果如下: 注意:上面的交叉表中不存在Illinois 如果刪除City層的唯一性并對立方體進行重建,PowerPlay中的最終結(jié)果為: 注意:當設(shè)定Maximize Data Access Speed 時,將不會執(zhí)行唯一性的轉(zhuǎn)移(unique move)。 1.4 多服務(wù)器處理功能 如果生成PowerCube的計算機是雙CPU,您就可以利用多服務(wù)器處理的功能。啟用該功能可以大大提高數(shù)據(jù)讀取階段生成PowerCube的整體性能。 多服務(wù)器僅適用于以下數(shù)據(jù)源類型: Impromptu Query Definition (IQD) Delimited Field Text Delimited Field Text with Column Titles 該選項可以在Data Source屬性對話框中進行設(shè)置: 1.5 增量更新 如果創(chuàng)建整個立方體的條件不滿足,那么增量更新將是一種很好的解決方法。增量更新僅將最新的數(shù)據(jù)添加到現(xiàn)有的PowerCube而不會對以前的數(shù)據(jù)進行重新處理。與重建整個PowerCube相比,使用增量更新只會對很少的數(shù)據(jù)進行更新,而且更新的速度也會得到加快。 如果PowerCube的結(jié)構(gòu)(維度、層等)為靜態(tài),您只需考慮使用增量更新功能。如果發(fā)生了結(jié)構(gòu)變化,必須使用所有數(shù)據(jù)重新生成立方體。 推薦您定期重建PowerCube。第一次建立立方體時,自動分區(qū)( Auto-Partitioning)功能可以將維度和層分割為多個分區(qū)層(partitioning level)。 在此之后所有新的類別將被加到 “0”分區(qū)層上。 如果隨時間的變化增加了很多類別,PowerCube用戶最終會遇到性能問題。使用所有當前類別重新生成PowerCube將允許Transformer設(shè)計出一種新的分區(qū)模式。下面的例子是每四次增量更新后進行一次完整重建的調(diào)度情況: Build 處理行為 1 初始化加載 2 對build1進行增量更新1 3 在build 2上進行增量更新2 4 在build 3上進行增量更新3 5 在build 4上進行增量更新4 6 由初始加載和從增量更新1到增量更新4組成的完全加載 7 在build 5上進行增量更新5 8 在build 7上進行增量更新6 1.6 設(shè)置Transformer環(huán)境 本節(jié)列舉出了在Windows NT上使Transformer獲得最佳性能所需考慮的設(shè)置 : WriteCacheSize: 根據(jù)可用內(nèi)存的多少,寫緩存的值會對PowerCube的生成時間產(chǎn)生正面或負面的影響。當有足夠物理內(nèi)存以至于磁盤緩存可以增加到和PowerCube一樣大小時,就可以獲得最佳得性能。 可以在Services - PowerPlay Data Services - Cache 下的Configuration Manager 中對該設(shè)置進行修改。默認值為 8192 (或 8MB)。要對其進行修改,可以使用1024為增量來增加該值的大小。在大型系統(tǒng)上將寫緩存增加到32768 (32MB) 或 65536 (64MB) 可以提高性能。然而,如果將其增加到非常大的值(例如102400 或數(shù)百兆字節(jié)) 會損害性能。 SortMemory: 該變量可以設(shè)置對數(shù)據(jù)進行排序時所使用的可用物理內(nèi)存。Transformer 對數(shù)據(jù)進行排序用于數(shù)據(jù)合并和自動分區(qū)。 所設(shè)定的數(shù)值代表在進行數(shù)據(jù)排序時所使用的2K區(qū)塊的數(shù)量。例如, 將值設(shè)為5120可以提供5120 x 2K = 10MB 的內(nèi)存。默認值為512。 可以在 Services - UDA - General 下的Configuration Manager 中對默認值進行修改。將默認值設(shè)置為5120是一個不錯的選擇。 TEMPFILEDIRS: Transformer 使用該設(shè)置用于臨時排序文件。在Transformer執(zhí)行排序操作時都會創(chuàng)建該臨時排序文件。 可以修改Services - UDA - General 下Configuration Manager 中的地址??梢栽O(shè)置以分號分隔的多個目錄。 MaxTransactionNum: Transformer可以在生成PowerCube的各個階段插入checkpoint。Maximum Transactions Per Commit設(shè)置可以限制插入一個checkpoint之前臨時保存的記錄的數(shù)量。默認設(shè)置為MaxTransactionNum=500000。所設(shè)定的值是向PowerCube提交修改之前Transformer將要處理的最大記錄數(shù)??梢栽贕eneral 標簽下的Transformer Preferences對話框中對默認值進行修改。 如果在生成立方體時發(fā)生了錯誤(例如 TR0112 There isnt enough memory available) ,需要降低 MaxTransactionNum的值,這樣就可以加快提交的頻率并釋放磁盤空間。 可以將該設(shè)置增加到一個更高的數(shù)值 (例如800000) 來提高立方體的生成時間,其結(jié)果取決于環(huán)境。 主意:ReadCacheSize設(shè)置和Transformer無關(guān),該項設(shè)置只針對PowerPlay Enterprise Server 和PowerPlay Client 。 1.7 參數(shù)設(shè)置文件 可以使用幾種參數(shù)設(shè)置,以下是最常用的參數(shù)設(shè)置: ModelWorkDirectory= 當進行模型設(shè)計時設(shè)定創(chuàng)建臨時文件的位置。臨時文件用來在立方體創(chuàng)建過程中發(fā)生嚴重錯誤時恢復在戰(zhàn)略檢查點被掛起的模型。該文件的擴展名為QYI, 默認的路徑是ModelSaveDirectory設(shè)置的值。 DataWorkDirectory= 設(shè)定在生成立方體時Transformer創(chuàng)建臨時工作文件的位置??梢允褂枚鄠€驅(qū)動器的能力可以消除操作系統(tǒng)所造成的大小限制。 當Transformer 創(chuàng)建立方體時,它可以將臨時文件寫入指定的驅(qū)動器或目錄。這些文件被連接到一個邏輯文件,而無需考慮它們所在的驅(qū)動器。這些文件的位置由您所設(shè)定的路徑列表來決定。默認的路徑為CubeSaveDirectory設(shè)置的值。 DataSourceDirectory= 對于除IQD文件和Architect模型以外的數(shù)據(jù)源文件,該設(shè)置可以指定Transformer搜索這些文件的位置。默認路徑是當前工作路徑。 CubeSaveDirectory= 指定Transformer保存立方體的位置。默認路徑為ModelSaveDirectory。 ModelSaveDirectory= 設(shè)定Transformer保存模型的位置。默認路徑為當前工作路徑。 下面是Transformer日志文件中有關(guān)這些設(shè)置的實例: PowerPlay Transformer Wed Sep 19 09:39:17 2001 LogFileDirectory=c:transformerlogs ModelSaveDirectory=c:transformermodels DataSourceDirectory=c:transformerdata CubeSaveDirectory=e:transformercubes DataWorkDirectory=d:temp ModelWorkDirec
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年度虛擬現(xiàn)實技術(shù)項目制式勞動合同范本3篇
- 2024醫(yī)療器械銷售代理授權(quán)委托協(xié)議6篇
- 2024年員工職務(wù)發(fā)明及知識產(chǎn)權(quán)保護與許可使用協(xié)議3篇
- 2024年機械設(shè)備搬運服務(wù)合同3篇
- 2024年度異地戀情侶婚約保障與解除合同3篇
- 2024年度運輸公司貨車司機勞動合同范本(含保密條款)2篇
- 2024年度消防水源及消防栓維保合同終止書3篇
- 2024年度中小企業(yè)遠程工作員工勞動合同范本與網(wǎng)絡(luò)管理3篇
- 2024年度單位二手房產(chǎn)交易合同書3篇
- 2024年度魚苗養(yǎng)殖資源保護與可持續(xù)利用合同3篇
- 四川省綿陽市2024年七年級上學期數(shù)學期末考試試卷【附答案】
- 建筑工程施工合同:游泳館建設(shè)
- DB31-T 1305-2021 未成年人家庭監(jiān)護能力評估指南
- 南京工程學院《C語言程序設(shè)計》2023-2024學年第一學期期末試卷
- 中建中建機械頂管專項方案范本
- 機動車檢測站程序文件(根據(jù)補充要求修訂)
- 精神科患者首次風險評估單
- 2024-2025學年 數(shù)學二年級上冊冀教版期末測試卷(含答案)
- 防沖撞升降柱安裝合同
- 2024年下半年安徽文都控股集團限公司公開招聘易考易錯模擬試題(共500題)試卷后附參考答案
- 《光伏電站運行與維護》試題及答案一
評論
0/150
提交評論