上海電信ODS系統(tǒng)數(shù)據(jù)庫升級項目測試方案V

1、上海電信*ODS系 統(tǒng)數(shù)據(jù)庫升級測試方案*2010-12-16第1章 項目概述上海電信ODS系統(tǒng)作為上海電信MBOSS信息整合項目的一個重要組成部分，存儲上 海電信的運營數(shù)據(jù)，包含客戶、產(chǎn)品、計費和資源（業(yè)務(wù)資源）主題域，支撐上海電信的 客戶經(jīng)理和管理層所需的經(jīng)營和客戶數(shù)據(jù)的分析和統(tǒng)計工作。自2004年上線運行以來，新業(yè)務(wù)的涌現(xiàn)以及電信需求的不斷增加要求ODS系統(tǒng)不斷向前發(fā)展。而現(xiàn)有的系統(tǒng)從硬件環(huán)境和數(shù)據(jù)庫環(huán)境等各方面，都已經(jīng)不能滿足用戶對于該 系統(tǒng)的需要，主要存在的問題包括：數(shù)據(jù)庫版本過低，ORACL原廠商將停止保修服務(wù)器老化，維保費用高昂目前上海電信ODS系統(tǒng)數(shù)據(jù)庫服務(wù)器使用的是IBM P

2、5-590和P5-690小型機，590和 690 耗電量巨大，原廠商的設(shè)備維保費用高昂， 如果繼續(xù)使用上述服務(wù)器用于生產(chǎn)環(huán)境， 從成本角度，是不經(jīng)濟的，從節(jié)能角度，是不環(huán)保的，從性能角度看， IBM P5 的性能 遠不如 P6?；谝陨弦蛩兀虾ｋ娦刨徺I了兩臺滿配的 P6-570，計劃用于替換先前的 ODS數(shù)據(jù) 庫服務(wù)器，通過硬件的升級，從而進一步提高系統(tǒng)的穩(wěn)定性和用戶響應(yīng)速度。1.1 本文目的本文主要是對上海電信 ODSS統(tǒng)數(shù)據(jù)庫升級項目的實施方案描述，對項目實施中的涉 及系統(tǒng)的遷移及擴容等提供依據(jù)。1.2 本文讀者上海電信ODSS統(tǒng)數(shù)據(jù)庫升級項目相關(guān)人員，包括上海電信IT部和理想公司相關(guān)人

3、員。1.3 參考資料1.4 Oracle 升級對周圍 IT 系統(tǒng)的要求ODS數(shù)據(jù)庫軟件Oracle從原先9i升級到11g后，ODS其它軟件也需要進行相應(yīng)版本 升級，才能支持 Oracle 11g 。目前ODS勺生產(chǎn)軟件對Oracle的支持與否已經(jīng)得到廠商的正式回復(fù)，簡述如下： 報表展現(xiàn)工具：Businessobjects (BO)目前版本不支持 Oracle 11g目前使用版本： enterprise11.0? Release I 和 Release II需要升級到的版本： Business Objects XI R3 (service Packet3.1 )QLinkView (QV)目前版

4、本支持 Oracle 11g 。但仍需測試。ETL 開發(fā)工具：Informaitca目前版本不支持 Oracle 11g目前使用版本： Informaitca PowerCenter 851需要升級到的版本： Informaitca PowerCenter 861BO QV和Informaitca 是ODS部門IT開發(fā)的主要工具，是維持ODS產(chǎn)經(jīng)營的重要基 礎(chǔ)。這些工具的升級，需要謹慎和細致的測試工作。由于這三個工具緊密結(jié)合數(shù)據(jù)庫，所 以測試工作必須在 Oracle 升級完成后展開，測試步驟見第 2 章。BO 和 Informaitca 升級后的新版本軟件需要有硬件服務(wù)器來運行。建議配置兩臺服

5、務(wù) 器，一臺給 BO 一臺給 Informaitca 。新版本Informaitca 服務(wù)器的配置建議參考現(xiàn)有 ETL服務(wù)器配置，如下：IBM pSeries 670 16CPU/64GB新版本BC服務(wù)器的配置建議參考現(xiàn)有ETLK務(wù)器配置，如下:IBM x445 8CPU/32GB第2章 上海電信 ODS 數(shù)據(jù)庫升級測試方案2.1 測試方案流程測試前準備工作：（1）各類遷移或受升級影響的程序的統(tǒng)計整理，整改。統(tǒng)計采用自主申報和 無主認領(lǐng)相結(jié)合的方式展開。首先讓ODS各個小組將各自負責的程序按照模板上 報，由DBA審核。第二步是對無主程序的認領(lǐng)。具體見”SP/function/Package程序

6、的遷移”小節(jié)的描述信息。（2）搭建 Oracle 11g 的測試環(huán)境。具體步驟見（3）新建 ETL測試環(huán)境（版本：Informaitca PowerCenter 861）、新建 BC測 試環(huán)境（版本：Business Objects XI R3），準備QV測試環(huán)境。（4）把ODSP上的程序遷移部署到該測試環(huán)境中，然后復(fù)制原數(shù)據(jù)庫的生產(chǎn) 數(shù)據(jù)的一部分到測試數(shù)據(jù)庫環(huán)境中（5）在ETL測試環(huán)境部署受升級影響的 ETL進程（6）在BO, QV測試環(huán)境部署相關(guān)程序測試步驟：Oracle11G 數(shù)據(jù)庫升級測試（ 1 ） 在新環(huán)境測試遷移的 Oracle 程序。（ 2） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未

7、通過，查找原因并予以解決。（3）在新環(huán)境對 Oracle 程序進行大數(shù)據(jù)量加載的性能測試，若性能測試不 合格，查找原因并予以解決。（4）在ETL測試環(huán)境測試受升級影響的ETL進程。（ 5） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（ 6） 大數(shù)據(jù)量性能測試，若性能測試不合格，查找原因并予以解決。（7）在BO QV測試環(huán)境運行測試程序。（8） 在BO QV測試環(huán)境，IT或業(yè)務(wù)部門查看報表是否正常。若不正常，則 查找原因并予以解決。（9）Oracle11G 數(shù)據(jù)庫升級測試完畢Oracle11G 數(shù)據(jù)庫升級完畢后：Informaitca PowerCenter 861 升級測試

8、（1）在ETL新環(huán)境測試和部署在 OraclellG數(shù)據(jù)庫升級階 段未測試過的ETL進程。（ 2）運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（ 3） Informaitca PowerCenter 861 升級測試完成。Business Objects XI R3（Service Pack 3.1） 升級測試（1）在B0新環(huán)境測試和部署在OraclellG數(shù)據(jù)庫升級階 段未測試過 的B0進程。（ 2） 運行測試完后，數(shù)據(jù)比對。若數(shù)據(jù)比對未通過，查找原因并予以解決。（3） Business Objects XI R3（Service Pack 3.1） 升級測試完成。 測試方

9、案流程示意圖：2.2 SP/function/Package 程序的遷移、修改和驗證SP/function/Package 程序的遷移所有的 SP/function/Package 程序由程序員填寫遷移申請表 申請表記錄下列信息：申請人、申請日期、 SP/function/Package 的名稱、環(huán)境（用戶名） 、項目組、程序 用途（業(yè)務(wù)背景、邏輯等） 、程序源表、程序目標表、程序上線日期、程序運行時 間點、程序運行周期。EDA 架構(gòu)師團隊對所有申請的 SP/function/Package 進行審核 審核的內(nèi)容包括：該 SP/function/Package 是否還有效， 無效的 SP/fu

10、nction/Package 將不遷移， 但由DBA 做好備份；該 SP/function/Package 是否符合 EDA 的代碼規(guī)范；該 SP/function/Package 是否需要變更運行環(huán)境；該 SP/function/Package 是否需要做其他修改。審核通過的該 SP/function/Package 由 DBA 發(fā)布到新的服務(wù)器上審核不通過的該 SP/function/Package ，給出整改意見，整改通過后發(fā)布無人認領(lǐng) SP/function/Package 的處理DBA整理出所有沒有人提出遷移申請的 SP/function/Package，提交EDA架構(gòu)師團 隊做第

11、1 步分析，是否該 SP/function/Package 是否有效；如果認定有效，則由DBA發(fā)布，并指定程序負責人；如果認定無效，群發(fā)給 EDA 所有人員公示 1 周，若還無人認領(lǐng)，則作為無效SP/function/Package 處理； 如果認定有效但需要做修改， 則指定程序負責人， 給出整改意見， 整改通過后發(fā)布SP/function/Package 程序的修改EDA 架構(gòu)師團隊審核不通過的 SP/function/Package ，給出整改意見，提交程序負責人 進行整改；整改過程需要按照 EDA 的代碼規(guī)范執(zhí)行；程序負責人在接到整改通知后 1 天內(nèi)提交整改計劃給 EDA 架構(gòu)師團隊審核

12、，審核通過 后，按計劃進行整改；整改后并通過驗證后，由 DBA 提交。SP/function/Package 程序的驗證 如果有必要，程序需要編寫測試稽核腳本。用以比對程序遷移后是否正常和準確的運 行。功能驗證功能驗證驗證 3 點：程序是否能正常運行； 程序執(zhí)行結(jié)果是否與預(yù)期的一致。如通過稽核腳本的測試。 報表數(shù)據(jù)是否得到業(yè)務(wù)部門的確認。能力驗證驗證應(yīng)用程序是否能夠達到預(yù)期的執(zhí)行效率； 驗證應(yīng)用程序是否會耗費大量的資源； 驗證方式驗證工作由 EDA 基礎(chǔ)維護組和業(yè)務(wù)單位共同完成； 驗證工作同時兼顧功能驗證和能力驗證； 擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證； 程序負責人提供理

13、論結(jié)果，驗證人驗證結(jié)果是否正確；2.3 ETL 程序的修改和驗證ETL程序的的遷移同 SP/function/Package 程序的遷移。ETL程序的修改在測試環(huán)境，所有鏈接原 ODS服務(wù)器ETL程序都應(yīng)更改為新的服務(wù)器鏈接；ETL程序的驗證功能驗證如果有必要， 程序需要編寫測試稽核腳本。 用以比對程序遷移后是否正常和準確的 運行。功能驗證驗證 3 點程序是否能正常運行； 程序執(zhí)行結(jié)果是否與預(yù)期的一致。如通過稽核腳本的測試。 業(yè)務(wù)部門確認報表數(shù)據(jù)正確。能力驗證驗證應(yīng)用程序是否能夠達到預(yù)期的執(zhí)行效率； 驗證應(yīng)用程序是否會耗費大量的資源；驗證方式驗證工作由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成； 驗證

14、工作同時兼顧功能驗證和能力驗證； 擬態(tài)驗證，在同一計劃時間內(nèi)運行的程序，也在同一時間內(nèi)驗證； 程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.4 BO 報表語義層的修改和驗證BO 程序的遷移同 SP/function/Package 程序的遷移。BO報表語義層的修改在測試環(huán)境，鏈接到原ODS數(shù)據(jù)庫的BO語義層的數(shù)據(jù)庫鏈接做修改BO報表語義層的驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.5 QV報表程序修改和驗證QV報表程序的遷移同 SP/function/Package 程序的遷移。

15、QV報表程序修改從原ODS服務(wù)器上抽取數(shù)據(jù)到QV服務(wù)器上的程序?qū)㈡溄痈臑樾路?wù)器QV報表程序驗證驗證工作同ETL程序，由EDA基礎(chǔ)維護組和業(yè)務(wù)單位共同完成；驗證工作同時兼顧功能驗證和能力驗證；程序負責人提供理論結(jié)果，驗證人驗證結(jié)果是否正確；2.6測試計劃（草案）任務(wù)名子任務(wù)名開始時間天數(shù)結(jié)束時間參與單位數(shù)據(jù)庫升級功能測試與驗證新建 ETL 測試服務(wù)器(Informaitca PowerCenter 861)2011-1-332011-1-5IT部、理想新建 BO測試服務(wù)器(Business Objects XI R3)2011-1-332011-1-5IT部、理想在ETL測試服務(wù)器部署測試 E

16、TL程序。如將程序數(shù)據(jù)源連新環(huán)境。（共800多個）2011-1-632011-1-8IT部、理想在BO測試服務(wù)器部署測試程序。如將程序數(shù)據(jù)源連新環(huán) 境。2011-1-622011-1-7IT部、理想在QV測試服務(wù)器部署測試程序，如將程序數(shù)據(jù)源連新環(huán) 境。2011-1-622011-1-7IT部、理想在oraclellg測試環(huán)境部署原 ODSP的oracle存儲過程、函數(shù)（共3000多個）2011-1-632011-1-8IT部、理想oracle存儲過程、函數(shù)的測試運行2011-1-86P 2011-1-13IT部、理想oracle進程數(shù)據(jù)稽核。（數(shù)據(jù)比對腳本的運行和比對結(jié) 果分析）2011-1

17、-8102011-1-17IT部、理想原ODSP啲oracle存儲過程、函數(shù)的修改和再測試2011-1-182P 2011-1-19IT部、理想ETL測試程序運行2011-1-205r 2011-1-26IT部、理想ETL測試程序的數(shù)據(jù)比對腳本的運行和結(jié)果分析2011-1-21102011-1-30IT部、理想ETL測試程序的修改和再測試2011-2-103P 2011-2-12IT部、理想BO測試程序運行2011-2-1332011-2-15IT部、理想BO報表查看和業(yè)務(wù)單位確認2011-2-1432011-2-16IT部、理想、業(yè)務(wù)單位BO程序的修改和再測試，確認2011-2-183201

18、1-2-20IT部、理想、業(yè)務(wù)單位QV測試程序運行2011-2-2232011-2-24IT部、理想QV報表查看和業(yè)務(wù)單位確認2011-2-2632011-2-28IT部、理想、業(yè)務(wù)單位QV程序的修改和再測試，確認2011-3-132011-3-3IT部、理想、業(yè)務(wù)單位數(shù)據(jù)庫升級性能測試與驗證oracle存儲過程、函數(shù)的在大數(shù)據(jù)量下的測試2011-3-422011-3-5IT部、理想ETL程序在大數(shù)據(jù)量下的測試2011-3-622011-3-7IT部、理想ORACLE生能調(diào)優(yōu)2011-3-832011-3-11IT部、理想ETL版本升級測試與驗證部署老環(huán)境程序2011-6-852011-6-2

19、2IT部、理想運行2011-6-2332011-6-25IT部、理想測試和驗證和修改。2011-6-2672011-7-2IT部、理想BO版本升 級測試與 驗證部署老環(huán)境程序2011-7-352011-7-7IT部、理想運行2011-7-83*2011-7-10IT部、理想測試和驗證和修改。2011-7-1172011-7-17IT部、理想、業(yè)務(wù)單位第3章OracleETLBOQV程序統(tǒng)計模板3.1 SP/function/Package 程序3.1.1程序列表模板用戶對象名字類型3.1.2數(shù)據(jù)實例見oracle進程統(tǒng)計.xls3.2 ETL程序3.2.1程序列表模板服務(wù)器名字目錄workfl

20、ow 名稱3.2.2數(shù)據(jù)實例見ETL進程統(tǒng)計.xls3.3 B0QV 程序3.3.1程序列表模板主題報表名稱報表類型需求提出 部門業(yè)務(wù)部門 聯(lián)系人業(yè)務(wù)部門 聯(lián)系電話1報表計劃 啟用日期1報表停用日期報表展現(xiàn) 系統(tǒng)備注統(tǒng)計口徑補充說明1STATE頻率追溯期限1IT部門聯(lián) 系人（開 發(fā)部門）需求提出部門聯(lián)系人需求審核部門聯(lián)系人需求提出 單位IT部門聯(lián)系電話（開發(fā)部 門聯(lián)系電話）需求提出 部門聯(lián)系 電話需求審核 部門聯(lián)系 電話報表實際 啟用日期1操作狀態(tài)開發(fā)部門1需求審核部門訪問路徑BSS工單編號日報表刷 新時間權(quán)限3.3.2數(shù)據(jù)實例見BO QV進程統(tǒng)計.xls第4章 系統(tǒng)恢復(fù)預(yù)案為避免因系統(tǒng)遷移失

21、敗給上海電信業(yè)務(wù)所造成的影響，確保業(yè)務(wù)的正常開展，我們必 須做好兩手準備，一方面要對系統(tǒng)遷移方案進行嚴密的分析、論證，并嚴格進行測試、模 擬，加大各級人員的培訓力度，而且只有在所有準備工作就緒，對于數(shù)據(jù)庫遷移日期選定 在連續(xù) 1-2 天節(jié)假日前的凌晨進行，一切準備完備的基礎(chǔ)上進行數(shù)據(jù)遷移，確保平滑成功 地移植。另一方面必須做好遷移不成功時的恢復(fù)方案，使業(yè)務(wù)生產(chǎn)能平滑恢復(fù)到原系統(tǒng)進 行，保障業(yè)務(wù)的正常開展。數(shù)據(jù)庫遷移失敗的恢復(fù)預(yù)案 如在數(shù)據(jù)庫遷移過沖中出現(xiàn)數(shù)據(jù)庫遷移失敗的情況，直接將舊的數(shù)據(jù)庫系統(tǒng)投產(chǎn)即可， 沒有需要恢復(fù)的數(shù)據(jù)。由于舊的數(shù)據(jù)庫系統(tǒng)啟用，等到故障排除后，又須做一次數(shù)據(jù)庫遷移，這時相

22、當于前 次的系統(tǒng)遷移。第5章項目難點及風險Oracle數(shù)據(jù)庫系統(tǒng)升級是一項機遇和風險并存的系統(tǒng)工程，對現(xiàn)有系統(tǒng)的全面了解和 評估，升級需求的分析，合理的升級技術(shù)方案設(shè)計是升級項目的基礎(chǔ)。由于ODS系統(tǒng)為在用的生產(chǎn)系統(tǒng)，因此整個升級過程必須十分慎重，科學的升級方法論指導(dǎo)和項目有計劃的 實施是升級的重要保障。并可能出現(xiàn)的問題，需采取預(yù)防措施，盡可能減少風險的發(fā)生。 下表列舉了升級過程中可能存在的風險以及應(yīng)對和監(jiān)控措施。序號可能遇到的風險風 險 等 級可能造成的后果風險規(guī)避方法1升級中遇到無法解決的錯誤， 如升級程序遇到Bug。高升級失敗1） 盡早搭建和生產(chǎn)環(huán)境一致的測試環(huán)境 ，預(yù)先在測 試環(huán)境演練升級全過程，對于升級中發(fā)生的每一種 錯誤找到解決辦法；2）預(yù)先制定可靠的系統(tǒng)回退方案， 一旦升級失敗， 可采取快速回退，保障