上海電信ODS系統(tǒng)數(shù)據(jù)庫升級項目測試方案V

1、上海*電信ODS系統(tǒng)數(shù)據(jù)庫升級測試方案*2021-12-16第1章工程概述上海電信ODS系統(tǒng)作為上海電信MBOSS信息整合工程的一個重要組成局部, 存儲上海電信的運營數(shù)據(jù),包含客戶、產(chǎn)品、計費和資源業(yè)務資源主題域,支 撐上海電信的客戶經(jīng)理和治理層所需的經(jīng)營和客戶數(shù)據(jù)的分析和統(tǒng)計工作.自2004年上線運行以來,新業(yè)務的涌現(xiàn)以及電信需求的不斷增加要求ODS系統(tǒng)不斷向前開展.而現(xiàn)有的系統(tǒng)從硬件環(huán)境和數(shù)據(jù)庫環(huán)境等各方面,都已經(jīng)不能滿 足用戶對于該系統(tǒng)的需要,主要存在的問題包括：數(shù)據(jù)庫版本過低,ORACLE原廠商將停止保修效勞器老化,維保費用高昂目前上海電信ODS系統(tǒng)數(shù)據(jù)庫效勞器使用的是 舊M P5-5

2、90和P5-690小型機, 590和690耗電量巨大,原廠商的設(shè)備維保費用高昂,如果繼續(xù)使用上述效勞器 用于生產(chǎn)環(huán)境,從本錢角度,是不經(jīng)濟的,從節(jié)能角度,是不環(huán)保的,從性能角 度看,舊M P5的性能遠不如P6.基于以上因素,上海電信購置了兩臺滿配的 P6-570 ,方案用于替換先前的ODS 數(shù)據(jù)庫效勞器,通過硬件的升級,從而進一步提升系統(tǒng)的穩(wěn)定性和用戶響應速度.1.1 本文目的本文主要是對上海電信 ODS系統(tǒng)數(shù)據(jù)庫升級工程的實施方案描述,對工程實施中的涉及系統(tǒng)的遷移及擴容等提供依據(jù).1.2 本文讀者上海電信ODS系統(tǒng)數(shù)據(jù)庫升級工程相關(guān)人員,包括上海電信IT部和理想公司相關(guān)人員1.3 參考資料&

3、#171;»1.4 Oracle升級對周圍IT系統(tǒng)的要求ODS數(shù)據(jù)庫軟件 Oracle從原先9i升級到11g后,ODS其它軟件也需要進行相應版本升級,才能支持 Oracle 11g.目前ODS的生產(chǎn)軟件對 Oracle的支持與否已經(jīng)得到廠商的正式回復,簡述如下：報表展現(xiàn)工具：Businessobjects (BO)目前版本不支持 Oracle 11g目前使用版本： enterprise11.0? Release I 和 Release II需要升級到的版本：Business Objects XI R3 (service Packet3.1 )QLinkView (QV)目前版本支持

4、Oracle 11g.但仍需測試.ETL開發(fā)工具：Informaitca目前版本不支持 Oracle 11g目前使用版本：Informaitca PowerCenter 851需要升級到的版本：Informaitca PowerCenter 861BO、QV和Informaitca是ODS部門IT開發(fā)的主要工具,是維持ODS生產(chǎn)經(jīng)營的重要根底.這些工具的升級,需要謹慎和細致的測試工作.由于這三個工具緊密結(jié)合數(shù)據(jù)庫,所以測試工作必須在 Oracle升級完成后展開,測試步驟見第2章.BO和Informaitca升級后的新版本軟件需要有硬件效勞器來運行.建議配置兩臺效勞器,一臺給 BO, 一臺給 I

5、nformaitca.新版本Informaitca效勞器的配置建議參考現(xiàn)有ETL效勞器配置,如下：IBM pSeries 670 16CPU/64GB新版本BO效勞器的配置建議參考現(xiàn)有ETLI艮務器配置,如下：IBM x445 8CPU/32GB第2章 上海電信ODS數(shù)據(jù)庫升級測試方案2.1測試方案流程測試前準備工作：(1)各類遷移或受升級影響的程序的統(tǒng)計整理,整改.統(tǒng)計采用自主申報和無主認領(lǐng) 相結(jié)合的方式展開.首先讓ODS各個小組將各自負責的程序根據(jù)模板上報,由DBA審核.第二步是對無主程序的認領(lǐng).具體見"SP/function/Package程序的遷移小節(jié)的描述信息.(2) 搭建

6、Oracle 11g的測試環(huán)境.具體步驟見?(3) 新建ETL測試環(huán)境(版本：Informaitca PowerCenter 861 )、新建BO測試環(huán)境(版 本：Business Objects XI R3),準備 QV測試環(huán)境.(4)把ODSPD上的程序遷移部署到該測試環(huán)境中,然后復制原數(shù)據(jù)庫的生產(chǎn)數(shù)據(jù)的一局部到測試數(shù)據(jù)庫環(huán)境中(5)在ETL測試環(huán)境部署受升級影響的ETL進程(6)在BO, QV測試環(huán)境部署相關(guān)程序測試步驟：OraclellG數(shù)據(jù)庫升級測試(1) 在新環(huán)境測t遷移的 Oracle程序.(2) 運行測試完后,數(shù)據(jù)比對.假設(shè)數(shù)據(jù)比對未通過,查找原因并予以解決.(3) 在新環(huán)境對

7、Oracle程序進行大數(shù)據(jù)量加載的性能測試,假設(shè)性能測試不合格, 查找原因并予以解決.(4) 在ETL測試環(huán)境測試受升級影響的ETL進程.(5) 運行測試完后,數(shù)據(jù)比對.假設(shè)數(shù)據(jù)比對未通過,查找原因并予以解決.(6) 大數(shù)據(jù)量性能測試,假設(shè)性能測試不合格,查找原因并予以解決.(7) 在BO, QV測試環(huán)境運行測試程序.(8) 在BO, QV測試環(huán)境,IT或業(yè)務部門查看報表是否正常.假設(shè)不正常,那么查找 原因并予以解決.(9) Oracle11G數(shù)據(jù)庫升級測試完畢OraclellG數(shù)據(jù)庫升級完畢后：Informaitca PowerCenter 861 升級測試(1)在ETL新環(huán)境測試和部署在

8、Oracle11G數(shù)據(jù)庫升級階段未測試過的ETL進程.(2)運行測試完后,數(shù)據(jù)比對.假設(shè)數(shù)據(jù)比對未通過,查找原因并予以解決.(3) Informaitca PowerCenter 861 升級測試完成.Business Objects XI R3(Service Pack 3.1)升級測試(1) 在BO新環(huán)境測試和部署在Oracle11G數(shù)據(jù)庫升級階段未測試過的BO進程.(2) 運行測試完后,數(shù)據(jù)比對.假設(shè)數(shù)據(jù)比對未通過,查找原因并予以解決.(3) Business Objects XI R3(Service Pack 3.1)升級測試完成.測試方案流程示意圖：2.2 SP/function/

9、Package程序的遷移、修改和驗證SP/function/Package 程序的遷移所有的SP/function/Package程序由程序員填寫遷移申請表申請表記錄以下信息：申請人、申請日期、SP/function/Package的名稱、環(huán)境用戶名、工程組、 程序用途業(yè)務背景、邏輯等、程序源表、程序目標表、程序上線日期、 程序運行時間點、程序運行周期.EDA架構(gòu)師團隊對所有申請的 SP/function/Package進行審核審核的內(nèi)容包括：該 SP/function/Package 是否還有效,無效的 SP/function/Package 將不遷移, 但由DBA做好備份；該SP/func

10、tion/Package是否符合EDA的代碼標準；該SP/function/Package是否需要變更運行環(huán)境；該SP/function/Package是否需要做其他修改.審核通過的該SP/function/Package由DBA發(fā)布到新的效勞器上審核不通過的該SP/function/Package ,給出整改意見,整改通過后發(fā)布無人認領(lǐng)SP/function/Package的處理DBA整理出所有沒有人提出遷移申請的 SP/function/Package ,提交EDA架 構(gòu)師團隊做第1步分析,是否該SP/function/Package是否有效；如果認定有效,那么由DBA發(fā)布,并指定程序負責

11、人；如果認定無效,群發(fā)給EDA所有人員公示1周,假設(shè)還無人認領(lǐng),那么作為無效 SP/function/Package 處理；如果認定有效但需要做修改,那么指定程序負責人,給出整改意見,整改通過 后發(fā)布.SP/function/Package 程序的修改負責人進行整改；整改正程需要根據(jù)EDA的代碼標準執(zhí)行；程序負責人在接到整改通知后1天內(nèi)提交整改方案給EDA架構(gòu)師團隊審核,審 核通過后,按方案進行整改；整改后并通過驗證后,由 DBA提交.SP/function/Package 程序的驗證如果有必要,程序需要編寫測試稽核腳本.用以比對程序遷移后是否正常和準確 的運行.功能驗證功能驗證驗證3點：程序

12、是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致.如通過稽核腳本的測試.報表數(shù)據(jù)是否得到業(yè)務部門確實認.水平驗證驗證應用程序是否能夠到達預期的執(zhí)行效率；驗證應用程序是否會消耗大量的資源；驗證方式驗證工作由EDA根底維護組和業(yè)務單位共同完成；驗證工作同時兼顧功能驗證和水平驗證；擬態(tài)驗證,在同一方案時間內(nèi)運行的程序,也在同一時間內(nèi)驗證；程序負責人提供理論結(jié)果,驗證人驗證結(jié)果是否正確；2.3 ETL程序的修改和驗證ETL程序的的遷移ETL程序的修改在測試環(huán)境,所有鏈接原 ODS效勞器ETL程序都應更改為新的效勞器鏈接；ETL程序的驗證功能驗證如果有必要,程序需要編寫測試稽核腳本.用以比對程序遷移后是否正

13、常和 準確的運行.功能驗證驗證3點程序是否能正常運行；程序執(zhí)行結(jié)果是否與預期的一致.如通過稽核腳本的測試.業(yè)務部門確認報表數(shù)據(jù)正確.水平驗證驗證應用程序是否能夠到達預期的執(zhí)行效率；驗證應用程序是否會消耗大量的資源；驗證方式驗證工作由EDA根底維護組和業(yè)務單位共同完成；驗證工作同時兼顧功能驗證和水平驗證；擬態(tài)驗證,在同一方案時間內(nèi)運行的程序,也在同一時間內(nèi)驗證；程序負責人提供理論結(jié)果,驗證人驗證結(jié)果是否正確；2.4 BO報表語義層的修改和驗證BO程序的遷移同 SP/function/Package 程序的遷移.BO報表語義層的修改在測試環(huán)境,鏈接到原 ODS數(shù)據(jù)庫的BO語義層的數(shù)據(jù)庫鏈接做修改B

14、O報表語義層的驗證驗證工作同ETL程序,由EDA根底維護組和業(yè)務單位共同完成;驗證工作同時兼顧功能驗證和水平驗證；程序負責人提供理論結(jié)果,驗證人驗證結(jié)果是否正確；2.5 QV報表程序修改和驗證QV報表程序的遷移同 SP/function/Package 程序的遷移.QV報表程序修改從原ODS效勞器上抽取數(shù)據(jù)到QV效勞器上的程序?qū)㈡溄痈臑樾滦谄鱍V報表程序驗證驗證工作同ETL程序,由EDA根底維護組和業(yè)務單位共同完成；驗證工作同時兼顧功能驗證和水平驗證；程序負責人提供理論結(jié)果,驗證人驗證結(jié)果是否正確；2.6 測試方案草案任務名子任務名開始時間天數(shù)結(jié)束時間參與單位數(shù)據(jù)庫升 級功能測 試與驗證新建

15、 ETL 測試效勞器(Informaitca PowerCenter 861)2021-1-332021-1-5IT部、理想新建 BO測試效勞器(Business Objects XI R3 )2021-1-332021-1-5IT部、理想在ETL測試效勞器部署測試 ETL程序.如將程序數(shù)據(jù)源連新環(huán)境.共 800多個2021-1-632021-1-8IT部、理想在BO測試效勞器部署測試程序.如將程序數(shù)據(jù)源連新環(huán) 境.2021-1-622021-1-7IT部、理想在QV測試效勞器部署測試程序,如將程序數(shù)據(jù)源連新環(huán) 境.2021-1-622021-1-7IT部、理想在oracle11g測試環(huán)境部署

16、原 ODSPD勺oracle存儲過程、 函數(shù)共3000多個2021-1-632021-1-8IT部、理想oracle存儲過程、函數(shù)的測試運行2021-1-862021-1-13IT部、理想oracle進程數(shù)據(jù)稽核.數(shù)據(jù)比對腳本的運行和比對結(jié) 果分析2021-1-8102021-1-17IT部、理想原ODSPD勺oracle存儲過程、函數(shù)的修改和再測試2021-1-1822021-1-19IT部、理想ETL測試程序運行2021-1-2052021-1-26IT部、理想ETL測試程序的數(shù)據(jù)比對腳本的運行和結(jié)果分析2021-1-21102021-1-30IT部、理想ETL測試程序的修改和再測試202

17、1-2-1032021-2-12IT部、理想BO測試程序運行2021-2-1332021-2-15IT部、理想BO報表查看和業(yè)務單位確認2021-2-1432021-2-16IT部、理 想、業(yè)務單 位BO程序的修改和再測試,確認2021-2-1832021-2-20IT部、理 想、業(yè)務單 位QV測試程序運行2021-2-2232021-2-24IT部、理想QV報表查看和業(yè)務單位確認2021-2-2632021-2-28IT部、理 想、業(yè)務單 位QV程序的修改和再測試,確認2021-3-132021-3-3IT部、理 想、業(yè)務單 位數(shù)據(jù)庫升 級性能測 試與驗證oracle存儲過程、函數(shù)的在大數(shù)據(jù)

18、量下的測試2021-3-422021-3-5IT部、理想ETL程序在大數(shù)據(jù)量下的測試2021-3-622021-3-7IT部、理想ORACLE生能調(diào)優(yōu)2021-3-832021-3-11IT部、理想ETL版本升級測試 與驗證部署老環(huán)境程序2021-6-852021-6-22IT部、理想運行2021-6-2332021-6-25IT部、理想測試和驗證和修改.2021-6-2672021-7-2IT部、理想BO版本升 級測試與 驗證部署老環(huán)境程序2021-7-352021-7-7IT部、理想運行2021-7-832021-7-10IT部、理想測試和驗證和修改.2021-7-1172021-7-17

19、IT部、理 想、業(yè)務單 位第3章OracleETLBOQV程序統(tǒng)計模板3.1 SP/function/Package 程序3.1.1 程序列表模板用戶對象名字類型3.1.2 數(shù)據(jù)實例見?oracle進程統(tǒng)計.xls»3.2 ETL程序3.2.1 程序列表模板效勞器名字目錄workflow 名稱3.2.2 數(shù)據(jù)實例見?ETL進程統(tǒng)計.xls?3.3 BOQV 程序3.3.1 程序列表模板主題報表名稱報表類型需求提出部門業(yè)務部門 聯(lián)系人業(yè)務部門 聯(lián)系 '報表方案 啟用日期'報表停用日期報表展現(xiàn) 系統(tǒng)備注統(tǒng)計口徑 補充說明'STATE頻率追溯期限 'IT部門

20、聯(lián) 系人開 發(fā)部門需求提出 部門聯(lián)系 人,需求審核 部門聯(lián)系 人,需求提出單位'IT部門 聯(lián)系 開發(fā)部 門聯(lián)系電 S需求提出 部門聯(lián)系 需求審核 部門聯(lián)系 報表實際 啟用日期 '操作狀態(tài)開發(fā)部門'需求審核部門訪問路徑BSS工單編號日報表刷 新時間權(quán)限3.3.2 數(shù)據(jù)實例見?BO、QV進程統(tǒng)計,xls»第4章系統(tǒng)恢復預案為防止因系統(tǒng)遷移失敗給上海電信業(yè)務所造成的影響,保證業(yè)務的正常開展, 我們必須做好兩手準備,一方面要對系統(tǒng)遷移方案進行嚴密的分析、論證,并嚴格 進行測試、模擬,加大各級人員的培訓力度,而且只有在所有準備工作就緒,對于 數(shù)據(jù)庫遷移日期選定在連續(xù)1-

21、2天節(jié)假日前的凌晨進行,一切準備完備的根底上進 行數(shù)據(jù)遷移,保證平滑成功地移植.另一方面必須做好遷移不成功時的恢復方案, 使業(yè)務生產(chǎn)能平滑恢復到原系統(tǒng)進行,保證業(yè)務的正常開展.數(shù)據(jù)庫遷移失敗的恢復預案如在數(shù)據(jù)庫遷移過沖中出現(xiàn)數(shù)據(jù)庫遷移失敗的情況,直接將舊的數(shù)據(jù)庫系統(tǒng)投產(chǎn)即可,沒有需要恢復的數(shù)據(jù).由于舊的數(shù)據(jù)庫系統(tǒng)啟用,等到故障排除后,又須做一次數(shù)據(jù)庫遷移,這時相當于前次的系統(tǒng)遷移.Oracle數(shù)據(jù)庫系統(tǒng)升級是一項機遇和風險并存的系統(tǒng)工程,對現(xiàn)有系統(tǒng)的全面 了解和評估,升級需求的分析,合理的升級技術(shù)方案設(shè)計是升級工程的根底.由于 ODS系統(tǒng)為在用的生產(chǎn)系統(tǒng),因此整個升級過程必須十分慎重,科學的升級方法論 指導和工程有方案的實施是升級的重要保證.并可能出現(xiàn)的問題,需采取預防舉措, 盡可能減少風險的發(fā)生.下表列舉了升級過程中可能存在的風險以及應對和監(jiān)控措 施.序號可能遇到的風險風險等級可能造成的后果風險躲避方法升級中遇到無法解決的錯誤,1盡早搭建和生產(chǎn)環(huán)致的測試環(huán)境,預先在測試環(huán)境演練升級全過程,對于升級中發(fā)生的每一種1如升級程序遇到高升級失敗錯誤找到解決方法；2預先制定可靠的系統(tǒng)回退方案, 一旦升級失敗,Bug.可采取快速回退,保證