應(yīng)用和大數(shù)據(jù)遷移方案設(shè)計

1、第一章.應(yīng)用和數(shù)據(jù)遷移方案由于 xxxxxx 生產(chǎn)作業(yè)是 2424 小時不間斷運(yùn)作的，因此要求系統(tǒng)能連續(xù)運(yùn)行，并具有很高的安全可靠性，用戶希望在以最小的系統(tǒng)停機(jī)時間完成生產(chǎn)系統(tǒng)遷移工作。本次系統(tǒng)遷移工作的最大的風(fēng)險點(diǎn)和難點(diǎn)在于在有限的停機(jī)時間內(nèi)完成數(shù)據(jù)庫的遷移工作。1.1數(shù)據(jù)庫遷移的解決思路xxxxxx 數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)量較大，并且應(yīng)用系統(tǒng)的可用性要求極高，所以此次開級要求在有限的停機(jī)時間內(nèi)，最大限度的降低風(fēng)險、數(shù)據(jù)庫業(yè)務(wù)在新的主機(jī)和存儲系統(tǒng)上能夠正常運(yùn)行。為了盡可能減少業(yè)務(wù)系統(tǒng)的停機(jī)時間，保證數(shù)據(jù)庫遷移工作的順利完成，我們基于以往實施的數(shù)據(jù)庫遷移成功案例（1.1T1.1T 的數(shù)據(jù)量，遷移時間不

2、超過 1515 分），經(jīng)過嚴(yán)格的數(shù)據(jù)庫遷移測試，提出了采用數(shù)據(jù)庫 DataguardDataguard 技術(shù)的數(shù)據(jù)遷移。采用數(shù)據(jù)庫 DataguardDataguard 技術(shù)的數(shù)據(jù)遷移的特點(diǎn)：對業(yè)務(wù)的影響小，switchoverswitchover 到新主機(jī)的時間小于 1010 分鐘一旦新數(shù)據(jù)庫出現(xiàn)問題能夠方便的回切到原來的數(shù)據(jù)庫，不丟失差異數(shù)據(jù)采用數(shù)據(jù)庫 DataguardDataguard 技術(shù)的數(shù)據(jù)遷移的主要步驟如下：2.%2 在新主機(jī)上安裝 Oracle9iOracle9i 數(shù)據(jù)庫軟件3.%2 在新主機(jī)上配置 DataguardDataguard 數(shù)據(jù)庫（物理 standbystand

3、by）4.%2 利用 DataGuardDataGuard 技術(shù)，主數(shù)據(jù)庫不斷的將新產(chǎn)生的數(shù)據(jù)庫歸檔日志傳輸?shù)叫轮鳈C(jī)并將這些歸檔日志應(yīng)用到 standbystandby 數(shù)據(jù)庫，實現(xiàn)主備數(shù)據(jù)庫之間的數(shù)據(jù)同步5.%2 系統(tǒng)割接期間只需將新主機(jī)上的 standbystandby 數(shù)據(jù)庫切換為主數(shù)據(jù)庫即可（switchoverswitchover 的時間小于 1010 分鐘）6.%2 一旦新系統(tǒng)上數(shù)據(jù)庫運(yùn)行出現(xiàn)問題只需將數(shù)據(jù)庫切換回原來主機(jī)上即可，不會丟失任何數(shù)據(jù)1.1數(shù)據(jù)庫升級的解決思路1.1.3數(shù)據(jù)庫升級的基本出發(fā)點(diǎn)俅證企業(yè)生產(chǎn)及業(yè)務(wù)系統(tǒng)運(yùn)行的安全性、連續(xù)性克服原有系統(tǒng)缺陷吸收適用的系統(tǒng)新特性遷

4、移工作必然涉及到數(shù)據(jù)庫系統(tǒng)的擾動，所以減少對于正常業(yè)務(wù)系統(tǒng)的沖擊，保證它的連續(xù)性和安全性是第一個出發(fā)點(diǎn)，數(shù)據(jù)庫系統(tǒng)是業(yè)務(wù)系統(tǒng)的基礎(chǔ)，認(rèn)真準(zhǔn)備和設(shè)計數(shù)據(jù)庫遷移是開始的第一步。遷移到更新版本的工作也是糾正原有系統(tǒng)內(nèi)含的錯誤的良好機(jī)會，這個原則同樣也適合于任何軟件系統(tǒng)和硬件設(shè)備。1.1.3數(shù)據(jù)庫遷移方式從 Oracle9iOracle9i 到 Oracle10GOracle10G 的遷移有三種方式：1.%2.%3. .使用 exportexport 和 importimport優(yōu)點(diǎn)：通過導(dǎo)出和導(dǎo)入方式對數(shù)據(jù)庫存儲結(jié)構(gòu)進(jìn)行重整有助于減少數(shù)據(jù)庫碎塊缺點(diǎn)：對于超過 150G150G 以上的數(shù)據(jù)庫，采用 e

5、xp/impexp/imp 方式的停機(jī)時間很長2.%2.%3. .使用 MigrateMigrate 腳本優(yōu)點(diǎn)：速度快，一般在 3030 分鐘內(nèi)能完成腳本升級缺點(diǎn)：一旦升級后就無法回退3.%2.%3. .使用 MigrateMigrate 向?qū)Чぞ撸―BUADBUA優(yōu)點(diǎn)：速度快，一般在 3030 分鐘內(nèi)能完成腳本升級缺點(diǎn)：一旦升級后就無法回退，容錯性較差我們綜合考慮了數(shù)據(jù)庫規(guī)模、停機(jī)時間、升級風(fēng)險和以往的成功案例后，我們建議采用數(shù)據(jù)庫升級腳本方式直接升級遷移后的數(shù)據(jù)庫，1.2項目實施計劃實施步驟為了降低項目實施的風(fēng)險，我們建議將整個系統(tǒng)遷移和升級項目拆分為五個階段：準(zhǔn)備階段準(zhǔn)備階段需要完成搭建

6、新系統(tǒng)環(huán)境，是整個系統(tǒng)遷移項目成功的基石，主要工作包括安裝操作系統(tǒng)、系統(tǒng)參數(shù)調(diào)整、存儲及 LVMLVM 設(shè)計和規(guī)劃、MS/SGBMS/SGB 劃和實施等測試階段由于數(shù)據(jù)庫升級采用腳本直接在生產(chǎn)庫上實施，因此完備細(xì)致的測試工作是整個項目成功與否的關(guān)鍵，在測試階段我們需要達(dá)到以下目的：驗證遷移方案的可行性解決遷移測試過程中遇到的錯誤根據(jù)測試的結(jié)果調(diào)整遷移過程對整個系統(tǒng)遷移過程做進(jìn)一步的優(yōu)化數(shù)據(jù)庫遷移階段為了盡可能的減少系統(tǒng)停機(jī)時間數(shù)據(jù)庫的遷移工作，我們計劃采用 Oracle9iDataguarOracle9iDataguard d技術(shù)：將數(shù)據(jù)庫熱備份恢復(fù)到新主機(jī)，配置主備節(jié)點(diǎn)的數(shù)據(jù)庫歸檔日志同步，

7、系統(tǒng)割接的時候只需做 switchoverswitchover 操作將新節(jié)點(diǎn)上備用數(shù)據(jù)庫角色切換為主數(shù)據(jù)庫即可。數(shù)據(jù)庫遷移到新節(jié)點(diǎn)后將應(yīng)用系統(tǒng)也切換到新數(shù)據(jù)庫，在新系統(tǒng)上運(yùn)行一段時間，如果發(fā)現(xiàn)新節(jié)點(diǎn)上數(shù)據(jù)庫或主機(jī)出現(xiàn)問題，可以方便的回切到原來的數(shù)據(jù)庫，不丟失任何數(shù)據(jù)。數(shù)據(jù)庫升級階段數(shù)據(jù)庫升級由于直接在生產(chǎn)數(shù)據(jù)庫上執(zhí)行升級腳本，一旦升級失敗對業(yè)務(wù)影響較大，因此其實施的前提是：1 1）測試階段數(shù)據(jù)庫升級測試成功2 2）對升級風(fēng)險有預(yù)判和應(yīng)急措施3 3）整個數(shù)據(jù)庫升級時間在用戶可接受的范圍內(nèi)4 4）在數(shù)據(jù)庫升級前必須有個最新的、可用的數(shù)據(jù)庫全備份數(shù)據(jù)庫遷移升級后的工作數(shù)據(jù)庫遷移升級后的工作包括數(shù)據(jù)庫

8、全備份、主機(jī)和數(shù)據(jù)庫性能監(jiān)控等1.2.2實施計劃根據(jù)以上步驟整理的該項目實施計劃表格如下:時間工作內(nèi)容負(fù)責(zé)單位配合單位準(zhǔn)備階段系統(tǒng)環(huán)境調(diào)研天磯科技xxx新主機(jī)系統(tǒng)盤做mirror天磯科技安裝HPDP備份軟件天磯科技雙機(jī)HPMC/SGW劃及配置天磯科技主機(jī)系統(tǒng)參數(shù)、卷組、文件系統(tǒng)及數(shù)據(jù)庫配置參數(shù)檢查天磯科技測試階段實施Dataguard數(shù)據(jù)庫遷移天磯科技應(yīng)用測試HP”。50機(jī)切換測試天磯科技實施數(shù)據(jù)庫升級測試天磯科技應(yīng)用測試HP”。50機(jī)切換測試天磯科技數(shù)據(jù)庫遷移階段數(shù)據(jù)庫全備份天磯科技在新主機(jī)上創(chuàng)建dataguardphysicalstandbydb天磯科技配置datagurad使得主備數(shù)據(jù)庫

9、之間歸檔日志同步天磯科技停應(yīng)用xxx生產(chǎn)數(shù)據(jù)庫切換為physicalstandbydb天磯科技在新主機(jī)的原physicalstandbydb切換為主數(shù)據(jù)庫天磯科技應(yīng)用系統(tǒng)測試及相關(guān)應(yīng)用連接數(shù)據(jù)庫配置修改天磯科技MC/SG切換測試1天磯科技DataProtector數(shù)據(jù)庫備份配置天磯科技系統(tǒng)上線天磯科技數(shù)據(jù)庫升級階段Oracle9i數(shù)據(jù)庫全備份及數(shù)據(jù)庫軟件備份天磯科技數(shù)據(jù)庫升級前的檢查天磯科技數(shù)據(jù)庫參數(shù)調(diào)整天磯科技停應(yīng)用xxx運(yùn)行數(shù)據(jù)庫升級腳本天磯科技編譯數(shù)據(jù)庫無效對象天磯科技重啟數(shù)據(jù)庫，應(yīng)用系統(tǒng)測試天磯科技DataProtector數(shù)據(jù)庫備份配置天磯科技HPMC/SG切換測試天磯科技系統(tǒng)上線天

10、磯科技數(shù)據(jù)庫升級后的工作主機(jī)性能監(jiān)控天磯科技數(shù)據(jù)庫性能監(jiān)控天磯科技Oracle10g數(shù)據(jù)庫全備份天磯科技系統(tǒng)遷移應(yīng)急策略系統(tǒng)遷移實施前的異常如果在規(guī)劃的時間點(diǎn)之前沒有完成實施準(zhǔn)備階段的任務(wù)，實施時間順延，在確保準(zhǔn)備工作就緒的前提下才進(jìn)行實施工作。天磯科技將在該項目開始實施前進(jìn)行全面性的系統(tǒng)軟、硬件健康檢查，確保在項目實施前系統(tǒng)完好。系統(tǒng)遷移實施過程中的異常本次系統(tǒng)遷移實施的原則是確保系統(tǒng)在規(guī)劃的實施時間段之外可以正常運(yùn)行。為確保系統(tǒng)在發(fā)生硬件或軟件故障時能夠及時得到技術(shù)響應(yīng)，需要協(xié)調(diào)各相關(guān)人員到位。在實施過程中操作步驟具有可逆性，確保以外發(fā)生的時候可將系統(tǒng)迅速回退到最初狀態(tài)。系統(tǒng)和數(shù)據(jù)在實施前

11、都做最新的備份。由于在正式數(shù)據(jù)庫遷移之前，已經(jīng)做過測試遷移的工作，應(yīng)該能夠估算出遷移大概所需的時間。如果由于一些不可測原因?qū)е逻w移過程異常緩慢或終止，數(shù)據(jù)庫升級所需時間超過原定時間，我們可以迅速將數(shù)據(jù)庫系統(tǒng)恢復(fù)到最初狀態(tài)。系統(tǒng)遷移實施后的異常由于該項目實施過程中，只有在確認(rèn)了 OracleOracle 數(shù)據(jù)庫遷移成功并且 Oracle9iOracle9i 成功升級到 10G10G 成功后，才打開對數(shù)據(jù)庫數(shù)據(jù)的增加、刪除、修改等數(shù)據(jù)庫變更操作，否則所有表空間均設(shè)置為 readonlyreadonly 狀態(tài) （或者通過調(diào)整 WebsphereWebsphere 中間件， 停止對后端數(shù)據(jù)庫的寫操作以

12、便限制成功遷移、升級之前的 OracleOracle 數(shù)據(jù)庫的變更），因此，系統(tǒng)遷移實施后的異常情況下，由于遷移前后均不涉及到數(shù)據(jù)庫數(shù)據(jù)的變更，嚴(yán)格來說可以簡單通過恢復(fù)原環(huán)境節(jié)點(diǎn)承擔(dān)中間件連接即可恢復(fù)為原有環(huán)境。另一方面，前期的充分測試也是對該應(yīng)急措施的保障性測試。風(fēng)險分析及對策分析通過天磯科技多年以來專業(yè)服務(wù)項目實施的經(jīng)驗，我們建議xxx在該項目的實施過程中應(yīng)把風(fēng)險管理貫穿整個項目，天磯科技充分考慮了可能造成項目失敗的所有因素和預(yù)防措施，以及發(fā)生時的管理辦法，以此作為該項目的風(fēng)險規(guī)避方案。風(fēng)險種類不可控制的風(fēng)險(1)(1)重大政策出臺，影響公司發(fā)展；(2)(2)重大社會事件發(fā)生(3)(3)自

13、然災(zāi)難導(dǎo)致機(jī)房，機(jī)器在升級過程中受損可控制的風(fēng)險(1)(1)隨意變更項目目標(biāo)、范圍、時間；(2)(2)隨意調(diào)用項目人員，使其沒有足夠的參與時間；(3)(3)不能及時決策、及時確認(rèn)項目階段報告；(4)(4)不遵守項目大綱的要求?？赡艿娘L(fēng)險(1)(1)數(shù)據(jù)庫版本升級帶來的與應(yīng)用不兼容，包括性能方面和功能方面(2)(2)數(shù)據(jù)庫版本升級帶來的現(xiàn)有硬件不兼容，比如帶庫(3)(3)數(shù)據(jù)庫版本升級帶來的現(xiàn)有軟件不兼容，比如備份軟件，監(jiān)控軟件(4)(4)數(shù)據(jù)庫版本升級帶來的管理人員培訓(xùn)需要以上從系統(tǒng)的各個方面簡單描述了各種類型的風(fēng)險，具體風(fēng)險及防范措施將通過下面依據(jù)升級工作生命周期的階段性分析來詳細(xì)描述，將涵

14、蓋可能產(chǎn)生的各方面風(fēng)險。風(fēng)險分析及防范措施我們根據(jù)以往數(shù)據(jù)庫Oracle9i到Oracle10G的升級的成功經(jīng)驗， 對于xxx改造項目實施過程中可能出現(xiàn)的以下風(fēng)險點(diǎn)及提出了對應(yīng)的應(yīng)對措施：風(fēng)險一：直接在生產(chǎn)庫上升級風(fēng)險使用腳本升級方式，也就意味著最終的正式升級只能是在產(chǎn)品庫上直接進(jìn)行， 那么無論之前撤過何種測試， 都可能由于意外原因?qū)е律壥。ū热缟夁^程中意外斷電，硬件發(fā)生意外損壞等），升級失敗就可能意味著生產(chǎn)庫的不可用。防范措施穩(wěn)妥的備份策略是升級工作的后備軍。只要有有效的數(shù)據(jù)庫備份，就能夠膽大心細(xì)地進(jìn)行升級工作。而目前帳務(wù)數(shù)據(jù)庫在無錫新區(qū)有異地備份的容災(zāi)庫，這更是一種有力的保證，讓升級

15、工作無后顧之憂。風(fēng)險二：生產(chǎn)庫恢復(fù)時間風(fēng)險如果升級失敗，那么可能需要恢復(fù)生產(chǎn)庫以應(yīng)對第二天的業(yè)務(wù)，因為移動的數(shù)據(jù)量很大，即使是使用增量備份的方法也需要至少恢復(fù)一天的歸檔日志， 那么如果萬一升級出現(xiàn)問題， 能否在升級窗口期內(nèi)完成數(shù)據(jù)庫恢復(fù)是一個風(fēng)險。防范措施穩(wěn)妥的備份策略不僅僅包含備份的效率，同樣也包含恢復(fù)的效率， 一個只能備份而無法在規(guī)定時間內(nèi)恢復(fù)的備份策略是不合格的， 也是沒有意義的。因此同樣，制定有效的備份策略同時進(jìn)行同比數(shù)據(jù)量的恢復(fù)測試是必要的風(fēng)險防范措施。風(fēng)險三：數(shù)據(jù)庫服務(wù)器之間版本不一致風(fēng)險在,段時間內(nèi)，Oracle9i和Oracle10g將同時存在于數(shù)據(jù)庫系統(tǒng)中，各個系統(tǒng)之間存在著

16、不同版本數(shù)據(jù)庫數(shù)據(jù)父互的現(xiàn)象，可能產(chǎn)生數(shù)據(jù)不兼容的情況。防范措施詳細(xì)考慮升級的先后順序，哪套系統(tǒng)先升級，哪套系統(tǒng)后升級。盡量使有數(shù)據(jù)交互的系統(tǒng)在同一時刻進(jìn)行升級。如果無法做到同一時刻升級，那么需要進(jìn)行升級測試和升級預(yù)演，確保在測試環(huán)境中不同版本的數(shù)據(jù)庫之間交互是沒有問題的。風(fēng)險四：客戶端和服務(wù)端版本不一致風(fēng)險客戶端（Websphere中間件）和服務(wù)端（Oracle100同樣在一段時間內(nèi)存在著版本不一致的現(xiàn)象，服務(wù)端可能無法正常處理客戶端請求，而客戶端也可能無法正常接收服務(wù)端數(shù)據(jù)。防范措施對于可能存在的客戶端和服務(wù)器端版本問題，在升級之前必須有測試環(huán)境進(jìn)行全面測試，將普通的功能問題在測試環(huán)境中就

17、予以解決，盡量減少產(chǎn)品環(huán)境中的升級風(fēng)險。對于已知故障，可以按照天機(jī)科技對應(yīng)的故障解決方法，通過Patch和設(shè)置Event來避免產(chǎn)生CoreDump。風(fēng)險五：Failover風(fēng)險對于網(wǎng)卡不支持單機(jī)多網(wǎng)卡之間的Failover,以往的網(wǎng)卡Failover設(shè)置需要改動。防范措施建議使用操作系統(tǒng)功能將多塊網(wǎng)卡捆綁升-個NIC設(shè)備，以此避免網(wǎng)卡的單點(diǎn)故障。風(fēng)險六：升級Pro*C程序版本風(fēng)險在新版本數(shù)據(jù)庫F可能無法正常編譯；如果無法正常編譯，需要原開發(fā)人員的技術(shù)支持，但是原開發(fā)人員可能因為人員變動而尢法找到；如果需要其它開發(fā)人員修改，需要確保源代碼還存在，并且同時要考慮現(xiàn)任人員的修改能力。防范措施對于這樣

18、的情況只有通過測試才能確認(rèn)是否兼容，盡量詳盡地進(jìn)行升級測試和升級預(yù)演是防范問題出現(xiàn)在產(chǎn)品環(huán)境中的必建壬居與fXo風(fēng)險七：不升級Pro*C程序版本舊版本Pro*C連接新版本數(shù)據(jù)庫可能會出現(xiàn)非預(yù)測的錯誤風(fēng)險結(jié)果或者低下的應(yīng)用性能。（需要確認(rèn)xxx應(yīng)用系統(tǒng)是否采用該選項）在Oracle顧問參與的某項目中，客戶就直接使用9i版本的Pro*C程序連接Oracle10g數(shù)據(jù)庫，獲得了跟以往一樣的功能和防范措性能。但是由于Pro*C程序的多樣性，所以必須謹(jǐn)慎測試。對于施這樣的情況也只有通過測試才能確認(rèn)是否兼容，盡量詳盡地進(jìn)行升級測試和升級預(yù)演是防范問題出現(xiàn)在產(chǎn)品環(huán)境中的必要手段。風(fēng)險八：疲勞操作風(fēng)險升級工作

19、比較緊張，高強(qiáng)度的工作也容易使人疲勞，而在緊張和疲勞的狀態(tài)卜，是比較容易產(chǎn)生人為失誤的。防范措施升級工作必須由至少2人協(xié)同完成；按照升級預(yù)演的文檔仔細(xì)操作；重大命令必須有協(xié)同工作人員確認(rèn)之后才可以輸入；完善的備份讓升級工作無后顧之憂。風(fēng)險九：執(zhí)行計劃穩(wěn)定性風(fēng)險Oracle10g在創(chuàng)建完數(shù)據(jù)庫之后會產(chǎn)一個自動定期收集數(shù)據(jù)庫對象統(tǒng)計信息的Schedule，默認(rèn)是在到周五的每天晚上10點(diǎn)以及周六的凌晨0點(diǎn)，對于執(zhí)行計劃已經(jīng)比較穩(wěn)定的產(chǎn)品環(huán)境來說，每天收集統(tǒng)計信息是沒有必要的，同時還存在可能改變執(zhí)行計劃的隱患。防范措施禁用統(tǒng)計信息自動收集。加強(qiáng)性能監(jiān)控。風(fēng)險十：HighVersionCount風(fēng)險由于

20、Oracle10.2.0.3對于cursor是否能夠重用的安全性檢查加強(qiáng)，因此在Cursor_sharing=SIMILAR或者FORCE勺系統(tǒng)中，可能會產(chǎn)生同一SQL的大量Version,將會嚴(yán)重影響應(yīng)用的性能。防范措施完善測試應(yīng)用的功能和性能。風(fēng)險十一：并行性能風(fēng)險對于在表或者凄引上定義了并行度的情況，對于xxx系統(tǒng)這樣的負(fù)載較大的OLTP系統(tǒng)，可能會由于并行進(jìn)程的大量占用資源而導(dǎo)致數(shù)據(jù)庫性能急劇下降。防范措施在升級之后需要仔細(xì)檢查表和索引的并行度，建議將所有并行度都設(shè)置為1。如果確實需要并行，那么通過在程序中指定parallelhint來實現(xiàn)并行。風(fēng)險十二：RMANCatalog風(fēng)險10gR2的RMANDatalog跟9i的Catalog有差別，繼續(xù)使用舊版本的RMANCatalog會造成RMANfir令錯誤。防范措施在升級完數(shù)據(jù)庫之后立刻升級RMANCatalog數(shù)據(jù)庫，或者創(chuàng)建新的RMANCatalog（因為可能有還未及時升級