數(shù)據(jù)移植工作經(jīng)驗共享課件

1、數(shù)據(jù)移植工作經(jīng)驗共享北京XXXXX信息技術(shù)股份有限公司2009年01月主要內(nèi)容重要性與要求需要掌握的幾個知識點工作內(nèi)容效率優(yōu)化重要性與要求整個項目實施中重要的一環(huán)，最后割接成功、失敗的主要標志之一全面了解系統(tǒng)和業(yè)務的一個捷徑要求細心，耐心分清主次，先抓主要矛盾主要內(nèi)容重要性與要求需要掌握的幾個知識點工作內(nèi)容效率優(yōu)化需要掌握的幾個知識點不只是簡單的SQL語句，還有UNIX數(shù)據(jù)庫-ORACLE高級語言其他UNIX基礎命令文件傳輸（FTP）主機空間(查看，清理等)了解如何查看主機資源（CPU、內(nèi)存、IO）SHELL數(shù)據(jù)庫- ORACLE實例表空間SQL語句：DML、DDL鎖基本的語句調(diào)優(yōu)高級語言（包

2、括但不限于）C語言PROC其他（包括但不限于）XML等主要內(nèi)容重要性與要求需要掌握的幾個知識點工作內(nèi)容效率優(yōu)化工作內(nèi)容確定移植的工作環(huán)境數(shù)據(jù)調(diào)研和梳理數(shù)據(jù)移植方案數(shù)據(jù)庫導出、導入數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)核對錯誤數(shù)據(jù)處理確定移植工作環(huán)境主機生產(chǎn)主機、移植主機分別都是什么型號的？CPU、內(nèi)存有多少？除了數(shù)據(jù)移植相關(guān)，還部署了哪些應用數(shù)據(jù)庫數(shù)據(jù)庫版本需要幾個庫？每個庫的用戶、權(quán)限該如何定義？數(shù)據(jù)庫的表空間如何分配？空間需要移植的數(shù)據(jù)源的空間有多大？根據(jù)移植的復雜度預估一下中間轉(zhuǎn)換需要多大空間每個庫空間如何分配？數(shù)據(jù)調(diào)研和梳理了解數(shù)據(jù)源的數(shù)據(jù)模型和數(shù)據(jù)結(jié)構(gòu)了解我們的數(shù)據(jù)模型和數(shù)據(jù)結(jié)構(gòu)比較新舊版數(shù)據(jù)的字段大小、多少

3、，數(shù)據(jù)模型差異等跨庫導出、導入Exp/imp(推薦)按庫按用戶按表Copy命令SQLPLUS的命令命令行COPY FROM database TO database FROM database TO database APPEND|CREATE|INSERT|REPLACE destination_table (column, column, column, .)USING query數(shù)據(jù)庫鏈最簡單的方式最容易引起混亂數(shù)據(jù)轉(zhuǎn)換-常用技術(shù)-SHELLSHELL(示意腳本)#yz.shSQLPLUS USER/PASSWORDSIDyz1.sql數(shù)據(jù)轉(zhuǎn)換-常用技術(shù)-幾個實用技巧Insert all

4、Spool分析函數(shù):row_number()等數(shù)據(jù)核對數(shù)量按區(qū)域核對：總數(shù)、地市等按狀態(tài)核對：有效、無效，在網(wǎng)、離網(wǎng)等按主要字段核對：類型、級別等錢按區(qū)域核對：總數(shù)、地市等按狀態(tài)核對：有效、無效，在網(wǎng)、離網(wǎng)等按主要字段核對：類型、級別等主要表的明細數(shù)據(jù)核對查找不符合要求的數(shù)據(jù)數(shù)據(jù)錯誤數(shù)據(jù)處理錯誤數(shù)據(jù)處理流程查找錯誤數(shù)據(jù)形成錯誤數(shù)據(jù)處理建議文檔，與局方和開發(fā)人員進行交流敲定處理辦法，修改數(shù)據(jù)移植腳本查找錯誤數(shù)據(jù)Group by Not in語句報錯核對數(shù)據(jù)錯誤錯誤數(shù)據(jù)處理方式（參考）割接前局方自行處理，適用于數(shù)據(jù)量小，而且不再有錯誤新增的情況移植腳本處理，適用于錯誤和處理方式有規(guī)律，一直有數(shù)據(jù)新增的情況程序適當增加健壯性，可以處理部分數(shù)據(jù)錯誤，適用于錯誤原因不明，即使錯誤數(shù)據(jù)也要移植的情況忽略錯誤，適用于時間較長且不重要的數(shù)據(jù)主要內(nèi)容重要性與要求需要掌握的幾個知識點工作內(nèi)容效率優(yōu)化效率優(yōu)化主機效率優(yōu)化數(shù)據(jù)庫優(yōu)化應用優(yōu)化主機優(yōu)化(了解)CPU內(nèi)存磁盤數(shù)據(jù)庫級優(yōu)化(了解)調(diào)整數(shù)據(jù)庫參數(shù)，如parallel_max_serversdb_file_cacheShow parameter應用優(yōu)化(掌握)EXP/IMP優(yōu)化盡量把導入導出的單位放小，順序依次是按表，按用戶，按數(shù)據(jù)庫細化任務，使用多進程使用管道