informix遷移

1、Informix遷移工具1. 前沿總體上說，數(shù)據(jù)庫遷移主要分為二進制遷移和文本遷移2. 二進制遷移二進制遷移使用的工具是ontape、on-bar、onunload等。2.1 遷移環(huán)境源數(shù)據(jù)庫版本：IBM Informix Dynamic Server Version 11.70.FC3DE目標數(shù)據(jù)庫版本：IBM Informix Dynamic Server Version 11.70.FC3DE數(shù)據(jù)庫名：test表名：testtable表中記錄：1972124條數(shù)據(jù)2.2 遷移步驟Ø 設置備份路徑 ü 將onconfig文件中的TAPEDEV和LTAPEDEV的路徑分別

2、設置為/home/Informix/tapedev、/home/Informix/ltapedevØ 在源服務器上制作最終的0級備份 ü ontape s L 0Ø 使源數(shù)據(jù)庫服務器脫機ü onmode kyØ 將備份文件、onconfig、sqlhost以及環(huán)境變量的setenv1170文件均拷貝到目標服務器的相應位置（注意更改sqlhost文件中的ip地址欄位）Ø 在目標服務器上安裝IDS軟件Ø 在目標服務器上的相應位置建立與源數(shù)據(jù)庫服務器相同的chunk文件并更改權限Ø 在目標服務器上使用ontape r命令

3、恢復數(shù)據(jù)Ø 恢復完畢之后，目標服務器自動啟動到靜默模式，更改使其進入聯(lián)機模式Ø 制作目標服務器的最初0級備份3. 文本遷移 在數(shù)據(jù)庫之間遷移，即將數(shù)據(jù)移動到不同操作系統(tǒng)上的數(shù)據(jù)庫服務器中3.1 文本遷移中移動數(shù)據(jù)可以使用的傳輸工具和實用程序-dbexport和dbimport-onload和onunload-load和unload-dbload-external table-high performance loader(HPL)這些工具有各自的優(yōu)點和限制。綜合考慮所有因素，選擇適合環(huán)境的工具或實用程序3.2 遷移環(huán)境源數(shù)據(jù)庫版本：IBM Informix Dynamic

4、Server Version 11.50UC5目標數(shù)據(jù)庫版本：IBM Informix Dynamic Server Version 11.70UC5數(shù)據(jù)庫名：test表名：testtable表中記錄：1972124條數(shù)據(jù)3.2 文本遷移的步驟Ø 使用on-bar on-archive或ontape來制作最終的0級備份（可選）Ø 請選擇以下某一遷移實用程序集來卸載數(shù)據(jù)庫：Dbexport和dbimportUnload、dbschema和loadUnload、dbschema和dbloadØ 安裝并配置目標數(shù)據(jù)庫服務器。Ø 使目標數(shù)據(jù)庫聯(lián)機Ø 使

5、用dbimport、load或dbload或外部表將數(shù)據(jù)庫裝入目標數(shù)據(jù)庫服務器Ø 制作目標數(shù)據(jù)庫服務器的最初0級備份Ø 運行upstate statistics來更新目標數(shù)據(jù)庫服務器用來規(guī)劃有效查詢的信息4. 數(shù)據(jù)的移動4.1 移動數(shù)據(jù)前考慮因素Ø 更改配置參數(shù)和環(huán)境變量（如設置PATH INFORMIXDIR和INFORMIXSERVER）Ø 內(nèi)存和數(shù)據(jù)空間的需求量Ø 數(shù)據(jù)的組織Ø 是否想要更改數(shù)據(jù)庫模式以容納更多信息，為增長提供空間或提高性能4.2 數(shù)據(jù)遷移工具Ø dbexport和dbimportØ dblo

6、ad和onloadØ unload和loadØ external tableØ High-Performance Loader（HPL）² 注意： 當從非informix數(shù)據(jù)源導入數(shù)據(jù)時，可以使用以下工具：dbimport和dbloadHPLIBM Informix Enterprise Gateway產(chǎn)品4.3 數(shù)據(jù)遷移工具之間的比較4.3.1 dbexport和dbimport 向存儲在磁盤或磁帶中的文本文件導入或導出數(shù)據(jù)庫導出的文件中包含數(shù)據(jù)文件和模式文件 并且會再當前目錄中創(chuàng)建名為dbexport.out的消息文件。此文件包含錯誤消息、警告以及它

7、生成的SQL數(shù)據(jù)定義語句的顯示會以互斥方式鎖定數(shù)據(jù)庫變?yōu)闆]有日志的數(shù)據(jù)庫了有日志的數(shù)據(jù)庫倒過去之后l 優(yōu)點ü 可以修改數(shù)據(jù)庫模式并更改數(shù)據(jù)格式(比如將int類型改為char 給數(shù)據(jù)庫中的表改名 還要將unl文件名字改掉)ü 可以在操作系統(tǒng)間移動數(shù)據(jù)ü 可選的日志記錄功能ü 可以從非informix數(shù)據(jù)源導入數(shù)據(jù)l 缺點ü 速度比dbload快，但比onload慢ü 移動整個數(shù)據(jù)庫l 用法目標選項-c使dbexport完成導出，除非發(fā)生致命錯誤-d使dbexport只導出簡單大對象描述符，不導出簡單大對象數(shù)據(jù)-q隱藏錯誤消息，警告和生成

8、的SQL數(shù)據(jù)定義語句的顯示-ss對指定數(shù)據(jù)庫中的所有表生成特定于數(shù)據(jù)庫服務器的信息-si為非分段表排除索引存儲子句的生成-si選項僅在與-ss選項一起使用時才可用-X識別字符字段中的HEX二進制數(shù)據(jù)-V顯示軟件版本號和序列號-version 擴展-V選項來顯示有關構建操作系統(tǒng)、構建號和構建數(shù)據(jù)的其他信息Database 指定希望導出的數(shù)據(jù)庫的名稱-b blocksize 指定磁帶設備的塊大?。ㄒ郧ё止?jié)計）-f pathname 指定希望存儲模式文件的路徑名（如果要在磁帶上存儲數(shù)據(jù)文件）-o directory 指定磁盤上的目錄，dbexport將在該目錄中創(chuàng)建database.exp目錄 該目

9、錄保留dbexport為數(shù)據(jù)庫創(chuàng)建的數(shù)據(jù)文件和模式-s tapesize 指定可在磁帶上存儲的數(shù)據(jù)量（以千字節(jié)計）-t device 指定希望存儲文本文件和可能存儲模式文件的磁帶設備路徑名Dbimport輸入文件的位置-c即使出現(xiàn)某些非致命錯誤，也可以完成數(shù)據(jù)導入-q隱藏錯誤消息、警告和生成的SQL數(shù)據(jù)定義語句的顯示-V顯示軟件版本號和序列號-version擴展-V選項來顯示有關構建操作系統(tǒng)、構建號和構建數(shù)據(jù)的其他信息-X識別字符字段中的HEX二進制數(shù)據(jù)Database 指定要創(chuàng)建的數(shù)據(jù)庫名稱-b blocksize 指定磁帶設備的塊大?。ㄒ郧ё止?jié)計）-f pathname 指定dbimpor

10、t可在何處找到用于輸入的模式文件，該文件用來在從磁帶讀取數(shù)據(jù)文件時創(chuàng)建數(shù)據(jù)庫-i directory 指定磁盤上database.exp目錄的完整路徑名，該目錄中包含dbimport用來創(chuàng)建和裝入新數(shù)據(jù)庫的輸入數(shù)據(jù)文件和模式文件。目錄名必須與數(shù)據(jù)庫名相同-s tapesize指定可在磁帶上存儲的數(shù)據(jù)量（以千字節(jié)計）-t device指定包含輸入文件的磁帶設備的路徑名l 案例1. 使用dbexport導出：informixvm1 $ mkdir dbexportinformixvm1 $ cd dbexport/informixvm1 dbexport$ dbexport test DATABA

11、SE test delimiter | grant dba to "informix" TABLE "informix".testtable row size = 102 number of columns = 7 index size = 0 unload file name = testt00103.unl number of rows = 1972124 create raw table "informix".testtable ( fname char(20), lname char(20), company char(20)

12、, address char(20), city char(15), state char(2), zipcode char(5) );revoke all on "informix".testtable from "public" as "informix"revoke usage on language SPL from public ;grant usage on language SPL to public ;dbexport completedreal0m8.841suser0m2.622ssys0m0.753s2. 將導出

13、數(shù)據(jù)拷貝到目標服務器：informixvm1 $ scp -r dbexport/ vm2:/home/informix/3. 使用dbimport導入數(shù)據(jù)：informixvm2 $ cd dbexport/informixvm2 dbexport$ dbimport test DATABASE test delimiter | grant dba to "informix" TABLE "informix".testtable row size = 102 number of columns = 7 index size = 0 unload fil

14、e name = testt00103.unl number of rows = 1972124 create raw table "informix".testtable ( fname char(20), lname char(20), company char(20), address char(20), city char(15), state char(2), zipcode char(5) );revoke all on "informix".testtable from "public" as "informi

15、x"revoke usage on language SPL from public ;grant usage on language SPL to public ;dbimport completedreal1m44.177suser0m7.890ssys0m2.185s導入導出共計耗時：113.018s4.3.2 dbloadl 將數(shù)據(jù)從一個或多個文本文件傳送到一個或多個現(xiàn)有表中l(wèi) 裝入期間會進行表鎖定l 優(yōu)點ü 可以修改數(shù)據(jù)庫模式ü 可以在操作系統(tǒng)間移動數(shù)據(jù)ü 可選的日志記錄功能ü 適中的易用性ü 可以從非informix數(shù)據(jù)源

16、導入數(shù)據(jù)l 缺點ü 速度比dbexport、dbimport、onload慢l 用法dbload -d dbname -c cfilname -l logfile -e errnum -n nnum-d 數(shù)據(jù)庫名-c cfilname 命令文件名-l 指定錯誤日志文件的文件名或路徑名-e 在服務器abort之前的錯誤行數(shù)-n 以行數(shù)指定提交間隔 默認間隔為100行-p 如果壞行數(shù)超過限制將提示要求指示信息-r 阻止dbload在裝入期間鎖定表，這樣就在裝入遷建允許其他用戶更新表中的數(shù)據(jù)-s 檢查命令文件中的語句語法而不插入數(shù)據(jù)l 案例1. 使用unload語句或者dbexport將表

17、卸載到輸出文件informixvm1 $ mkdir dbloadinformixvm1 $ cd dbloadinformixvm1 dbload$ vi unload.shdbaccess test <<EOFunload to "/home/informix/dbload/unload" select * from testtable;EOFinformixvm1 dbload$ sh unload.sh Database selected.1972124 row(s) unloaded.Database closed.real0m9.575suser0m

18、3.122ssys0m0.981s2.2. 使用dbschema實用程序捕捉表模式和行類型 必須使用-ui/-ua/-uia/all 選項來獲得命令行類型informixvm1 dbload$ dbschema -d test -t testtable -q > dbload.sqlreal0m0.416suser0m0.005ssys0m0.027s3. 將使用unload導出的數(shù)據(jù)以及使用dbschema導出的模式文件拷貝到目標服務器informixvm1 dbload$ scp unload vm2:/home/informix/ informixvm1 dbload$ scp d

19、bload.sql vm2:/home/informix/ 3. 使用dbaccess在目標服務器中重建表模式（數(shù)據(jù)庫名在目標服務器中要擁有）informixvm2 $ dbaccess test dbload.sqlreal0m0.027suser0m0.008ssys0m0.005s4. 4. 創(chuàng)建dbload命令文件(unload為數(shù)據(jù)導出的文件名 7為每個數(shù)據(jù)行的字段數(shù))Vi command.file unload delimiter '|' 7;insert into testtable;5. 運行dbload命令time dbload -d test1 -c com

20、m -l errlogreal2m11.003suser0m10.564ssys0m3.325s導入導出共計耗時：141.021s4.3.3 onunload和onloadl 將數(shù)據(jù)庫中的數(shù)據(jù)卸載到磁帶或磁盤中的文件中；將通過onunload命令創(chuàng)建的數(shù)據(jù)裝入到數(shù)據(jù)庫服務器中l(wèi) 以二進制格式和頁大小為單位復制數(shù)據(jù) windows 4K linux 2Kl 在使用onload和onunload實用程序之前，必須將壓縮表和分段表中的數(shù)據(jù)解壓縮l 允許對表進行select和updatelll 優(yōu)點ü 速度快 可選的日志記錄功能l 缺點ü 只在同一操作系統(tǒng)上具有相同版本的數(shù)據(jù)庫服務

21、器間移動數(shù)據(jù)ü 無法修改數(shù)據(jù)庫模式ü 使用難度大ü 不可用于SE 7.22-7.25 SE 5.1或更早版本l 用法onunload -l -t <tape device> -b <block size> -s <tape size><database>:<owner>.<table>onload -l -t <tape device> -b <block size> -s <tape size>-d <DBspace> <database

22、>:<owner>.<table> -l 指示onunload分別從LTAPEDEV LTAPEBLK和LTAPESIZE讀取磁帶設備 塊大小和磁帶大小的值 -b 指定磁帶設備的塊大小（以千字節(jié)計） -s 指定存儲在磁帶上的數(shù)據(jù)量（以千字節(jié)計） -t 指定磁盤上文件的路徑名或安裝輸入磁帶的磁帶設備的路徑名l 案例1. 使用onunload實用程序下載數(shù)據(jù)informixvm1 $ touch onunloadinformixvm1 $ onunload -t /home/informix/onunload testPlease mount tape and pre

23、ss Return to continue .Please label this as tape number 1 in the tape sequence.real0m18.873suser0m0.005ssys0m0.010s2. 將下載的數(shù)據(jù)拷貝到目標服務器informixvm1 $ scp onunload vm2:/home/informix/3. 使用onload實用程序將數(shù)據(jù)上傳（在目標端此數(shù)據(jù)庫應該是不存在的）informixvm2 $ onload -t /home/informix/onunload testPlease mount tape and press Retur

24、n to continue .The load has successfully completed.real0m54.308suser0m0.005ssys0m0.020s導入導出共計耗時：73.178s4.3.4 unload和load語句l 卸載和裝入指定的行l(wèi) 會產(chǎn)生長事務 需要將其多次提交 l Unload不鎖表 load會鎖表并產(chǎn)生長事務l 優(yōu)點ü 可以修改數(shù)據(jù)庫模式ü 可以在操作系統(tǒng)間移動數(shù)據(jù)ü 易于使用ü 可選的日志記錄功能l 缺點ü 只接受指定的數(shù)據(jù)格式l 案例1. 使用unload語句將表卸載到輸出文件informixvm1

25、 $ mkdir dbloadinformixvm1 $ cd dbloadinformixvm1 dbload$ vi unload.shdbaccess test <<EOFunload to "/home/informix/dbload/unload" select * from testtable;EOFinformixvm1 dbload$ sh unload.sh Database selected.1972124 row(s) unloaded.Database closed.real0m9.575suser0m3.122ssys0m0.981s2

26、.2. 使用dbschema實用程序捕捉表模式和行類型 必須使用-ui/-ua/-uia/all 選項來獲得命令行類型informixvm1 dbload$ dbschema -d test -t testtable -q > dbload.sqlreal0m0.416suser0m0.005ssys0m0.027s3. 將使用unload導出的數(shù)據(jù)以及使用dbschema導出的模式文件拷貝到目標服務器informixvm1 dbload$ scp unload vm2:/home/informix/ informixvm1 dbload$ scp dbload.sql vm2:/hom

27、e/informix/ 3. 使用dbaccess在目標服務器中重建表模式（數(shù)據(jù)庫名在目標服務器中要擁有）informixvm2 $ dbaccess test dbload.sqlreal0m0.027suser0m0.008ssys0m0.005s4. 4. 在目標服務器中使用load語句導入數(shù)據(jù)informixvm2 $ vi load.shdbaccess test <<EOFload from "/home/informix/unload" insert into testtable;EOFinformixvm2 $ time sh load.shre

28、al1m25.477suser0m6.251ssys0m2.150s導入導出共計耗時：95.495s4.3.5 external table 最大化的利用I/O利用率 11.7基本上百分之百利用I/Ol 優(yōu)點ü 快速重建大數(shù)據(jù)量的表ü 在線增量數(shù)據(jù)加載入庫l 缺點External table不支持 Index Primary key ,unique key, foreign key Trigger Merge 語句的目的表 一個查詢語句中只能含有一個外部表（表關聯(lián)的時候 不能是外部表和外部表） 不能作為outer join的outer tabname Update和dele

29、te語句 load from ./orders.unl insert into orders_ext Alter table 語句 Grand, revoke語句 LBACl 介紹：Ø IDS 11.5.xC6 的新特性Ø 一個正常的表是由informix進行存儲管理即表的數(shù)據(jù)是通過informix自身進行管理，而外部表是以操作系統(tǒng)文件方式管理Ø 支持files和named pipeØ 支持所有的數(shù)據(jù)類型Ø 可以通過sql接口進行訪問IDS外部的數(shù)據(jù)Ø 高性能ETL工具Ø 利用SQL語句簡單快速隨大數(shù)據(jù)集合的導入、導出處理l

30、 定義外部表的數(shù)據(jù)對應的格式：Ø DELIMITED 符號分隔列的文本格式Ø INFORMIX Informix內(nèi)部的格式，是一個二進制的格式Ø FIXED 固定長度的格式l 兩種模式：Ø DELUXE 在表有indexes和unique約束的情況下，自動更新索引和檢 查約束，提供快速并行l(wèi)oading使用單條記錄insert方法來load數(shù)據(jù)，處理index和每一行數(shù)據(jù)，只對處理的記錄鎖定，目標表的其他記錄可以被同時訪問 當下列情況下使用該模式： 重建index的代價非常高 當需要使用delete釋放的空間 其他用戶同時訪問該表的記錄Ø EX

31、PRESS 能提供最高效的load 空載的情況 表是空表使用light-append，繞過buffer pool，只對raw table+no index有效Load數(shù)據(jù)時，系統(tǒng)自動對表加“exclusive”鎖，其他用戶不可以訪問該表當導出的表中的數(shù)據(jù)繞開buffer 直接將數(shù)據(jù)導入到外部表對應的磁盤中開并發(fā) 裸表Systables tabtype為E的l 案例1. 建立外部表create external table testtable_ext sameas testtableusing(datafiles("DISK:/opt/IBM/informix/test/externa

32、l_table/testtable%(1.4).unl"),format "delimited",DELIMITER "|",DELUXE,rejectfile "/opt/IBM/informix/test/external_table/testtable_rejfile.err",maxerrors 100）；2. 把數(shù)據(jù)unload到數(shù)據(jù)文件informixvm1 $ vi exter.shdbaccess test <<EOFinsert into testtable_ext select * from

33、testtable where 1=1;EOFinformixvm1 $ time sh exter.shreal0m11.528suser0m0.005ssys0m0.029s3. 將unload的數(shù)據(jù)文件都拷貝到目標服務器informixvm1 $ cd /opt/IBM/informix/testinformixvm1 test$ scp -r external_table/ vm2:/opt/IBM/informix/test/4. 使用dbschema實用程序捕捉表模式和行類型 必須使用-ui/-ua/-uia/all 選項來獲得命令行類型informixvm1 dbload$ db

34、schema -d test -t testtable -q > dbload.sqlreal0m0.416suser0m0.005ssys0m0.027s5. 將dbschema導出的模式文件拷貝到目標服務器informixvm1 dbload$ scp dbload.sql vm2:/home/informix/6. 使用dbaccess在目標服務器中重建表模式（數(shù)據(jù)庫名在目標服務器中要擁有）informixvm2 $ dbaccess test dbload.sqlreal0m0.027suser0m0.008ssys0m0.005s4. 7. 在目標服務器建立相同的外部表crea

35、te external table testtable_ext sameas testtableusing(datafiles("DISK:/opt/IBM/informix/test/external_table/testtable%(1.4).unl"),format "delimited",DELIMITER "|",DELUXE,rejectfile "/opt/IBM/informix/test/external_table/testtable_rejfile.err",maxerrors 100）,8.

36、 把文件數(shù)據(jù)load到目標服務器informixvm2 $ vi exterload.shdbaccess test <<EOFinsert into testtable select * from testtable_ext where 1=1;EOFinformixvm2 $ time sh exterload.sh real0m9.797suser0m0.007ssys0m0.010s導入導出共計用時21.768s4.3.6 High-Performance Loader（HPL）l 從符合某些格式要求的任何ASCII或COBOL文件裝入數(shù)據(jù)l 優(yōu)點ü 對于特大型數(shù)

37、據(jù)庫，與其他IBM Informix數(shù)據(jù)遷移實用程序相比具有性能優(yōu)勢，因為它以并行方式執(zhí)行I/O和代碼集轉換ü 可以修改數(shù)據(jù)庫模式ü 可以在操作系統(tǒng)間移動數(shù)據(jù)ü 可以從非informix數(shù)據(jù)源導入數(shù)據(jù)l 缺點ü 需要較長的準備時間ü 不可用于：SE 7.22-7.25 SE 5.1x Online 5.1xl 簡介ü HPL由onpload實用程序、ipload和onpload數(shù)據(jù)庫組成ü Ipload實用程序是一個UNIX應用程序，它幫助用戶為UNIX和Windows準備裝入和卸載作業(yè)（它是一個圖形用戶界面，可以用來設置H

38、PL的參數(shù)）ü Onpload實用程序的功能是在數(shù)據(jù)庫和存儲設備之間轉換、過濾和移動數(shù)據(jù)，使用onpload數(shù)據(jù)庫中的信息來運行裝入和卸載并轉換數(shù)據(jù)以及在裝入過程中記錄有關不符合裝入條件的數(shù)據(jù)記錄信息4.3.7 onpladml 簡介ü 可以從命令行使用onpload實用程序來創(chuàng)建、修改和刪除HPL對象ü HPL對象包括項目、作業(yè)、映射、格式、查詢、過濾器、設備陣列和機器Ø 創(chuàng)建作業(yè)的語法格式-B blocksize 設置磁帶I/O塊大?。ㄒ宰止?jié)為單位）-d device 設置設備名稱，例如文件、設備陣列、磁帶或管道-D database 包含要裝入或卸載的信息的目標數(shù)據(jù)庫的名稱Job 從onpload數(shù)據(jù)庫命名裝入或卸載作業(yè)-M devicesize 磁帶設備大?。ㄒ郧д鬃止?jié)為單位）-n 設置無轉換快速作業(yè)-p project 標識存儲格式和映射的項目-S server 設置onpload數(shù)據(jù)庫服務器-t table 要裝入或卸載的表的名稱-T target 數(shù)據(jù)將下載到其中的目標服務器的名稱Ø 設置運行方式a 將數(shù)據(jù)源視為設備陣列c 將當時設置為高級方式（如果未設置