版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、Informix 11.5 高可用集群技術(shù)及應(yīng)用實現(xiàn)本文主要介紹了 Informix 11.5 中提供的高可用集群技術(shù)及其安裝、配置、管理的根本方法,各種高可用集群技術(shù)的選擇及應(yīng)用場景,希望能夠使讀者能夠?qū)?Informix 11.5 高可用集群技術(shù)有一個比擬全面的了解。概述用戶的關(guān)鍵業(yè)務(wù)系統(tǒng),特別是 OLTP 系統(tǒng),都要求提供 24X7 不間斷的應(yīng)用效勞,這就要求數(shù)據(jù)庫系統(tǒng)能夠提供強大的高可用能力。這種能力不僅僅表達在主機及備機的接管方面,同時要能夠提供遠(yuǎn)程容災(zāi)能力,以及本地的負(fù)載均衡能力。針對上述對數(shù)據(jù)庫的要求,Informix 從版本 6 開始, 就提供了 HDR 技術(shù),它是通過數(shù)據(jù)庫的
2、事務(wù)日志的方式實現(xiàn)了主、備機互相接管的功能,當(dāng)主機工作時,備機提供只讀功能,因此,備機可以提供查詢、報表等功能,實現(xiàn)負(fù)載分擔(dān)的功能,當(dāng)主機發(fā)生故障,備時機自動接管,實現(xiàn)主機及備機的接管功能。從 Informix 7.2.2 版本開始,Informix 數(shù)據(jù)庫提供了 ER(Enterprise Replication) 數(shù)據(jù)庫復(fù)制技術(shù),它也是通過讀取數(shù)據(jù)庫日志的方式實現(xiàn)數(shù)據(jù)同步功能,當(dāng)源數(shù)據(jù)庫數(shù)據(jù)發(fā)生變化后,Informix 數(shù)據(jù)庫通過讀取數(shù)據(jù)庫日志,將變化的數(shù)據(jù)及時同步到目標(biāo)數(shù)據(jù)庫,采用 ER 的方式,和 HDR 不同,HDR 數(shù)據(jù)庫的接管是基于數(shù)據(jù)庫效勞器的,也就是它的作用范圍是基于整個實例
3、的,而 ER 的作用范圍是作用于一個表,你可以靈活定義需要復(fù)制哪些數(shù)據(jù)列及數(shù)據(jù)行,而且可以靈活定義數(shù)據(jù)復(fù)制的方式,是采用主從方式、匯總方式還是雙向復(fù)制方式。從 Informix 11 開始,Informix 數(shù)據(jù)庫提供了 SDS(Shared Disk Secondary)、RSS(Remote Standalone Secondary)、CLR(Continuous Log Restore) 等高可用集群技術(shù),提供了更加強大的高可用能力。從 Informix 11.5 開始,HDR、SDS、RSS 備機都支持讀寫能力,提供了更強大的負(fù)載均衡能力。同時,從 Informix 11.5 開始,I
4、nformix 還提供了 Connection Manager 功能部件,它可以提供 SLA(Service Level Agreement) 功能,更好地實現(xiàn)負(fù)載均衡的能力,同時提供了 FOC(Fail Over Connection) 功能,實現(xiàn)透明故障接管能力,而且,所有這些對客戶端應(yīng)用來說是透明的。通過不斷的開展與創(chuàng)新,Informix 提供了業(yè)界領(lǐng)先的高可用集群技術(shù)。下邊,我們就具體講述一下 Informix 高可用集群技術(shù)特點、使用范圍及技術(shù)實現(xiàn),希望讀者能夠?qū)λ幸粋€更全面的理解。HDR 技術(shù)高可用性數(shù)據(jù)復(fù)制 HDR 技術(shù),從 Informix 6 版本就開始提供,它是采用一主、
5、一備方式,通過讀取數(shù)據(jù)庫邏輯日志方式,實現(xiàn)主備機互相切換功能。在 Informix 11.5 之前, HDR 備機支持只讀方式,我們通常會通過備機來完成數(shù)據(jù)查詢、報表功能,分擔(dān)主機系統(tǒng)的壓力。從 Informix 11.5 開始, HDR 備機支持讀寫操作,提供了更靈活的功能。 HDR 方式通常用來提供高可用性及 hot standby 功能。HDR 工作的根本原理圖 1. HDR 工作原理例如圖如圖中所示,當(dāng)主數(shù)據(jù)庫效勞器開始將共享內(nèi)存中的邏輯日志緩沖區(qū)的內(nèi)容刷新到磁盤上的邏輯日志時,數(shù)據(jù)庫效勞器也將邏輯日志緩沖區(qū)的內(nèi)容復(fù)制到主數(shù)據(jù)庫效勞器上的數(shù)據(jù)復(fù)制緩沖區(qū)。然后主數(shù)據(jù)庫效勞器將這些邏輯日志
6、記錄發(fā)送至 HDR 輔助數(shù)據(jù)庫效勞器。HDR 輔助數(shù)據(jù)庫效勞器將來自主數(shù)據(jù)庫效勞器的邏輯日志記錄接收到共享內(nèi)存接收緩沖區(qū)數(shù)據(jù)庫效勞器自動將接收緩沖區(qū)調(diào)節(jié)至適當(dāng)?shù)拇笮∫赃m合正在發(fā)送的數(shù)據(jù)量。然后輔助數(shù)據(jù)庫效勞器在整個邏輯恢復(fù)中應(yīng)用邏輯日志記錄 , ,并將這些記錄應(yīng)用到其自己的數(shù)據(jù)庫空間。HDR 數(shù)據(jù)復(fù)制支持同步或異步兩種方式。 ONCONFIG 配置參數(shù) DRINTERVAL 的值確定數(shù)據(jù)庫效勞器使用同步更新還是異步更新。如果將 DRINTERVAL 設(shè)置為 -1,那么對 HDR 輔助效勞器的數(shù)據(jù)復(fù)制同步發(fā)生。一旦主數(shù)據(jù)庫效勞器將邏輯日志緩沖區(qū)內(nèi)容寫入 HDR 緩沖區(qū),它會將那些記錄從緩沖區(qū)發(fā)送
7、至 HDR 輔助數(shù)據(jù)庫效勞器。僅當(dāng)主數(shù)據(jù)庫效勞器接收到來自 HDR 輔助數(shù)據(jù)庫效勞器確實認(rèn)已收到記錄之后,主數(shù)據(jù)庫效勞器上的邏輯日志緩沖區(qū)清倉才會完成。使用同步更新時,如果發(fā)生故障,那么在主數(shù)據(jù)庫效勞器上提交的事務(wù)在 HDR 輔助數(shù)據(jù)庫效勞器上不會仍未提交或局部提交。如果您將 DRINTERVAL 設(shè)置為除 -1 以外的任何值,那么數(shù)據(jù)復(fù)制將針對 HDR 輔助效勞器異步發(fā)生。主數(shù)據(jù)庫效勞器在將邏輯日志緩沖區(qū)內(nèi)容復(fù)制到 HDR 緩沖區(qū)之后會清倉邏輯日志緩沖區(qū)。與上述操作無關(guān)當(dāng)發(fā)生以下條件之一時,主數(shù)據(jù)庫效勞器在整個網(wǎng)絡(luò)上發(fā)送 HDR 緩沖區(qū)的內(nèi)容:HDR 緩沖區(qū)變滿。自上次將記錄發(fā)送至輔助數(shù)據(jù)庫
8、效勞器以后,DRINTERVAL 配置參數(shù)在主數(shù)據(jù)庫效勞器上指定的時間間隔已過去。該更新方法可以提供比同步更新更好的性能。但是,可能會喪失事務(wù)。HDR 處理數(shù)據(jù)復(fù)制的線程主數(shù)據(jù)庫效勞器啟動專門的線程來支持?jǐn)?shù)據(jù)復(fù)制。如圖 2 所示,主數(shù)據(jù)庫效勞器上名為 drprsend 的線程將整個網(wǎng)絡(luò)上主效勞器緩沖區(qū)的內(nèi)容發(fā)送至輔助數(shù)據(jù)庫效勞器上名為 drsecrcv 的線程。輔助數(shù)據(jù)庫效勞器上名為 drsecapply 的線程將接收緩沖區(qū)的內(nèi)容復(fù)制到恢復(fù)緩沖區(qū)。 logrecvr 線程對恢復(fù)緩沖區(qū)的內(nèi)容執(zhí)行邏輯恢復(fù),將邏輯日志記錄應(yīng)用到輔助數(shù)據(jù)庫效勞器管理的數(shù)據(jù)庫空間。 OFF_RECVRY_THREADS
9、 配置參數(shù)指定使用的 logrecvr 線程數(shù)。數(shù)據(jù)庫效勞器啟動的其余線程是 drprping 和 drsecping 線程,它們負(fù)責(zé)發(fā)送和接收指示兩個數(shù)據(jù)庫效勞器是否連接的消息。圖 2. HDR 數(shù)據(jù)復(fù)制線程例如圖HDR 主、備機之間采用半雙工通信協(xié)議,因此對網(wǎng)絡(luò)延遲非常敏感,通常要求網(wǎng)絡(luò)要非常穩(wěn)定,同時距離支持有限,通常在同一個大樓里面。HDR 配置實現(xiàn)HDR 對硬件和操作系統(tǒng)要求:運行主數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)庫效勞器的計算機必須相同相同的供給商和體系結(jié)構(gòu)。運行主數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)庫效勞器的計算機上的操作系統(tǒng)必須相同。運行主數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)庫效勞器的硬件必須支持網(wǎng)絡(luò)能力。分配給主
10、數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)庫效勞器的數(shù)據(jù)庫空間的磁盤空間量必須相等。磁盤空間類型是不相關(guān)的;您可以在兩個數(shù)據(jù)庫效勞器上使用任何原始或格式化的空間組合。HDR 對數(shù)據(jù)庫和數(shù)據(jù)要求:數(shù)據(jù)庫必須將事務(wù)日志記錄翻開。數(shù)據(jù)必須駐留在數(shù)據(jù)庫空間或 Sb 空間中。HDR 對配置參數(shù)的要求:以下 ONCONFIG 參數(shù)在每個數(shù)據(jù)庫效勞器上都必須具有相同值:ROOTNAMEROOTOFFSETROOTPATHROOTSIZEMIRROROFFSETMIRRORPATHPHYSDBSPHYSFILELTAPEBLKLTAPESIZETAPEBLKTAPESIZELOGFILESLOGSIZEDYNAMIC_LOGS數(shù)
11、據(jù)庫效勞器記錄邏輯日志文件的添加。在主效勞器上動態(tài)添加的邏輯日志文件將在輔助效勞器上自動復(fù)制。盡管輔助效勞器上的 DYNAMIC_LOGS 值不起作用,請保持主效勞器上 DYNAMIC_LOGS 與值的同步,以免它們切換角色。HDR 配置參數(shù)在復(fù)制對中的兩個數(shù)據(jù)庫效勞器上必須設(shè)置為相同的值:· DRAUTO· DRINTERVAL· DRTIMEOUTHDR 相關(guān)配置參數(shù)說明:· DRAUTO:用來控制主效勞器和 HDR 備用效勞器在出現(xiàn)故障時的行為。其取值范圍如下 :o 0 表示 OFF = 不要在 HDR 環(huán)境中自動切換效勞器類型。o 1 表示 RE
12、TAIN_TYPE = 在 HDR 故障期間自動從輔助切換到標(biāo)準(zhǔn)。在重新啟動 HDR 時切換回輔助。o 2 表示 REVERSE_TYPE= 在 HDR 故障時自動從輔助切換到標(biāo)準(zhǔn)。在重新啟動 HDR 時切換到主要并將原來的主要切換為輔助。· DRIDXAUTO:指定如果 HDR 輔助效勞器檢測到了毀壞的索引,主效勞器是否要自動啟動索引復(fù)制。其取值范圍如下 :o 0 - 禁用自動索引修復(fù)o 1 - 啟用自動索引修復(fù)· DRINTERVAL:指定高可用性數(shù)據(jù)復(fù)制緩沖區(qū)的清倉之間的最大時間間隔秒。其取值范圍如下 :o >= 0 - 異步更新o -1 - 同步更新·
13、; DRLOSTFOUND:指定 dr.lostfound.timestamp 文件的路徑名。該文件包含當(dāng)主數(shù)據(jù)庫效勞器遇到故障時在主數(shù)據(jù)庫效勞器上提交但未在輔助數(shù)據(jù)庫效勞器上提交的事務(wù)。如果在主數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)庫效勞器之間同步發(fā)生更新即,如果 DRINTERVAL 設(shè)置為 -1,那么此參數(shù)不適用。· DRTIMEOUT:出現(xiàn)網(wǎng)絡(luò)超時的時間,以秒為單位。 DRAUTO 使用該參數(shù)檢測故障轉(zhuǎn)移。其取值范圍如下 :>= 0 秒 , 缺省為 30 秒向集群中添加 HDR 備用效勞器向集群添加一個 HDR 備用效勞器的具體步驟:步驟1:準(zhǔn)備 SQLHOSTS 文件在主效勞器更新
14、SQLHOSTS 文件,同時在 HDR 備用效勞器中更新:production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp server_1 hdr1_tcp rss1 onsoctcp server_1 rss1_tcp clr1 onsoctcp server_1 clr1_tcp步驟2:配置 ONCONFIG 文件保證 HDR 備用效勞器上的 DRAUTO、DRINTERVAL、DRTIMEOUT、與根 dbspace 相關(guān)的設(shè)置、與物理日志、邏輯日志相關(guān)的 ONCONFIG 配置參數(shù)同
15、主效勞器上保持一致。步驟3:備份主效勞器在主效勞器中,使用 0 級備份:ontape -s -L 0步驟4:將 HDR 備份效勞器注冊到主效勞器在主效勞器中,運行:onmode -d primary hdr步驟5:準(zhǔn)備 HDR 備用效勞器的磁盤HDR 備用效勞器使用的存儲必須匹配主效勞器的存儲例如,必須匹配 dbspace 的數(shù)量、塊的數(shù)量、塊大小、路徑名和偏移量。步驟6:恢復(fù) HDR 備用效勞器上的備份在 HDR 效勞器上,執(zhí)行 0 級備份的物理恢復(fù):ontape -p Three questions will be asked. Answer as shown below: Continu
16、e restore? (y/n) y Do you want to back up the logs? (y/n) n Restore a level 1 archive (y/n) n步驟7:使 HDR 備用效勞器進入 online 模式完成恢復(fù)后,HDR 備用效勞器將進入 recovery 模式。運行以下命令:onmode -d secondary productionHDR 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行 onstat 時顯示的頭信息均有字段指示數(shù)據(jù)庫效勞器正在作為主數(shù)據(jù)庫效勞器還是輔助數(shù)據(jù)庫效勞器運行。以下例如為作為復(fù)制對中的主數(shù)據(jù)庫效勞器并且處于聯(lián)機方式的數(shù)據(jù)庫效勞器顯示頭信息:
17、IBM Informix Dynamic Server Version 11.50.UC1 - On-Line (Prim) - Up 00:00:59 - 105120 Kbytes以下例如顯示作為復(fù)制對中的 HDR 輔助數(shù)據(jù)庫效勞器并且處于讀寫方式的數(shù)據(jù)庫效勞器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (Sec) - Up 00:00:59 - 105120 Kbytes以下例如顯示不包含在 HDR 中的數(shù)據(jù)庫效勞器的標(biāo)題。該數(shù)據(jù)庫效勞器的類型為標(biāo)準(zhǔn)類型。IBM Informix Dynamic Server Ve
18、rsion 11.50.UC1 - On-Line - Up 00:00:59 - 105120 Kbytesonstat -g dri 命令要獲得完整的 HDR 監(jiān)視信息,請執(zhí)行 onstat -g dri 選項。顯示以下字段:· 數(shù)據(jù)庫效勞器類型主類型、輔助類型或標(biāo)準(zhǔn)類型· HDR 狀態(tài)翻開或關(guān)閉· 成對的數(shù)據(jù)庫效勞器· 最后一個 HDR 檢查點· HDR 配置參數(shù)的值oncheck pr 命令如果您的數(shù)據(jù)庫效勞器正在運行 HDR,那么保存頁面 PAGE_1ARCH 和 PAGE_2ARCH 將保存 HDR 用于同步主數(shù)據(jù)庫效勞器和輔助數(shù)據(jù)
19、庫效勞器的檢查點信息。下列圖中給出相關(guān)的 oncheck -pr 輸出例如。運行 HDR 的數(shù)據(jù)庫效勞器的 oncheck -pr PAGE_1ARCH 輸出 :Validating Informix Database Server reserved pages - PAGE_1ARCH & PAGE_2ARCH Using archive page PAGE_1ARCH. Archive Level 0 Real Time Archive Began 01/11/95 16:54:07 Time Stamp Archive Began 11913 Logical Log Unique
20、 Id 3 Logical Log Position b018 DR Ckpt Logical Log Id 3 DR Ckpt Logical Log Pos 80018 DR Last Logical Log Id 3 DR Last Logical Log Page 128使用 SMI 表 sysdri查詢 sysmaster 數(shù)據(jù)庫中的 sysdri 表,同樣可以獲得完整的 HDR 監(jiān)視信息。 sysdri 表包含以下各列。列描述typeHDR 效勞器類型stateHDR 效勞器狀態(tài)name數(shù)據(jù)庫效勞器名稱intvlHDR 緩沖區(qū)清空時間間隔timeout網(wǎng)絡(luò)超時lostfoundHD
21、R lost+found 路徑名HDR 故障恢復(fù)HDR 的失敗是失去了復(fù)制對中數(shù)據(jù)庫效勞器之間的連接。任一以下情況均可能導(dǎo)致數(shù)據(jù)復(fù)制失敗:· 一個數(shù)據(jù)庫效勞器的站點上發(fā)生災(zāi)難性故障如火災(zāi)或大地震· 連接兩個數(shù)據(jù)庫效勞器的聯(lián)網(wǎng)電纜被破壞· 一個數(shù)據(jù)庫效勞器上的處理中延遲過長· 輔助數(shù)據(jù)庫效勞器上發(fā)生磁盤故障未通過鏡像塊解決HDR 故障的檢測數(shù)據(jù)庫效勞器將以下任何一種情況解釋為 HDR 失?。?#183; 超過了指定的超時值。在正常的 HDR 操作期間,數(shù)據(jù)庫效勞器期待來自對中另一數(shù)據(jù)庫效勞器的通信確認(rèn)。對中的每個數(shù)據(jù)庫效勞器都具有一個 ONCONFIG 參
22、數(shù) DRTIMEOUT,該參數(shù)指定秒數(shù)。如果來自對中另一數(shù)據(jù)庫效勞器確實認(rèn)沒有在 DRTIMEOUT 指定的秒數(shù)返回,那么數(shù)據(jù)庫效勞器會假設(shè)發(fā)生了 HDR 失敗。· 主 輔助對中的另一數(shù)據(jù)庫效勞器未響應(yīng)網(wǎng)絡(luò)上的定期消息傳遞pinging嘗試。無論主數(shù)據(jù)庫效勞器是否向輔助數(shù)據(jù)庫效勞器發(fā)送任何記錄,兩個數(shù)據(jù)庫效勞器均會互相 ping 。如果主要 輔助對的一個數(shù)據(jù)庫效勞器沒有響應(yīng)四個連續(xù)的 ping 嘗試,那么另一個數(shù)據(jù)庫效勞器會假設(shè)發(fā)生了 HDR 失敗。當(dāng)數(shù)據(jù)庫效勞器檢測到 HDR 失敗時,它將寫一個消息到其消息日志例如,DR: receive error并關(guān)閉數(shù)據(jù)復(fù)制。如果發(fā)生了 HD
23、R 失敗,那么兩個數(shù)據(jù)庫效勞器之間的 HDR 連接將斷開,并且輔助數(shù)據(jù)庫效勞器將保持只讀方式。如果輔助數(shù)據(jù)庫效勞器在 high-availability data-replication 失敗后保持聯(lián)機狀態(tài),并且 DRAUTO 配置參數(shù)設(shè)置為 1RETAIN_TYPE,那么該數(shù)據(jù)庫效勞器的類型將自動更改為標(biāo)準(zhǔn)。如果 DRAUTO 設(shè)置為 0off,那么輔助數(shù)據(jù)庫效勞器將頂事嘗試重新建立與主數(shù)據(jù)庫效勞器的通信。如果 DRAUTO 設(shè)置為 2REVERSE_TYPE,那么當(dāng)舊的主效勞器發(fā)生故障時而非舊的主效勞器重新啟動時,在連接結(jié)束時,輔助數(shù)據(jù)庫效勞器將立即成為主數(shù)據(jù)庫效勞器。RSS 技術(shù)從 In
24、formix 11 開始,Informix 數(shù)據(jù)庫提供了 RSS 、SDS、CLR 技術(shù),它擴展了以前 HDR 只支持主、備兩臺機器,系統(tǒng)可以支持多臺 RSS 、SDS 備機,進一步提高了高可用性。 Informix 11 提出了一種新的通信方式 SMX(Server Multiplexer) 用來建立節(jié)點之間的網(wǎng)絡(luò)連接。 SMX 采用全雙工的通信協(xié)議,支持異步通信方式,在低速網(wǎng)絡(luò)上提供更好的通信連接,簡化了節(jié)點之間的通信管理,支持加密傳輸,同一個 SMX 連接可以支持多個內(nèi)部功能傳輸。圖 3. SMX 通信示意圖RSS 自動啟動 SMX 通信方式。RSS 工作的根本原理為支持 RS 輔助效勞
25、器,主效勞器要進行檢查以查看是否連接了 RS 輔助效勞器,如果連接,那么將頁面復(fù)制到用于將該頁面發(fā)送到 RS 輔助效勞器的日志高速緩存。圖 4. RSS 數(shù)據(jù)復(fù)制線程示意圖RSS_Send 線程將日志頁面?zhèn)鬏數(shù)?RS 輔助效勞器。很有可能需要發(fā)送的下一頁不在日志高速緩存中。在該情況下,RSS_Send 線程將直接從磁盤讀取日志頁。 RSS_Send 線程與 SMX 交互,以使用全雙工方式發(fā)送數(shù)據(jù)。有了全雙工通信,線程在發(fā)送下一個緩沖區(qū)之前不等待來自 RS 輔助效勞器確實認(rèn)。在主效勞器需要來自 RS 輔助效勞器確實認(rèn)之前最多可發(fā)送 32 個緩沖區(qū)傳輸。如果到達 32 個緩沖區(qū)的限制,那么發(fā)送線程
26、將等待 RSS_Recv 線程接收來自 RS 輔助效勞器確實認(rèn)。在 RS 輔助效勞器上,RSS_Recv 與 SMX 交互,以接收來自主效勞器的日志頁。RSS 在很多方面都與 HDR 相似。將日志發(fā)送到 RSS 的方式與主效勞器將日志發(fā)送到 HDR 輔助效勞器的方式很相似。但是,RSS 采用 SMX 異步通信框架,因此其對主效勞器的影響到達最小。出于該原因,主效勞器和 RSS 輔助效勞器之間事務(wù)落實或檢查點均不是同步進行的。換句話說,不保證在主效勞器上落實的任何事務(wù)也在同一時間在 RSS 輔助效勞器上得到落實。因為 RSS 輔助效勞器是異步進行更新的,所以 RSS 輔助效勞器不能直接提升為主效
27、勞器。相反,它可以提升為 HDR 輔助效勞器,然后可提升為主效勞器。另外,HDR 輔助效勞器可降級為 RS 輔助效勞器。盡管 RS 輔助效勞器與 HDR 輔助效勞器類似,但有某些操作是 HDR 輔助效勞器可執(zhí)行但 RS 輔助效勞器卻不支持,例如:· RS 輔助效勞器不支持 SYNC 方式· RS 輔助效勞器不支持 DRAUTO· RS 輔助效勞器不具有同步檢查點· RS 輔助效勞器不能直接轉(zhuǎn)換為主效勞器RSS 備用效勞器的主要作用是提供災(zāi)難恢復(fù)解決方案。如同在 HDR 中一樣,主效勞器不斷將其所有的邏輯日志記錄發(fā)送給 RS 備用效勞器,不過 RS 使用的
28、異步方式。與 HDR 不同,通信使用全雙工協(xié)議。因此 RS 對網(wǎng)絡(luò)延遲不是很敏感,并且可以更容易駐留在一個較遠(yuǎn)的地理位置。同時,如果節(jié)點間通信線路比擬差的情況下,頁經(jīng)常采用 RS 備用效勞器方式。 RS 備用效勞器的一個特點是主效勞器并不和 RS 備用效勞器同步檢查點,這一點和 SD 和 HDR 效勞器不同。因此不能立即替代主效勞器;必須首先切換為一個 HDR 效勞器。RSS 配置實現(xiàn)硬件和軟件需求RS 輔助效勞器維護物理數(shù)據(jù)庫的完整副本。出于此原因,以下內(nèi)容必須與主效勞器相同:· 運行數(shù)據(jù)庫效勞器的計算機硬件· 分配給數(shù)據(jù)庫空間的磁盤空間量· 創(chuàng)立數(shù)據(jù)庫空間時使
29、用的物理設(shè)備中的偏移量索引頁日志記錄LOG_INDEX_BUILDS在創(chuàng)立索引時,索引頁日志記錄將各頁寫入到邏輯日志,以使高可用性環(huán)境中各效勞器之間的索引創(chuàng)立同步。要使用 RS 輔助效勞器,必須啟用索引頁日志記錄。索引頁日志記錄將完整索引寫入到日志文件,然后將該日志文件異步地傳輸?shù)捷o助效勞器。輔助效勞器可以是 RS 輔助效勞器,也可以是 HDR 輔助效勞器。然后,日志文件事務(wù)被讀入到輔助效勞器上的數(shù)據(jù)庫,減少輔助效勞器在恢復(fù)期間重新構(gòu)建索引的需求。對于 RS 輔助效勞器,主效勞器不等待來自輔助效勞器確實認(rèn),這允許對主效勞器上索引的立即訪問。索引頁日志記錄是使用 onconfig 參數(shù) LOG_
30、INDEX_BUILDS 進行控制的。如果 LOG_INDEX_BUILDS 設(shè)置為 1已啟用,那么在主效勞器上構(gòu)建索引然后將索引發(fā)送到輔助效勞器。向集群中添加 RS 備用效勞器向集群添加一個 RSS 備用效勞器的具體步驟:步驟1:準(zhǔn)備 SQLHOSTS 文件集群中的所有效勞器必須具有針對其他效勞器的 SQLHOSTS 條目。production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp server_1 hdr1_tcp rss1 onsoctcp server_1 rss1_tcp cl
31、r1 onsoctcp server_1 clr1_tcp步驟2:在主效勞器上,啟用索引頁面日志記錄onmode -wf LOG_INDEX_BUILDS=1步驟3:在主效勞器上,注冊新的RS備用效勞器onmode -d add RSS rss1步驟4:對主效勞器采取0級備份ontape -s -L 0步驟5:在RS備用效勞器中,恢復(fù)備份ontape -p Three questions will be asked. Answer as shown below: Continue restore? (y/n) y Do you want to back up the logs? (y/n) n
32、 Restore a level 1 archive (y/n) n步驟6:使RS備用效勞器進入online模式onmode -d RSS myprimRSS 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行onstat時顯示的頭信息均有字段指示數(shù)據(jù)庫效勞器正在作為主數(shù)據(jù)庫效勞器還是輔助數(shù)據(jù)庫效勞器運行。以下例如顯示作為復(fù)制對中的 RSS 輔助數(shù)據(jù)庫效勞器并且處于讀寫方式的數(shù)據(jù)庫效勞器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (RSS)- Up 00:00:59 - 105120 Kbytes onstat -g rss 命令我們可
33、以在主效勞器和 RSS 節(jié)點中分別運行 onstat -g rss 命令查看 RSS 節(jié)點狀態(tài)。 在主效勞器和 RSS 節(jié)點上的輸出稍有不同。在主效勞器上運行 onstat -g rss 命令輸出如下: Local server type: Primary Index page logging status: Enabled Index page logging was enabled at: 2007/02/20 18:10:01 Number of RSS servers: 3 RSS Server information: RSS Srv RSS Srv Connection Next
34、LPG to send Supports name status status (log id,page) Proxy Writes cdr_ol_nag_1_c1 Active Connected 7,899 Y cdr_ol_nag_1_c2 Active Connected 7,899 Y其中:· Local server type:是 Primary 還是 RSS (remote standalone secondary) 效勞器類型· Index page logging status: 顯示索引頁日志記錄狀態(tài)是否被激活· Index page logg
35、ing was enabled at:顯示索引頁日志記錄激活的時間· Number of RSS servers:連接到主效勞器上 RSS 效勞器的數(shù)量· RSS Srv name: RSS 效勞器的名稱· RSS Srv status: 顯示 RSS 效勞器數(shù)否活動· Connection status:顯示 RSS 效勞器是否已經(jīng)連接· Next LPG sent (log id, page):最近發(fā)送的 LPG log ID and page· Supports Proxy Writes:顯示輔助效勞器是否可執(zhí)行 update
36、操作,Y 代表支持,N 不支持在輔助效勞器上運行 onstat -g rss 命令輸出如下:IBM Informix Dynamic Server Version 11.50.UC1 - Read-Only (RSS) - Up 00:05:18 - 55296 Kbytes Local server type: RSS Server Status : Active Source server name: cdr_ol_nag_1 Connection status: Connected Last log page received(log id,page): 7,877其中:· L
37、ocal server type:是 Primary 還是 RSS (remote standalone secondary) 效勞器類型· Server Status: 顯示 RSS 效勞器是否活動· Source server name:主效勞器名稱· Connection status:顯示 RSS 效勞器是否已經(jīng)連接· Last log page received (log id,page):最近接受的 LPG log ID and pageRSS 故障切換在高可用集群環(huán)境中,數(shù)據(jù)庫效勞器主要包含下述三種工作方式:效勞器方式說明標(biāo)準(zhǔn)方式不是數(shù)據(jù)復(fù)
38、制系統(tǒng)的一局部。主要方式數(shù)據(jù)復(fù)制系統(tǒng)的主要方式??梢愿聰?shù)據(jù)。輔助方式數(shù)據(jù)復(fù)制系統(tǒng)的輔助方式。無法更新數(shù)據(jù),但是可以讀取數(shù)據(jù)。RSS 進行故障切換的根本原那么:· RSS 節(jié)點不能升級為主節(jié)點· DRAUTO 對 RSS 不起作用· RSS 節(jié)點可以轉(zhuǎn)換為 HDR 輔助節(jié)點· HDR 輔助節(jié)點可以轉(zhuǎn)變?yōu)?RSS 節(jié)點· RSS 節(jié)點可以轉(zhuǎn)換為 standard nodeRSS 故障切換的根本方法及形式:將 RSS 節(jié)點升級為 HDR 輔助節(jié)點 :onmode d secondary <primary>將 RSS 節(jié)點轉(zhuǎn)換為標(biāo)準(zhǔn)節(jié)點
39、:onmode d standard將 HDR 輔助節(jié)點裝換為 RSS 節(jié)點 :onmode d RSS <primary>除去 RSS 節(jié)點 :onmode -d delete RSS rss_servernameSDS 技術(shù)與 HDR、RSS 不同,SDS 采用和主機共享磁盤方式,防止了數(shù)據(jù)重復(fù)存儲的問題,節(jié)省了空間,同時安裝、配置更加簡單。而且,當(dāng)主機發(fā)生故障后,它可以快速實現(xiàn)接管,另外,我們可以非常容易地配置多個 SDS,可以實現(xiàn)了負(fù)載均衡的功能。由于 SD 備用節(jié)點利用了主效勞器的磁盤并且可以輕松快速地啟動,因而非常適合規(guī)模擴展場景,由于 SD 備用效勞器非常接近主效勞器
40、即它們共享相同的磁盤,因此最適合在主效勞器遇到問題時作為故障轉(zhuǎn)移效勞器。SDS 工作的根本原理所有輔助效勞器類型都使用日志從主效勞器復(fù)制數(shù)據(jù)。對于 HDR 輔助效勞器和 RS 輔助效勞器可通過生成日志時使主效勞器將其所有邏輯日志記錄發(fā)送到輔助效勞器,從而在輔助效勞器上復(fù)制對主效勞器所作的更新。 HDR 輔助效勞器和 RS 輔助效勞器接收在主效勞器上生成的邏輯日志記錄,并將這些記錄應(yīng)用到其自己的數(shù)據(jù)庫空間。對于 SD 輔助效勞器,如下圖,同 HDR 輔助效勞器和 RS 輔助效勞器不同,主效勞器不是將整個日志進行發(fā)送,而只是將邏輯日志頁的日志位置發(fā)送到 SD 輔助效勞器。通過使用從主效勞器接收到的
41、日志位置,SD 輔助效勞器從磁盤讀取邏輯日志頁,并將其應(yīng)用于內(nèi)存數(shù)據(jù)緩沖區(qū)。圖 5. SDS 數(shù)據(jù)復(fù)制示意圖SD 輔助效勞器不會向共享磁盤塊中寫任何東西,不會將共享內(nèi)存的數(shù)據(jù)刷新到磁盤,即使是發(fā)生 checkpoint 操作也一樣。如果 SD 輔助效勞器需要刷新共享內(nèi)存數(shù)據(jù),他們會備寫到臨時的 paging file 中,直到下一次 checkpoint 操作才清空 paging file 。同時,如下列圖所示,主效勞器不會清倉共享內(nèi)存中的數(shù)據(jù)頁,直到確認(rèn) SDS 不在需要該數(shù)據(jù)頁才會清倉到磁盤上。下列圖顯示了啟動 SD 輔助效勞器的根本過程:SD 輔助效勞器首先創(chuàng)立到主效勞器的 SMX 連接
42、,之后,SD 輔助效勞器向主效勞器發(fā)出 checkpoint 請求,主效勞器響應(yīng) SD 輔助效勞器的 checkpoint 請求,并將相應(yīng) LSN 發(fā)送給 SD 輔助效勞器,SD 輔助效勞器啟動必要的恢復(fù)操作,之后,主效勞器開始不斷向 SD 輔助效勞器發(fā)送當(dāng)前的 LSN,SD 輔助效勞器也開始不斷向主效勞器發(fā)送 ACK 確認(rèn)信息。圖 6. SDS 數(shù)據(jù)復(fù)制工作原理示意圖SDS 配置實現(xiàn)輔助效勞器的硬件和軟件需求除了磁盤需求與主效勞器共享,硬件和軟件需求與 HDR 輔助效勞器的需求相同。此外,具有數(shù)據(jù)庫效勞器的計算機之間必須共享主磁盤系統(tǒng)。這表示從 SD 輔助效勞器到數(shù)據(jù)庫空間的路徑必須與主效勞
43、器的數(shù)據(jù)庫空間路徑相同。SDS 相關(guān)配置參數(shù)說明· SDS_ENABLE:用來啟用 SD 輔助效勞器功能。您必須在主效勞器及 SD 輔助效勞器中將 SDS_ENABLE 都設(shè)置為 1啟用,才能啟用 SD 輔助效勞器功能。其取值范圍:o 0 - 禁用 SDS 功能o 1 - 啟用 SDS 功能· SDS_PAGING: 指定了兩個要作為緩存器調(diào)頁文件的文件的位置。如果未設(shè)置 SDS_PAGING,SD 輔助效勞器可能無法啟動。在 SD 輔助效勞上設(shè)置該值。其取值范圍:< 分頁文件 1 的絕對路徑 >,< 分頁文件 2 的絕對路徑 >· SDS
44、_TEMPDBS:指定 SD 輔助效勞器用于動態(tài)創(chuàng)立臨時數(shù)據(jù)庫空間的信息。為了啟動 SD 輔助效勞器,SD 輔助效勞器的 ONCONFIG 文件中至少出現(xiàn)一次 SDS_TEMPDBS,最多可以配置為 16 SDS_TEMPDBS 條目。在 SD 輔助效勞上設(shè)置該值,主效勞器上不使用 SDS_TEMPDBS 。其取值范圍:<dbspace_name>、< 路徑 >、< 頁面大小以 KB 為單位 >、< 偏移量以 KB 為單位 >、< 大小 >例如:SDS_TEMPDBS sdstmpdbs1, /work/dbspaces/sdstmp
45、dbs1,2,0,16000· SDS_TIMEOUT:該配置參數(shù)用于主效勞器確定要從 SD 效勞器獲得確認(rèn)需要等待多長時間,如果沒有獲得確認(rèn),主效勞器將停止 SD 效勞器。在主效勞器上設(shè)置該值。其取值范圍:>= 0 秒,默認(rèn)值為 20 秒。向集群中添加 SD 備用效勞器向集群添加一個 SDS 備用效勞器的具體步驟:步驟1:準(zhǔn)備SQLHOSTS文件確保 SQHOSTS 文件在主效勞器和 SDS 節(jié)點都具有另一個效勞器的條目:production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 ons
46、octcp server_1 hdr1_tcp rss1 onsoctcp server_1 rss1_tcp clr1 onsoctcp server_1 clr1_tcp注意這里使用的組是可選的。步驟2:將主效勞器設(shè)置為共享磁盤的所有者在主效勞器中,運行:onmode -d set SDS primary myprim步驟3:配置SD備用效勞器· 確保以下參數(shù)匹配主效勞器的 ONCONFIG:ROOTNAME、ROOTPATH、ROOTOFFSET、ROOTSIZE、PHYSDBS、PHYSFILE、LOGFILES 和 LOGSIZE 。· 將 SDS_ENABLE
47、設(shè)置為 1 。· 配置 SDS_PAGING 和 SDS_TEMPDBS 。例如:SDS_ENABLE 1 SDS_PAGING /ids/sds/dbspaces/page_1,/ids/sds/dbspaces/page_2 SDS_TEMPDBS sdstmpdbs1,/ids/sds/dbspaces/sdstmpdbs1,2,0,16000 REDIRECTED_WRITES 1 TEMPTAB_NOLOG 1步驟4:啟動SD備用效勞器oninitSDS 狀態(tài)監(jiān)控onstat 命令每次執(zhí)行onstat時顯示的頭信息均有字段指示數(shù)據(jù)庫效勞器正在作為主數(shù)據(jù)庫效勞器還是輔助數(shù)據(jù)庫
48、效勞器運行。以下例如顯示作為復(fù)制對中的 SDS 輔助數(shù)據(jù)庫效勞器并且處于讀寫方式的數(shù)據(jù)庫效勞器:IBM Informix Dynamic Server Version 11.50.UC1 - Updatable (SDS)- Up 00:00:59 - 105120 Kbytesonstat -g sds 命令您可以使用onstat -g sds命令來查看 SD 輔助效勞器統(tǒng)計信息。 onstat 實用程序的輸出取決于實用程序是在主效勞器還是在輔助效勞器上運行。onstat-g sds 命令輸出根本包括:· Local server type:是 Primary 還是 SDS (sh
49、ared disk secondary) 效勞器類型· Number of SDS servers:連接到主效勞器上 SDS 效勞器的數(shù)量· SDS Srv name: SDS 效勞器的名稱· SDS Srv status: 顯示 SDS 效勞器數(shù)否活動· Connection status:顯示 SDS 效勞器是否已經(jīng)連接· Last LPG sent (log id, page):最近發(fā)送的 LPG log ID and page· Supports Proxy Writes:顯示輔助效勞器是否可執(zhí)行 update 操作,Y 代表
50、支持,N 不支持下邊是執(zhí)行 onstat -g sds 命令的輸出:Local server type: Primary Number of SDS servers:1 SDS server information SDS srv SDS srv Connection Last LPG sent Supports name status status (log id,page) Proxy Writes C_151162 Active Connected 554,4998使用 SMI 表查詢 syssrcsds 表可獲取關(guān)于主效勞器上共享磁盤統(tǒng)計信息的信息。查詢 systrgsds 表可獲取關(guān)
51、于輔助效勞器上共享磁盤統(tǒng)計信息的信息。SDS 故障切換輔助效勞器環(huán)境中的災(zāi)難恢復(fù)在當(dāng)前主效勞器連接到新的主效勞器時執(zhí)行故障轉(zhuǎn)移當(dāng)高可用性環(huán)境處于活動狀態(tài)時,新的主效勞器將通知舊主效勞器它將采取共享磁盤的所有權(quán)。然后,舊的主效勞器將回滾所有翻開的事務(wù),并將其自身切換為輔助狀態(tài)。在舊的主效勞器完成該過程之后,它將通知新的主效勞器回滾完成。這將成為新的主效勞器繼續(xù)操作的信號??赏ㄟ^在新的主效勞器上發(fā)出onmode -d set sds primary命令來執(zhí)行此過程。在當(dāng)前主效勞器未連接到新的主效勞器時執(zhí)行故障轉(zhuǎn)移在此場景中,新舊主效勞器之間的連接不存在。在這種情況下,我們需要強制執(zhí)行轉(zhuǎn)換。這可通過
52、發(fā)出onmode -d set sds primary force命令完成。僅當(dāng)在確定原始主效勞器不活動時才能發(fā)出該命令。因為強制關(guān)鍵字會使新的主效勞器在不與舊主效勞器通信的情況下成為源效勞器,所以如果舊的主效勞器仍然處于活動狀態(tài),它很可能導(dǎo)致數(shù)據(jù)庫毀壞。當(dāng)高可用性集群中的所有節(jié)點不可用時執(zhí)行故障轉(zhuǎn)移這是在所有效勞器出現(xiàn)故障而且未能啟動現(xiàn)有主效勞器后嘗試故障轉(zhuǎn)移時的唯一問題。該問題的原因是主效勞器必須能夠連接以啟動高可用性集群中的輔助效勞器。如果主效勞器不處于活動狀態(tài),那么無法建立連接,因此無法啟動輔助效勞器。如果無法啟動輔助效勞器,那么用于更改主效勞器的 onmode 命令將不會起作用。要防
53、止該問題,請使用 oninit -SDS=<new alias>,其中 <new alias> 是新的主效勞器上的 TCP 別名。這允許啟動現(xiàn)有輔助效勞器,并使其能夠同時采取環(huán)境的所有權(quán)。僅當(dāng)啟動集群內(nèi)的第一個效勞器時才能使用 oninit 命令的該選項。SDS 故障切換的根本方法及形式將 SD 輔助效勞器提升為主效勞器可通過在 SD 輔助效勞器上發(fā)出以下命令來將 SD 輔助效勞器轉(zhuǎn)換為主效勞器:onmode -d set SDS primary <alias>請注意:SD 輔助效勞器不能轉(zhuǎn)換為標(biāo)準(zhǔn)效勞器。禁用 SD 輔助效勞器環(huán)境中的主效勞器可使用以下命令
54、禁用主效勞器:在主效勞器上,輸入以下命令: onmode -d clear SDS primary <alias>該命令將使主效勞器成為標(biāo)準(zhǔn)效勞器,并禁用共享磁盤環(huán)境。SD 輔助效勞器環(huán)境中的災(zāi)難恢復(fù)的建議如果主效勞器發(fā)生故障,那么故障轉(zhuǎn)移的順序應(yīng)該是:· 轉(zhuǎn)移到 SD 輔助效勞器· 轉(zhuǎn)移到 HDR 輔助效勞器· 轉(zhuǎn)移到 RS 輔助效勞器集群環(huán)境下災(zāi)難恢復(fù)的各種方式比照可在任何類型的輔助效勞器上運行 onmode -d make primary 命令以將該效勞器提升為主效勞器。下表說明了每個效勞器類型是如何受到影響的。如果新的主效勞器是:那么該類型的對
55、等效勞器:受該方式的影響:SD 輔助效勞器SD 輔助效勞器連接到新的主效勞器并繼續(xù)RS 輔助效勞器連接到新的主效勞器并繼續(xù)HDR 輔助效勞器連接到新的主效勞器并繼續(xù)舊的主效勞器關(guān)閉HDR 輔助效勞器SD 輔助效勞器關(guān)閉RS 輔助效勞器連接到新的主效勞器并繼續(xù)HDR 主效勞器取決于用戶操作RS 輔助效勞器SD 輔助效勞器關(guān)閉HDR 輔助效勞器關(guān)閉RS 輔助效勞器關(guān)閉CLR 技術(shù)有的時候,遠(yuǎn)程災(zāi)備效勞器和主機效勞器要實現(xiàn)物理隔離,或者數(shù)據(jù)網(wǎng)絡(luò)非常不穩(wěn)定,這種情況下,Informix 11 提供了 CLR Continuous Log Restore技術(shù),它是通過邏輯日志備份的方式,將數(shù)據(jù)庫的邏輯日
56、志人工傳送到遠(yuǎn)程災(zāi)備效勞器,通過數(shù)據(jù)庫邏輯日志恢復(fù)的方式保持和主數(shù)據(jù)庫數(shù)據(jù)同步的方式。圖 7. CLR 數(shù)據(jù)復(fù)制工作原理示意圖CLR 方式,就是我們常說的 log shipping 方式,CLR 效勞器一直處于 fast recover 狀態(tài),不斷接收新的邏輯日志,當(dāng)需要恢復(fù)時,執(zhí)行 ontape l X 命令,數(shù)據(jù)庫會轉(zhuǎn)變?yōu)殪o態(tài)模式,之后就可以正常使用了。CLR 方式,主要用于遠(yuǎn)程災(zāi)備效勞器和主機效勞器采用物理隔離,或者數(shù)據(jù)網(wǎng)絡(luò)非常不穩(wěn)定的情況下實現(xiàn)災(zāi)難恢復(fù)的場景。CLR 工作的根本原理主效勞器通過定期或連續(xù)進行邏輯日志備份,并將日志備份數(shù)據(jù)手工的方式傳送到 CLR 效勞器端, CLR 效勞
57、器不斷采用 ontape -l C 命令前滾日志, CLR 處于 logical roll-forward 模式,當(dāng)需要使用 CLR 效勞器時,采用 ontape l X 命令,數(shù)據(jù)庫會轉(zhuǎn)變?yōu)殪o態(tài)模式,之后就可以正常使用了。CLR 配置實現(xiàn)向集群中添加 CLR 備用效勞器向集群添加一個 CLR 備用效勞器的具體步驟:步驟 1 :準(zhǔn)備 SQLHOSTS 文件集群中的所有效勞器必須具有針對其他效勞器的 SQLHOSTS 條目。production onsoctcp server_1 prod_tcp sds1 onsoctcp server_1 sds1_tcp hdr1 onsoctcp serve
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 安全生產(chǎn)責(zé)任清單
- 二零二五版2025年度駕校綜合設(shè)施改造施工合同范本3篇
- 室外消火栓系統(tǒng)概述與室外消防用水量
- 2024年淮北職業(yè)技術(shù)學(xué)院高職單招語文歷年參考題庫含答案解析
- 《陶罐和鐵罐》課件圖文
- 二零二五年度藝術(shù)壁畫粉刷班組服務(wù)協(xié)議6篇
- 21三體綜合征產(chǎn)前診斷
- 《科幻小說賞析與寫作》 課件 第1、2章 導(dǎo)論科幻小說賞析與寫作的“關(guān)鍵詞”;“時間旅行”的歷史與未來-《時間機器》
- 2024年瀘州醫(yī)療器械職業(yè)學(xué)院高職單招職業(yè)適應(yīng)性測試歷年參考題庫含答案解析
- 2024年泉州工程職業(yè)技術(shù)學(xué)院高職單招職業(yè)技能測驗歷年參考題庫(頻考版)含答案解析
- 電力業(yè)擴工程竣工驗收單
- 三年級上冊口算題(1000道打印版)
- 安全保護區(qū)巡查管理規(guī)定
- 藥物性肝損傷藥物治療
- 2021年12月醫(yī)院臨床藥師培訓(xùn)理論考核試題(心血管專業(yè))
- 2022屆高考語文復(fù)習(xí)二輪復(fù)習(xí)語言文字運用專題:語段要點概括方法指導(dǎo)課件13張
- 科目一考試成績表
- 噴塑特殊過程能力確認(rèn)記錄1
- 內(nèi)蒙古自治區(qū)建設(shè)工程費用定額2009年版
- 【灶司經(jīng)】(師傳秘本)
- 初中物理元件實物圖及一些常用圖形
評論
0/150
提交評論