Sybase容災(zāi)備份 Nonstop IQ解決方案介紹

1、 sybase nonstop iq 解決方案介紹sybase 容災(zāi)備份nonstop iq 解決方案隨著信息科技的發(fā)展，企業(yè)越來越依賴于計(jì)算機(jī)系統(tǒng)來保證其在業(yè)界的競爭力。如果計(jì)算機(jī)系統(tǒng)發(fā)生故障,將導(dǎo)致業(yè)務(wù)系統(tǒng)中斷,會給企業(yè)帶來無法估量的經(jīng)濟(jì)損失和聲譽(yù)損失。因此，關(guān)鍵業(yè)務(wù)系統(tǒng)的高可靠性和高可用性已成為保障企業(yè)運(yùn)營的重點(diǎn)。建設(shè)遠(yuǎn)程災(zāi)備中心可以避免水災(zāi),火災(zāi),地震等自然災(zāi)害對系統(tǒng)運(yùn)營的影響。 對于數(shù)據(jù)庫的災(zāi)難恢復(fù),傳統(tǒng)的方式是使用磁帶備份的方法,即使用磁帶機(jī)定期對數(shù)據(jù)庫做全庫備份和增量備份,并把磁帶保存到異地。 如果發(fā)生數(shù)據(jù)庫故障,首先恢復(fù)最近的全庫備份,再逐次恢復(fù)增量備份。這種方法恢復(fù)速度慢,步

2、驟繁瑣,已經(jīng)逐漸不能滿足高速發(fā)展的企業(yè)運(yùn)營的要求。很多廠商都注意到了企業(yè)對于快速恢復(fù)數(shù)據(jù)的需求,并致力于開發(fā)專業(yè)的數(shù)據(jù)庫容災(zāi)備份產(chǎn)品。sybase公司的具有專利技術(shù)的數(shù)據(jù)庫恢復(fù)方案,可以保證企業(yè)數(shù)據(jù)零丟失,并且提供業(yè)界最低的tco(運(yùn)行成本) 。1 原理篇1.1 備份模式介紹對數(shù)據(jù)庫進(jìn)行備份是為了保證數(shù)據(jù)庫數(shù)據(jù)的一致性和完整性，消除系統(tǒng)使用者和操作者的后顧之憂。不同的應(yīng)用環(huán)境要求不同的解決方案來適應(yīng)，一般來說，一個(gè)完善的備份策略，應(yīng)滿足以下原則：1、 實(shí)時(shí)性：能夠?qū)崟r(shí)在線的對數(shù)據(jù)庫進(jìn)行備份2、 高性能：最小化備份和數(shù)據(jù)恢復(fù)操作需要的時(shí)間3、 易操作：減少備份的中間環(huán)節(jié)下表為市場上主要的數(shù)據(jù)庫容

3、災(zāi)備份模式備份/恢復(fù)模式優(yōu)勢劣勢1、系統(tǒng)級脫機(jī)高速冷備到磁帶資源消耗低；備份軟件選擇多；以數(shù)據(jù)庫服務(wù)中斷為代價(jià)；難以支持增量備份；2、數(shù)據(jù)庫級在線備份到磁帶數(shù)據(jù)庫服務(wù)不中斷；成本較低；主機(jī)資源消耗大；備份和恢復(fù)速度均慢；表：市場上主要的數(shù)據(jù)庫容災(zāi)備份模式市場上現(xiàn)有的數(shù)據(jù)庫容災(zāi)備份產(chǎn)品主要有兩種，一種是使用塊復(fù)制技術(shù)的磁盤遠(yuǎn)程鏡像方案。該解決方案需要使用同樣的硬件和軟件環(huán)境創(chuàng)建一個(gè)完全相同的鏡像站點(diǎn)，利用數(shù)據(jù)光纖線路實(shí)時(shí)同步主備點(diǎn)數(shù)據(jù).發(fā)生故障時(shí),切斷光纖鏈路,啟動(dòng)備點(diǎn)數(shù)據(jù)庫和應(yīng)用系統(tǒng)。該方案具有數(shù)據(jù)同步速度超快的特點(diǎn),但也有一些缺點(diǎn)：比如除了在災(zāi)難發(fā)生時(shí)切換到鏡像站點(diǎn)之外，其余時(shí)間鏡像設(shè)備和備

4、份數(shù)據(jù)庫只能處于閑置狀態(tài),對于企業(yè)客戶的高昂投資是一種浪費(fèi); 另外主點(diǎn)發(fā)生的磁盤塊錯(cuò)誤也會被復(fù)制到備份點(diǎn)，因此也不能保證備份數(shù)據(jù)庫能夠正常啟動(dòng)。另外一種災(zāi)難恢復(fù)產(chǎn)品是利用事務(wù)復(fù)制技術(shù)。此方法的原理是讀取主數(shù)據(jù)庫事務(wù)日志，把日志轉(zhuǎn)換為 sql 語句，然后這些sql語句被復(fù)制服務(wù)器應(yīng)用到遠(yuǎn)程備份數(shù)據(jù)庫。事務(wù)復(fù)制可以在確保備份數(shù)據(jù)庫永遠(yuǎn)可用的情況下，有效地防止磁盤損壞帶來的“壞塊傳播”。此外，復(fù)制環(huán)境不必與主環(huán)境使用相同的配置，這允許企業(yè)以更低的成本創(chuàng)建災(zāi)備系統(tǒng)。備份數(shù)據(jù)庫平時(shí)還可用于其他用途（如決策支持和統(tǒng)計(jì)報(bào)告等），從而提高企業(yè)投資的效率，為災(zāi)難恢復(fù)投資實(shí)現(xiàn)更高的投資回報(bào)率 (roi)。但是，事

5、務(wù)復(fù)制是基于軟件的復(fù)制方案,主備點(diǎn)數(shù)據(jù)同步有一定的延遲,這就意味著在主系統(tǒng)發(fā)生中斷時(shí)可能會造成數(shù)據(jù)丟失。 并不是說企業(yè)不需要考慮以上兩種解決方案的使用；只是說單獨(dú)采用這些解決方案無法滿足所有的災(zāi)難恢復(fù)要求。為了解決上述問題，需要采用更完善的解決方案。 sybase的數(shù)據(jù)庫恢復(fù)方案正是這樣一種能夠解決以上問題的災(zāi)備解決方案。該方案能夠與硬件存儲災(zāi)備體系協(xié)同工作，確保數(shù)據(jù)庫事務(wù)的完整性，并且備點(diǎn)數(shù)據(jù)庫一直是在線可用的。sybase的容災(zāi)備份方案是結(jié)合了磁盤鏡像和事務(wù)復(fù)制優(yōu)點(diǎn)的完整解決方案。如圖顯示了sybase是如何與典型的磁盤鏡像體系結(jié)構(gòu)進(jìn)行集成的。通過部署 sybase容災(zāi)備份方案，完成備點(diǎn)數(shù)

6、據(jù)庫的初始鏡像之后，就無需再對數(shù)據(jù)設(shè)備進(jìn)行鏡像。只有包含事務(wù)信息的日志設(shè)備需要同步復(fù)制到備份站點(diǎn)上的鏡像日志設(shè)備。然后sybase的復(fù)制服務(wù)器可以直接讀取鏡像日志設(shè)備,把其中的數(shù)據(jù)變更應(yīng)用到備點(diǎn)數(shù)據(jù)庫。這種方案既體現(xiàn)了磁盤鏡像技術(shù)的同步速度超快的特點(diǎn),又體現(xiàn)了事務(wù)復(fù)制技術(shù)中備點(diǎn)數(shù)據(jù)庫實(shí)時(shí)可用的特點(diǎn)。數(shù)據(jù)備份模式1.2 sybase non-stop iq解決方案sybase iq作為sybase公司推出的為數(shù)據(jù)倉庫應(yīng)用設(shè)計(jì)和優(yōu)化的數(shù)據(jù)倉庫引擎，提供三種常規(guī)的數(shù)據(jù)庫級備份模式： full backup： incremental backup： incremental-since-full bac

7、kup：一般而言最佳的策略是混合incremental和full backups。sybase iq以其獨(dú)特的性能和優(yōu)異的表現(xiàn)已經(jīng)在銀行、電信、金融、交通、政府等行業(yè)的關(guān)鍵業(yè)務(wù)領(lǐng)域獲得了廣泛的應(yīng)用。在關(guān)鍵業(yè)務(wù)領(lǐng)域，譬如像銀行的歷史數(shù)據(jù)查詢應(yīng)用，一般都要求數(shù)據(jù)庫有7*24小時(shí)服務(wù)的能力。系統(tǒng)級的數(shù)據(jù)庫備份/恢復(fù)模式由于其需要數(shù)據(jù)庫停止對外提供服務(wù)而不可能獲得采納。數(shù)據(jù)庫在線備份對服務(wù)器資源是一個(gè)極大的挑戰(zhàn)，因?yàn)槠鋵⑹褂么罅縞pu資源和i/o資源從而造成系統(tǒng)性能的下降；另外一個(gè)方面，一旦數(shù)據(jù)庫發(fā)生損壞，在10tb級數(shù)據(jù)規(guī)模下，任何一種從磁帶/磁盤文件的恢復(fù)機(jī)制都需要至少10-100小時(shí)的時(shí)間才能完

8、成全庫級恢復(fù)，這使得幾乎無法在固定的時(shí)間窗口完成備份/恢復(fù)工作，業(yè)務(wù)服務(wù)將不得不中斷，從而造成服務(wù)不能滿足7*24的要求。綜合考慮，基于數(shù)據(jù)庫和存儲硬件塊拷貝結(jié)合的備份恢復(fù)模式是這些關(guān)鍵業(yè)務(wù)應(yīng)用的最佳選擇，隨著磁盤硬件價(jià)格的不斷下降，尤其是sybase iq在廉價(jià)的ata磁盤上優(yōu)異的表現(xiàn)，這一優(yōu)勢得到更進(jìn)一步的鞏固。1.3 關(guān)鍵技術(shù)討論1.3.1 sybase iq虛擬備份nonstop iq的核心是sybase iq提供的虛擬備份技術(shù)。sybase iq服務(wù)器由服務(wù)器日志（server log）、臨時(shí)數(shù)據(jù)存儲空間（temp store）、元數(shù)據(jù)（catalog store）、數(shù)據(jù)存儲空間（i

9、q store）、消息日志（message log）等組成。sybase iq數(shù)據(jù)庫的備份，主要是對元數(shù)據(jù)和數(shù)據(jù)進(jìn)行備份的過程，而在這個(gè)過程中，關(guān)鍵就是要做到原數(shù)據(jù)和數(shù)據(jù)之間必須保持一致和同步，任何不一致都會導(dǎo)致備份的數(shù)據(jù)無法正常的恢復(fù)。sybase iq物理結(jié)構(gòu)圖sybase iq的虛擬備份方案提供了快速的備份和恢復(fù)技術(shù)，可以在秒級完成系統(tǒng)備份和恢復(fù)過程。因?yàn)閟ybase iq的虛擬備份的原理是僅僅備份catalog store，iq store的備份通過存儲硬件的塊拷貝或操作系統(tǒng)級的copy完成，sybase iq的虛擬備份技術(shù)將保證元數(shù)據(jù)和數(shù)據(jù)之間的事務(wù)一致性。其邏輯步驟如下所示：步驟及

10、處理邏輯圖示第一步發(fā)生時(shí)間：首次系統(tǒng)初始化。操作：全部進(jìn)程將建立從主設(shè)備到影子設(shè)備的對應(yīng)關(guān)系進(jìn)行數(shù)據(jù)同步，此時(shí)用戶和客戶端程序仍能繼續(xù)訪問主數(shù)據(jù)設(shè)備，只不過優(yōu)先級較低。第二步發(fā)生時(shí)間：首次系統(tǒng)初始化之后，以及每日晚上主卷增量數(shù)據(jù)備份到影子卷之后。操作：對應(yīng)關(guān)系建立，主點(diǎn)設(shè)備上數(shù)據(jù)同步到影子卷之后，就會把主設(shè)備和影子設(shè)備分離，分離操作可以在主數(shù)據(jù)設(shè)備聯(lián)機(jī)查詢進(jìn)行。影子設(shè)備上數(shù)據(jù)庫連接和訪問將恢復(fù)。第三步發(fā)生時(shí)間：首次系統(tǒng)初始化之后，以及每日晚上主卷增量數(shù)據(jù)備份到影子卷之后。操作：一旦主卷和影子卷分離后，陣列將繼續(xù)跟蹤卷的變化，以便今后同步。在此期間用戶全部訪問主數(shù)據(jù)庫，而影子庫將被安全保護(hù)。影子

11、數(shù)據(jù)庫可以進(jìn)行把數(shù)據(jù)存儲到磁帶庫，這樣進(jìn)行了災(zāi)難備份或者并且影子設(shè)備可以進(jìn)行其他的維護(hù)和查詢?nèi)蝿?wù)例如：進(jìn)行一致性檢查，數(shù)據(jù)有效性檢查，查詢服務(wù)。第四步發(fā)生時(shí)間：每日晚上數(shù)據(jù)批量加載到iq之后。操作：發(fā)出指令主設(shè)備重新同步到影子設(shè)備。當(dāng)主設(shè)備和影子設(shè)備分離后，陣列排隊(duì)記錄變化的數(shù)據(jù)塊。重新同步進(jìn)程將把所有變化的數(shù)據(jù)塊覆蓋影子設(shè)備的數(shù)據(jù)塊。一旦重新同步完成后，分離進(jìn)程將自動(dòng)啟動(dòng)，再次把主設(shè)備和影子設(shè)備進(jìn)行分離。主卷故障主卷發(fā)生故障的時(shí)候，影子數(shù)據(jù)庫將進(jìn)行接管，sybase iq將被停止，并指向影子設(shè)備，用戶繼續(xù)進(jìn)行查詢操作。因?yàn)樘摂M備份是功能性的，全庫虛擬恢復(fù)操作只需要秒級時(shí)間。 恢復(fù)了主設(shè)備的故

12、障后，要進(jìn)行一個(gè)簡單的反向同步。將會標(biāo)明哪些塊需要被修復(fù)，主卷恢復(fù)工作。1.3.2 存儲硬件塊拷貝nonstop iq技術(shù)原則上與采用什么樣的存儲設(shè)備及技術(shù)是無關(guān)的，象hds、emc、sun、ibm、hp等等廠家提供的存儲技術(shù)與存儲設(shè)備都能與sybase iq很好地結(jié)合實(shí)現(xiàn)nonstop iq技術(shù)。由于不同硬件存儲廠商對sybase iq虛擬備份技術(shù)的實(shí)施所需要的local copy、delta copy、remote copy以及相關(guān)的多通道管理等功能的實(shí)現(xiàn)需要的軟件不同，其性能也各有差異；而且對于每個(gè)硬件廠商而言，并非其所有的存儲都支持sybase iq虛擬備份技術(shù)所需要的這些功能，或者某

13、些功能的實(shí)際運(yùn)行效能情況由于底層技術(shù)的差異性導(dǎo)致差別很大，因此需要通過技術(shù)驗(yàn)證來對具體的型號的功能和性能是否達(dá)到要求來進(jìn)行評估。下面列出的是基于emc和hp的功能對照表（功能-軟件）：功能emchp-evalocal copy：表示同一個(gè)磁盤陣列中的磁盤塊拷貝?？梢圆捎胋cv或clone技術(shù)實(shí)現(xiàn)。emc snapview_bcv/clonehp storageworks business copy eva softwaredelta copy：在同一個(gè)磁盤陣列中對某一個(gè)lun進(jìn)行快照，可以產(chǎn)生不同時(shí)間點(diǎn)的多個(gè)快照，以滿足不同時(shí)間點(diǎn)的數(shù)據(jù)需求emc snapview_snapshothp sto

14、rageworks business copy eva softwareremote copy：不同磁盤陣列間的磁盤塊拷貝，支持增量emc san copyhp storage continue access evamulipath:負(fù)載均衡/通道管理emc powerpathhp storageworks secure path硬件型號emc clariion系列；emc symmetix系列hp eva系列，hp xp系列1.3.3 磁盤和raid級別目前的磁盤總體分為sata和fc兩種，兩種磁盤在隨機(jī)讀取和順序讀取方面各有其不同特點(diǎn)。sata盤在高隨機(jī)訪問中比fc或者scsi耗時(shí)，大量的

15、順序訪問sybase iq數(shù)據(jù)，sata盤的性能優(yōu)于fc磁盤，而sybase iq數(shù)據(jù)倉庫備份和恢復(fù)是典型的順序訪問存儲系統(tǒng)。磁盤的raid級別選擇需要綜合考慮安全和性能，目前數(shù)據(jù)庫和數(shù)據(jù)倉庫應(yīng)用中最常用的磁盤級別是raid5（是一種旋轉(zhuǎn)奇偶校驗(yàn)獨(dú)立存取的陣列方式，適用于大數(shù)據(jù)量的操作，也適用于各種事務(wù)處理，它是一種快速、大容量和容錯(cuò)分布合理的磁盤陣列）。它與raid3，raid4不同的是沒有固定的校驗(yàn)盤，而是按某種規(guī)則把奇偶校驗(yàn)信息均勻地分布在陣列所屬的硬盤上。所以對于raid5級別得磁盤來說，在每塊硬盤上既有數(shù)據(jù)信息也有校驗(yàn)信息，這一改變解決了爭用校驗(yàn)盤的問題，使得在同一組內(nèi)并發(fā)進(jìn)行多個(gè)寫

16、操作。2 實(shí)踐篇近期,上海某中資銀行選用了sybase的災(zāi)備方案以保障生產(chǎn)系統(tǒng)的高可用性。在選用sybase災(zāi)備方案以前,該銀行已經(jīng)部署了基于高端存儲體系結(jié)構(gòu)的磁盤鏡像方案。維護(hù)人員在實(shí)際使用中發(fā)現(xiàn), 磁盤鏡像方案提供了跨卷存儲系統(tǒng)的一致性,在保護(hù)應(yīng)用數(shù)據(jù)和文件系統(tǒng)時(shí)非常有效，但也存在如下一些隱憂：1）數(shù)據(jù)庫系統(tǒng)不同于文件系統(tǒng)，存儲設(shè)備鏡像對于數(shù)據(jù)庫內(nèi)部的進(jìn)程調(diào)度、事務(wù)隔離、鎖管理、數(shù)據(jù)緩存等無能為力，無法保證數(shù)據(jù)庫事務(wù)的完整性。 2）主點(diǎn)發(fā)生的磁盤塊錯(cuò)誤也會被復(fù)制到備份點(diǎn)，可能造成備點(diǎn)數(shù)據(jù)庫數(shù)據(jù)丟失甚至無法啟動(dòng)。 3）備份點(diǎn)數(shù)據(jù)庫日常模式處于關(guān)閉狀態(tài)，缺乏有效手段檢查數(shù)據(jù)庫可用性和數(shù)據(jù)完整性

17、。 4）備份系統(tǒng)的設(shè)備大多數(shù)時(shí)間都處于閑置狀態(tài)，不具備可用性，用戶的投資回報(bào)率較低。 由于存在以上問題，銀行希望廠商能夠提供更完備的災(zāi)備解決方案，確保在災(zāi)難發(fā)生時(shí)備份點(diǎn)數(shù)據(jù)庫的數(shù)據(jù)是100完整有效的。對市場上現(xiàn)有的產(chǎn)品進(jìn)行了詳盡的調(diào)查后，容災(zāi)項(xiàng)目方案論證組得出結(jié)論“我們認(rèn)為sybase災(zāi)難備份方案是個(gè)很好的容災(zāi)備份解決方案。它能有效解決我們更高的數(shù)據(jù)同步要求，即：減少對于主點(diǎn)性能的影響，數(shù)據(jù)安全，不會丟失，同時(shí)保證災(zāi)難備份點(diǎn)的數(shù)據(jù)永遠(yuǎn)隨時(shí)可用?！痹撱y行最終選擇了sybase公司的災(zāi)備產(chǎn)品作為業(yè)務(wù)平臺的災(zāi)難備份解決方案。方案特點(diǎn)： 基本忽略數(shù)據(jù)庫的大小，進(jìn)行全庫備份在秒級或分鐘級就能完成； 瞬間實(shí)現(xiàn)由主庫到影子庫的切換，最短的宕機(jī)時(shí)間來進(jìn)行恢復(fù)操作； 進(jìn)行備份到磁帶庫時(shí)可以將影子設(shè)備斷開，保證生產(chǎn)服務(wù)的最高效率； 結(jié)合軟硬件技術(shù)，sybase 虛擬備份可以實(shí)現(xiàn)數(shù)據(jù)庫在線備份比傳統(tǒng)的備份節(jié)省巨大的時(shí)間； 可靠性高，有兩臺數(shù)據(jù)庫陣列，任何一臺發(fā)生問題，都不會影響生產(chǎn)的正常運(yùn)行，可以在分鐘級別進(jìn)行切換到備份數(shù)據(jù)庫上；軟件配置產(chǎn)品名稱數(shù)量版本信息備注信息操作系統(tǒng)主備點(diǎn)各一套aix 5.3sybase iq 主備點(diǎn)各一