數(shù)據(jù)管理基本常識(shí)

數(shù)據(jù)管理de基本常識(shí)目錄1備份、快照、復(fù)制、歸檔的基本常識(shí)數(shù)據(jù)去重的基本常識(shí)云存儲(chǔ)的基本常識(shí)如何調(diào)研用戶的數(shù)據(jù)環(huán)境數(shù)據(jù)管理的基本原則CommVault的應(yīng)對(duì)策略備份、快照、復(fù)制、歸檔的基本常識(shí)備份（Backup）收集生產(chǎn)系統(tǒng)上的數(shù)據(jù)，存儲(chǔ)在備份介質(zhì)上，萬(wàn)一當(dāng)生產(chǎn)系統(tǒng)的數(shù)據(jù)丟失或不能訪問(wèn)時(shí)，可以用來(lái)進(jìn)行恢復(fù)。備份就是創(chuàng)建備份副本的操作,應(yīng)用和用戶不能直接訪問(wèn)備份副本。什么是備份？3文件服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器備份服務(wù)器磁帶庫(kù)磁帶恢復(fù)（Recovery）重新創(chuàng)建生產(chǎn)系統(tǒng)應(yīng)用或計(jì)算環(huán)境的過(guò)去操作狀態(tài)在應(yīng)用或計(jì)算環(huán)境被破壞或其他原因?qū)е碌牟荒苁褂煤?，需要進(jìn)行恢復(fù)操作恢復(fù)模式：完全恢復(fù)，小顆?；謴?fù)什么是恢復(fù)？4文件服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器備份服務(wù)器磁帶庫(kù)磁帶備份傳輸模式5LANBackupLAN備份服務(wù)器生產(chǎn)系統(tǒng)LANSANLAN-freeBackup主控服務(wù)器生產(chǎn)系統(tǒng)LANSANServer-lessBackup備份服務(wù)器生產(chǎn)系統(tǒng)LANSAN備份服務(wù)器Server-freeBackup生產(chǎn)系統(tǒng)備份類型6備份類型原理優(yōu)點(diǎn)缺點(diǎn)全備份對(duì)備份集合中所有數(shù)據(jù)進(jìn)行備份完全恢復(fù)系統(tǒng)需要的時(shí)間最短。費(fèi)時(shí)，如果文件不頻繁進(jìn)行更改，備份內(nèi)容幾乎完全相同。增量備份對(duì)自上次備份后改變的數(shù)據(jù)進(jìn)行備份存儲(chǔ)的數(shù)據(jù)最少，備份速度最快。完全恢復(fù)系統(tǒng)需要的時(shí)間比全備份或差異備份長(zhǎng)。差量備份對(duì)自上次全備份后改變的數(shù)據(jù)進(jìn)行備份恢復(fù)時(shí)僅需要最新全備份和相應(yīng)的差分備份，備份速度比全備份快。完全恢復(fù)系統(tǒng)需要的時(shí)間比全備份長(zhǎng)。如果大量數(shù)據(jù)發(fā)生變化，備份所需的時(shí)間長(zhǎng)于增量備份的時(shí)間。合成全備份將上次全備份和與其相關(guān)增量備份或差量備份重新組成一個(gè)全備份第一次全備份后，不再需要進(jìn)行全備份，可進(jìn)行永久增量/差量備份只能對(duì)文件系統(tǒng)、文檔系統(tǒng)和郵件系統(tǒng)進(jìn)行合成全備份，不能對(duì)數(shù)據(jù)庫(kù)進(jìn)行合成全備份。備份介質(zhì)7備份設(shè)備優(yōu)點(diǎn)缺點(diǎn)磁帶庫(kù)備份速度快保留時(shí)間長(zhǎng)存儲(chǔ)容量大價(jià)格低易于離場(chǎng)保護(hù)1.磨損快，易出錯(cuò)

2.不易維護(hù)

3.順序讀寫(xiě)磁盤隨機(jī)讀寫(xiě),速度快易于配置和維護(hù)可支持重復(fù)數(shù)據(jù)刪除1.很多原有備份軟件不支持

2.無(wú)法實(shí)現(xiàn)離場(chǎng)保護(hù)光盤庫(kù)壽命最長(zhǎng)，介質(zhì)不容易老化1.備份和恢復(fù)速度最慢

2.硬件選擇受限虛擬磁帶庫(kù)(VTL)隨機(jī)讀寫(xiě),速度快易于配置和維護(hù)原有備份軟件支持可支持重復(fù)數(shù)據(jù)刪除1.最貴

2.增加管理層次

3.無(wú)法實(shí)現(xiàn)離場(chǎng)保護(hù)映像級(jí)備份(ImageLevelBackup)對(duì)整個(gè)文件卷進(jìn)行數(shù)據(jù)塊級(jí)別備份，備份傳輸?shù)氖菙?shù)據(jù)塊而不是文件。這種備份不僅做全備份時(shí)效率高，而且在隨后的增量備份時(shí)會(huì)更快。采用快照技術(shù)來(lái)創(chuàng)建一個(gè)近似于及時(shí)的數(shù)據(jù)映像，然后對(duì)快照數(shù)據(jù)映像進(jìn)行備份，對(duì)應(yīng)用的影響很小。雖然采用數(shù)據(jù)塊級(jí)別的備份，但仍然能提供文件級(jí)的小顆?；謴?fù)。適合下列環(huán)境：文件個(gè)數(shù)在百萬(wàn)量級(jí)以上的大型文件系統(tǒng)，備份速度比文件備份快10倍；對(duì)備份速度的要求比恢復(fù)速度要求高的應(yīng)用環(huán)境；更多要求恢復(fù)整個(gè)文件卷的應(yīng)用環(huán)境。什么是Image備份8LAN/SAN備份副本磁盤磁帶云存儲(chǔ)生產(chǎn)服務(wù)器1能夠恢復(fù)設(shè)計(jì)備份/恢復(fù)時(shí)主要考慮因素保證數(shù)據(jù)的有效恢復(fù)！92恢復(fù)的數(shù)據(jù)可以使用3恢復(fù)速度快4恢復(fù)對(duì)系統(tǒng)的影響要小5能恢復(fù)到指定的時(shí)間點(diǎn)備份數(shù)據(jù)定位備份成功率備份顆粒度數(shù)據(jù)保留周期與應(yīng)用結(jié)合離場(chǎng)保護(hù)多個(gè)數(shù)據(jù)副本備份模式數(shù)據(jù)恢復(fù)目標(biāo)對(duì)備份的要求快照（Snapshot）一種快速數(shù)據(jù)保護(hù)技術(shù)，快照是某個(gè)數(shù)據(jù)集在某一特定時(shí)刻的鏡像，也稱為即時(shí)拷貝，是數(shù)據(jù)集的一個(gè)完整可用的副本。實(shí)現(xiàn)方式：寫(xiě)時(shí)復(fù)制(COW：Copy

On

Write)

I/O重定向(I/ORedirect)鏡像分離(SplitMirror)克隆快照(Copyonwritewithbackgroundcopy)持續(xù)數(shù)據(jù)保護(hù)（Continuousdataprotection）常用快照產(chǎn)品：存儲(chǔ)設(shè)備：EMCTimeFinder、IBMFlashCopy、HDSShadowImage、NetAppSnapshot卷級(jí)別：VeritasVolumeManager、LinuxLVM、IBMTivoliStorageManagerLVSA、Microsoft?Windows?2003VSSSystemprovider文件系統(tǒng)級(jí)別：AIXJFS2、IBMTotalStorageSANFileSystem、IBMGeneralParallelFileSystem、IBMNseries、NetAppfilers、VeritasFileSystem。什么是快照？10不同類型快照的特點(diǎn)對(duì)比11快照類型工作原理讀寫(xiě)防止邏輯錯(cuò)誤防止物理錯(cuò)誤寫(xiě)時(shí)復(fù)制（COW）創(chuàng)建快照時(shí)僅復(fù)制物理數(shù)據(jù)塊的元數(shù)據(jù)（指針），當(dāng)對(duì)源卷首次寫(xiě)入數(shù)據(jù)塊時(shí)，先把源數(shù)據(jù)塊復(fù)制到快照區(qū)。讀取快照時(shí)，變化的數(shù)據(jù)塊從快照區(qū)中讀取，沒(méi)變化的數(shù)據(jù)塊從源卷中讀取。只讀YESNO

I/O重定向（I/ORedirect）創(chuàng)建快照時(shí)把源卷變成快照卷，新寫(xiě)入的數(shù)據(jù)塊寫(xiě)到快照區(qū)中。這樣讀源卷數(shù)據(jù)時(shí)需要重定向，新寫(xiě)的數(shù)據(jù)塊從快照區(qū)讀，不變的數(shù)據(jù)塊從源卷中讀。只讀YESNO鏡像分離（SplitMirror）快照前，源卷和快照卷進(jìn)行實(shí)時(shí)鏡像，保持?jǐn)?shù)據(jù)同步。創(chuàng)建快照時(shí)，終止鏡像操作，這樣就獲得一個(gè)完整快照副本。讀寫(xiě)YESYES克隆快照（COW

with

Copy）創(chuàng)建快照時(shí)，先創(chuàng)建一個(gè)寫(xiě)時(shí)快照（COW），然后在后臺(tái)把COW快照復(fù)制到另一個(gè)存儲(chǔ)卷上。讀寫(xiě)YESYES持續(xù)數(shù)據(jù)保護(hù)（CDP）CDP分為真CDP（TrueCDP）和準(zhǔn)CDP（NearCDP）兩類。真CDP持續(xù)不間斷的監(jiān)控?cái)?shù)據(jù)變化，生成瞬間快照，可以恢復(fù)到過(guò)去任意時(shí)間點(diǎn)，缺點(diǎn)是開(kāi)銷大。準(zhǔn)CDP持續(xù)的記錄數(shù)據(jù)變化，按一定時(shí)間頻率生成快照，優(yōu)點(diǎn)是開(kāi)銷小，更實(shí)用。復(fù)制時(shí)只讀YESYES創(chuàng)建快照時(shí)僅復(fù)制物理數(shù)據(jù)塊的元數(shù)據(jù)（指針），當(dāng)對(duì)源卷首次寫(xiě)入數(shù)據(jù)塊時(shí)，先把源數(shù)據(jù)塊復(fù)制到快照區(qū)。讀取快照時(shí)，變化的數(shù)據(jù)塊從快照區(qū)中讀取，沒(méi)變化的數(shù)據(jù)塊從源卷中讀取。寫(xiě)時(shí)復(fù)制（COW）工作原理12第一次寫(xiě)入數(shù)據(jù)時(shí)先將原數(shù)據(jù)塊復(fù)制出來(lái)源卷快照空間變化的數(shù)據(jù)塊從快照區(qū)中讀數(shù)據(jù)沒(méi)變化的數(shù)據(jù)塊從源卷中讀數(shù)據(jù)讀取快照數(shù)據(jù)變化的數(shù)據(jù)塊原數(shù)據(jù)塊空白存儲(chǔ)空間復(fù)制（Replication）通過(guò)網(wǎng)絡(luò)（LAN/WAN）即時(shí)地把數(shù)據(jù)從一個(gè)地方傳輸?shù)搅硪粋€(gè)地方復(fù)制的種類：數(shù)據(jù)塊級(jí)別復(fù)制：當(dāng)數(shù)據(jù)發(fā)生變化時(shí)，即時(shí)傳輸相關(guān)的數(shù)據(jù)塊。文件級(jí)別復(fù)制：當(dāng)一部分?jǐn)?shù)據(jù)發(fā)生變化，即時(shí)傳輸整個(gè)文件。字節(jié)級(jí)別復(fù)制：僅即時(shí)傳輸變化的字節(jié)。復(fù)制模式：同步復(fù)制：要求每一個(gè)寫(xiě)入操作在執(zhí)行下一個(gè)操作處理之前，在源端和目標(biāo)端都能完成。數(shù)據(jù)丟失少，會(huì)影響生產(chǎn)系統(tǒng)性能，除非目標(biāo)系統(tǒng)物理上離生產(chǎn)系統(tǒng)比較近。異步復(fù)制：在處理下一個(gè)操作前，不等待數(shù)據(jù)復(fù)制到目標(biāo)系統(tǒng)中。復(fù)制的數(shù)據(jù)與源數(shù)據(jù)有時(shí)間差，但這種復(fù)制對(duì)生產(chǎn)系統(tǒng)性能影響較小。復(fù)制實(shí)現(xiàn)的方法：存儲(chǔ)嵌入式復(fù)制：復(fù)制軟件運(yùn)行在網(wǎng)上的存儲(chǔ)設(shè)備中EMC(SymmetrixSRDFandCLARiiONMirrorView)；NetworkAppliance(SnapMirror)；IBMShark內(nèi)置的復(fù)制軟件；HPContinuousAccess基于主機(jī)的復(fù)制：復(fù)制軟件運(yùn)行在服務(wù)器中，通常駐留在文件系統(tǒng)或在操作系統(tǒng)級(jí)別的邏輯卷中CommVaultSimpanaReplicationSoftware；DoubleTake；SymantecContinuousProtectionServer；EMCRepliStor什么是復(fù)制？13分級(jí)存儲(chǔ)歸檔（HSMArchiving）把不常訪問(wèn)的數(shù)據(jù)遷移到其他存儲(chǔ)設(shè)備上。遷移后可以選擇在原系統(tǒng)中留下歸檔存根，用戶通過(guò)對(duì)歸檔存根直接訪問(wèn)，自動(dòng)回調(diào)歸檔數(shù)據(jù)，從而實(shí)現(xiàn)透明訪問(wèn)歸檔數(shù)據(jù)。歸檔特點(diǎn)：歸檔改變了系統(tǒng)中的數(shù)據(jù)及狀態(tài)；可大量節(jié)省在線存儲(chǔ)空間，提高在線存儲(chǔ)性能；提高備份/恢復(fù)速度，并節(jié)省備份介質(zhì)。歸檔主要應(yīng)用對(duì)象：文件系統(tǒng)、NAS郵件系統(tǒng):MS

Exchange、Lotus

Domino文檔系統(tǒng)：SharePoint什么是歸檔？14設(shè)定一個(gè)時(shí)間線，把文件分成常用數(shù)據(jù)和歷史數(shù)據(jù)兩個(gè)部分定期進(jìn)行歸檔操作,把歷史數(shù)據(jù)存放于歸檔存儲(chǔ)歸檔后的文件/郵件在原處可留下存根用戶訪問(wèn)存根，歸檔文件/郵件自動(dòng)回調(diào)歸檔后，只需要對(duì)常用數(shù)據(jù)進(jìn)行備份。大大減少備份數(shù)據(jù)量。只要恢復(fù)常用數(shù)據(jù)，系統(tǒng)就能工作，大大降低恢復(fù)時(shí)間歷史數(shù)據(jù)歸檔卷文件存根常用數(shù)據(jù)歷史數(shù)據(jù)歸檔回調(diào)主存儲(chǔ)歸檔存儲(chǔ)1到4年4到N年如何進(jìn)行歸檔RTO(恢復(fù)時(shí)間目標(biāo))—在業(yè)務(wù)中斷后的某一個(gè)時(shí)間點(diǎn)，業(yè)務(wù)的進(jìn)程或應(yīng)用服務(wù)必須恢復(fù)，確保業(yè)務(wù)正常進(jìn)行（您能接受多長(zhǎng)的宕機(jī)時(shí)間）RPO(恢復(fù)點(diǎn)目標(biāo))—在已確定的RTO內(nèi)，應(yīng)用數(shù)據(jù)或文件系統(tǒng)信息必須恢復(fù)到某一個(gè)時(shí)間順序點(diǎn)(您能接受丟失多少數(shù)據(jù)）什么是RTO/RPO？數(shù)據(jù)保護(hù)時(shí)間軸Failure出錯(cuò)時(shí)刻12hrs12hrs12hrs12hrs12hrs12hrsRecoveryPointObjectiveBUBURecoveryTimeObjectiveRecover數(shù)據(jù)保護(hù)方法對(duì)比分析RAID復(fù)制快照備份物理錯(cuò)誤（47%）自然災(zāi)害YESYES硬件失效YESYESYESYES邏輯錯(cuò)誤（53%）人工出錯(cuò)YESYES軟件失效YESYES病毒YESYES恢復(fù)點(diǎn)（RPO）能容忍丟失多少數(shù)據(jù)？沒(méi)丟失秒、分鐘、小時(shí)小時(shí)天恢復(fù)時(shí)間（RTO）要多久才能恢復(fù)實(shí)時(shí)分鐘、小時(shí)分鐘小時(shí)、天數(shù)據(jù)保留時(shí)間能恢復(fù)多長(zhǎng)時(shí)間內(nèi)丟失的數(shù)據(jù)不能不能幾小時(shí)幾天幾周幾月幾年數(shù)據(jù)保護(hù)系統(tǒng)主要有5個(gè)目標(biāo)：防止物理錯(cuò)誤、防止邏輯錯(cuò)誤、滿足RPO及RTO、滿足數(shù)據(jù)保留的時(shí)間，沒(méi)有一種單一的數(shù)據(jù)保護(hù)算法能同時(shí)完全滿足這5個(gè)目標(biāo)。因此一個(gè)完整的數(shù)據(jù)備份系統(tǒng)應(yīng)該是這幾種算法結(jié)合而構(gòu)成。數(shù)據(jù)去重的基本常識(shí)為什么要進(jìn)行重復(fù)數(shù)據(jù)刪除在服務(wù)器應(yīng)用中有大量完全相同的數(shù)據(jù)塊不同計(jì)算機(jī)中，有許多完全相同的文件,特別在虛擬機(jī)中有80%以上重復(fù)數(shù)據(jù)。在連續(xù)的全備份數(shù)據(jù)中，有70%-90%的重復(fù)數(shù)據(jù)在歸檔文件中，也有大量的數(shù)據(jù)塊是相同的當(dāng)進(jìn)行集中數(shù)據(jù)備份和歸檔時(shí)，重復(fù)的數(shù)據(jù)塊會(huì)導(dǎo)致存儲(chǔ)費(fèi)用快速上升，同時(shí)也會(huì)占用數(shù)據(jù)傳輸帶寬。如何進(jìn)行重復(fù)數(shù)據(jù)刪除原數(shù)據(jù)集合邏輯視圖物理存儲(chǔ)重復(fù)數(shù)據(jù)刪除節(jié)省大量磁盤空間！在存儲(chǔ)數(shù)據(jù)前，以塊為單位進(jìn)行哈希比對(duì)，對(duì)已經(jīng)存儲(chǔ)的數(shù)據(jù)塊不再進(jìn)行存儲(chǔ)，只是用索引來(lái)記錄該數(shù)據(jù)塊；對(duì)沒(méi)有存儲(chǔ)的新數(shù)據(jù)塊，進(jìn)行物理存儲(chǔ)，再用索引記錄，這樣相同的數(shù)據(jù)塊物理上只存儲(chǔ)一次。通過(guò)索引，可以看到完整的數(shù)據(jù)邏輯視圖，而實(shí)際上物理存儲(chǔ)的數(shù)據(jù)卻很少。重復(fù)數(shù)據(jù)刪除的過(guò)程當(dāng)數(shù)據(jù)從“源端”傳輸?shù)健澳繕?biāo)端”之前，在源端先對(duì)被傳輸?shù)臄?shù)據(jù)塊進(jìn)行哈希比對(duì)，如果該數(shù)據(jù)塊先前已經(jīng)被傳輸過(guò)，只需要傳輸哈希索引值；如果該數(shù)據(jù)塊先前沒(méi)有被傳輸過(guò)，就傳輸該數(shù)據(jù)塊，并記錄該數(shù)據(jù)塊的哈希值。優(yōu)點(diǎn)：可節(jié)約傳輸帶寬缺點(diǎn)：要占用源端資源進(jìn)行去重處理源端“去重”源端目標(biāo)端傳送的是新數(shù)據(jù)塊和老數(shù)據(jù)塊的索引當(dāng)數(shù)據(jù)從“源端”傳輸?shù)健澳繕?biāo)端”的過(guò)程中，把數(shù)據(jù)塊傳送到目標(biāo)端，在目標(biāo)端進(jìn)行去重操作。優(yōu)點(diǎn)：不占用源端的資源缺點(diǎn)：不能節(jié)省傳輸帶寬在目標(biāo)端有兩種處理方式：在線處理方式（In-Line）：在數(shù)據(jù)塊存儲(chǔ)之前進(jìn)行去重處理，優(yōu)點(diǎn)是占用存儲(chǔ)空間較少，缺點(diǎn)是要影響數(shù)據(jù)傳輸性能。后處理方式（Post-Processing）：先把數(shù)據(jù)塊存儲(chǔ)在緩存中，等系統(tǒng)空閑時(shí)再進(jìn)行去重處理。優(yōu)點(diǎn)是不影響數(shù)據(jù)傳輸性能，缺點(diǎn)是需要額外的存儲(chǔ)空間。目標(biāo)端“去重”源端目標(biāo)端傳送的都是數(shù)據(jù)塊為什么需要多層存儲(chǔ)架構(gòu)？

“去重”后，相同的數(shù)據(jù)塊在物理存儲(chǔ)上只存儲(chǔ)了一次，假如某一個(gè)數(shù)據(jù)塊被損壞，將導(dǎo)致大面積數(shù)據(jù)被破壞，為了防止出現(xiàn)這種意外情況，數(shù)據(jù)副本應(yīng)該存放多層存儲(chǔ)介質(zhì)上，如：B2D2D2T?！叭ブ亍焙蟾枰鄬哟鎯?chǔ)架構(gòu)SFInInInInInCycle2FInInInInInCycle1SFInInInInInCycle3FInInInInInCycle4去重備份磁盤FInSF全備份增量備份合成全備份去重備份磁盤SFInInInInInCycle2FInInInInInCycle1SFInInInInInCycle3FInInInInInCycle4不要迷信高“去重比”去重前容量去重后容量去重比這些曲線擠在一起，說(shuō)明不同去重比之間，磁盤容量相差并不多。去重比去重前容量去重后容量容量相差20:120TB1TB1TB（相當(dāng)1塊硬盤）10

:120TB2TB許多廠商過(guò)分夸大“去重比”作用，其實(shí)高“去重比”并不能節(jié)省太多存儲(chǔ)費(fèi)用！例如，去重比“20:1”與去重比“10:1”進(jìn)行比較，結(jié)果只多節(jié)約了1TB容量，價(jià)值3000多元。也許購(gòu)買“20:1”的去重設(shè)備需要多花費(fèi)10多萬(wàn)元。不可否認(rèn)去重比越高，對(duì)帶寬的占用越低。高“去重比”影響恢復(fù)速度數(shù)據(jù)集合“去重”數(shù)據(jù)從“去重”數(shù)據(jù)中恢復(fù)數(shù)據(jù)反復(fù)多次讀取相同數(shù)據(jù)塊，會(huì)降低恢復(fù)速度。磁盤是機(jī)電一體化設(shè)備，順序讀的效率大大高于隨機(jī)讀的效率，隨機(jī)讀需要消耗大量尋道時(shí)間?！叭ブ亍彪m然可以減少寫(xiě)入的數(shù)據(jù)塊個(gè)數(shù)，但不能減少讀出的數(shù)據(jù)塊個(gè)數(shù)。高“去重比”往往會(huì)導(dǎo)致相同的數(shù)據(jù)塊反復(fù)多次讀取，大大增加了磁頭尋道時(shí)間，嚴(yán)重影響磁盤的讀性能。

“去重”是數(shù)據(jù)保護(hù)方案中的一個(gè)選項(xiàng)，不能替代保護(hù)方案本身

一個(gè)完善的數(shù)據(jù)保護(hù)方案涉及到：數(shù)據(jù)丟失量少、恢復(fù)速度快、保留周期長(zhǎng)、災(zāi)難備份容易、實(shí)施及運(yùn)維很方便、擴(kuò)展靈活、可靠性高、性價(jià)比高?！叭ブ亍边x項(xiàng)對(duì)部分要求有幫助，但決不能替代數(shù)據(jù)保護(hù)方案。如何解讀“去重”的技術(shù)指標(biāo)：專用“去重”設(shè)備：只是接口為NAS或VTL的存儲(chǔ)設(shè)備，需要另外配備份軟件軟件內(nèi)置“去重”功能：在備份軟件中內(nèi)置了“去重”功能，具有應(yīng)用感知能力源端“去重”：對(duì)窄帶寬下數(shù)據(jù)備份很有幫助，但并不是唯一選擇目標(biāo)端“去重”：對(duì)生產(chǎn)服務(wù)器的影響較少，但不能節(jié)省帶寬去重比：對(duì)節(jié)省帶寬有較大幫助，但不要迷信高去重比，高去重比不能節(jié)省更多磁盤，反而會(huì)影響恢復(fù)速度。選擇“去重”方案時(shí)需要回答的問(wèn)題必須要選擇“去重”方案嗎，有沒(méi)有更好的方案？如何保護(hù)“去重”設(shè)備中的數(shù)據(jù)？方案的性能如何，能同時(shí)滿足備份和恢復(fù)的要求嗎？方案整體性價(jià)比如何？選擇昂貴的“去重”設(shè)備的投資回報(bào)如何？方案的靈活性及擴(kuò)展性如何？如何選擇“去重”方案云存儲(chǔ)的基本常識(shí)什么是“云”28現(xiàn)實(shí)世界中云的特點(diǎn)規(guī)模大：

云可以覆蓋很大的區(qū)域動(dòng)態(tài)伸縮：

云的邊緣模糊，動(dòng)態(tài)變化伸縮虛幻：

在空中飄忽不定，無(wú)法也無(wú)需確定具體位置IT世界中的云是一種新興共享IT基礎(chǔ)架構(gòu)的方法，能把巨大的系統(tǒng)連接在一起提供各種IT服務(wù)。提供資源的網(wǎng)絡(luò)被稱為“云”。IT世界中云的特點(diǎn)超大規(guī)模：

具有相當(dāng)大規(guī)模，能擁有成千上萬(wàn)臺(tái)服務(wù)器虛擬化：

通過(guò)網(wǎng)絡(luò)提供服務(wù)，無(wú)需知道具體的位置高可靠性：

數(shù)據(jù)多副本容災(zāi)，計(jì)算節(jié)點(diǎn)同構(gòu)可互換，可高性更高通用性：

不針對(duì)特定的應(yīng)用，但同時(shí)可支撐不同的應(yīng)用高可擴(kuò)展性：

規(guī)模可以動(dòng)態(tài)伸縮，滿足應(yīng)用和用戶的增長(zhǎng)需求按需服務(wù)：

是一個(gè)龐大的資源池，按需購(gòu)買，可以計(jì)費(fèi)極其廉價(jià)：

具有極大的成本優(yōu)勢(shì)如果需要提供幾十頁(yè)的需求說(shuō)明書(shū)如果不能按需購(gòu)買如果想賣給你硬件設(shè)備如果沒(méi)有提供API如果需要重新構(gòu)架你的系統(tǒng)如果不能在短時(shí)間內(nèi)部署或撤銷如果你知道你所使用資源的位置如果需要咨詢顧問(wèn)來(lái)幫助你如果不能用網(wǎng)絡(luò)連到你的機(jī)器上如果需要安裝軟件才能使用如果只能運(yùn)行一種操作系統(tǒng)……什么不是“云”29云工作方式應(yīng)該是這樣的使用一個(gè)傳統(tǒng)存儲(chǔ)設(shè)備，用戶必須要做：了解物理特性存儲(chǔ)設(shè)備型號(hào)、接口和傳輸協(xié)議多少塊硬盤、多大容量與服務(wù)器之間的連接線放置在什么地方進(jìn)行維護(hù)和管理數(shù)據(jù)備份系統(tǒng)、容災(zāi)系統(tǒng)狀態(tài)監(jiān)控、維護(hù)軟硬件更新和升級(jí)傳統(tǒng)存儲(chǔ)設(shè)備的特點(diǎn)30云存儲(chǔ)是在云計(jì)算概念上的延伸和發(fā)展當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ)設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)。通過(guò)集群應(yīng)用、網(wǎng)絡(luò)技術(shù)或分布式文件系統(tǒng)等功能，將大量各種不同類型的存儲(chǔ)設(shè)備集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為核心的云計(jì)算系統(tǒng)。如何訪問(wèn)云存儲(chǔ)云狀存儲(chǔ)系統(tǒng)中的所有設(shè)備對(duì)使用者來(lái)講都是完全透明的，任何地方的任何一個(gè)經(jīng)過(guò)授權(quán)的使用者都可以通過(guò)一根接入線纜與云存儲(chǔ)連接，對(duì)云存儲(chǔ)進(jìn)行數(shù)據(jù)訪問(wèn)什么是“云存儲(chǔ)”31存儲(chǔ)層–基礎(chǔ)部分存儲(chǔ)設(shè)備：FC、NAS、iSCSI設(shè)備管理：邏輯虛擬化、多鏈路冗余、設(shè)備狀態(tài)監(jiān)控和故障維護(hù)基礎(chǔ)管理層–核心部分集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，對(duì)外提供同一種服務(wù)權(quán)限管理、數(shù)據(jù)加密、數(shù)據(jù)備份確保云存儲(chǔ)自身安全和穩(wěn)定應(yīng)用接口層–靈活多變部分根據(jù)實(shí)際業(yè)務(wù)類型，開(kāi)發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)訪問(wèn)層–用戶端任何一個(gè)授權(quán)用戶都可以通過(guò)標(biāo)準(zhǔn)的公用應(yīng)用接口來(lái)登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)云存儲(chǔ)的結(jié)構(gòu)模型32可管理性以最少的資源來(lái)管理系統(tǒng)，達(dá)到降低總成本的目的訪問(wèn)方法云存儲(chǔ)有多種訪問(wèn)方式，應(yīng)該公開(kāi)云存儲(chǔ)所用的協(xié)議性能數(shù)據(jù)傳輸?shù)哪芰κ亲畲筇魬?zhàn)，根據(jù)寬帶和延遲使性能最大化多租戶支持多個(gè)用戶（或承租者）可擴(kuò)展性通過(guò)擴(kuò)展?jié)M足更高要求或能方便地?cái)U(kuò)展性能能力數(shù)據(jù)可用性對(duì)系統(tǒng)正常運(yùn)行時(shí)間的衡量標(biāo)準(zhǔn)控制客戶控制系統(tǒng)的能力—能對(duì)成本、性能等特征進(jìn)行配置存儲(chǔ)效率度量如何高效使用原始存儲(chǔ)成本度量存儲(chǔ)成本（通常以美元每GB為單位）云存儲(chǔ)的特征33傳統(tǒng)存儲(chǔ)方式數(shù)據(jù)庫(kù)：基于數(shù)據(jù)庫(kù)，如：SAN、iSCSI文件：基于文件，如：NAS對(duì)象存儲(chǔ)每個(gè)存儲(chǔ)對(duì)象都包含：數(shù)據(jù)（Data）和元數(shù)據(jù)（Metadata）數(shù)據(jù)--解析的字節(jié)序列元數(shù)據(jù)--描述對(duì)象的可擴(kuò)展屬性集利用了一個(gè)平鋪的地址空間，而不是一個(gè)層級(jí)型的樹(shù)形文件架構(gòu)通過(guò)簡(jiǎn)單的GET-PUT命令訪問(wèn)，創(chuàng)建，刪除和移動(dòng)具有簡(jiǎn)潔性、有效性、經(jīng)濟(jì)性和擴(kuò)展性，已成為云存儲(chǔ)中的主導(dǎo)力量。夠存儲(chǔ)大量的非結(jié)構(gòu)化數(shù)據(jù)，適合動(dòng)態(tài)的大規(guī)模數(shù)據(jù)歸檔。對(duì)象存儲(chǔ)與傳統(tǒng)共存對(duì)象存儲(chǔ)（Object-BasedStore）34訪問(wèn)存儲(chǔ)空間有三種主流方式：基于數(shù)據(jù)塊(FCSAN或iSCSI)基于文件(CIFS/NFS)Web服務(wù)的接口（SOAP和REST）REST脫穎而出RepresentationalStateTransfer

--

具象狀態(tài)傳輸所有的可訪問(wèn)的對(duì)象都被抽象為資源所有的資源都有唯一的URI提供對(duì)外訪問(wèn)接口對(duì)同一資源的操作仍使用同樣的URI，而僅僅不同的請(qǐng)求方式(GET/POST/PUT/DELETE)所有的操作都是無(wú)狀態(tài)的REST的優(yōu)點(diǎn):可以利用緩存Cache來(lái)提高響應(yīng)速度通訊本身的無(wú)狀態(tài)性可以讓不同的服務(wù)器的處理一系列請(qǐng)求中的不同請(qǐng)求，提高服務(wù)器的擴(kuò)展性瀏覽器即可作為客戶端，簡(jiǎn)化軟件需求相對(duì)與其他疊加在HTTP協(xié)議之上的機(jī)制，REST的軟件依賴性更小不需要額外的資源發(fā)現(xiàn)機(jī)制在軟件技術(shù)演進(jìn)中的長(zhǎng)期的兼容性更好與傳統(tǒng)的應(yīng)用程序卻完全不兼容云存儲(chǔ)的訪問(wèn)協(xié)議35GUID概念GloballyUniqueIdentifier（全球唯一標(biāo)識(shí)符）,GUID是一個(gè)通過(guò)特定算法產(chǎn)生的二進(jìn)制長(zhǎng)度為128位的數(shù)字標(biāo)識(shí)符，用于指示產(chǎn)品的唯一性。GUID主要用于在擁有多個(gè)節(jié)點(diǎn)、多臺(tái)計(jì)算機(jī)的網(wǎng)絡(luò)或系統(tǒng)中，分配必須具有唯一性的標(biāo)識(shí)符。在Windows平臺(tái)上，GUID廣泛應(yīng)用于微軟的產(chǎn)品中，用于標(biāo)識(shí)如如注冊(cè)表項(xiàng)、類及接口標(biāo)識(shí)、數(shù)據(jù)庫(kù)、系統(tǒng)目錄等對(duì)象。GUID格式GUID的格式為“xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx”，其中每個(gè)x是0-9或a-f范圍內(nèi)的一個(gè)32位十六進(jìn)制數(shù)。例如：6F9619FF-8B86-D011-B42D-00C04FC964FF即為有效的GUID值。GUID特點(diǎn)GUID在空間上和時(shí)間上具有唯一性，保證同一時(shí)間不同地方產(chǎn)生的數(shù)字不同。世界上的任何兩臺(tái)計(jì)算機(jī)都不會(huì)生成重復(fù)的GUID值。需要GUID的時(shí)候，可以完全由算法自動(dòng)生成，不需要一個(gè)權(quán)威機(jī)構(gòu)來(lái)管理。GUID的長(zhǎng)度固定，并且相對(duì)而言較短小，非常適合于排序、標(biāo)識(shí)和存儲(chǔ)。GUID36如何調(diào)研用戶的數(shù)據(jù)環(huán)境數(shù)據(jù)管理面臨的復(fù)雜IT環(huán)境

38典型的IT環(huán)境管理層報(bào)告類型預(yù)檢、費(fèi)用、使用、報(bào)警、事件實(shí)現(xiàn)目的恢復(fù)、ILM、檢索訪問(wèn)方式桌面、WEB、PDASLARPO、RTO、DR應(yīng)用層數(shù)據(jù)類型文件系統(tǒng)、數(shù)據(jù)庫(kù)、郵件系統(tǒng)、文檔……主機(jī)層操作系統(tǒng)Windows、Linux、Unix虛擬環(huán)境VMware、Citrix、Hyper-V服務(wù)器Unix服務(wù)器、PC服務(wù)器存儲(chǔ)層T1：生產(chǎn)層存放在線生產(chǎn)數(shù)據(jù)：文件系統(tǒng)、數(shù)據(jù)庫(kù)、郵件系統(tǒng)等T2：恢復(fù)層存放快照、克隆、復(fù)制數(shù)據(jù)，滿足快速恢復(fù)要求T3：保護(hù)層存放備份數(shù)據(jù)，防止生產(chǎn)層和恢復(fù)層數(shù)據(jù)丟失T4：保留層存放長(zhǎng)期保留或歸檔數(shù)據(jù)，滿足法規(guī)存儲(chǔ)協(xié)議FC-SAN、IP-SAN、NAS存儲(chǔ)廠家EMC、NetApp、HDS、IBM、DELL、HP網(wǎng)絡(luò)層多網(wǎng)絡(luò)內(nèi)網(wǎng)、外網(wǎng)、因特網(wǎng)、防火墻地點(diǎn)數(shù)據(jù)中心、DR中心、分公司、辦事處、移動(dòng)辦公數(shù)據(jù)的3V特點(diǎn)數(shù)據(jù)的3V特性（Volume、Variety、Velocity）海量：已經(jīng)跨入海量數(shù)據(jù)時(shí)代，需要處理TB級(jí)甚至PB級(jí)數(shù)據(jù)多樣：數(shù)據(jù)庫(kù)、文件、郵件、視頻、圖像、音頻和其他種類數(shù)據(jù)速度：數(shù)據(jù)訪問(wèn)和處理速度，必須滿足業(yè)務(wù)需求數(shù)據(jù)需要長(zhǎng)期保存法規(guī)和審計(jì)對(duì)數(shù)據(jù)存儲(chǔ)要求日益嚴(yán)格、規(guī)范，導(dǎo)致數(shù)據(jù)保留期增長(zhǎng)數(shù)據(jù)就是資產(chǎn)任何資產(chǎn)必須進(jìn)行有效的管理，才能真正實(shí)現(xiàn)其價(jià)值。對(duì)于數(shù)據(jù)資產(chǎn)來(lái)說(shuō)更是如此，分散無(wú)序的、低質(zhì)量的、錯(cuò)誤的數(shù)據(jù)是沒(méi)有多少價(jià)值的，甚至?xí)o經(jīng)營(yíng)管理帶來(lái)負(fù)面作用。39數(shù)據(jù)管理的挑戰(zhàn)40數(shù)據(jù)管理越來(lái)越復(fù)雜為了滿足數(shù)據(jù)3V特征，用戶不得不采用更多存儲(chǔ)設(shè)備，存儲(chǔ)架構(gòu)越來(lái)越復(fù)雜應(yīng)用越來(lái)越多，數(shù)據(jù)管理手段各不相同，手工管理風(fēng)險(xiǎn)增高數(shù)據(jù)管理要求越來(lái)越高業(yè)務(wù)不能容忍生產(chǎn)數(shù)據(jù)不能訪問(wèn)和丟失，導(dǎo)致數(shù)據(jù)有更多副本：復(fù)制、快照、備份、災(zāi)備合規(guī)、審計(jì)要求數(shù)據(jù)長(zhǎng)期保留，并能快速檢索數(shù)據(jù)管理成本越來(lái)越大存儲(chǔ)設(shè)備費(fèi)用逐年增多管理人員人數(shù)逐年增多，技術(shù)水平要求更高非結(jié)構(gòu)化數(shù)據(jù)通常把沒(méi)有“數(shù)據(jù)模型”的計(jì)算機(jī)信息稱為非結(jié)構(gòu)化數(shù)據(jù)文字、圖、音頻、視頻MicrosoftOffice文檔,Web頁(yè)面，等。結(jié)構(gòu)化數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)，應(yīng)用Oracle,DB2,SQLServer非結(jié)構(gòu)化數(shù)據(jù)VS結(jié)構(gòu)化數(shù)據(jù)基于備份代理的保護(hù)在DB/App服務(wù)器上安裝客戶端軟件在線備份（DB/App在運(yùn)行時(shí)可以備份）與原廠家應(yīng)用接口（API）工具相集成快照保護(hù)（Snapshots）利用軟件或硬件創(chuàng)建基于時(shí)間點(diǎn)的副本小時(shí)級(jí)別數(shù)據(jù)保護(hù)對(duì)生產(chǎn)系統(tǒng)影響較低復(fù)制保護(hù)（Replication）利用軟件或硬件創(chuàng)建創(chuàng)建復(fù)制副本近實(shí)時(shí)數(shù)據(jù)保護(hù)不能防止邏輯錯(cuò)誤轉(zhuǎn)存（Dump）利用原廠的工具把數(shù)據(jù)備份到文件系統(tǒng)中需要多個(gè)步驟，沒(méi)有統(tǒng)一的備份管理策略需要人工進(jìn)行介質(zhì)管理理解數(shù)據(jù)保護(hù)的選擇明確了解客戶具體的環(huán)境用戶使用什么數(shù)據(jù)庫(kù)和應(yīng)用？具體的版本？在什么操作系統(tǒng)上？數(shù)據(jù)量有多大？有什么獨(dú)特或特殊設(shè)置？集群？分區(qū)？?jī)?nèi)部使用還是商用的？探討的問(wèn)題-1詢問(wèn)用戶當(dāng)前數(shù)據(jù)保護(hù)的方法備份方法備份代理或快照或復(fù)制或轉(zhuǎn)存？全備份、增量、日志備份有備份計(jì)劃嗎？恢復(fù)數(shù)據(jù)的經(jīng)驗(yàn)完整數(shù)據(jù)庫(kù)、表或單個(gè)目標(biāo)？描述最近恢復(fù)情況，成功嗎？服務(wù)級(jí)別要求（SLAs）備份窗口能滿足嗎？RTO/RPO能滿足嗎？探討的問(wèn)題-2努力發(fā)現(xiàn)用戶所有的痛點(diǎn)性能低能在規(guī)定的窗口內(nèi)完成備份嗎？備份可靠性受到挑戰(zhàn)嗎？恢復(fù)操作很繁瑣？服務(wù)中斷影響到生產(chǎn)系統(tǒng)嗎？災(zāi)難恢復(fù)(DR)有什么樣的DR恢復(fù)計(jì)劃？做過(guò)恢復(fù)測(cè)試嗎？成功還是失?。刻接懙膯?wèn)題-3對(duì)未來(lái)發(fā)展及長(zhǎng)期措施的理解要遷移和升級(jí)？有新的供貨商嗎？操作系統(tǒng)和DB應(yīng)用要升級(jí)嗎？有費(fèi)用控制要求嗎？準(zhǔn)備要進(jìn)行虛擬化嗎？有DR計(jì)劃嗎？有服務(wù)水平協(xié)議的細(xì)則嗎？有法規(guī)遵從或電子數(shù)據(jù)發(fā)現(xiàn)需求嗎？探討的問(wèn)題-4角色&責(zé)任保護(hù)公司數(shù)據(jù)最小化保護(hù)費(fèi)用對(duì)生產(chǎn)系統(tǒng)影響最小工作目標(biāo)最大化成功率備份vsSLA恢復(fù)時(shí)間vsSLA方案控制在預(yù)算內(nèi)最大化應(yīng)用的可用性我們和誰(shuí)說(shuō)話？--IT主管角色&責(zé)任確保備份和恢復(fù)操作能順利進(jìn)行滿足備份窗口在預(yù)期的時(shí)間內(nèi)完成恢復(fù)操作工作目標(biāo)滿足備份窗口保證備份的成功率實(shí)現(xiàn)及時(shí)恢復(fù)我們和誰(shuí)說(shuō)話？--備份管理員角色&責(zé)任優(yōu)化數(shù)據(jù)庫(kù)性能保持訪問(wèn)及可用性日常維護(hù)及升級(jí)備份困境不愿意為傳統(tǒng)備份操作去操心(如介質(zhì)管理)腳本大師（作業(yè)安全性）是轉(zhuǎn)存還是不用轉(zhuǎn)存“Todumpornottodump”我們和誰(shuí)說(shuō)話？--數(shù)據(jù)庫(kù)管理員（DBA）“ToDumporNottoDump”優(yōu)點(diǎn)容易-過(guò)程相對(duì)簡(jiǎn)單（例如，沒(méi)有介質(zhì)管理）DBA不需要管理備份系統(tǒng)由于關(guān)閉數(shù)據(jù)庫(kù)，所以能確保時(shí)間點(diǎn)副本的一致性，能知道在特定的時(shí)間所備份的內(nèi)容缺點(diǎn)DBA并不擁有備份權(quán)限，需要依靠其他人備份操作需要多個(gè)步驟，恢復(fù)操作也需要多個(gè)步驟效率低(dump操作也許要在多個(gè)區(qū)域進(jìn)行)因?yàn)闆](méi)有增量和去重，占用大量存儲(chǔ)空間沒(méi)有統(tǒng)一的備份策略轉(zhuǎn)存操作優(yōu)點(diǎn)與缺點(diǎn)數(shù)據(jù)管理的基本原則操作簡(jiǎn)單數(shù)據(jù)可用安全可靠管理規(guī)范數(shù)據(jù)管理的基本原則52操作簡(jiǎn)單復(fù)雜的IT環(huán)境、海量數(shù)據(jù)的多樣性導(dǎo)致數(shù)據(jù)管理操作十分復(fù)雜復(fù)雜管理操作會(huì)導(dǎo)致：出錯(cuò)風(fēng)險(xiǎn)增加、響應(yīng)速度下降、增加管理人員或增加工作量操作簡(jiǎn)單化要求：簡(jiǎn)單操作能到達(dá)數(shù)據(jù)管理目的，重復(fù)操作過(guò)程自動(dòng)化數(shù)據(jù)可用性數(shù)據(jù)能在規(guī)定的條件下和規(guī)定的時(shí)刻或時(shí)間區(qū)間內(nèi)，處于可執(zhí)行規(guī)定功能狀態(tài)的能力。要求數(shù)據(jù)多個(gè)副本都具有可用性：在線、近線及離線數(shù)據(jù)安全性數(shù)據(jù)只能被有權(quán)限的用戶進(jìn)行訪問(wèn)，要防止數(shù)據(jù)泄露、更改或破壞安全性要考慮的問(wèn)題：防止越權(quán)訪問(wèn)、防止數(shù)據(jù)被盜管理規(guī)范規(guī)范的管理組織架構(gòu)制定數(shù)據(jù)采集、傳輸、儲(chǔ)存、監(jiān)控、分析的工作規(guī)范及數(shù)據(jù)管理工作流程健全數(shù)據(jù)管理監(jiān)控體制，實(shí)現(xiàn)數(shù)據(jù)采集標(biāo)準(zhǔn)化、數(shù)據(jù)運(yùn)行自動(dòng)化、數(shù)據(jù)分析制度化數(shù)據(jù)管理基本原則主要內(nèi)容53制度管理管理人員的三層架構(gòu)設(shè)置操作員（備份、查看結(jié)果）、管理員（所有操作、監(jiān)控）、主任（監(jiān)控、管理）分散型用戶的統(tǒng)一管理統(tǒng)一制訂策略、統(tǒng)一監(jiān)控各地人員只能管理所屬的數(shù)據(jù)及設(shè)備系統(tǒng)健康檢查提高備份的可靠性，防患于未然，檢查的頻率盡可能高檢查主機(jī)狀態(tài)、網(wǎng)絡(luò)狀態(tài)、軟件狀態(tài)、檢查介質(zhì)狀態(tài)定期恢復(fù)演練定期進(jìn)行異機(jī)恢復(fù)測(cè)試檢驗(yàn)恢復(fù)環(huán)境、備份數(shù)據(jù)、恢復(fù)流程備份數(shù)據(jù)離場(chǎng)保護(hù)備份數(shù)據(jù)