高級(jí)存儲(chǔ)技術(shù)

高級(jí)存儲(chǔ)技術(shù)目錄對象存儲(chǔ)和元數(shù)據(jù)重復(fù)數(shù)據(jù)刪除數(shù)據(jù)保護(hù)與恢復(fù)總結(jié)2

對象存儲(chǔ)和元數(shù)據(jù)3正如前面所提到的，在直聯(lián)系統(tǒng)中，一般采用一種文件層級(jí)來存儲(chǔ)數(shù)據(jù)，在MSN中則以數(shù)據(jù)庫的形式將數(shù)據(jù)排列存儲(chǔ)于磁盤分區(qū)中。遺憾的是，在這些存儲(chǔ)系統(tǒng)中查找一個(gè)特定額數(shù)據(jù)分片是非常困難和耗時(shí)的，例如我們可以試想一下，從你的便攜式電腦的文件系統(tǒng)中找到一張指定的照片，需要花費(fèi)多長時(shí)間，在近15年的時(shí)間里，這種需求推動(dòng)大量風(fēng)險(xiǎn)投資，進(jìn)入一種新技術(shù)基于對象的存儲(chǔ)。這是一種新的存儲(chǔ)架構(gòu)，將數(shù)據(jù)視為一個(gè)對象，而非一個(gè)文件或者一個(gè)快軟件工程師都比較熟悉面向?qū)ο蟮某绦蛟O(shè)計(jì)，這種技術(shù)將一段代碼視為一個(gè)對象，并且具有與之相關(guān)的屬性，在基于對象的存儲(chǔ)中，一個(gè)數(shù)據(jù)塊被視為一個(gè)對象，而每個(gè)對象還有與之相關(guān)的袁書記，袁書記在整個(gè)存儲(chǔ)系統(tǒng)中可以作為一種唯一標(biāo)識(shí)符，用于從對象中快速恢復(fù)數(shù)據(jù)。

數(shù)據(jù)保護(hù)與恢復(fù)4大多數(shù)內(nèi)存控制器在服務(wù)器級(jí)的處理器，采用糾錯(cuò)編碼技術(shù)。通過采用多個(gè)額外的位，不僅能探測到一個(gè)或兩個(gè)損壞的位，還能糾正單個(gè)位的錯(cuò)誤。存儲(chǔ)系統(tǒng)也采用了一些檢測和糾正數(shù)據(jù)錯(cuò)誤的方法，這些將在下面介紹。

數(shù)據(jù)保護(hù)與恢復(fù)5RAID0：如果你有n塊磁盤，做了RAID0之后，n塊可以同時(shí)寫，速度提升很快，但由于沒有備份，可靠性很差。n最少為2。RAID1：如果你有n塊磁盤，把其中n/2塊磁盤作為鏡像磁盤，在往其中一塊磁盤寫入數(shù)據(jù)時(shí)，也同時(shí)往另一塊寫數(shù)據(jù)。壞了其中一塊時(shí)，鏡像磁盤自動(dòng)頂上，可靠性最佳，但空間利用率太低。n最少為2。RAID5：在RAID3的基礎(chǔ)上有所區(qū)別，同樣是相當(dāng)于是1塊盤的大小作為校驗(yàn)盤，n-1塊盤的大小作為數(shù)據(jù)盤，但校驗(yàn)碼分布在各個(gè)磁盤中，不是單獨(dú)的一塊磁盤，也就是分布式校驗(yàn)盤，這樣做好處多多。最多壞一塊盤。n最少為3.

糾刪碼6

目前大型云數(shù)據(jù)中心正在采用糾刪碼，為其存儲(chǔ)系統(tǒng)提供數(shù)據(jù)保護(hù)。這是因?yàn)椴捎脴?biāo)準(zhǔn)raid的大容量磁盤重建時(shí)間過長，而且許多大型云數(shù)據(jù)中心都部署了分布式數(shù)據(jù)存儲(chǔ)。在使用糾刪碼時(shí)，數(shù)據(jù)被擴(kuò)展和編碼，并被分解成小的片段，存儲(chǔ)在多個(gè)地方，以提供數(shù)據(jù)冗余。如果一些碎片發(fā)生損壞，只要有足夠的可供驗(yàn)證的碎片，仍然可以恢復(fù)所有數(shù)據(jù)。大型數(shù)據(jù)中心需要在機(jī)架的多個(gè)磁盤上存儲(chǔ)數(shù)據(jù)，而且由于要將冗余數(shù)據(jù)傳輸?shù)蕉鄠€(gè)位置，還需要增加額外的網(wǎng)絡(luò)通信量。對于這種情形，采用糾刪碼是非常理想的。此外，當(dāng)從多個(gè)存儲(chǔ)段，存儲(chǔ)設(shè)備組裝數(shù)據(jù)時(shí)，還存在冗余數(shù)據(jù)開銷。在raid系統(tǒng)中，這種數(shù)據(jù)重建發(fā)生于存儲(chǔ)陣列中，在網(wǎng)絡(luò)上只能看到其最終結(jié)果。

層次化存儲(chǔ)7

為了在存儲(chǔ)的層次和容量上達(dá)到某種妥協(xié)，我們需要構(gòu)建層次化的存儲(chǔ)體系，如下圖所示，需要經(jīng)常訪問的數(shù)據(jù)，僅占全部存儲(chǔ)數(shù)據(jù)的一小部分，大量的數(shù)據(jù)并不經(jīng)常訪問將這樣的數(shù)據(jù)放在相對底層的位置。

層次化存儲(chǔ)8

上圖，展示了一個(gè)三層存儲(chǔ)結(jié)構(gòu)，各個(gè)層級(jí)在性能，成本和容量上都有所不同，閃存比htd具有更高的性能，但是成本也更高，而且存儲(chǔ)容量比其他類型的存儲(chǔ)方式更小。這種高性能存儲(chǔ)層級(jí)的設(shè)備可以使用PCie直接連接到處理器上，此外一些廠商還提供了可以放置于服務(wù)器機(jī)架內(nèi)的高容量閃存設(shè)備。有時(shí)候還可以在一些存儲(chǔ)陣列中使用固態(tài)閃盤，以提高性能。底層是數(shù)據(jù)歸檔層，有時(shí)也被稱作冷存儲(chǔ)，在這里可以采用磁帶驅(qū)動(dòng)器或者藍(lán)光驅(qū)動(dòng)器進(jìn)行長期存歸檔存儲(chǔ)，也可以采用低成本的sata驅(qū)動(dòng)器陣列。這里的關(guān)鍵點(diǎn)在于，要是該層次結(jié)構(gòu)對應(yīng)用程序不可見，在大型數(shù)據(jù)中心里，這是一個(gè)非常復(fù)雜的過程，而且這樣的數(shù)據(jù)搬移會(huì)增加數(shù)據(jù)中心網(wǎng)絡(luò)的通信量，不管怎么說，層次化存儲(chǔ)都有助于對大型云數(shù)據(jù)中心的成本與性能折衷進(jìn)行優(yōu)化。

重復(fù)數(shù)據(jù)刪除9

眾所周知，電子化的數(shù)據(jù)每年都在以驚人的速度持續(xù)增長，數(shù)據(jù)中心必須不斷增加大量的存儲(chǔ)器來滿足這種需求，試想一下企業(yè)數(shù)據(jù)中心里存在多少重復(fù)數(shù)據(jù)，現(xiàn)在當(dāng)每位員工的本地硬盤上都在云上做了備份時(shí)云數(shù)據(jù)中心網(wǎng)絡(luò)上將存在同一數(shù)據(jù)的多個(gè)副本，多種類型的數(shù)據(jù)重復(fù)，極大的增加了云數(shù)據(jù)中心的存儲(chǔ)需求。這正是需要用到數(shù)據(jù)去重方法的地方。通常有兩種數(shù)據(jù)去重方法。一種方法名為后置去重，用于處理已經(jīng)存儲(chǔ)的數(shù)據(jù)檢驗(yàn)是否存在可以刪