分層存儲與緩存加速

1、1分層存儲分層存儲其實已經(jīng)不是一個新鮮的概念，而是已經(jīng)在計算機存儲領(lǐng)域應(yīng)用多年。 其與計算機的發(fā)明與發(fā)展相伴相生。在馮一諾依曼提出計算機的模型“存儲程序” 時就已經(jīng)包含了分層存儲的概念?！按鎯Τ绦颉痹恚菍⒏鶕?jù)特定問題編寫的 程序存放在計算機存儲器中，然后按存儲器中的存儲程序的首地址執(zhí)行程序的第 一條指令，以后就按照該程序的規(guī)定順序執(zhí)行其他指令，直至程序結(jié)束執(zhí)行。在 這里的外存儲器與內(nèi)存儲器，就是一個分層存儲的最初模型。分層存儲(Tiered Storage)，也稱為層級存儲管理(Hierarchical StorageManagement)，廣義上講，就是將數(shù)據(jù)存儲在不同層級的介質(zhì)中，并在

2、不同的介 質(zhì)之間進行自動或者手動的數(shù)據(jù)遷移，復(fù)制等操作。同時，分層存儲也是信息生 命周期管理的一個具體應(yīng)用和實現(xiàn)。而實際上，將相同成本及效率的存儲介質(zhì)放在不同層級之間進行數(shù)據(jù)遷移復(fù)制在 實用性及成本上并不是有效的數(shù)據(jù)存儲方式。因此，在不同的層級之間使用有差 別的存儲介質(zhì)，以期在相同成本下，既滿足性能的需要又滿足容量的需要。這種 存儲介質(zhì)上的差別主要是在存取速度上及容量上。存取速度快的介質(zhì)通常都是存 儲單位成本(每單位存儲容量成本，如1元/GB)高，而且容量相對來講比較低。 相應(yīng)的，存取速度慢的介質(zhì)通常是為了滿足容量與成本方面的要求，既在相同的 成本下可以得到更大的容量。所以，從這方面來說，分層

3、存儲其實是一種在高速 小容量層級的介質(zhì)層與低速大容量層級的介質(zhì)層之間進行一種自動或者手動數(shù) 據(jù)遷移、復(fù)制、管理等操作的一種存儲技術(shù)及方案。一般來說，分層存儲中，我們將存取速度最快的那一層的介質(zhì)層稱為第1層(Tier 1，依次為第2層，第3層等等。理論上說，層級的劃分可以有很多層，但是在實踐中，最多的層級在4層左右。 過多的層級會增加數(shù)據(jù)及介質(zhì)管理的難道及可用性。因此在層級的設(shè)置上有一個 拐點，即層級達到一個特定的層數(shù)時，會導(dǎo)致成本的上升，而使得可用性、可靠 性都會相應(yīng)下降。通常層級的設(shè)定在24層之間。如下圖所示：,寶德 owerLeaderw-File Serving Wetx Imaging

4、,Video CAOi Fiiced Content HtferenceJRk OLTR Ditibg Dah Wi 陷 h qu 現(xiàn)而另外一種分類，則是非易失性分層存儲，或者叫外部分層存儲。此類型的存儲 介質(zhì)一般包括固態(tài)硬盤（SSD）、機械式硬盤、磁帶庫等等。而此類的存儲介質(zhì)分層正是我們所要關(guān)注的，如沒有特殊的說明情況下，在此文 檔中所說的分層存儲都是指外部分層存儲。一般來說，作為第0層的存儲介質(zhì)通常為RAM磁盤（隨機訪問存儲磁盤，其 速度與內(nèi)存同速，但是價格昂貴，使用環(huán)境基本上是特殊計算環(huán)境）；第1層現(xiàn) 在一般是SSD，第2層現(xiàn)在一般是SAS 15K硬盤或者相應(yīng)的10K硬盤。第3層 可能有

5、其他NL-SAS/SATA類型72000轉(zhuǎn)的硬盤。存儲分層的核心思想就是，將各種硬盤組成一個大的虛擬池，舉例：SSD 一個 RAID，SAS15K 一個 RAID，SATA 7.2K一個 RAID 然后在將三個 RAID 組成 一個虛擬池，虛擬池提供卷服務(wù)，通過映射，服務(wù)器可以訪問到存儲的空間，客戶可以對不同的業(yè)務(wù)（服務(wù)器）進行了優(yōu)先級的設(shè)定以及生命周期的設(shè)定，也可 以有系統(tǒng)自動識別。針對不同的優(yōu)先級，比如OLTP（如：ERP）=1，Office=2，視頻文件=2，歸檔 文件=0（0為不允許流動）這樣，在不同業(yè)務(wù)模型下，系統(tǒng)會根據(jù)業(yè)務(wù)優(yōu)先級、業(yè)務(wù)訪問頻度不同的數(shù)據(jù) 實現(xiàn)數(shù)據(jù)的硬件層的流動。最終

6、的結(jié)果是，訪問頻繁的，優(yōu)先級高的，數(shù)據(jù)盡可能的存儲在SSD成，頻繁 訪問但是優(yōu)先級不高的office，視頻文件存儲在SAS 15K層或SSD層，而歸檔 文檔就基本保存在SATA 7.2K層。設(shè)計很理想，實現(xiàn)總是受限客戶的業(yè)務(wù)模型，如果客戶業(yè)務(wù)層次如此分明的話， 那么無需自動分層存儲，手動劃分 快，直接映射就好了，這樣數(shù)據(jù)不流動， 反而效率更好。如果是一個無優(yōu)先級、生命周期設(shè)定的環(huán)境，那么最終的結(jié)果是，熱點數(shù)據(jù)占 據(jù)SSD，這些熱點數(shù)據(jù)可能是視頻，但是可能會沖擊運行著的OLT（如: ERP）， 導(dǎo)致最核心的業(yè)務(wù)變得緩慢。如果是多層存儲的話，那么存在大量數(shù)據(jù)從SATA遷移到再從SAS遷移到SSD，

7、 并且同時SSD將數(shù)據(jù)遷移到SAS,再從SAS遷移到SATA，周而復(fù)反，SSD很快 就損壞，并且整個存儲系統(tǒng)不停的進行數(shù)據(jù)遷移運算，SATA/SAS等機械硬盤故 障率也會非常的高。在現(xiàn)實世界中，最早做全數(shù)據(jù)流動是美國Compllent，當初牛皮吹破天，被啥存 儲技術(shù)都沒有的DELL收購，最后的結(jié)果是DELL收購后悔，買存儲的的客戶 更后悔。自動分層存儲已經(jīng)名存實亡！2緩存加速緩存技術(shù)的原理就比較簡單，一般存儲本身的cache價格非常貴，并且容量也小， 那么我們可以通過現(xiàn)在越來越便宜的SSD來擴大緩存，把SSD作為2級緩存。自動分層數(shù)據(jù)是流動的，而緩存加速，只是將熱點數(shù)據(jù)load到ssd中，SSD的 IOPS最高能到70萬，全隨機下也有2萬，而SAS硬盤最多也就