數(shù)據(jù)存儲(chǔ)及解決方案ppt課件

1、華中科技大學(xué)信息存儲(chǔ)系統(tǒng)華中科技大學(xué)信息存儲(chǔ)系統(tǒng)武漢武漢 430074 430074 處置處置 傳輸傳輸 存儲(chǔ)存儲(chǔ)l處置：對(duì)信息進(jìn)展變化和加工處置：對(duì)信息進(jìn)展變化和加工l傳輸：信息跨越空間的傳播傳輸：信息跨越空間的傳播l存儲(chǔ)：信息跨越時(shí)間的傳播存儲(chǔ)：信息跨越時(shí)間的傳播l 存儲(chǔ)是信息技術(shù)的三大基石之存儲(chǔ)是信息技術(shù)的三大基石之一一l 被我國忽略的領(lǐng)域被我國忽略的領(lǐng)域l處置：產(chǎn)生知識(shí)處置：產(chǎn)生知識(shí)l通訊：傳播知識(shí)通訊：傳播知識(shí)l存儲(chǔ)：積累知識(shí)存儲(chǔ)：積累知識(shí)l l 科學(xué)根底力學(xué)：牛頓定律)(電學(xué)：麥克斯韋方程(數(shù)字信息學(xué)：？l希爾伯特問：希爾伯特問：l 存不存在一個(gè)處理一切數(shù)學(xué)問題的普通算法？存不存在

2、一個(gè)處理一切數(shù)學(xué)問題的普通算法？l圖靈答道：有！圖靈答道：有！l圖靈實(shí)際的俗解：圖靈實(shí)際的俗解：l假設(shè)不思索時(shí)間，只需按某種規(guī)律對(duì)假設(shè)不思索時(shí)間，只需按某種規(guī)律對(duì)bitbit進(jìn)展處置、傳輸、進(jìn)展處置、傳輸、存儲(chǔ)三種簡單操作，就能在實(shí)際上處理任何數(shù)學(xué)計(jì)算問存儲(chǔ)三種簡單操作，就能在實(shí)際上處理任何數(shù)學(xué)計(jì)算問題！題！l圖靈機(jī)模型主要是針對(duì)計(jì)算的，但存儲(chǔ)和通訊隱含在其圖靈機(jī)模型主要是針對(duì)計(jì)算的，但存儲(chǔ)和通訊隱含在其中中l(wèi)這個(gè)實(shí)際指明了這個(gè)實(shí)際指明了bitbit的強(qiáng)大功能，也包含了計(jì)算機(jī)的設(shè)計(jì)的強(qiáng)大功能，也包含了計(jì)算機(jī)的設(shè)計(jì)思想思想l在通訊和存儲(chǔ)兩個(gè)領(lǐng)域任務(wù)過的人都會(huì)發(fā)現(xiàn)，他們涉在通訊和存儲(chǔ)兩個(gè)領(lǐng)域任務(wù)過

3、的人都會(huì)發(fā)現(xiàn)，他們涉及的問題竟然如此類似及的問題竟然如此類似l通訊的編碼實(shí)際完全可以用于存儲(chǔ)通訊的編碼實(shí)際完全可以用于存儲(chǔ)l通訊：信源編碼，信道編碼通訊：信源編碼，信道編碼l存儲(chǔ)：糾錯(cuò)編碼，調(diào)制編碼，存儲(chǔ)：糾錯(cuò)編碼，調(diào)制編碼， 磁盤陣列的容錯(cuò)原理磁盤陣列的容錯(cuò)原理l加密實(shí)際、信息的緊縮原理對(duì)通訊和存儲(chǔ)是一樣的加密實(shí)際、信息的緊縮原理對(duì)通訊和存儲(chǔ)是一樣的l本質(zhì)的道理：通訊和存儲(chǔ)都是信息的傳播，差別在于：本質(zhì)的道理：通訊和存儲(chǔ)都是信息的傳播，差別在于：一個(gè)跨越空間，一個(gè)跨越時(shí)間一個(gè)跨越空間，一個(gè)跨越時(shí)間l原來信息論適用于信息的傳播！在空間和時(shí)間上，他原來信息論適用于信息的傳播！在空間和時(shí)間上，他們

4、服從一樣的原理！們服從一樣的原理！l圖靈機(jī)主要是針對(duì)計(jì)算的，但隱含了通圖靈機(jī)主要是針對(duì)計(jì)算的，但隱含了通訊和存儲(chǔ)訊和存儲(chǔ)l信息論主要是針對(duì)通訊和存儲(chǔ)的，但隱信息論主要是針對(duì)通訊和存儲(chǔ)的，但隱含了計(jì)算含了計(jì)算l處置、傳輸、存儲(chǔ)在實(shí)際上是三位一體處置、傳輸、存儲(chǔ)在實(shí)際上是三位一體的，缺一不可的，缺一不可l上述實(shí)際處理了數(shù)字信息學(xué)的全部？上述實(shí)際處理了數(shù)字信息學(xué)的全部？NO!l1Moore定律：微處置器內(nèi)晶體管數(shù)每十八個(gè)月翻一番；l2Bell定律：假設(shè)堅(jiān)持計(jì)算才干不變，微處置器的價(jià)錢每十八個(gè)月減少一半；l3Gilder定律：未來25年2019年與預(yù)言里，主干網(wǎng)的帶寬將每6個(gè)月添加一倍；l4Metca

5、lfe定律：網(wǎng)絡(luò)價(jià)值同網(wǎng)絡(luò)用戶數(shù)的平方成正比。l5.半導(dǎo)體存儲(chǔ)器開展規(guī)律：DRAM的密度每年添加60%，每三年翻四倍。l6。硬盤存儲(chǔ)技術(shù)開展規(guī)律：硬盤的密度每年添加約一倍l后PC時(shí)代l計(jì)算機(jī)開展的特點(diǎn)：l1.無所不在的含有l(wèi)智能的小安裝；l2.支持效力的后臺(tái)l效力器和巨型計(jì)算機(jī)l挪動(dòng)存儲(chǔ)：挪動(dòng)存儲(chǔ)：Flash, 微硬盤，微光盤微硬盤，微光盤l企業(yè)級(jí)海量存儲(chǔ)企業(yè)級(jí)海量存儲(chǔ)當(dāng)一切信息都轉(zhuǎn)換為數(shù)字，問題就產(chǎn)生了典型的存儲(chǔ)容量需求挑戰(zhàn)典型的存儲(chǔ)容量需求挑戰(zhàn)WirelessOnline VideoE-CommerceCustomer Mgmt.D A T AData AnalysisEnterprise

6、ApplicationsClient/Server70s80s90s00s10sBasic Accounting數(shù)據(jù)信息爆炸式增長數(shù)據(jù)信息爆炸式增長l半導(dǎo)體存儲(chǔ)：RAM,ROM,FLASH的高速開展l目前硬盤存儲(chǔ)：l100GBl2萬轉(zhuǎn)/分l實(shí)驗(yàn)室程度：l一道一GPCPC機(jī)的主流硬盤機(jī)的主流硬盤容量添加容量添加8,0008,000倍倍10MB100MB500MB4GB10GB80GB 第一迸發(fā)點(diǎn)：單機(jī)多媒體第一迸發(fā)點(diǎn)：單機(jī)多媒體第二迸發(fā)點(diǎn)：第二迸發(fā)點(diǎn)：Internet 第三迸發(fā)點(diǎn)第三迸發(fā)點(diǎn):寬帶寬帶(目前目前 第四迸發(fā)點(diǎn)：第四迸發(fā)點(diǎn)： 空間影像和虛擬現(xiàn)實(shí)普遍運(yùn)用空間影像和虛擬現(xiàn)實(shí)普遍運(yùn)用 即使處

7、置、傳輸才干固定不變，隨著數(shù)據(jù)即使處置、傳輸才干固定不變，隨著數(shù)據(jù)不斷產(chǎn)生，存儲(chǔ)才干也需求動(dòng)態(tài)單調(diào)地不斷產(chǎn)生，存儲(chǔ)才干也需求動(dòng)態(tài)單調(diào)地添加。水泵、水管、水桶的比喻添加。水泵、水管、水桶的比喻 處置和傳輸速度越高，容量的添加的梯處置和傳輸速度越高，容量的添加的梯度就越高，這就是存儲(chǔ)系統(tǒng)的不斷擴(kuò)展度就越高，這就是存儲(chǔ)系統(tǒng)的不斷擴(kuò)展特性。特性。結(jié)論：結(jié)論： 無限的容量需求和動(dòng)態(tài)擴(kuò)展需求無限的容量需求和動(dòng)態(tài)擴(kuò)展需求1.減小bit位元尺度，提高密度采用各種物理原理和景象減小位元磁翻轉(zhuǎn)尺寸、光(光點(diǎn)大小、電線寬、生物、量子密度：道密度、面密度、體密度2.建立存儲(chǔ)系統(tǒng)，用“磚頭構(gòu)造“大廈l硬盤是最重要的大容

8、量存儲(chǔ)設(shè)備，硬盤是最重要的大容量存儲(chǔ)設(shè)備，50年年代由代由IBM發(fā)明以來密度添加了發(fā)明以來密度添加了1，000，000倍，到目前為止，還沒有找到能與之倍，到目前為止，還沒有找到能與之競爭的對(duì)手競爭的對(duì)手l最近的密度超越最近的密度超越100Gb/in2，主要技術(shù)：，主要技術(shù)：超低飛行磁頭超低飛行磁頭10nm，加釕超穩(wěn)定介質(zhì)，加釕超穩(wěn)定介質(zhì)，PRML讀通道，光磁混合紀(jì)錄，垂直磁讀通道，光磁混合紀(jì)錄，垂直磁記錄記錄硬盤的進(jìn)展硬盤的進(jìn)展-密、快、小、廉密、快、小、廉l1.用于效力器的硬盤：高容量、高速度l2.用于桌上機(jī)的硬盤：主流容量、速度、低價(jià)錢l3.用于筆記本電腦的硬盤：小體積、低功耗l4.用于手

9、持式設(shè)備的硬盤：l微硬盤Microdrive四類硬盤的規(guī)格目的四類硬盤的規(guī)格目的l運(yùn)用領(lǐng)域l挪動(dòng)計(jì)算l數(shù)碼相機(jī)、數(shù)碼攝像機(jī)l軟盤：1.44MB頑強(qiáng)的生命力l高密度軟盤：Zip100/200MB(IOMAG)lLS-120(兼容1.44)lHiFD-200(兼容1.44)l磁光盤MO：1.3GB/650MB/230MBlCD-R/W,DVD-RW,DVD-RAMl只讀光盤：CD-ROM，DVD-ROMl各種規(guī)格lSmartMedialCompactFlashlMemoryStick(SONY)lPCMCIA接口lUSB接口-Easedisk、lNetech 目前：目前：CD-ROM, DVD-R

10、OM, DVD機(jī)機(jī) DVD-RW(DVR) 最近要產(chǎn)品化的技術(shù)：向高密度進(jìn)軍最近要產(chǎn)品化的技術(shù)：向高密度進(jìn)軍 藍(lán)光藍(lán)光DVD, HD-DVD 多層多階光存儲(chǔ)多層多階光存儲(chǔ) 近場(chǎng)光存儲(chǔ)近場(chǎng)光存儲(chǔ) 全息光存儲(chǔ)全息光存儲(chǔ) l半導(dǎo)體存儲(chǔ)：RAM,ROM,FLASH的高速開展l目前硬盤存儲(chǔ)：l100GBl2萬轉(zhuǎn)/分l實(shí)驗(yàn)室程度：l一道一GPCPC機(jī)的主流硬盤機(jī)的主流硬盤容量添加容量添加8,0008,000倍倍10MB100MB500MB4GB10GB80GBl正如無論多快的正如無論多快的單處置器無法滿單處置器無法滿足超級(jí)計(jì)算的要足超級(jí)計(jì)算的要求一樣，無論多求一樣，無論多大的單個(gè)硬盤也大的單個(gè)硬盤也無法滿

11、足網(wǎng)絡(luò)存無法滿足網(wǎng)絡(luò)存儲(chǔ)和企業(yè)存儲(chǔ)的儲(chǔ)和企業(yè)存儲(chǔ)的需求需求單處置器單處置器-多處置器多處置器-多計(jì)算機(jī)多計(jì)算機(jī)-網(wǎng)格網(wǎng)格硬盤硬盤- 陣列陣列-存儲(chǔ)網(wǎng)存儲(chǔ)網(wǎng)-數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格由軟件和硬件共同實(shí)現(xiàn)由軟件和硬件共同實(shí)現(xiàn)磁盤陣列磁盤陣列多個(gè)硬盤多個(gè)硬盤容量、速度、可用性容量、速度、可用性l存儲(chǔ)虛擬化軟件單一邏輯映像l存儲(chǔ)資源管理軟件容量、級(jí)別，性能l存貯藏份、數(shù)據(jù)遷移軟件l對(duì)很多領(lǐng)域，數(shù)據(jù)是比硬件設(shè)備珍貴得對(duì)很多領(lǐng)域，數(shù)據(jù)是比硬件設(shè)備珍貴得多的資源多的資源: :l 銀行、電信、保險(xiǎn)、電子商務(wù)、網(wǎng)站、銀行、電信、保險(xiǎn)、電子商務(wù)、網(wǎng)站、企業(yè)信息企業(yè)信息l處置部件、傳輸部件損壞：處置部件、傳輸部件損壞：l

12、損失有限，損失有限， 改換可恢復(fù)改換可恢復(fù)l存儲(chǔ)部件損壞：存儲(chǔ)部件損壞：l 數(shù)據(jù)喪失！宏大的損失！數(shù)據(jù)喪失！宏大的損失！l兩個(gè)親身閱歷的例子：兩個(gè)親身閱歷的例子：l 同濟(jì)醫(yī)院信息系統(tǒng)，廣東石龍醫(yī)院火同濟(jì)醫(yī)院信息系統(tǒng)，廣東石龍醫(yī)院火災(zāi)災(zāi)l建筑行業(yè)一定有平安系數(shù)，建筑行業(yè)一定有平安系數(shù)，80%80%的信息系的信息系統(tǒng)沒有平安系數(shù)！統(tǒng)沒有平安系數(shù)！l1. 數(shù)據(jù)不喪失最起碼的要求l2.系統(tǒng)不停機(jī)724效力的保證l3.性能不下降優(yōu)質(zhì)效力的保證l處理可用性問題的典型途徑：l 冗余 雙機(jī)，網(wǎng)絡(luò)RAID)l 備份 磁帶、光盤、硬盤l具有耗散構(gòu)造的存儲(chǔ)系具有耗散構(gòu)造的存儲(chǔ)系統(tǒng)統(tǒng)l自創(chuàng)生物系統(tǒng)原理：心自創(chuàng)生物系統(tǒng)

13、原理：心臟之所以保證數(shù)十年的臟之所以保證數(shù)十年的可用性，不是由于資料可用性，不是由于資料特別好，而是由于新陳特別好，而是由于新陳代謝代謝lUCBUCB的的ISTOREISTOREl華中科技大學(xué)的進(jìn)化存華中科技大學(xué)的進(jìn)化存儲(chǔ)系統(tǒng)儲(chǔ)系統(tǒng)DiskHalf-height canister共享處置機(jī)共享處置機(jī) 共享存儲(chǔ)器里的數(shù)據(jù)共享存儲(chǔ)器里的數(shù)據(jù)Make the common case fast!網(wǎng)站的存儲(chǔ)：幾十萬用戶同時(shí)點(diǎn)擊到一個(gè)站點(diǎn)網(wǎng)站的存儲(chǔ)：幾十萬用戶同時(shí)點(diǎn)擊到一個(gè)站點(diǎn)去獲得海量存儲(chǔ)系統(tǒng)中的信息。去獲得海量存儲(chǔ)系統(tǒng)中的信息。WWW: world wide web 變?yōu)樽優(yōu)閣orld wide wa

14、it1.Cache 1.Cache 技術(shù)，技術(shù)，RAM-DISK, RAM-RAIDRAM-DISK, RAM-RAID RAID-TAPE(HSM) RAID-TAPE(HSM)2.2.高速高速I/OI/O通道通道:SCSI(160-320), FC(1-2-4G):SCSI(160-320), FC(1-2-4G) SATA(150-300), IP(1-10G) SATA(150-300), IP(1-10G)3. 3. 聚合帶寬并行技術(shù)：聚合帶寬并行技術(shù)： 多主機(jī)多主機(jī)- -單存儲(chǔ)，單主機(jī)單存儲(chǔ)，單主機(jī)- -多存儲(chǔ)多存儲(chǔ)4. 4. 改動(dòng)任務(wù)方式：基于磁盤的系統(tǒng)，隨機(jī)小寫改動(dòng)任務(wù)方式：基

15、于磁盤的系統(tǒng)，隨機(jī)小寫與延續(xù)大寫性能差與延續(xù)大寫性能差100100倍，變小寫為大寫倍，變小寫為大寫5.5.提高協(xié)議效率：提高協(xié)議效率：FC vs iSCSIFC vs iSCSI6.6.采用就近原那么采用就近原那么7. PTP7. PTP對(duì)等存儲(chǔ)原理對(duì)等存儲(chǔ)原理8.8.第三方直接傳輸?shù)谌街苯觽鬏攍對(duì)現(xiàn)狀的察看對(duì)現(xiàn)狀的察看l 1 1硬盤每年的容量和性能都在硬盤每年的容量和性能都在提高提高l 2 2現(xiàn)有的現(xiàn)有的RAIDRAID系統(tǒng)，換了一個(gè)系統(tǒng)，換了一個(gè)硬盤之后整體性能沒有提高硬盤之后整體性能沒有提高l 3 3越用性能越差越用性能越差l l異構(gòu)的存儲(chǔ)系統(tǒng)異構(gòu)的存儲(chǔ)系統(tǒng)l規(guī)模越來越大規(guī)模越來越大l

16、系統(tǒng)越來越難以管理，人為錯(cuò)誤越來越系統(tǒng)越來越難以管理，人為錯(cuò)誤越來越多多l(xiāng)管理本錢越來越高，管理本錢超越設(shè)備管理本錢越來越高，管理本錢超越設(shè)備本錢本錢l緣由：目前的存儲(chǔ)設(shè)備都是被動(dòng)的，對(duì)設(shè)備的緣由：目前的存儲(chǔ)設(shè)備都是被動(dòng)的，對(duì)設(shè)備的管理都在上層進(jìn)展，面對(duì)異構(gòu)的多種存儲(chǔ)設(shè)備管理都在上層進(jìn)展，面對(duì)異構(gòu)的多種存儲(chǔ)設(shè)備和異構(gòu)的互聯(lián)網(wǎng)絡(luò)，管理軟件都要順應(yīng)，呵斥和異構(gòu)的互聯(lián)網(wǎng)絡(luò)，管理軟件都要順應(yīng)，呵斥復(fù)雜性日益添加復(fù)雜性日益添加l處理途徑：基于對(duì)象的存儲(chǔ)系統(tǒng)，自動(dòng)存儲(chǔ)處理途徑：基于對(duì)象的存儲(chǔ)系統(tǒng)，自動(dòng)存儲(chǔ)l CMUCMU提出提出OBD, SNIAOBD, SNIA提出規(guī)范提出規(guī)范l 存儲(chǔ)對(duì)象：包括數(shù)據(jù)和對(duì)

17、數(shù)據(jù)的操作存儲(chǔ)對(duì)象：包括數(shù)據(jù)和對(duì)數(shù)據(jù)的操作l 管理下移，使存儲(chǔ)設(shè)備包含更多的智能管理下移，使存儲(chǔ)設(shè)備包含更多的智能l 規(guī)范的對(duì)外接口和描畫規(guī)范的對(duì)外接口和描畫l 管理大為簡化管理大為簡化l一切都存下來，不是一個(gè)好的方法l無限擴(kuò)展容量，本錢無謂添加l管理和保管無用的數(shù)據(jù)，是宏大的浪費(fèi)l無用信息干擾當(dāng)前信息存取的性能l處理途徑：向大腦學(xué)習(xí)遺忘機(jī)制l重要的信息深層記憶，不重要的淺層記憶，無用的信息忘掉l處置、傳輸、存儲(chǔ)是信息技術(shù)的三大基石處置、傳輸、存儲(chǔ)是信息技術(shù)的三大基石l存儲(chǔ)是信息跨越時(shí)間的傳播存儲(chǔ)是信息跨越時(shí)間的傳播l只需對(duì)數(shù)字進(jìn)展操作，就能處理一切信息問題只需對(duì)數(shù)字進(jìn)展操作，就能處理一切信息問題l信息論是信息時(shí)空傳播的共同實(shí)際根底信息論是信息時(shí)空傳播的共同實(shí)際根底l硬件是數(shù)字操作機(jī)只需三種簡單操作：處置、硬件是數(shù)字操作機(jī)只需三種簡單操作：處置、存儲(chǔ)、傳輸存儲(chǔ)、傳輸l軟件是思想和內(nèi)容的數(shù)字化軟件是思想和內(nèi)容的數(shù)字化l 存儲(chǔ)系統(tǒng)的根本問題有容量、可用性、性能、存儲(chǔ)系統(tǒng)的根本問題有容量、可用性、性能、管理復(fù)雜性、數(shù)據(jù)生命周期等，它們都有各自管理復(fù)雜性、數(shù)據(jù)生命周期等，它們都有各自的處理