第1章 網(wǎng)絡(luò)存儲規(guī)劃

第1章網(wǎng)絡(luò)存儲規(guī)劃主講人高延增老師介紹聯(lián)系方式：QQ：276470905手機章內(nèi)容31網(wǎng)絡(luò)存儲背景3233網(wǎng)絡(luò)需求分析網(wǎng)絡(luò)存儲方式選擇34制定網(wǎng)絡(luò)存儲方案1.1網(wǎng)絡(luò)存儲背景數(shù)據(jù)在現(xiàn)代信息社會中的作用和地位越來越突出，數(shù)據(jù)在迅速的不斷增長中，對于海量數(shù)據(jù)的存儲和備份則成為網(wǎng)絡(luò)管理的重要組成部分之一。在當(dāng)前網(wǎng)絡(luò)中，各種數(shù)據(jù)庫、模型庫、知識庫，以及其他重要數(shù)據(jù)是其核心數(shù)據(jù)，對這些重要數(shù)據(jù)的存儲與備份具有極其重要的意義。1.2網(wǎng)絡(luò)需求分析網(wǎng)絡(luò)有各種服務(wù)器系統(tǒng)，包括文件發(fā)布系統(tǒng)、Web服務(wù)器系統(tǒng)、E-Mail系統(tǒng)、服務(wù)器群集技術(shù)等。對存儲系統(tǒng)有各種需求，包括需要高性能的服務(wù)器群集技術(shù)系統(tǒng)、簡單文件共享的文件發(fā)布存儲系統(tǒng)、安全性要求較高的文件存儲系統(tǒng)等。如果使用單一的存儲系統(tǒng)，顯然是無法滿足需要，因此，需要規(guī)劃一種可行的綜合性存儲系統(tǒng)。1.3網(wǎng)絡(luò)存儲方式選擇1.3.1DAS特點與適用1.3.2SAN特點與適用1.3.3iSCSI特點與適用1.3.1DAS特點與適用DAS具有以下優(yōu)點：實現(xiàn)大容量存儲。將多個磁盤合并成一個邏輯磁盤，滿足海量存儲的需求?？蓪崿F(xiàn)應(yīng)用數(shù)據(jù)和操作系統(tǒng)的分離。操作系統(tǒng)一般存放本機硬盤中，而應(yīng)用數(shù)據(jù)放置于陣列中。提高存取性能。操作單個文件資料，同時有多個物理磁盤在并行工作，運行速度比單個磁盤運行速度高。實施簡單。無須專業(yè)人員操作和維護，節(jié)省用戶投資。1.3.1DAS特點與適用DAS方式實現(xiàn)了機內(nèi)存儲到存儲子系統(tǒng)的跨越，但是缺點依然有很多。主要包括：擴展性差。資源利用率低。可管理性差。異構(gòu)化嚴重。1.3.1DAS特點與適用DAS適用于以下環(huán)境中：服務(wù)器在地理分布上較為分散，利用SAN或NAS在進行互連時非常非常困難時（銀行在各地區(qū)的分行以及大型連鎖超市是較為典型的例子）。存儲系統(tǒng)必須被直接連接到應(yīng)用服務(wù)器上時。包括許多數(shù)據(jù)庫應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用，都需要直接連接到存儲器上。1.3.2SAN特點與適用SAN具有以下優(yōu)點：設(shè)備整合數(shù)據(jù)集中高擴展性總體擁有成本低具有無限的擴展能力更高的連接速度和處理能力SAN也有以下缺點：SAN各個客戶端的存儲空間是分離的，通過光纖實現(xiàn)連接，許多設(shè)備價格高昂，因此，SAN的實現(xiàn)需要相當(dāng)高的費用網(wǎng)絡(luò)維護也需要相當(dāng)?shù)拈_銷1.3.2SAN特點與適用SAN對于以下應(yīng)用來說是理想的選擇：關(guān)鍵任務(wù)數(shù)據(jù)庫應(yīng)用，其中可預(yù)計的響應(yīng)時間、可用性和可擴展性是基本要素。集中的存儲備份，其中性能、數(shù)據(jù)一致性和可靠性可以確保企業(yè)關(guān)鍵數(shù)據(jù)的安全。高可用性和故障切換環(huán)境可以確保更低的成本、更高的應(yīng)用水平。可擴展的存儲虛擬化，可使存儲與直接主機連接相分離，并確保動態(tài)存儲分區(qū)。改進的災(zāi)難容錯特性，在主機服務(wù)器及其連接設(shè)備之間提供光纖通道高性能和擴展的距離（達到150公里）。1.3.2SAN特點與適用1.3.3iSCSI特點與適用IP網(wǎng)絡(luò)的優(yōu)勢可以概括為以下幾點：用于管理、安全和服務(wù)質(zhì)量（QoS）的網(wǎng)絡(luò)協(xié)議和中間件的通用性。將在IP網(wǎng)絡(luò)的設(shè)計和管理中獲得的經(jīng)驗用于IP存儲局域網(wǎng)。經(jīng)過培訓(xùn)的、經(jīng)驗豐富的IP網(wǎng)絡(luò)管理人員可以安裝和管理這些網(wǎng)絡(luò)。通過在整個企業(yè)中使用一套標(biāo)準(zhǔn)的IP基礎(chǔ)設(shè)施、產(chǎn)品和服務(wù)而獲得經(jīng)濟效益。iSCSI

與現(xiàn)有的IPLAN和WAN基礎(chǔ)設(shè)施兼容。傳輸距離只受應(yīng)用性能要求的限制，而不受IP協(xié)議的限制。1.4制定網(wǎng)絡(luò)存儲方案1.4.1在制定網(wǎng)絡(luò)存儲方案應(yīng)遵循的原則1.4.2選擇存儲產(chǎn)品1.4.1在制定網(wǎng)絡(luò)存儲方案應(yīng)遵循的原則網(wǎng)絡(luò)存儲的核心——數(shù)據(jù)要產(chǎn)品也要技術(shù)需求為主長遠考慮，打好基礎(chǔ)1.4.2選擇存儲產(chǎn)品容錯能力性能容量連接性管理性附加功能DAS、SAN與ISCSI比較項目DAS特點SAN特點iSCSI特點設(shè)計理念存儲設(shè)備存儲網(wǎng)絡(luò)存儲網(wǎng)絡(luò)適配器SCSI適配器光纖通道適配器以太網(wǎng)適配器傳輸單位塊I/O塊I/O塊I/O網(wǎng)絡(luò)連接協(xié)議SCSIFC（光纖通道）TCP/IP管理方式在服務(wù)器上管理在服務(wù)器上管理在服務(wù)器上管理性價比性能低成本低性能高成本高性能高成本適中補充：存儲基本知識目錄123456第一節(jié)信息存儲的發(fā)展第二節(jié)信息存儲介質(zhì)第三節(jié)信息存儲系統(tǒng)第四節(jié)主機服務(wù)器系統(tǒng)第五節(jié)數(shù)據(jù)備份技術(shù)第六節(jié)容災(zāi)技術(shù)新摩爾定律什么是存儲？用于存放數(shù)據(jù)信息的設(shè)備和介質(zhì)等同于計算機系統(tǒng)中的外部存儲存儲是一個系統(tǒng)是計算機技術(shù)發(fā)展的結(jié)果存儲的基本概念存儲的特征：它是數(shù)據(jù)臨時或長期駐留的物理媒介它是保證數(shù)據(jù)完整安全存放的方式或行為存儲的歷史汞延遲線磁帶磁鼓納米儲存光盤磁芯磁盤存儲的現(xiàn)狀和趨勢存儲體系結(jié)構(gòu)——當(dāng)前存儲的主要體系結(jié)構(gòu)有三種：DAS、 NAS、SAN存儲發(fā)展趨勢——復(fù)數(shù)據(jù)刪除——SSD固態(tài)磁盤——云存儲——虛擬化環(huán)境的保護——一體化應(yīng)用存儲設(shè)備——非結(jié)構(gòu)化數(shù)據(jù)存儲與管理——備份容災(zāi)存儲介質(zhì)硬盤：是電腦主要的存儲媒介之一，有一個或多個鋁制或者玻璃制的碟片組成磁帶：是一種用于記錄聲音、圖像、數(shù)字或其他信號的再有磁層的帶狀材料，是 產(chǎn)量最大和用途最廣的一種磁記錄材料光盤：光盤以光信息做為存儲物的載體軟盤：軟盤的讀寫通過軟盤驅(qū)動器完成Flash存儲：一種不揮發(fā)的內(nèi)存器件存儲設(shè)備磁帶機磁帶庫虛擬磁帶庫OceanspaceS2600OceanspaceS25000OceanspaceS5000T存儲的組件存儲組件——存儲方案磁盤的組件接口磁盤片主軸組件浮動磁頭組件磁頭驅(qū)動機構(gòu)前驅(qū)控制電路數(shù)據(jù)傳輸芯片主控芯片高速緩存芯片存儲的組件存儲的組件硬盤的柱面、磁面、磁道與扇區(qū)磁面磁道扇區(qū)柱面磁道磁面硬盤工作原理硬盤工作由馬達帶動磁盤，然后磁頭在磁盤表面以二進制的形式讀寫數(shù)據(jù)，讀取的數(shù)據(jù)儲存在硬盤的flash芯片中，最后傳到程序中運行；硬盤在一定的硬件條件下轉(zhuǎn)速越快，讀寫能力越強，但最終讀寫能力受內(nèi)部硬件帶寬限制。硬盤的分類按照接口類型按照硬盤形態(tài)機械硬盤固態(tài)硬盤硬盤接口IDE/ATASCSISATASASFC市場主流硬盤目前市場上主流硬盤廠商包括Seagate(希捷)、WD（西部數(shù)據(jù)）、HITACHI(日立)等。硬盤的參數(shù)容量硬盤容量=柱面數(shù)×磁頭數(shù)×扇區(qū)數(shù)×512Bytes轉(zhuǎn)速盤片轉(zhuǎn)動圈數(shù)/分鐘(rpm)平均訪問時間平均尋道時間平均潛伏時間數(shù)據(jù)傳輸率外部數(shù)據(jù)傳輸率內(nèi)部數(shù)據(jù)傳輸率CPU硬盤緩存磁頭讀取盤片硬盤緩存硬盤接口比較接口IDESATASCSISASFC接口類型并行串行并行串行串行主流接口速率100MB/S133MB/S300MB/S600MB/S320MB/S3GB/S6GB/S2GB/S、4GB/S、8GB/S拓撲結(jié)構(gòu)總線點對點總線用擴展器實現(xiàn)的點對點點對點、環(huán)路、交換式雙工半雙工半雙工半雙工全雙工全雙工最大連接設(shè)備數(shù)21or15withportmultiplier1616256127-loop1600萬fabric線纜長度0.4m1m12m6m30m(銅軸電纜)10km(光纖)應(yīng)用普通PC機低端工作站中高端工作站中高端工作站高端工作站硬盤操作注意事項現(xiàn)場硬盤操作、接觸時，必須正確佩戴防靜電手腕或防靜電手套；硬盤存放和運輸前必須采用防靜電材料進行包裝；硬盤在現(xiàn)場搬運時需要采用原包裝材料進行包裝，在運輸過程選擇平滑地段，遇到臺階，必須輕抬輕放；硬盤輕拿輕放，切勿堆積或在沒有防靜電措施情況下隨意擺放（現(xiàn)場沒有防靜電墊子，可以考慮利用設(shè)備或硬盤防靜電包裝材料）；硬盤單元熱拔出時，向外拉出硬盤單元2厘米左右，讓硬盤和背板連接器完全斷開，停留10S左右，保證硬盤電機停轉(zhuǎn)；再依次完全拔出各硬盤單元；故障硬盤需要用防靜電材料和緩沖材料包裝好后郵寄，硬盤上建議寫明局點、客戶和故障現(xiàn)象；SSD硬盤：讀寫機制決定讀寫效率SSD在隨機讀取方面的效率要比硬盤驅(qū)動器高得多，這是因為它沒有必須懸在硬盤上方來讀取數(shù)據(jù)的讀寫頭(類似電唱機的針頭)。存儲系統(tǒng)產(chǎn)生的背景傳統(tǒng)計算機存儲系統(tǒng)的局限性：硬盤成為整個系統(tǒng)的性能瓶頸有限的硬盤槽位，難滿足大量容量需求單個硬盤存放數(shù)據(jù)，數(shù)據(jù)可靠性難以保證存儲空間利用率低本地存儲，數(shù)據(jù)分散，難以共享

—可擴展性不好

—總線結(jié)構(gòu)，而非網(wǎng)絡(luò)結(jié)構(gòu)

—可連接的設(shè)備受到限制增加容量時，需停機傳統(tǒng)計算機存儲系統(tǒng)CPU硬盤RAM存儲網(wǎng)絡(luò)的產(chǎn)生存儲網(wǎng)絡(luò)的基本形態(tài)DAS（DirectAttachedStorage存儲設(shè)備（RAID系統(tǒng)、磁帶機和磁帶庫、光盤庫）直接連接到服務(wù)器；傳統(tǒng)的、最常見的連接方式，容易理解、規(guī)劃和實施；沒有獨立操作系統(tǒng)，不能提供跨平臺的文件共享，各平臺下數(shù)據(jù)需分別存儲；單個DAS系統(tǒng)之間沒有連接，數(shù)據(jù)只能分散管理；備份軟件不能離開服務(wù)器支持；DAS的前期投資比較少；NAS（NetworkAttachedStorage）NAS本身裝有獨立的OS，通過網(wǎng)絡(luò)協(xié)議可以實現(xiàn)完全跨平臺共享，支持WinNT、Linux、Unix等系統(tǒng)共享同一存儲分區(qū)；NAS可以實現(xiàn)集中數(shù)據(jù)管理；一般集成本地備份軟件，可以實現(xiàn)無服務(wù)器備份功能；NAS系統(tǒng)的前期投入相對較高。NAS內(nèi)每個應(yīng)用服務(wù)器通過網(wǎng)絡(luò)共享協(xié)議（如：NFS、CIFS）使用同一個文件管理系統(tǒng)；NAS關(guān)注應(yīng)用、用戶和文件以及它們共享的數(shù)據(jù)；磁盤I/O會占用業(yè)務(wù)網(wǎng)絡(luò)帶寬。SAN（StorageAreaNetwork）高可用性，高性能的專用存儲網(wǎng)絡(luò)，用于安全的連接服務(wù)器和存儲設(shè)備并且具備靈活性和可擴展性；SAN對于數(shù)據(jù)庫環(huán)境、數(shù)據(jù)備份和恢復(fù)存在巨大的優(yōu)勢；SAN是一種非常安全的，快速傳輸、存儲、保護、共享和恢復(fù)數(shù)據(jù)的方法。SAN是獨立出一個數(shù)據(jù)存儲網(wǎng)絡(luò)，網(wǎng)絡(luò)內(nèi)部的數(shù)據(jù)傳輸率很快，但操作系統(tǒng)仍停留在服務(wù)器端，用戶不直接訪問SAN的網(wǎng)絡(luò)，SAN關(guān)注磁盤、磁帶以及聯(lián)接它們的可靠的基礎(chǔ)結(jié)構(gòu)；存儲網(wǎng)絡(luò)的三種形態(tài)比較存儲設(shè)備的組成硬件組成一般包括：框控制器BBU風(fēng)扇電源接口卡硬盤（硬盤框）RAID技術(shù)RAID是一種把多塊獨立的硬盤（物理硬盤）按不同的方式組合起來形成一個硬盤組（邏輯硬盤），從而提供比單個硬盤更高的存儲性能和提供數(shù)據(jù)備份技術(shù)。RAID全稱RedundantArrayofIndependentDisks；即獨立磁盤冗余陣列。RAID優(yōu)勢：容量易擴展、分塊提高性能、可用性提高及可靠性提高。RAID級別的選擇不同的RAID級別代表著不同的性能、數(shù)據(jù)安全性和存儲成本。RAID常用級別：RAID0、RAID1、RAID10、RAID5、RAID6。主機服務(wù)器類型服務(wù)器形態(tài)包括塔式服務(wù)器、機架服務(wù)器、刀片服務(wù)器刀片服務(wù)器機架服務(wù)器塔式服務(wù)器服務(wù)器的硬件組成機箱電源風(fēng)扇處理器內(nèi)存主板RAID卡本地硬盤主機操作系統(tǒng)windows操作系統(tǒng)Windows2003\windows2008linux操作系統(tǒng)Suselinux9\10\11、Redhatlinux4\5\6VmwareesxEsx4\5aixaix4\5\6solarisSolaris9\10hp-ux11hp-ux主機文件系統(tǒng)Windows下常見的文件系統(tǒng)：FAT16、FAT32、NTFSLinux下常見的文件系統(tǒng)：ext3、jfs、Reiserfs、xfs其它文件系統(tǒng):ZFS、HFS、VMFS、UFS、GFS主機服務(wù)器應(yīng)用應(yīng)用系統(tǒng)：數(shù)據(jù)庫主流數(shù)據(jù)庫：DB2、Oracle、Informix、Sybase、SQLServer、內(nèi)存數(shù)據(jù)庫等應(yīng)用系統(tǒng)：郵件郵件服務(wù)器構(gòu)成了電子郵件系統(tǒng)的核心，管理郵件的收發(fā)應(yīng)用系統(tǒng)：文件文件服務(wù)器負責(zé)共享資源的管理和傳送接收，管理存儲設(shè)備中的文件，為網(wǎng)絡(luò)用戶提供文件共享服務(wù)，也稱文件共享服務(wù)器應(yīng)用系統(tǒng)：集群服務(wù)器集群就是指將很多服務(wù)器集中起來一起進行同一種服務(wù)，在客戶端看來就象是只有一個服務(wù)器，集群可以利用多個計算機進行并行計算從而獲得很高的計算速度，也可以用多個計算機做備份，從而使得任何一個機器壞了整個系統(tǒng)還是能正常運行備份的基本概念數(shù)據(jù)備份是將數(shù)據(jù)以某種方式加以保留，以便在系統(tǒng)遭受破壞或其他特定情況下重新加以利用的一個過程。數(shù)據(jù)備份的核心是恢復(fù)，一個無法恢復(fù)的備份對于任何系統(tǒng)來說都是毫無意義的。備份原則穩(wěn)定性容災(zāi)考慮操作簡單高性能自動化全面性備份系統(tǒng)的組成部分備份客戶端備份服務(wù)器備份存儲單元備份管理軟件備份組網(wǎng)LAN-BASE備份LAN-FREE備份數(shù)據(jù)備份的類型全備份：備份系統(tǒng)中的所有數(shù)據(jù)優(yōu)點：恢復(fù)時間最短，最可靠，操作最方便缺點：備份的數(shù)量大，備份所需時間長增量備份：備份上一次備份以后更新的所有數(shù)據(jù)優(yōu)點：每次備份的數(shù)據(jù)少，占用空間少，備份時間短缺點：恢復(fù)時需要全備份及多份增量備份差量備份：備份上一次全備份以后更新的所有數(shù)據(jù)優(yōu)點：數(shù)據(jù)恢復(fù)時間短缺點：備份時間長，恢復(fù)時需要全備份及差量備份什么是災(zāi)難自然災(zāi)難：地震、水災(zāi)、雷電等社會災(zāi)難：戰(zhàn)爭、