UIT存儲基礎培訓.ppt

1、UIT 存儲基礎,技術中心 郭鐳,第二章 操作系統(tǒng)與存儲,塊設備 文件系統(tǒng) 卷管理技術 數(shù)據(jù)庫與存儲,操作系統(tǒng)與存儲,設備分類 - 字符設備與塊設備,字符設備（Character devices） 指那些無須緩沖直接讀寫的設備。字符設備以字節(jié)為單位進行讀寫，數(shù)據(jù)緩沖系統(tǒng)對它們的訪問不提供緩沖。 裸設備，也叫裸分區(qū)（原始分區(qū)），是一種沒有經(jīng)過格式化，不通過文件系統(tǒng)來讀取的特殊字符設備 塊設備(Block devices) 只能以塊為單位進行讀寫，典型的塊大小為512或1024字節(jié)。塊設備允許隨機訪問，每次讀寫的數(shù)據(jù)量都是數(shù)據(jù)塊長度的整數(shù)倍。 塊設備和字符設備的區(qū)別在概念上主要是字符設備跳過了緩沖

2、區(qū)，塊設備則要經(jīng)過緩沖區(qū)。硬盤是既可以做塊設備用，也可以做字符設備用。,塊設備和塊I/O,Sector 塊設備傳輸數(shù)據(jù)的最小單位 Block 文件系統(tǒng)的最小存儲單位 Segment 內(nèi)存交換單位或一部分 Page 磁盤緩存單位,Block I/O,Sector,硬件設備存放數(shù)據(jù)的連續(xù)區(qū)域單位. 一個sector的大小是512字節(jié) sector是磁盤設備和操作系統(tǒng)之間最小傳輸單位，多個sector可同時傳輸。 如果磁盤設備支持的sector大小是512的整數(shù)倍且大于512字節(jié)，那么操作系統(tǒng)的底層block 驅動程序幫我們自動轉化。,sector是操作系統(tǒng)和塊硬件設備之間傳送數(shù)據(jù)的單位，那么blo

3、ck是文件系統(tǒng)管理數(shù)據(jù)的單位 比如操作系統(tǒng)的虛擬文件系統(tǒng)VFS需要從硬件設備上讀取一個block，實際上是從硬件設備讀取了一個或多個sector. 對于文件管理來說，每個文件對應的多個block可能是不連續(xù)的 block最終要映射到sector上，所以一般block的大小是sector大小的整數(shù)倍 不同的文件系統(tǒng)，可以使用的block的大小可以不同,塊 Block,塊設備操作的基本概念,對 block 設備的操作涉及到的內(nèi)核組件 The generic block layer The generic block layer 隱藏硬件細節(jié)，提供block設備的抽象視圖。 提供通用的數(shù)據(jù)結構描述

4、disks 和 disk partitions. I/O scheduler I/O scheduler (I/O調(diào)度器)根據(jù)內(nèi)核制定的策略對未決的(pending) I/O 數(shù)據(jù)傳送請求進行排序和調(diào)度。 提高I/O 調(diào)度器的效率也是影響整個系統(tǒng)對塊設備上數(shù)據(jù)管理效率的一個方面。 block device 最后，block device 設備驅動程序，完成和硬件的具體交互。,為什么需要I/O調(diào)度？,磁盤尋道在計算機系統(tǒng)中是最慢的操作 沒有合適的I/O調(diào)度器，對系統(tǒng)性能影響非常大 I/O 調(diào)度可以安排磁頭在一個方向上移動，減少 seek 次數(shù) 像電梯（操作系統(tǒng)中一般稱這樣的算法為電梯算法) 在全

5、局范圍內(nèi)獲得高吞吐量,I/O Scheduler 的工作 Sort request queues Merge request queues Dispatch I/O requests 提高讀取磁盤的效率,邏輯卷管理,傳統(tǒng)分區(qū)缺點： 磁盤的劃分通過分區(qū)來實現(xiàn)，在系統(tǒng)安裝之前用戶必須正確選擇每個分區(qū)的大小 分區(qū)大小是固定不變的，同時也就限制文件系統(tǒng)和文件的大小 分配給分區(qū)的磁盤空間必須是連續(xù)，這個特點限制了分區(qū)不能跨越多個物理卷,LVM邏輯卷管理優(yōu)點： 可分配非連續(xù)空間，可以跨越多個硬盤 可以動態(tài)增大邏輯卷的大小 方便存儲管理操作，包括文件系統(tǒng)的備份、分區(qū)的刪除、新分區(qū)的建立和文件系統(tǒng)的恢復等 新

6、的硬盤很容易動態(tài)地添加到系統(tǒng),卷組VG ：Volume Group,hdisk0,hdisk1,hdisk2,rootvg,datavg,一個卷組VG可以擁有多個硬盤，但至少擁有一個硬盤(hdisk) 一個硬盤(hdisk)只能屬于一個VG，不能同時屬于多個不同VG 用戶可以創(chuàng)建多個不同VG，rootvg是操作系統(tǒng)所在的VG,物理卷PV和PP,存儲管理器中，一個硬盤就是一個PV 一個PV要劃分為大小相等的PP 同一個VG中的不同PV的PP大小要一樣，默認的PP大小為4M PV必須加入一個VG中，系統(tǒng)才能使用其存儲空間,邏輯卷LV,1,2,3,4,5,9,6,7,8,10,11,12,1,2,3

7、,4,5,9,6,7,8,10,11,12,PV,PV,LV邏輯卷,(Logical Volume),映射關系,1,2,3,4,5,6,7,8,n,存儲管理一個很重要的特點就是引入了“邏輯卷”這個概念，幾乎所有的存儲管理都圍繞“邏輯卷”展開 邏輯卷LV有多個邏輯上連續(xù)的邏輯分區(qū)LP組成，邏輯分區(qū)與物理分區(qū)存在映射關系，他們大小一樣,VG,Logical Partition,邏輯分區(qū),創(chuàng)建了邏輯卷后，可以在上面創(chuàng)建文件系統(tǒng)，還可以直接是裸設備，用于數(shù)據(jù)庫軟件的數(shù)據(jù)存取等 邏輯卷空間不足，只要卷組中還有足夠的PP數(shù)量，那么邏輯卷空間都可以動態(tài)增大,LV邏輯卷的意義,邏輯卷LV與文件系統(tǒng),hd4,L

8、V,hd1,limhai,home,(root),LV,hd2,bin,usr,lpp,lib,hd9var,spool,var,etc,mnt,邏輯卷管理器：扮演的角色就是管理好邏輯卷與物理卷之間的映射關系，保證所有的上層存儲操作命令都正確地把數(shù)據(jù)寫入相應的物理設備中 文件系統(tǒng)：是數(shù)據(jù)存儲方式。它扮演的角色就是以清晰層次結構的文件和目錄，去管理好用戶數(shù)據(jù)存取，保證用戶寫入的數(shù)據(jù)以可靠的存儲方式存放，且無差錯地響應用戶請求的數(shù)據(jù) 不同文件系統(tǒng)的數(shù)據(jù)存在硬盤的不同邏輯卷中,邏輯卷管理器,rootvg,PV,PV,文件系統(tǒng),LV,hd1,hd6,hd8,lv00,paging00,Mount表,j

9、fs,pagespace,jfslog,jfs,pagespace,PP,home,limhai,類型,var,limhai,oracle,oracle,App-data,Mount點,datatvg,邏輯卷LV與文件系統(tǒng) 結構圖,邏輯卷策略 - 鏡像mirror,鏡像mirror，類似于RAID1，可以實現(xiàn)邏輯卷中邏輯分區(qū)的鏡像，在獨立的不同硬盤中保存兩個或三個副本，從而保證硬盤出錯時數(shù)據(jù)不受損壞而且是可用的 鏡像的調(diào)度策略 Parallel(并行)：每個副本的寫請求是同時進行的，當更新時間最長的副本完成后，控制就返回給程序。執(zhí)行效率很高，但當副本更新時若有硬盤錯誤發(fā)生，數(shù)據(jù)的完整性有可能遭

10、到破壞。讀操作時候，讀最相近的副本，所以響應速率快 Sequential(串行)：當數(shù)據(jù)寫到邏輯分區(qū)時，只有所有的副本都更新后控制才返回給程序，而且副本是一個個輪留更新。執(zhí)行速率比并行鏡像慢，但是數(shù)據(jù)完整性較好。讀操作時候，總是先讀主副本,邏輯卷策略 -條帶化striping,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,1,4,7,10,13,16,2,5,8,11,14,17,3,6,9,12,15,18,1、沒有做條帶化的數(shù)據(jù)塊流：,2、做了條帶化的數(shù)據(jù)塊流：,PV,PV,做條帶化類似于RAID0 條帶化把數(shù)據(jù)塊均勻地分布在不同硬盤上 訪問邏輯

11、卷上的連續(xù)數(shù)據(jù)時多個硬盤驅動器并行操作，提高了I/O的吞吐量,物理卷內(nèi)分配策略,外部邊緣,外部中間,中心,內(nèi)部中間,內(nèi)部邊緣,硬盤的平面圖,通常訪問最頻繁的LV分配在中心，訪問不頻繁的LV分配在邊緣,訪問速度,慢,慢,快,文件系統(tǒng) File System,概念：文件和對文件進行操縱和管理的軟件集合。 三個層次 一、管理的對象及屬性 （1）文件 （2）目錄 （3）物理存貯空間的管理 二、管理的文件操作： （1）邏輯文件系統(tǒng)：受命write - write （2）基本I/O管理：write （3）基本文件系統(tǒng)：向driver發(fā)令 （4）I/O控制層：driver 三、管理的文件系統(tǒng)接口 （1）命令

12、接口： （2）程序接口：,文件系統(tǒng)層次模型,File System Driver體系結構（本地）,File System Driver體系結構（遠程）,存儲分配方法（文件物理組織）,連續(xù)分配（磁帶，磁盤都可采用） 每個順序文件分配一組相鄰盤塊。 特點：簡單 （1）順序訪問容易且速度快，因磁頭移動距離小， （2）要求連續(xù)空間，一段時間后需整理磁盤以消除外部碎片。 （3）必須事先知道長度，文件不易動態(tài)增長和刪除。 鏈接分配 文件離散地分配于各盤塊中，以提高外存利用率，文件長度可變，易于增刪，只能順序存取。 特點：只適合于順序訪問，對隨機訪問效率低，可靠性差。 鏈接分配問題：不能高效直接存??；FAT

13、需占較大的內(nèi)存。 索引分配 概念：為每個文件分配一個索引塊 特點： （1）文件較大時有利。文件較小時浪費外存空間（還需為小文件建索引塊） （2）當文件較大時，索引塊太多，則需建立多級索引,日志文件系統(tǒng),日志文件系統(tǒng)最大的優(yōu)點在于提供了更好的安全性。日志文件系統(tǒng)會將整個磁盤所做過的更動, 像寫日記一樣完整的記錄下來，一旦發(fā)生非預期的故障狀況, 會在下次啟動時, 自動檢查已記錄的日志,然后依照日志記錄的動作再做一次，將系統(tǒng)恢復到當機前的正常狀態(tài)?？梢源蠓鶞p少不正常關機后所花費的系統(tǒng)修復時間, 讓數(shù)據(jù)的使用更有效率 非日志文件系統(tǒng)發(fā)生故障時, 需要辛苦地執(zhí)行 FSCK命令檢查與修復整個文件系統(tǒng)?，F(xiàn)在

14、動輒數(shù)十 GB 的磁盤空間, 一旦不正常關機, 便要耗費相當多的時間來檢查及修復文件系統(tǒng), 且不能百分之百保證所有的數(shù)據(jù)都不會流失,每個文件系統(tǒng)由邏輯塊的序列組成，一個邏輯盤空間一般劃分為幾個用途各不相同的部分，即引導塊、超級塊、inode區(qū)以及數(shù)據(jù)區(qū)等。 引導塊：在文件系統(tǒng)的開頭，通常為一個扇區(qū)，其中存放引導程序，用于讀入并啟動操作系統(tǒng)； 超級塊：用于記錄文件系統(tǒng)的管理信息。特定的文件系統(tǒng)定義了特定的超級塊； inode區(qū)（索引節(jié)點）：一個文件或目錄占據(jù)一個索引節(jié)點。第一個索引節(jié)點是該文件系統(tǒng)的根節(jié)點。利用根節(jié)點，可以把一個文件系統(tǒng)掛在另一個文件系統(tǒng)的非葉節(jié)點上； 數(shù)據(jù)區(qū)：用于存放文件數(shù)據(jù)或

15、者管理數(shù)據(jù)。,Unix/Linux文件系統(tǒng),邏輯塊數(shù)量的決定： 建立文件系統(tǒng)時,可以自行設定邏輯塊的大小是 1024、2048 或 4096 Bytes 若沒有指定, 則系統(tǒng)默認為 4096 Bytes 每個分區(qū)的邏輯塊數(shù)量由以下公式確定：,Unix/Linux文件系統(tǒng)結構,超級塊中包含了描述文件系統(tǒng)基本尺寸和形態(tài)的信息。文件系統(tǒng)管理器利用它們來使用和維護文件系統(tǒng)。通常安裝文件系統(tǒng)時只讀取數(shù)據(jù)塊組0 中的超級塊，但是為了防止文件系統(tǒng)被破壞,每個數(shù)據(jù)塊組都包含了復制拷貝。 超級塊包含如下信息： Block Group Number：超級塊的拷貝。 Block Size：以字節(jié)記數(shù)的文件系統(tǒng)塊大小

16、如1024 字節(jié)。 Blocks per Group：每個組中塊數(shù)目，當文件系統(tǒng)創(chuàng)建時此塊大小被固定下來。 Free Blocks：文件系統(tǒng)中空閑塊數(shù) Free Inodes：文件系統(tǒng)中空閑Inode數(shù) First Inode：文件系統(tǒng)中第一個inode號。根文件系統(tǒng)中第一個inode將是指向/目錄的目錄入口。,超級塊,文件系統(tǒng)通過一個 inode 結構來描述文件系統(tǒng)中文件并確定此文件系統(tǒng)的拓撲結構。同時還有一個位圖被系統(tǒng)用來跟蹤已分配和未分配的inode。inode 結構描述文件中數(shù)據(jù)占據(jù)哪個塊以及文件的存取權限、文件修改時間及文件類型。文件系統(tǒng)中的每個文件用一個inode 來表示且每個in

17、ode 有唯一的編號。目錄是一個包含指向其目錄入口指針的特殊文件（也用inode表示）。 inode包含以下幾個域： mode：它包含兩類信息：inode 描述的內(nèi)容以及用戶使用權限。inode 可以表示一個文件、目錄、符號連接、塊設備、字符設備或FIFO。 Owner Information：表示此文件或目錄所有者的用戶和組標志符。文件系統(tǒng)根據(jù)它可以進行正確的存取。 Size：以字節(jié)計算的文件尺寸。 Timestamps：inode 創(chuàng)建及最后一次被修改的時間。 Datablocks： 指向此inode 描述的包含數(shù)據(jù)的塊指針。 inode數(shù)量= FileSystem_size / NBPI

18、（Number of Bytes per inode）在文件系統(tǒng)創(chuàng)建以后就不能修改了,想增加inode數(shù)，只能增加文件系統(tǒng)的大小。Bytes-per-inode最小不能小于block size，因此指定Bytes-per-inode大小等于block size大小可以獲得最大inode個數(shù)。,inode,inode 的數(shù)量,執(zhí)行 df -i 命令可查看 inode 的數(shù)量：,inode 文件結構,inode 中存放的指針, 會指到實際存放文件的數(shù)據(jù)塊 小的文件僅需用到 inode中direct blocks 的空間 若再大文件則會用到 indirect blocks、double indire

19、ct blocks 或 triple indirect blocks塊指針指向間接數(shù)據(jù)塊，間接數(shù)據(jù)塊再指向實際的文件數(shù)據(jù)塊。較大文件的inode指向更多的間接數(shù)據(jù)塊。,NTFS文件系統(tǒng),什么是NTFS新(N)技術(T)文件(F)系統(tǒng)(S)？ NTFS新特性 主文件表(Master File Table)。而$MFT則由文件記錄(File Record)數(shù)組構成。File Record的大小一般是固定的，通常情況下均為1KB，這個概念相當于Linux中的inode。$MFT僅供File System本身組織、架構文件系統(tǒng)使用，這在NTFS中稱為元數(shù)據(jù)(Metadata)。 NTFS存儲結構 卷，

20、簇 主控文件表 文件引用號，文件記錄，文件名稱 常駐屬性與非常駐屬性 索引 數(shù)據(jù)壓縮,NTFS存儲結構：卷,卷是建立在磁盤分區(qū)上 一個磁盤可以有多個卷，一個卷也可以有多個磁盤組成 經(jīng)過格式化的卷上的數(shù)據(jù)可分為：元數(shù)據(jù)和用戶數(shù)據(jù),NTFS存儲結構：簇,簇作為磁盤空間分配和回收的基本單位 簇的大小是用戶在使用Format命令或其他的格式化程序格式化卷時確定的。簇隨卷的大小而不同，但都是物理扇區(qū)的整數(shù)倍，通常是2的冪。系統(tǒng)默認NTFS簇的大小不會超過4KB，簇越小空間的利用率就越好。 NTFS使用LCN（Logical Cluster Number，邏輯簇號）和VCN（Virtual Cluster

21、 Number，虛擬簇號）來進行簇的定位。,VCN和LCN,NTFS使用邏輯簇號（Logical Cluster Number，LCN）和虛擬簇號（Virtual Cluster Number，VCN）來對簇進行定位。LCN是對整個卷中所有的簇從頭到尾所進行的簡單編號。用卷簇乘以LCN，NTFS就能夠得到卷上的物理字節(jié)偏移量，從而得到物理磁盤地址。VCN則是對屬于特定文件的簇從頭到尾進行編號，以便于引用文件中的數(shù)據(jù)。VCN可以映射成LCN，而不必要求在物理上連續(xù)。,NTFS存儲結構：主控文件表,MFT（Master File Table，主控文件表）是NTFS卷結構的核心，是NTFS中最重要的

22、系統(tǒng)文件，包含了卷中所有文件的信息。 MFT是一個數(shù)據(jù)庫，由一系列文件記錄File record組成。卷中每一個文件都有一個文件記錄， 每個文件記錄的大小都固定為1KB。卷上的每個文件（包括MFT本身）都有一行MFT記錄。 MFT開始的16個元數(shù)據(jù)文件是保留的。在NTFS中只有這16個元數(shù)據(jù)文件占有固定的位置。每個這樣的元數(shù)據(jù)文件都有一個以“$”開頭的文件名稱，不過該符號是隱藏的。16個元數(shù)據(jù)文件之后則是普通的用戶文件和目錄。,NTFS中的16個元數(shù)據(jù)文件,0：$Mft：MFT本身，保存NTFS卷中所有文件的記錄 1：$MftMirr：MFT鏡像， Mft一小部分的副本 2：$LogFile：

23、日志文件，NTFS卷結構和元數(shù)據(jù)更改日志，用來保證數(shù)據(jù)一致性 3：$Volume：卷文件，保存NTFS卷的基本信息(如NTFS版本等) 4：$AttrDef：屬性定義表，定義NTFS支持的文件屬性 5：$：根目錄 6：$Bitmap：位圖文件，卷的cluster位圖 7：$Boot：引導文件，引導區(qū) 8：$BadClus：壞簇文件，壞扇區(qū)標記 9：$Secure：安全文件，權限信息 10：$UpCase：大寫文件，大小寫對應表 11：$Extended metadata directory：擴展元數(shù)據(jù)目錄 $Quota 磁盤配額信息 $ObjID 文件的ObjID $UsnJrnl 用戶使用信

24、息 $Reparse 重分析點 12，13，14，15：預留 15：其他用戶文件和目錄,NTFS存儲結構：主控文件表的空間和備份,NTFS把磁盤分成了兩大部分，其中大約12%分配給了MFT，以滿足其不斷增長的文件數(shù)量。為了保持MFT元文件的連續(xù)性，MFT對這12%的空間享有獨占權。余下的88%的空間被分配用來存儲文件。MFT空間的使用機制可以這樣來描述：當文件耗盡了存儲空間時，Windows操作系統(tǒng)會簡單地減少MFT空間，并把它分配給文件存儲。當有剩余空間時，這些空間又會重新被劃分給MFT。,NTFS設計目標：可恢復性,文件系統(tǒng)的要求：速度快和可恢復性 速度快 =讀寫操作快 = 使用緩存 =可恢復性降低 文件系統(tǒng)的可恢復性取決于文件系統(tǒng)的寫入操作方式。 謹慎寫（careful write）文件系統(tǒng)：例如FAT文件系統(tǒng)的“寫通”技術 。速度性能差 延遲寫（lazy-write）文件系統(tǒng)：例如UNIX文件系統(tǒng)的 “寫回”高速緩存