版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、.RAID技術(shù)概述RAID的形式是多種多樣的,它們都是高可用性和高性能存儲(chǔ)的骨干力量。RAID設(shè)備的最初應(yīng)用可以追溯到上世紀(jì)80年代末,而在今天,RAID已經(jīng)成為我們IT生活中一個(gè)應(yīng)用廣泛且非常重要部分,以至于很多人已經(jīng)忘記RAID這個(gè)縮寫(xiě)到底是什么意思。RAID是Redundent Array of Inexpensive Disks的縮寫(xiě),直譯為“廉價(jià)冗余磁盤(pán)陣列”,也簡(jiǎn)稱為“磁盤(pán)陣列”。后來(lái)RAID中的字母I被改作了Independent,RAID就成了“獨(dú)立冗余磁盤(pán)陣列”,但這只是名稱的變化,實(shí)質(zhì)性的內(nèi)容并沒(méi)有改變。簡(jiǎn)單地講,RAID技術(shù)就是利用多個(gè)硬盤(pán)的組合提供高效率及冗余的功能。R
2、AID這個(gè)概念最早是由1987年加州伯克利大學(xué)的David Patterson,Garth Gibson, Randy Katz提出的,他們的目標(biāo)是展示一個(gè)RAID的性能可以達(dá)到或超過(guò)當(dāng)時(shí)的一個(gè)單一的,大容量的,昂貴的磁盤(pán)。在項(xiàng)目開(kāi)發(fā)的過(guò)程中,隨著頻繁的磁盤(pán)失敗,通過(guò)磁盤(pán)的冗余來(lái)避免磁盤(pán)數(shù)據(jù)的丟失已經(jīng)是必須的了。這樣一來(lái),該項(xiàng)目的研究對(duì)于將來(lái)的RAID變得至關(guān)重要。一、RAID 的優(yōu)點(diǎn)RAID的采用為存儲(chǔ)系統(tǒng)(或者服務(wù)器的內(nèi)置存儲(chǔ))帶來(lái)巨大利益,其中提高傳輸速率和提供容錯(cuò)功能是最大的優(yōu)點(diǎn)。RAID通過(guò)同時(shí)使用多個(gè)磁盤(pán),提高了傳輸速率。RAID通過(guò)在多個(gè)磁盤(pán)上同時(shí)存儲(chǔ)和讀取數(shù)據(jù)來(lái)大幅提高存儲(chǔ)系統(tǒng)
3、的數(shù)據(jù)吞吐量(Throughput)。在RAID中,可以讓很多磁盤(pán)驅(qū)動(dòng)器同時(shí)傳輸數(shù)據(jù),而這些磁盤(pán)驅(qū)動(dòng)器在邏輯上又是一個(gè)磁盤(pán)驅(qū)動(dòng)器,所以使用RAID可以達(dá)到單個(gè)磁盤(pán)驅(qū)動(dòng)器幾倍、幾十倍甚至上百倍的速率。這也是RAID最初想要解決的問(wèn)題。因?yàn)楫?dāng)時(shí)CPU的速度增長(zhǎng)很快,而磁盤(pán)驅(qū)動(dòng)器的數(shù)據(jù)傳輸速率無(wú)法大幅提高,所以需要有一種方案解決二者之間的矛盾。RAID最后成功了。通過(guò)數(shù)據(jù)校驗(yàn),RAID可以提供容錯(cuò)功能。這是使用RAID的第二個(gè)原因,因?yàn)槠胀ù疟P(pán)驅(qū)動(dòng)器無(wú)法提供容錯(cuò)功能,如果不包括寫(xiě)在磁盤(pán)上的CRC(循環(huán)冗余校驗(yàn))碼的話。RAID容錯(cuò)是建立在每個(gè)磁盤(pán)驅(qū)動(dòng)器的硬件容錯(cuò)功能之上的,所以它提供更高的安全性。在
4、很多RAID模式中都有較為完備的相互校驗(yàn)/恢復(fù)的措施,甚至是直接相互的鏡像備份,從而大大提高了RAID系統(tǒng)的容錯(cuò)度,提高了系統(tǒng)的穩(wěn)定冗余性。二、RAID 的分類1、軟件RAID軟件RAID(software-based RAID)是基于軟件的RAID。它可能是最普遍的被使用的RAID陣列,這是由于現(xiàn)在的很多服務(wù)器操作系統(tǒng)都集成了RAID功能。比如 Microsoft Windows NT, Windows 2000, Windows 2003, Novell Netware 和 Linux。 軟件RAID集成于操作系統(tǒng),有比較低的始投資,但是它的CPU占用率非常高,并且只有非常有限的陣列操作功
5、能。由于軟件RAID是在操作系統(tǒng)下實(shí)現(xiàn)RAID,軟RAID不能保護(hù)系統(tǒng)盤(pán)。亦即系統(tǒng)分區(qū)不能參與實(shí)現(xiàn)RAID。有些操作系統(tǒng),RAID的配置信息存在系統(tǒng)信息中,而不是存在硬盤(pán)上;當(dāng)系統(tǒng)崩潰,需重新安裝時(shí),RAID的信息也會(huì)丟失。尤其是軟件RAID 5是CPU的增強(qiáng)方式,會(huì)導(dǎo)致30%-40%I/O功能的降低, 所以不建議使用軟件RAID在增強(qiáng)的處理器服務(wù)器中。2、硬RAID硬RAID最主流最常見(jiàn)的是基于總線的RAID,是由內(nèi)建RAID功能的主機(jī)總線適配器(Host bus adapter)控制,直接連接到服務(wù)器的系統(tǒng)總線上的??偩€RAID具有較軟RAID更多的功能但是又不會(huì)顯著的增加總擁有成本。這樣
6、可以極大節(jié)省服務(wù)器系統(tǒng)CPU和操作系統(tǒng)的資源。從而使網(wǎng)絡(luò)服務(wù)器的性能獲得很大的提高。支持很多先進(jìn)功能如:熱插拔,熱備盤(pán),SAF-TE,陣列管理,等等。并且其價(jià)格相對(duì)較低。它的缺點(diǎn)是要占用PCI總線帶寬,所以PCI I/O 可能變成陣列速度的瓶頸。HostRAID 是一種把初級(jí)的RAID功能附加給SCSI或者SATA卡而產(chǎn)生的產(chǎn)品。它是基于硬和軟RAID之間的一種產(chǎn)品。它把軟件RAID功能集成到了產(chǎn)品的固件上,從而提高了產(chǎn)品的功能和容錯(cuò)能力。它可以支持RAID 0和RAID 1。RAID通過(guò)為數(shù)據(jù)提供校驗(yàn)的方式提高了可用性,在如今各類存儲(chǔ)系統(tǒng)中,RAID已經(jīng)成為不可或缺的重要組成部分,為保護(hù)數(shù)據(jù)
7、發(fā)揮重要作用。三、RAID常用術(shù)語(yǔ)1、Array:陣列磁盤(pán)陣列模式是把幾個(gè)磁盤(pán)的存儲(chǔ)空間整合起來(lái),形成一個(gè)大的單一連續(xù)的存儲(chǔ)空間。NetRAID控制器利用它的SCSI通道可以把多個(gè)磁盤(pán)組合成一個(gè)磁盤(pán)陣列。簡(jiǎn)單的說(shuō),陣列就是由多個(gè)磁盤(pán)組成,并行工作的磁盤(pán)系統(tǒng)。需要注意的是作為熱備用的磁盤(pán)是不能添加到陣列中的。2、Array Spanning:陣列跨越陣列跨越是把2個(gè),3個(gè)或4個(gè)磁盤(pán)陣列中的存儲(chǔ)空間進(jìn)行再次整合,形成一個(gè)具有單一連續(xù)存儲(chǔ)空間的邏輯驅(qū)動(dòng)器的過(guò)程。RAID控制器可以跨越連續(xù)的幾個(gè)陣列,但每個(gè)陣列必需由相同數(shù)量的磁盤(pán)組成,并且這幾個(gè)陣列必需具有相同的RAID級(jí)別。就是說(shuō),跨越陣
8、列是對(duì)已經(jīng)形成了的幾個(gè)陣列進(jìn)行再一次的組合,RAID 1,RAID 3和RAID 5跨越陣列后分別形成了RAID 10,RAID 30和RAID 50。3、Cache Policy:高速緩存策略RAID控制器具有兩種高速緩存策略,分別為Cached I/O(緩存I/O)和Direct I/O(直接I/O)。緩存I/O總是采用讀取和寫(xiě)入策略,讀取的時(shí)候常常是隨意的進(jìn)行緩存。直接I/O在讀取新的數(shù)據(jù)時(shí)總是采用直接從磁盤(pán)讀出的方法,如果一個(gè)數(shù)據(jù)單元被反復(fù)地讀取,那么將選擇一種適中的讀取策略,并且讀取的數(shù)據(jù)將被緩
9、存起來(lái)。只有當(dāng)讀取的數(shù)據(jù)重復(fù)地被訪問(wèn)時(shí),數(shù)據(jù)才會(huì)進(jìn)入緩存,而在完全隨機(jī)讀取狀態(tài)下,是不會(huì)有數(shù)據(jù)進(jìn)入緩存的。4、Capacity Expansion:容量擴(kuò)展在微軟的Windows NT,2000或Novell公司的NetWare 4.2,5操作系統(tǒng)下,可以在線增加目前卷的容量。在Windows 2000或NetWare 5系統(tǒng)下,準(zhǔn)備在線擴(kuò)容時(shí),要禁用虛擬容量選項(xiàng)。而在Windows NT或NetWare 4.2系統(tǒng)下,要使虛擬容量選項(xiàng)可用才能進(jìn)行在線擴(kuò)容。在NetRAID控制器的快速配置工具中,設(shè)置虛擬容量選項(xiàng)為可用時(shí),控
10、制器將建立虛擬磁盤(pán)空間,然后卷能通過(guò)重構(gòu)把增加的物理磁盤(pán)擴(kuò)展到虛擬空間中去。重構(gòu)操作只能在單一陣列中的唯一邏輯驅(qū)動(dòng)器上才可以運(yùn)行,你不能在跨越陣列中使用在線擴(kuò)容。5、Channel:通道在兩個(gè)磁盤(pán)控制器之間傳送數(shù)據(jù)和控制信息的電通路。6、Format:格式化在物理驅(qū)動(dòng)器(硬盤(pán))的所有數(shù)據(jù)區(qū)上寫(xiě)零的操作過(guò)程,格式化是一種純物理操作,同時(shí)對(duì)硬盤(pán)介質(zhì)做一致性檢測(cè),并且標(biāo)記出不可讀和壞的扇區(qū)。由于大部分硬盤(pán)在出廠時(shí)已經(jīng)格式化過(guò),所以只有在硬盤(pán)介質(zhì)產(chǎn)生錯(cuò)誤時(shí)才需要進(jìn)行格式化。7、Hot Spare:熱備用當(dāng)一個(gè)正在使用的磁盤(pán)發(fā)生故障后,一個(gè)空閑、加電并待機(jī)的磁盤(pán)將馬上代替此故障盤(pán),此方法就是熱
11、備用。熱備用磁盤(pán)上不存儲(chǔ)任何的用戶數(shù)據(jù),最多可以有8個(gè)磁盤(pán)作為熱備用磁盤(pán)。一個(gè)熱備用磁盤(pán)可以專屬于一個(gè)單一的冗余陣列或者它也可以是整個(gè)陣列熱備用磁盤(pán)池中的一部分。而在某個(gè)特定的陣列中,只能有一個(gè)熱備用磁盤(pán)。當(dāng)磁盤(pán)發(fā)生故障時(shí),控制器的固件能自動(dòng)的用熱備用磁盤(pán)代替故障磁盤(pán),并通過(guò)算法把原來(lái)儲(chǔ)存在故障磁盤(pán)上的數(shù)據(jù)重建到熱備用磁盤(pán)上。數(shù)據(jù)只能從帶有冗余的邏輯驅(qū)動(dòng)器上進(jìn)行重建(除了RAID 0以外),并且熱備用磁盤(pán)必須有足夠多的容量。系統(tǒng)管理員可以更換發(fā)生故障的磁盤(pán),并把更換后的磁盤(pán)指定為新的熱備用磁盤(pán)。8、Hot swap Disk Module:熱交換磁盤(pán)模式
12、熱交換模式允許系統(tǒng)管理員在服務(wù)器不斷電和不中止網(wǎng)絡(luò)服務(wù)的情況下更換發(fā)生故障的磁盤(pán)驅(qū)動(dòng)器。由于所有的供電和電纜連線都集成在服務(wù)器的底板上,所以熱交換模式可以直接把磁盤(pán)從驅(qū)動(dòng)器籠子的插槽中拔除,操作非常簡(jiǎn)單。然后把替換的熱交換磁盤(pán)插入到插槽中即可。熱交換技術(shù)僅僅在RAID 1,3,5,10,30和50的配置情況下才可以工作。9、I2O(Intelligent Input/Output):智能輸入輸出智能輸入輸出是一種工業(yè)標(biāo)準(zhǔn),輸入輸出子系統(tǒng)的體系結(jié)構(gòu)完全獨(dú)立于網(wǎng)絡(luò)操作系統(tǒng),并不需要外部設(shè)備的支持。I2O使用的驅(qū)動(dòng)程序可以分為操作系統(tǒng)服務(wù)模塊(operating sys
13、tem services module,OSMs)和硬件驅(qū)動(dòng)模塊(hardware device modules,HDMs)。10、Initialization:初始化在邏輯驅(qū)動(dòng)器的數(shù)據(jù)區(qū)上寫(xiě)零的操作過(guò)程,并且生成相應(yīng)的奇偶位,使邏輯驅(qū)動(dòng)器處于就緒狀態(tài)。初始化將刪除以前的數(shù)據(jù)并產(chǎn)生奇偶校驗(yàn),所以邏輯驅(qū)動(dòng)器在此過(guò)程中將一并進(jìn)行一致性檢測(cè)。沒(méi)有經(jīng)過(guò)初始化的陣列是不能使用的,因?yàn)檫€沒(méi)有生成奇偶區(qū),陣列會(huì)產(chǎn)生一致性檢測(cè)錯(cuò)誤。11、IOP(I/O Processor):輸入輸出處理器輸入輸出處理器是NetRAID控制器的指令中心,實(shí)現(xiàn)包括命令處理,PCI
14、和SCSI總線的數(shù)據(jù)傳輸,RAID的處理,磁盤(pán)驅(qū)動(dòng)器重建,高速緩存的管理和錯(cuò)誤恢復(fù)等功能。12、Logical Drive:邏輯驅(qū)動(dòng)器陣列中的虛擬驅(qū)動(dòng)器,它可以占用一個(gè)以上的物理磁盤(pán)。邏輯驅(qū)動(dòng)器把陣列或跨越陣列中的磁盤(pán)分割成了連續(xù)的存儲(chǔ)空間,而這些存儲(chǔ)空間分布在陣列中的所有磁盤(pán)上。NetRAID控制器能設(shè)置最多8個(gè)不同容量大小的邏輯驅(qū)動(dòng)器,而每個(gè)陣列中至少要設(shè)置一個(gè)邏輯驅(qū)動(dòng)器。輸入輸出操作只能在邏輯驅(qū)動(dòng)器處于在線的狀態(tài)下才運(yùn)行。13、Logical Volume:邏輯卷由邏輯磁盤(pán)形成的虛擬盤(pán),也可稱為磁盤(pán)分區(qū)。14、Mirroring:鏡像冗余的一種類型,一個(gè)磁盤(pán)上的數(shù)據(jù)在
15、另一個(gè)磁盤(pán)上存在一個(gè)完全相同的副本即為鏡像。RAID 1和RAID 10使用的就是鏡像。15、Parity:奇偶校驗(yàn)位在數(shù)據(jù)存儲(chǔ)和傳輸中,字節(jié)中額外增加一個(gè)比特位,用來(lái)檢驗(yàn)錯(cuò)誤。它常常是從兩個(gè)或更多的原始數(shù)據(jù)中產(chǎn)生一個(gè)冗余數(shù)據(jù),冗余數(shù)據(jù)可以從一個(gè)原始數(shù)據(jù)中進(jìn)行重建。不過(guò),奇偶校驗(yàn)數(shù)據(jù)并不是對(duì)原始數(shù)據(jù)的完全復(fù)制。在RAID中,這種方法可以應(yīng)用到陣列中的所有磁盤(pán)驅(qū)動(dòng)器上。奇偶校驗(yàn)位還可以組成專用的奇偶校驗(yàn)方式,在專用奇偶校驗(yàn)中,奇偶校驗(yàn)數(shù)據(jù)可分布在系統(tǒng)中所有的磁盤(pán)上。如果一個(gè)磁盤(pán)發(fā)生故障,可以通過(guò)其它磁盤(pán)上的數(shù)據(jù)和奇偶校驗(yàn)數(shù)據(jù)重建出這個(gè)故障磁盤(pán)上的數(shù)據(jù)。16、Power
16、0;Fail Safeguard:掉電保護(hù)當(dāng)此項(xiàng)設(shè)置為可用時(shí),在重構(gòu)過(guò)程中(非重建),所有的數(shù)據(jù)將一直保存在磁盤(pán)上,直到重構(gòu)完成后才刪除。這樣如果在重構(gòu)過(guò)程中發(fā)生掉電,將不會(huì)發(fā)生數(shù)據(jù)丟失的危險(xiǎn)情況。 17、RAID Levels:RAID級(jí)別RAID級(jí)別為不同冗余類型在邏輯驅(qū)動(dòng)器上的應(yīng)用。它可以提高邏輯驅(qū)動(dòng)器的故障容許度和性能,但也會(huì)減少邏輯驅(qū)動(dòng)器的可用容量,每個(gè)邏輯驅(qū)動(dòng)器都必須指定一個(gè)RAID級(jí)別。RAID 1,3和5的邏輯驅(qū)動(dòng)器使用了單一的陣列,。簡(jiǎn)單地說(shuō),RAID 0是沒(méi)有冗余,它可由一個(gè)或多個(gè)物理驅(qū)動(dòng)器組成;RAID 1是鏡像冗余,它在
17、一個(gè)陣列中需要兩個(gè)物理驅(qū)動(dòng)器;RAID 3為專用奇偶校驗(yàn)冗余,即所有的冗余數(shù)據(jù)都存儲(chǔ)在一個(gè)專用的磁盤(pán)上,一個(gè)陣列至少由三個(gè)物理驅(qū)動(dòng)器組成;RAID 5為分散奇偶校驗(yàn)冗余,即陣列中的冗余數(shù)據(jù)分散存儲(chǔ)在陣列中所有磁盤(pán)上,它的一個(gè)陣列中至少需要三個(gè)物理驅(qū)動(dòng)器。RAID 10,30和50是邏輯驅(qū)動(dòng)器跨越陣列而組成的。 18、Read Policy:讀取策略NetRAID控制器提供了三種讀取策略,分別為Read-Ahead(預(yù)讀),Normal(標(biāo)準(zhǔn))和Adaptive(適中)。 預(yù)讀是在運(yùn)行中,控制器不斷的提前讀取未被請(qǐng)求的數(shù)據(jù),把它存儲(chǔ)在內(nèi)存中,并期
18、望這些數(shù)據(jù)能被使用。預(yù)讀可以更快的提供連續(xù)數(shù)據(jù),當(dāng)訪問(wèn)的是隨機(jī)數(shù)據(jù)時(shí)效果就不佳了。標(biāo)準(zhǔn)策略不使用預(yù)讀的方法,當(dāng)讀取的數(shù)據(jù)大部分為隨機(jī)數(shù)據(jù)時(shí),這個(gè)策略是最有效的。適中策略是當(dāng)訪問(wèn)的最后兩個(gè)磁盤(pán)上的數(shù)據(jù)存儲(chǔ)在連續(xù)扇區(qū)上時(shí),將采用預(yù)讀的方法。19、Ready State:就緒狀態(tài)就緒狀態(tài)是一個(gè)可用的硬盤(pán),它即不在線也不是熱備用盤(pán),并可以添加到任一個(gè)陣列中或者指定為熱備用盤(pán)的這種硬盤(pán)狀態(tài)。Rebuild:重建在RAID 1,3,5,10,30或50陣列中把一個(gè)故障盤(pán)上的所有數(shù)據(jù)再生到替換磁盤(pán)上的過(guò)程。磁盤(pán)重建過(guò)程中邏輯驅(qū)動(dòng)器通常不會(huì)中斷對(duì)其數(shù)據(jù)的訪問(wèn)請(qǐng)求。20、Rebuild
19、60;Rate:重建率重建操作過(guò)程的速度。每個(gè)控制器都分配了重建率,它反映的是在重建操作中IOP資源使用的百分比。21、Reconstruct:重構(gòu)在改變RAID級(jí)別后,對(duì)邏輯驅(qū)動(dòng)器上的數(shù)據(jù)重新整理的過(guò)程。22、SCSI Disk Status:SCSI磁盤(pán)狀態(tài)SCSI磁盤(pán)(物理驅(qū)動(dòng)器)可以有以下五種狀態(tài),分別為Ready(就緒),未配置的加電可操作磁盤(pán);Online(在線),配置過(guò)的加電可操作磁盤(pán);Hot Spare(熱備用),當(dāng)一個(gè)磁盤(pán)出現(xiàn)故障時(shí),準(zhǔn)備使用的加電待用磁盤(pán);Failed(故障),磁盤(pán)發(fā)生錯(cuò)誤導(dǎo)致失效或用戶利用NetRAID控制器實(shí)用程序使驅(qū)動(dòng)器脫
20、機(jī)的狀態(tài);Rebuilding(重建),磁盤(pán)正處于從一個(gè)或幾個(gè)關(guān)鍵性邏輯驅(qū)動(dòng)器上恢復(fù)數(shù)據(jù)的過(guò)程中。23、Stripe Size:條帶容量在每個(gè)磁盤(pán)上連續(xù)寫(xiě)入數(shù)據(jù)的總量,也稱作“條帶深度”。你可以指定每個(gè)邏輯驅(qū)動(dòng)器的條帶容量從2KB,4KB,8KB一直到128KB。為了獲得更高的性能,要選擇條帶的容量等于或小于操作系統(tǒng)的簇的大小。大容量的條帶會(huì)產(chǎn)生更高的讀取性能,尤其在讀取連續(xù)數(shù)據(jù)的時(shí)候。而讀取隨機(jī)數(shù)據(jù)的時(shí)候,最好設(shè)定條帶的容量小一點(diǎn)。如果指定128KB的條帶將需要8MB內(nèi)存。24、Striping:條帶化條帶化是把連續(xù)的數(shù)據(jù)分割成相同大小的數(shù)據(jù)塊,把每段數(shù)據(jù)分別寫(xiě)入到陣列中不同磁盤(pán)上
21、的方法。此技術(shù)非常有用,它比單個(gè)磁盤(pán)所能提供的讀寫(xiě)速度要快的多,當(dāng)數(shù)據(jù)從第一個(gè)磁盤(pán)上傳輸完后,第二個(gè)磁盤(pán)就能確定下一段數(shù)據(jù)。數(shù)據(jù)條帶化正在一些現(xiàn)代數(shù)據(jù)庫(kù)和某些RAID硬件設(shè)備中得到廣泛應(yīng)用。25、Virtual Sizing:虛擬容量當(dāng)此設(shè)置生效后,對(duì)一個(gè)邏輯驅(qū)動(dòng)器來(lái)說(shuō),控制器將報(bào)告邏輯驅(qū)動(dòng)器的容量比實(shí)際的物理容量要大的多?!疤摂M”空間可以允許在線擴(kuò)容。26、Write policy:寫(xiě)入策略當(dāng)處理器向磁盤(pán)上寫(xiě)入數(shù)據(jù)的時(shí)候,數(shù)據(jù)先被寫(xiě)入高速緩存中,并認(rèn)為處理器有可能馬上再次讀取它。NetRAID有兩種如下的寫(xiě)入策略:Write Back(回寫(xiě)),在回寫(xiě)狀態(tài)下,數(shù)據(jù)
22、只有在要被從高速緩存中清除時(shí)才寫(xiě)到磁盤(pán)上。隨著主存讀取的數(shù)據(jù)增加,回寫(xiě)需要開(kāi)始從高速緩存中向磁盤(pán)上寫(xiě)數(shù)據(jù),并把更新的數(shù)據(jù)寫(xiě)入高速緩存中。由于一個(gè)數(shù)據(jù)可能會(huì)被寫(xiě)入高速緩存中許多次,而沒(méi)有進(jìn)行磁盤(pán)存取,所以回寫(xiě)的效率非常高。Write Through(完全寫(xiě)入),在完全寫(xiě)入狀態(tài)下,數(shù)據(jù)在輸入到高速緩存時(shí),它同時(shí)也被寫(xiě)到磁盤(pán)上。因?yàn)閿?shù)據(jù)已經(jīng)復(fù)制到磁盤(pán)上,所以在高速緩存中可以直接更改要替換的數(shù)據(jù),因此完全寫(xiě)入要比回寫(xiě)簡(jiǎn)單的多。四、RAID級(jí)別在RAID技術(shù)中,我們常常聽(tīng)到“RAID級(jí)別”這個(gè)詞,RAID級(jí)別是指磁盤(pán)陣列中硬盤(pán)的組合方式,RAID級(jí)別不同,硬盤(pán)組合的方式也就不同,為用戶提供的磁
23、盤(pán)陣列在性能上和安全性的表現(xiàn)上也有不同。目前常見(jiàn)的RAID級(jí)別有RAID0,1,3,5,10,30,50和JOBD等。還有一些并不常見(jiàn)的RAID級(jí)別,這些RAID級(jí)別有些是將來(lái)發(fā)展的方向,有些是單個(gè)公司提出的標(biāo)準(zhǔn),它們提出的這些RAID級(jí)別比我們常見(jiàn)的這些RAID級(jí)別在性能和數(shù)據(jù)恢復(fù)能力上要強(qiáng)大,因此,也被一些公司所采用。多年來(lái),RAID定義了許多級(jí)別,多數(shù)都只是曇花一現(xiàn),轉(zhuǎn)瞬即逝。其中最著名的定義包括如下幾種。 RAID 0以間隔分布的方式將數(shù)據(jù)分配到磁盤(pán)上,可提供更快的訪問(wèn)速度,但并不能為數(shù)據(jù)提供更好的保護(hù)。 RAID 1對(duì)數(shù)據(jù)進(jìn)行復(fù)制,并以鏡像方式存在于不同的磁盤(pán)中,從而為提供良好的容錯(cuò)
24、能力。 RAID 3以間隔分布的方式將數(shù)據(jù)分配到不同的磁盤(pán)上,并且以并行方式訪問(wèn)數(shù)據(jù),從而提高數(shù)據(jù)的讀寫(xiě)速度。該模式將校驗(yàn)位存儲(chǔ)在獨(dú)立的專用磁盤(pán)上,因而可以提供較好的容錯(cuò)性能。 RAID 5 將數(shù)據(jù)和校驗(yàn)位都以間隔分布的方式存儲(chǔ)在所有的磁盤(pán)上,從而取得更好的負(fù)載平衡。該模式在增加數(shù)據(jù)讀取速度的同時(shí)還可以有效地提高數(shù)據(jù)保護(hù)性能。所有這些RAID層都是由一家行業(yè)組織 RAID顧問(wèn)委員會(huì)制訂的。當(dāng)然,除此之外還有一些其他的RAID實(shí)施方式。RAID 2 和4 就是由RAID社團(tuán)定義的,但它們的實(shí)際應(yīng)用極為罕見(jiàn) 。此外,目前比較常見(jiàn)的是將不同層的RAID組合使用的方式,例如RAID 1 和0 (通常寫(xiě)
25、作1+0)及RAID 0 和1 (通常寫(xiě)作0+1)。1+0 就是鏡像式的間隔存儲(chǔ),而0+1則是間隔存儲(chǔ)的鏡像,雖然兩者都是同樣兩種RAID級(jí)別的組合,但它們組合的結(jié)果卻是完全不同的。1、RAID 0: 條帶或串聯(lián)A0A1A2A3A4A5A6A74N-24N-14N4N-3.磁盤(pán)0磁盤(pán)2磁盤(pán)3磁盤(pán)1串聯(lián)-RAID 0:串聯(lián)-RAID 0 串聯(lián)可以復(fù)合多個(gè)物理磁盤(pán)成為一個(gè)單獨(dú)的虛擬磁盤(pán),并按如下方式組織:地址空間是相鄰的、沒(méi)有數(shù)據(jù)冗余 、塊(chunks)可以認(rèn)為是物理磁盤(pán)或相鄰區(qū)域的磁盤(pán)空間。推動(dòng)這種技術(shù)發(fā)展的主要原因是創(chuàng)建一個(gè)大于物理磁盤(pán)容量的虛擬磁盤(pán)設(shè)備。通過(guò)
26、在邏輯上結(jié)合兩個(gè)或更多物理磁盤(pán)來(lái)獲得更大存儲(chǔ)空間。串聯(lián)也能使你擴(kuò)展一個(gè)虛擬磁盤(pán)通過(guò)給它串聯(lián)另外的物理磁盤(pán)。這項(xiàng)技術(shù)不限制磁盤(pán)大小,既成員磁盤(pán)的容量可以不同,而且不會(huì)損失磁盤(pán)空間。陣列管理軟件就是負(fù)責(zé)將3個(gè)物理磁盤(pán)復(fù)合成一個(gè)虛擬磁盤(pán)設(shè)備,對(duì)于應(yīng)用來(lái)說(shuō),它只是個(gè)鄰近的存儲(chǔ)空間。 通過(guò)使用RAID 0的串聯(lián)結(jié)構(gòu)可以獲得以下優(yōu)點(diǎn):ü 當(dāng)數(shù)據(jù)遍布在多個(gè)磁盤(pán)上時(shí),串聯(lián)可以提高隨機(jī)的I/O性能。ü 寫(xiě)性能也是相同的;如果是隨機(jī)讀取的話,也可以提高讀性能。ü 磁盤(pán)的全部容量都可以為用戶存儲(chǔ)數(shù)據(jù)。 局限性主要包括:ü 只使用串聯(lián)將沒(méi)有冗余,串聯(lián)
27、的卷可以通過(guò)鏡像達(dá)到冗余。ü 串聯(lián)的可靠性較低,一個(gè)磁盤(pán)數(shù)據(jù)的丟失將導(dǎo)致所有磁盤(pán)數(shù)據(jù)的丟失。ü 當(dāng)磁盤(pán)滿,數(shù)據(jù)會(huì)通過(guò)所有成員磁盤(pán)擴(kuò)展,但是,當(dāng)磁盤(pán)未滿時(shí),最后的磁盤(pán)將不被使用,降低了磁盤(pán)的利用率。條帶-RAID 0 條帶可以復(fù)合多個(gè)物理磁盤(pán)成為一個(gè)單獨(dú)的虛擬磁盤(pán),并按如下方式組織:地址空間是分段的 、I/O流在磁盤(pán)與磁盤(pán)間交換、沒(méi)有數(shù)據(jù)冗余 、對(duì)性能的增加有意義。推動(dòng)這種技術(shù)發(fā)展的主要原因是為了提高每秒I/O(IOPS)的性能。通過(guò)并行訪問(wèn)設(shè)備來(lái)增強(qiáng)性能。在并行訪問(wèn)中,虛擬設(shè)備中的所有磁盤(pán)大部分時(shí)間都用來(lái)服務(wù)I/O請(qǐng)求,所以提高了I/O的吞吐量
28、。陣列管理軟件就是負(fù)責(zé)把整個(gè)陣列看做一個(gè)單獨(dú)的虛擬磁盤(pán)。它使用多個(gè)物理磁盤(pán)并將它們復(fù)合為一個(gè)虛擬磁盤(pán)給應(yīng)用。I/O流被劃分為稱為條帶(stripe)的段,從一個(gè)邏輯存儲(chǔ)單元映射到兩個(gè)或更多的物理磁盤(pán)。條帶單元是隔行掃描的所以每個(gè)片上的復(fù)合空間也是交替的。在這種結(jié)構(gòu)下,沒(méi)有數(shù)據(jù)保護(hù),實(shí)際上,執(zhí)行條帶化后,丟失一個(gè)磁盤(pán)上的數(shù)據(jù)會(huì)導(dǎo)致所有條帶磁盤(pán)的數(shù)據(jù)丟失。條帶化增強(qiáng)了性能,但是降低了可靠性。通過(guò)使用RAID 0條帶化結(jié)構(gòu)可以獲得的優(yōu)勢(shì)是:ü 對(duì)于大量的連續(xù)的I/O請(qǐng)求和隨機(jī)的I/O請(qǐng)求增強(qiáng)了性能。條帶單元的大小可以根據(jù)順序或隨機(jī)存取而進(jìn)行優(yōu)化。ü 磁盤(pán)的全部容量都可以為用戶存儲(chǔ)
29、數(shù)據(jù)。 局限性主要包括:ü 沒(méi)有冗余ü 條帶化的可靠性較低,丟失一個(gè)磁盤(pán)的數(shù)據(jù)將導(dǎo)致所有條帶磁盤(pán)的數(shù)據(jù)丟失。條帶單元大小的策略:優(yōu)化一個(gè)條帶化RAID 0結(jié)構(gòu)條帶單元大小的策略依賴于卷訪問(wèn)的類型。 順序訪問(wèn)環(huán)境在一個(gè)順序的環(huán)境里,當(dāng)請(qǐng)求涉及到條帶寬度范圍內(nèi)的所有磁盤(pán)成員時(shí),條帶化能夠提高性能。舉例來(lái)說(shuō),一個(gè)條帶包含4個(gè)磁盤(pán),一個(gè)I/O請(qǐng)求為128Kbytes,那么,配置條帶單元的大小為32Kbytes。 隨機(jī)訪問(wèn)環(huán)境在一個(gè)隨機(jī)環(huán)境里,條帶化可以提高性能。隨機(jī)訪問(wèn)受控于磁盤(pán)的搜索和尋道時(shí)間,隨機(jī)的I/O要比順序的I/O小很多,通常是從2Kbytes到8Kb
30、ytes。當(dāng)條帶單元的大小配置為比請(qǐng)求的大小大很多的時(shí)候,性能得到優(yōu)化。舉例來(lái)說(shuō),對(duì)于一個(gè)8Kbytes的請(qǐng)求,至少配置條帶單元的大小為16Kbytes。2、鏡像-RAID 1 A0A0A1A1NN.磁盤(pán)0磁盤(pán)1鏡像提供了數(shù)據(jù)的最大可用性,并有以下功能:所有數(shù)據(jù)的完全冗余拷貝、提高了讀性能、透明化了磁盤(pán)失敗。需要實(shí)現(xiàn)時(shí)用戶必須要有兩個(gè)驅(qū)動(dòng)器。這項(xiàng)技術(shù)發(fā)展的主要原因是它能夠提供高級(jí)別的可用性及可靠性。鏡像(RAID 1)通過(guò)數(shù)據(jù)在獨(dú)立spindes上的多次記錄來(lái)提供冗余。對(duì)于應(yīng)用來(lái)講,鏡像磁盤(pán)顯示為一個(gè)虛擬磁盤(pán)。一旦一個(gè)物理磁盤(pán)失敗,失敗磁盤(pán)上的鏡像也就無(wú)效了,但系統(tǒng)繼續(xù)通
31、過(guò)未受影響的磁盤(pán)進(jìn)行操作。通過(guò)使用RAID 1的鏡像結(jié)構(gòu)可以獲得如下的優(yōu)點(diǎn):ü 在一個(gè)或多個(gè)磁盤(pán)上可以獲得一個(gè)完全冗余的數(shù)據(jù)拷貝ü 如果一個(gè)陣列中的鏡像連接到不同的接口板,就可以達(dá)到非常高的數(shù)據(jù)可靠性級(jí)別。ü 所有驅(qū)動(dòng)器都可以用來(lái)讀取,提高了性能。在一個(gè)多用戶或多任務(wù)環(huán)境下,當(dāng)多個(gè)磁盤(pán)成員要獲得滿意的讀效果時(shí),鏡像提高了讀性能。相反,如果只有單一的卷讀取進(jìn)程,則將不能提高性能。你可以設(shè)置3路鏡像,但性能會(huì)受很大影響。在3路鏡像中,寫(xiě)性能最大為44%。局限性:ü 鏡像需要使用兩倍的磁盤(pán),本質(zhì)上占用了2倍的存儲(chǔ)空間ü 鏡像降低了大約15%的寫(xiě)性能,
32、這實(shí)際上小于典型的RAID 5的寫(xiě)損失。(RAID 5的寫(xiě)性能最大到70%)。3、RAID3:帶奇偶校驗(yàn)碼的并行傳送RAID 3也被稱為帶有專用奇偶位的條帶,每個(gè)條帶片上都有相當(dāng)于一“塊”那么大的空間用來(lái)有效存儲(chǔ)冗余信息,即奇偶位。奇偶位是數(shù)據(jù)編碼信息,如果某個(gè)磁盤(pán)發(fā)生故障,可以用來(lái)恢復(fù)數(shù)據(jù)。在數(shù)據(jù)密集型環(huán)境或單一用戶環(huán)境中尤其有益于訪問(wèn)較長(zhǎng)的連續(xù)記錄。RAID 3需要同步主軸驅(qū)動(dòng)器來(lái)預(yù)防較短記錄導(dǎo)致的性能下降。不論有多少數(shù)據(jù)盤(pán),均使用一個(gè)校驗(yàn)盤(pán),采用奇偶校驗(yàn)的方法檢查錯(cuò)誤。任何一個(gè)單獨(dú)的磁盤(pán)驅(qū)動(dòng)器損壞都可以恢復(fù),但同時(shí)有2塊以上的硬盤(pán)驅(qū)動(dòng)器損壞時(shí)將無(wú)法有效的恢復(fù)數(shù)據(jù)。RAID 3的數(shù)據(jù)讀取速
33、度很快,但寫(xiě)數(shù)據(jù)時(shí)要計(jì)算校驗(yàn)位的值以寫(xiě)入校驗(yàn)盤(pán),速度有所下降。需要實(shí)現(xiàn)時(shí)用戶必須要有三個(gè)以上的驅(qū)動(dòng)器,它主要用于圖形(包括動(dòng)畫(huà))等要求吞吐率比較高的場(chǎng)合。4、RAID 5分布式奇偶校驗(yàn)的條帶化RAID 5,無(wú)獨(dú)立校驗(yàn)盤(pán)的奇偶校驗(yàn)磁盤(pán)陣列。也被稱做帶分布式奇偶位的條帶,每個(gè)條帶片上都有相當(dāng)于一個(gè)“塊”那么大的地方被用來(lái)存放奇偶位。與RAID 3不同的是,RAID 5像分布條帶片上的數(shù)據(jù)那樣把奇偶位信息也分布在所有的磁盤(pán)上。盡管有一些容量上的損失,RAID 5能提供最正確的整體性能,因而也是被廣泛使用的一種數(shù)據(jù)保護(hù)方案。它適合于輸入/輸出密集、高讀/寫(xiě)比率的應(yīng)用程序,如事務(wù)處理等。為了具有RAID
34、 5級(jí)的冗余度,需要最少由三個(gè)磁盤(pán)組成磁盤(pán)陣列(不包括一個(gè)熱備用)。RAID 5可以通過(guò)磁盤(pán)陣列控制器硬件實(shí)現(xiàn),也可以通過(guò)某些網(wǎng)絡(luò)操作系統(tǒng)軟件實(shí)現(xiàn)。RAID 5可以理解為是RAID O和RAID 1的折衷方案。RAID 5可以為系統(tǒng)提供數(shù)據(jù)安全保障,但保障程度要比鏡像低而磁盤(pán)空間利用率要比鏡像高。RAID 5具有和RAID 0相近似的數(shù)據(jù)讀取速度,只是多了一個(gè)奇偶校驗(yàn)信息,寫(xiě)入數(shù)據(jù)的速度比對(duì)單個(gè)磁盤(pán)進(jìn)行寫(xiě)入操作稍慢。同時(shí)由于多個(gè)數(shù)據(jù)對(duì)應(yīng)一個(gè)奇偶校驗(yàn)信息,RAID 5的磁盤(pán)空間利用率要比RAID 1高,存儲(chǔ)成本相對(duì)較低。 優(yōu)點(diǎn):Ø 奇偶校驗(yàn)保護(hù)了單一磁盤(pán)的失敗Ø RAID 5
35、只需要一個(gè)附加的磁盤(pán),其他的都可以用來(lái)存儲(chǔ)數(shù)據(jù)。局限性:Ø 在Veritas VM中,最少需要3塊磁盤(pán)來(lái)完成RAID 5Ø RAID 5不可以被鏡像,通過(guò)奇偶校驗(yàn)信息來(lái)提供冗余Ø 寫(xiě)增強(qiáng)(Write-intersive)性能是很差勁的如果寫(xiě)超過(guò)了20%,那么就可以考慮選擇RAID 0+1了5、鏡像條帶(RAID 0+1)鏡像條帶(RAID 0+1) 復(fù)合條帶化的鏡像可以提供如下功能:極大的提高了性能、完全的數(shù)據(jù)冗余、透明化了磁盤(pán)失敗。使用復(fù)合條帶和鏡像的主要原因是獲得RAID 0的性能和RAID 1的可用性
36、。安裝它需要較高的花銷,但許多用戶認(rèn)為它是值得投資的。兩個(gè)磁盤(pán)可以先進(jìn)行條帶化,然后進(jìn)行鏡像??梢垣@得鏡像的高可靠性。因?yàn)橥瑫r(shí)使用了條帶技術(shù),它的性能要比單獨(dú)使用鏡像的性能要好得多。它的一個(gè)優(yōu)點(diǎn)就是有利于一個(gè)磁盤(pán)上分布數(shù)據(jù)的訪問(wèn)(提高了I/O per second),并增強(qiáng)了數(shù)據(jù)冗余。局限性:RAID 0+1是高花銷的鏡像系統(tǒng),需要2倍的獨(dú)立磁盤(pán)空間。6、條帶-鏡像(RAID 1+0)條帶-鏡像(RAID 1+0) 復(fù)合鏡像化的條帶可以提供以下功能:極大的提高了性能 、完全的數(shù)據(jù)冗余、透明化了磁盤(pán)失敗、比RAID 0+1提供了更高的磁盤(pán)失敗容許RAID 1+0擁
37、有所有RAID 0+1性能及可靠性的優(yōu)點(diǎn),但它允許了更高級(jí)別的磁盤(pán)失敗而不丟失數(shù)據(jù)。RAID 1+0通常在磁盤(pán)失敗后擁有更快的恢復(fù)時(shí)間,因?yàn)樗恍枰鎲为?dú)的條帶來(lái)恢復(fù)而不是整個(gè)鏡像。RAID 1+0推薦在大型卷中使用,因?yàn)椋〉幕謴?fù)時(shí)間是個(gè)關(guān)鍵。RAID 1+0的概念根本不同于RAID 0+1,在RAID 1+0的配置中,每個(gè)條帶是單獨(dú)鏡像的。優(yōu)點(diǎn):因?yàn)槊總€(gè)條帶被獨(dú)立鏡像,可以容許最多允許兩塊硬盤(pán)同時(shí)離線,兩塊離線的硬盤(pán)不能在同一個(gè)RAID1陣列。這個(gè)配置的性能優(yōu)于RAID 0+1。局限性:RAID 1+0是高花銷的鏡像系統(tǒng),需要2倍的獨(dú)立磁盤(pán)空間。7、RAID-30RAID-30也被稱為
38、專用奇偶位陣列條帶。象RAID-0一樣,跨磁盤(pán)抽取數(shù)據(jù);象RAID-3一樣,使用專用奇偶位。RAID-30提供容錯(cuò)能力,并支持更大的卷尺寸。象RAID-10一樣,RAID-30也提供高可靠性,因?yàn)榧词褂袃蓚€(gè)物理磁盤(pán)驅(qū)動(dòng)器失效(每個(gè)陣列中一個(gè)),數(shù)據(jù)仍然可用。RAID-30要求有6、8、10、12、14或16個(gè)驅(qū)動(dòng)器。它適合非交互的應(yīng)用程序,如視頻流、圖形和圖象處理等。這些應(yīng)用程序順序處理大型文件,而且要求高可用性和高速度。8、RAID-50RAID-50也被稱為分布奇偶位陣列條帶。象RAID-0一樣,跨磁盤(pán)抽取數(shù)據(jù);象RAID-5一樣,使用分布式奇偶位。RAID-50提供數(shù)據(jù)可靠性,優(yōu)秀的整體
39、性能,并支持更大的卷尺寸。象RAID-10和RAID-30一樣,即使兩個(gè)物理磁盤(pán)發(fā)生故障(每個(gè)陣列中一個(gè)),也不會(huì)有數(shù)據(jù)丟失。RAID-50最少需要6個(gè)驅(qū)動(dòng)器,最適合需要高可靠性存儲(chǔ)、高讀取速度、高數(shù)據(jù)傳輸性能的應(yīng)用。這些應(yīng)用包括事務(wù)處理和有許多用戶存取小文件的辦公應(yīng)用程序。RAID-50是先做兩個(gè)RAID5陣列,再做RAID0,最多允許兩塊硬盤(pán)同時(shí)離線,兩塊離線的硬盤(pán)不能在同一個(gè)RAID5陣列。9、RAID-6RAID 6是由一些大型企業(yè)提出來(lái)的私有RAID級(jí)別標(biāo)準(zhǔn),它的全稱叫“Independent Data disks with two independent distributed p
40、arity schemes(帶有兩個(gè)獨(dú)立分布式校驗(yàn)方案的獨(dú)立數(shù)據(jù)磁盤(pán))”。這種RAID級(jí)別是在RAID 5的基礎(chǔ)上發(fā)展而成,因此它的工作模式與RAID 5有異曲同工之妙,不同的是RAID 5將校驗(yàn)碼寫(xiě)入到一個(gè)驅(qū)動(dòng)器里面,而RAID 6將校驗(yàn)碼寫(xiě)入到兩個(gè)驅(qū)動(dòng)器里面,這樣就增強(qiáng)了磁盤(pán)的容錯(cuò)能力,同時(shí)RAID 6陣列中允許出現(xiàn)故障的磁盤(pán)也就達(dá)到了兩個(gè),但相應(yīng)的陣列磁盤(pán)數(shù)量最少也要4個(gè)。以下圖是RAID 6的圖解。從圖中我們可以看到每個(gè)磁盤(pán)中都具有兩個(gè)校驗(yàn)值,而RAID 5里面只能為每一個(gè)磁盤(pán)提供一個(gè)校驗(yàn)值,由于校驗(yàn)值的使用可以達(dá)到恢復(fù)數(shù)據(jù)的目的,因此多增加一位校驗(yàn)位,數(shù)據(jù)恢復(fù)的能力就越強(qiáng)。不過(guò)在增加
41、一位校驗(yàn)位后,就需要一個(gè)比較復(fù)雜的控制器來(lái)進(jìn)行控制,同時(shí)也使磁盤(pán)的寫(xiě)能力降低,并且還需要占用一定的磁盤(pán)空間。因此,這種RAID級(jí)別應(yīng)用還比較少,相信隨著RAID 6技術(shù)的不斷完善,RAID 6將得到廣泛應(yīng)用。RAID 6的磁盤(pán)數(shù)量為N+2個(gè)。還有些PC 服務(wù)器不太常用RAID級(jí)別,都還算不上規(guī)范的技術(shù)標(biāo)準(zhǔn),因此,各個(gè)廠商可能也為之以定義了同樣名字,但它們的原理有所區(qū)別,所以,大家在見(jiàn)到這些技術(shù)時(shí),一定要根據(jù)廠商方面的解釋為主。以下是一些不常用的RAID級(jí)別,收集過(guò)來(lái)一部分供大家參考。10、RAID-7RAID 7全稱叫“Optimized Asynchrony for High I/O Rat
42、es as well as High Data Transfer Rates(最優(yōu)化的異步高I/O速率和高數(shù)據(jù)傳輸率)”,它與以前我們見(jiàn)到RAID級(jí)別具有明顯的區(qū)別。RAID 7完全可以理解為一個(gè)獨(dú)立存儲(chǔ)計(jì)算機(jī),它自身帶有操作系統(tǒng)和管理工具,完全可以獨(dú)立運(yùn)行。RAID 7的圖解如下:圖中每個(gè)“柱體”是由多個(gè)磁盤(pán)構(gòu)成,而不是我們以前看到的一個(gè)磁盤(pán)表示一個(gè)“柱體”。從上圖我們可以看出,每個(gè)磁盤(pán)都有一個(gè)獨(dú)立的I/O通道,它們與主通道相連,操作系統(tǒng)可以直接對(duì)每個(gè)磁盤(pán)的訪問(wèn)進(jìn)行控制,可以讓每個(gè)磁盤(pán)在不同的時(shí)段進(jìn)行數(shù)據(jù)讀寫(xiě),這樣就大大改善了I/O的應(yīng)用,同時(shí)也提高了數(shù)據(jù)讀寫(xiě)的能力,而這種磁盤(pán)訪問(wèn)方式也叫做非同步訪問(wèn)。在RAID 7中,提供了一個(gè)磁盤(pán)作為專門(mén)的校驗(yàn)盤(pán),它適合于任何一個(gè)磁盤(pán)進(jìn)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 小學(xué)一年級(jí)上冊(cè)數(shù)學(xué)教學(xué)反思5篇
- 贊助合同模板五篇
- 汽車(chē)試用買(mǎi)賣(mài)合同范本
- 合作拍攝故事片協(xié)議書(shū)
- 2025年全球及中國(guó)聚乙二醇類醫(yī)用密封劑行業(yè)頭部企業(yè)市場(chǎng)占有率及排名調(diào)研報(bào)告
- 2025年全球及中國(guó)配藥注射針行業(yè)頭部企業(yè)市場(chǎng)占有率及排名調(diào)研報(bào)告
- 洗衣店裝修解約協(xié)議書(shū)
- 裝修工程成品保護(hù)協(xié)議
- 2025幼兒園教師師德師風(fēng)自查報(bào)告范文
- 2025年度個(gè)人知識(shí)產(chǎn)權(quán)擔(dān)保合同樣本
- 2025至2030年中國(guó)減肥肽數(shù)據(jù)監(jiān)測(cè)研究報(bào)告
- 2024內(nèi)蒙古公務(wù)員省直行測(cè)、行政執(zhí)法、省考行測(cè)考試真題(5套)
- 2025年安徽馬鞍山市兩山綠色生態(tài)環(huán)境建設(shè)有限公司招聘筆試參考題庫(kù)附帶答案詳解
- 山東省濱州市濱城區(qū)2024-2025學(xué)年九年級(jí)上學(xué)期期末考試化學(xué)試題
- 人教版八年級(jí)美術(shù)下冊(cè)全冊(cè)完整課件
- 1 運(yùn)行方案說(shuō)明
- 北京房地產(chǎn)典當(dāng)合同
- PHILIPS HeartStart XL+操作培訓(xùn)課件
- 檔案工作管理情況自查表
- 蘇科版九年級(jí)(初三)物理下冊(cè)全套課件
- 100個(gè)超高難度繞口令大全
評(píng)論
0/150
提交評(píng)論