版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1、IBM p5服務(wù)器系統(tǒng)虛擬技術(shù)詳解隨著虛擬化技術(shù)的不斷成熟和其成本的不斷降低,虛擬化已經(jīng)不再是高不可攀的高端應(yīng)用,各路軟硬件廠商的跑馬圈地,也逐步形成了服務(wù)器虛擬化這個(gè)無形的生態(tài)鏈,對于企業(yè)而言,則意味著他們可以更好地提高現(xiàn)有資源利用率,以更低地成本投入生產(chǎn)。一幅美好的應(yīng)用前景似乎已經(jīng)在我們眼前顯現(xiàn)出來虛擬化解釋虛擬化是一個(gè)廣義的術(shù)語,在計(jì)算機(jī)方面通常是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行。虛擬化技術(shù)可以擴(kuò)大硬件的容量,簡化軟件的重新配置過程。CPU的虛擬化技術(shù)可以使單CPU模擬多CPU并行,允許一個(gè)平臺同時(shí)運(yùn)行多個(gè)操作系統(tǒng),并且應(yīng)用程序都可以在相互獨(dú)立的空間內(nèi)運(yùn)行而互不影響,從而顯
2、著提高計(jì)算機(jī)的工作效率,實(shí)現(xiàn)一機(jī)多用的功能。硬件虛擬化技術(shù)與目前VMware Workstation等同樣能達(dá)到虛擬效果的軟件不同,是一個(gè)巨大的技術(shù)進(jìn)步,具體表現(xiàn)在減少軟件虛擬機(jī)相關(guān)開銷和支持更廣泛的操作系統(tǒng)方面,硬件虛擬化技術(shù)將核心的編譯過程整合到了芯片中,在編譯速度和兼容性方面有了更高的提升。純軟件虛擬化解決方案存 在很多限制?!翱蛻簟辈僮飨到y(tǒng)很多情況下是通過VMM(Virtual Machine Monitor,虛擬機(jī)監(jiān)視器)來與硬件進(jìn)行通信,由VMM來決定其對系統(tǒng)上所有虛擬機(jī)的訪問。在純軟件虛擬化解決方案中,VMM在軟件套件中的位置是傳 統(tǒng)意義上操作系統(tǒng)所處的位置,而操作系統(tǒng)的位置是傳
3、統(tǒng)意義上應(yīng)用程序所處的位置。這一額外的通信層需要進(jìn)行二進(jìn)制轉(zhuǎn)換,以通過提供到物理資源(如處理器、 內(nèi)存、存儲、顯卡和網(wǎng)卡等)的接口,模擬硬件環(huán)境。這種轉(zhuǎn)換必然會增加系統(tǒng)的復(fù)雜性。此外,客戶操作系統(tǒng)的支持受到虛擬機(jī)環(huán)境的能力限制,這會阻礙特定技術(shù)的部署,如64位客戶操作系統(tǒng)。而CPU 的虛擬化技術(shù)是一種硬件方案,支持虛擬技術(shù)的CPU帶有特別優(yōu)化過的指令集來控制虛擬過程,通過這些指令集,VMM會很容易提高性能,相比軟件的虛擬實(shí)現(xiàn)方式會很大程度上提高性能。虛擬化技術(shù)可提供基于芯片的功能,借助兼容VMM軟件能夠改進(jìn)純軟件解決方案。由于虛擬化硬件可提供全新的架構(gòu),支持操作系統(tǒng)直接在上面運(yùn)行,從而無需進(jìn)行
4、二進(jìn)制轉(zhuǎn)換,減少了相關(guān)的性能開銷,極大簡化了VMM設(shè)計(jì),進(jìn)而使VMM能夠按通用標(biāo)準(zhǔn)進(jìn)行編寫,性能更加強(qiáng)大。另外,在純軟件VMM中,目前缺少對64位客戶操作系統(tǒng)的支持,而隨著64位處理器的不斷普及,這一嚴(yán)重缺點(diǎn)也日益突出。而CPU的虛擬化技術(shù)除支持廣泛的傳統(tǒng)操作 系統(tǒng)之外,還支持64位客戶操作系統(tǒng)。兩大CPU巨頭Intel和AMD都想方設(shè)法在虛擬化領(lǐng)域中占得先機(jī),但是AMD的虛擬化技術(shù)在時(shí)間上要比Intel落后幾個(gè)月。Intel自2005年末開始便在其處理器產(chǎn)品線 中推廣應(yīng)用虛擬化技術(shù)。目前,Intel已經(jīng)發(fā)布了具有Intel VT虛擬化技術(shù)的一系列處理器產(chǎn)品,包括桌面平臺,還有Core Duo
5、系列,以及服務(wù)器/工作站平臺上的基于Paxville核心的Xeon系列;絕大多數(shù)的Intel下一代主流處理器也都支持Intel VT虛擬化技術(shù)。對于潛心研發(fā)虛擬化技術(shù)很多年的IBM,其最近發(fā)布的第二代服務(wù)器處理器Power 5+,有望在四核心處理器的角逐中占得AMD和英特爾的上風(fēng)。虛擬化與超線程的區(qū)別虛擬 化技術(shù)與多任務(wù)以及超線程技術(shù)是完全不同的。多任務(wù)是指在一個(gè)操作系統(tǒng)中多個(gè)程序同時(shí)并行運(yùn)行,而在虛擬化技術(shù)中,則可以同時(shí)運(yùn)行多個(gè)操作系統(tǒng),而且每一 個(gè)操作系統(tǒng)中都有多個(gè)程序運(yùn)行,每一個(gè)操作系統(tǒng)都運(yùn)行在一個(gè)虛擬的 CPU或者是虛擬主機(jī)上;而超線程技術(shù)只是單CPU模擬雙CPU來平衡程序運(yùn)行性能,這
6、兩個(gè)模擬出來的CPU是不能分離的,只能協(xié)同工作。虛擬化有何優(yōu)勢目前,大多數(shù)只能運(yùn)行單一應(yīng)用的服務(wù)器,僅能利用自身資源的20%左右,而其他80甚至更多的資源都處于閑置狀態(tài),這樣就導(dǎo)致了資源的極大浪費(fèi),虛擬化技術(shù)通過資源的合理調(diào)配,利用其它的資源來虛擬其它應(yīng)用將使得服務(wù)器變得更加經(jīng)濟(jì)高效。除能提高利用率外,虛擬化還兼具安全、性能以及管理方面的優(yōu)勢。用戶可以在一臺電腦中訪問多臺專用虛擬機(jī)。如果需要,所有這些虛擬機(jī)均可運(yùn)行完全獨(dú)立的操作系統(tǒng)與應(yīng)用。例如,防火墻、管理軟件和IP語音 所有應(yīng)用均可作為完全獨(dú)立的系統(tǒng)。這為目前單一的系統(tǒng)使用模式提供了巨大的管理和安全優(yōu)勢。在單一的使用模式下,只要某個(gè)應(yīng)用出現(xiàn)
7、故障或崩潰,在故障排除之前,整個(gè)系統(tǒng)都必須停止運(yùn)行,從而導(dǎo)致極高的時(shí)間和成本支出。例如,人們可以在一個(gè)系統(tǒng)當(dāng)中整合多臺服務(wù)器,從而同時(shí)運(yùn)行多種不同的應(yīng)用和操作系統(tǒng),并且獲得如服務(wù)器整合、原有系統(tǒng)移植與更新等維護(hù)方面的優(yōu)勢。虛擬化的其它優(yōu)勢還包括:可以在不中斷用戶工作的情況下進(jìn)行系統(tǒng)更新;可以對電腦空間進(jìn)行劃分,區(qū)分業(yè)務(wù)與個(gè)人系統(tǒng),從而防止病毒侵入、保證數(shù)據(jù)安全。此外,虛擬化緊急情況處理服務(wù)器(Emergency Server)支持快速轉(zhuǎn)移和復(fù)制虛擬服務(wù)器,因而可以提供一種簡單便捷的災(zāi)難恢復(fù)解決方案。IBM服務(wù)器虛擬化簡介IBM P5系列服務(wù)器采用了軟硬件技術(shù)結(jié)合的動(dòng)態(tài)邏輯分區(qū)(LPAR)技術(shù),
8、其最大的特點(diǎn)在于可實(shí)現(xiàn)資源的動(dòng)態(tài)分配而無需重啟操作系統(tǒng),對于企業(yè)而言,重啟操作系統(tǒng)就等同于宕機(jī),這種無形的損失是無法估量的,IBM的動(dòng)態(tài)分配技術(shù)則很好的解決了這一問題。在 動(dòng)態(tài)邏輯分區(qū)(LPAR)技術(shù)的支持下,一個(gè)系統(tǒng)內(nèi)可以獨(dú)立的運(yùn)行多個(gè)分區(qū),每個(gè)分區(qū)運(yùn)行獨(dú)立的操作系統(tǒng),IBM最新的微分區(qū)技術(shù)打破了分區(qū)上以 CPU為“顆?!钡南拗疲梢詫蝹€(gè)CPU劃分為10個(gè)微分區(qū),從而創(chuàng)建和運(yùn)行比物理處理器數(shù)量更多的分區(qū)。新版操作系統(tǒng)AIX 5.3可以支持1/10 CPU顆粒的微分區(qū)。除此之外,新的虛擬化技術(shù)還支持虛擬局域網(wǎng)、共享以太網(wǎng)卡、虛擬SCSI等功能。例如,某企業(yè)擁有企劃部,市場部,人力資源部三個(gè)部
9、門,這時(shí),一臺服務(wù)器即可劃分為三個(gè)獨(dú)立的分區(qū),運(yùn)行各自所需的操作系統(tǒng),服務(wù)器的硬件資源也可從控制臺按需分配,分配方式可選擇根據(jù)使用情況自動(dòng)調(diào)整分配,也可以指定最大使用資源量,分配方式如下圖所示。以4core服務(wù)器為例的虛擬化分配當(dāng)市場部增加運(yùn)算量,需要增加資源使用量時(shí),同樣可以通過控制臺進(jìn)行硬件資源調(diào)整,而這一切操作都無需拆裝硬件或重啟系統(tǒng),只需輕點(diǎn)鼠標(biāo)即可完成。資源調(diào)整后的分配(最小單位可達(dá)到0.1core)結(jié)束語對于用戶而言,服務(wù)器虛擬化走向流行最重要的因素是認(rèn)知度。目前國內(nèi)用戶采用虛擬化技術(shù)的還不多。究其原因主要還是采購和使用習(xí)慣。對于大多數(shù)用戶來說,買一臺服務(wù)器回來劃分成若干個(gè)不同分區(qū)
10、來跑不同的操作系統(tǒng)、不同的數(shù)據(jù)庫、不同應(yīng)用,如果系統(tǒng)一旦出了問題,擔(dān)心后果不堪設(shè)想,而解決的關(guān)鍵就在于讓用戶真 正的了解虛擬化能給他們帶來什么樣的好處。隨著各行業(yè)信息化的發(fā)展,用戶在服務(wù)器等硬件基礎(chǔ)設(shè)施上的投資不斷加大,設(shè)備數(shù)量也急劇增多。但普遍的問題是,數(shù)量眾多而且各自獨(dú)立的硬件設(shè)備難以實(shí)現(xiàn)資源快速靈活的調(diào)整和共享。比如:雖然幾乎所有的應(yīng)用對性能的需求都存在高峰和低谷,并且兩者往往差異巨大,但是由于部署在不同的服務(wù)器上,不同系統(tǒng)的資源無法共享,這造成每個(gè)系統(tǒng)都要按照性能峰值來設(shè)計(jì),造成大量的閑置和浪費(fèi)?!疤摂M化”技術(shù)正為了優(yōu)化資源適用效率,提高系統(tǒng)快速反應(yīng)能力而提出的。對于IBM來說,虛擬已
11、經(jīng)不是一項(xiàng)新技術(shù),在其大型機(jī)上就已經(jīng)得到廣泛應(yīng)用。IBM經(jīng)過多年的經(jīng)驗(yàn)積累和不斷的投入開發(fā),正逐步把虛擬技術(shù)遷移到IBM p系列UNIX/Linux服務(wù)器等產(chǎn)品上。新一代IBM p5系統(tǒng)在硬件平臺發(fā)布的同時(shí)也包括了與其相配套的最新虛擬技術(shù),包括微分區(qū)、虛擬I/O和分區(qū)負(fù)載管理技術(shù)。圖:POWER的高級虛擬化技術(shù)微分區(qū)技術(shù)IBM的微分區(qū)源自大型主機(jī)技術(shù),是基于服務(wù)器虛擬化領(lǐng)域的二項(xiàng)主要突破:物理處理器和I/O設(shè)備的虛擬化。二項(xiàng)虛擬化都可實(shí)現(xiàn)分區(qū)對這類計(jì)算資源的共享。此外,還有其他眾多相關(guān)技術(shù),包括可精細(xì)調(diào)整的資源分配,更大分區(qū)數(shù)量的承載能力和更高資源利用效率。新一代基于POWER 5 / 5+的
12、服務(wù)器上的虛擬化是基于POWER 4的服務(wù)器上的分區(qū)模式的增強(qiáng)。在基于POWER 4的服務(wù)器上,每個(gè)處理器只能被唯一地分配一個(gè)分區(qū)。因?yàn)楸环峙涞奶幚砥鞅晃ㄒ坏姆謪^(qū)占據(jù),所以跨分區(qū)的處理器共享是十分困難的,所以這些分區(qū)被稱作綁定分區(qū)(Dedicated Partition)。在全新基于POWER 5 / 5+的系統(tǒng)中,微分區(qū)模式使單個(gè)物理處理器被“抽象”成多個(gè)虛擬處理器,并可分別進(jìn)行分配。虛擬處理器不能再被共享,但它們的根基-物理處理器則是共享的,因?yàn)檫@些物理處理器已經(jīng)在“平臺層面”進(jìn)行了虛擬化。這種“共享”是全新分區(qū)模式中最根本的特點(diǎn),并具備“自主運(yùn)算能力”。綁定有虛擬處理器的分區(qū)則被稱為共享
13、處理器分區(qū)。圖:p5服務(wù)器的微分區(qū)技術(shù)必須強(qiáng)調(diào)的是虛擬化的“抽象”過程是由硬件和POWER Hypervisor(固件的一個(gè)組成部分)共同完成的。除非專門賦予一個(gè)操作系統(tǒng)區(qū)別物理和虛擬處理器的能力,否則從操作系統(tǒng)的角度來看,一個(gè)虛擬處理器和一個(gè)物理處理器是完全沒有區(qū)別的。在硬件/固件上實(shí)現(xiàn)分區(qū)最大的優(yōu)勢在 于只要經(jīng)過很少甚至根本不需要進(jìn)行應(yīng)用移植,用戶就可以充分利用POWER 5 / 5+及其相關(guān)技術(shù)。此外,為達(dá)到更理想的性能表現(xiàn),還可以選擇進(jìn)一步增強(qiáng)操作系統(tǒng)的功能,實(shí)現(xiàn)對微分區(qū)技術(shù)的深度利用。例如當(dāng)系統(tǒng)處于空閑時(shí),系統(tǒng)會自主 地將CPU的周期釋放給POWER Hypervisor,將資源供給
14、需要的分區(qū)使用。全新推出的AIX 5L V5.3操作系統(tǒng)是第一個(gè)擁有此類功能的AIX 5L版本。系統(tǒng)管理員在設(shè)置和管理系統(tǒng)時(shí),在為一個(gè)分區(qū)指定虛擬處理器數(shù)量的同時(shí),也就相當(dāng)于為它指定虛擬處理器背后所支持的物理處理器數(shù)量和容量。所謂指定“容量”,是指系統(tǒng)管理員可以將一個(gè)物理處理器的部分計(jì)算能力分配給一個(gè)分區(qū),而不必受限于處理器物理上的單位和個(gè)數(shù)。實(shí)現(xiàn)“更精細(xì)”分配處理器計(jì)算能力后,給定系統(tǒng)平臺就能被劃分成更多的分區(qū),所能同時(shí)支持的工作負(fù)荷也實(shí)現(xiàn)了最大化。雖然系統(tǒng)管理的通常做法是將眾多應(yīng)用裝在一個(gè)操作系統(tǒng)下,但絕大多數(shù)用戶出于性能表現(xiàn)和穩(wěn)定性方面的考慮,希望各個(gè)應(yīng)用或工作負(fù)荷間的干擾最小。面對這樣
15、的需求,最好的解決辦法是將不同應(yīng)用或工作負(fù)荷放在完全分開的系統(tǒng)分區(qū)。較之傳統(tǒng)邏輯或物理分區(qū)系統(tǒng),共享處理器技術(shù)因?yàn)槟苤С指喾謪^(qū),使這樣的需求得以更好滿足。該技術(shù)另一個(gè)重要方面就是能顯著提高物理處理器的利用率。有二點(diǎn)可以證明:1. 在分區(qū)層面上,處理器的處理能力能得到更精細(xì)的分配,這主要是源于處理器可以更精細(xì)地進(jìn)行分配。2. 分區(qū)上的操作系統(tǒng)具有主動(dòng)“上繳”計(jì)算能力的功能。當(dāng)一個(gè)分區(qū)沒有什么工作需要做的時(shí)候,系統(tǒng)管理程序(hypervisor)就會將處理器“上繳”的空閑計(jì)算能力分配給其他需要的地方。通過提高物理處理器的利用率,在系統(tǒng)平臺層面上有效降低了系統(tǒng)空閑時(shí)間。從成本角
16、度看,用戶現(xiàn)有UNIX系統(tǒng)的利用率常常只有1025%,一味地通過增加服務(wù)器和處理器數(shù)量來滿足應(yīng)用,勢必使成本上升而收效甚微。而常見的分區(qū) 技術(shù)往往是以大于或者等于1顆物理處理器為單位實(shí)現(xiàn)的,在實(shí)際應(yīng)用中這一界限有時(shí)并不夠精細(xì),尤其是隨著單位CPU的處理能力的不斷提高,就更是如此。如果采用微分區(qū)技術(shù),效果將十分顯著。因?yàn)檫@意味著用戶在服務(wù)器整合中,不再需要買那么多的處理器及其處理能力,資源的劃分和共享也將更為精細(xì)。虛擬I/OI/O虛擬包括四項(xiàng)獨(dú)特的功能:1) 虛擬以太網(wǎng)2) 共享以太網(wǎng)適配器3) 共享光纖通道適配器4) 虛擬磁盤存儲器圖:虛擬體系結(jié)構(gòu)(以p
17、5 570為例)通過共享網(wǎng)絡(luò)適配器和磁盤存儲器,用戶不再需要將它們一對一地綁定在邏輯分區(qū)上,而可以實(shí)現(xiàn)多個(gè)邏輯分區(qū)共享某個(gè)適配器或磁盤,這使得I/O模式更富有經(jīng)濟(jì)性。用戶可以設(shè)置虛擬以太網(wǎng),從而搭建邏輯分區(qū)間的通信網(wǎng)絡(luò)。POWER Hypervisor充當(dāng)了符合IEEE標(biāo)準(zhǔn)的以太網(wǎng)交換,而各個(gè)邏輯分區(qū)的操作系統(tǒng)實(shí)現(xiàn)了虛擬以太網(wǎng)適配器。POWER Hypervisor以太網(wǎng)交換也使IEEE虛擬局域網(wǎng)機(jī)制能夠發(fā)揮作用。使用虛擬以太網(wǎng),用戶可以部署邏輯分區(qū)間的通信,這可在節(jié)省大量物理以太網(wǎng)適配器、擴(kuò)展空間和物理線路的同時(shí)提高通信帶寬。要 讓服務(wù)器內(nèi)部共享以太網(wǎng)及光纖通道適配器和虛擬磁盤存儲器,必須首
18、先建立管理邏輯分區(qū)(Hosting LPAR)?;贏IX 5L操作系統(tǒng)的管理邏輯分區(qū)會被封裝起來,用以簡化系統(tǒng)管理。這些管理邏輯分區(qū)管理著物理的硬件資源,并將這些資源共享給眾多“客戶”邏輯分區(qū)。管理和 “客戶”邏輯分區(qū)間的通信由一組系統(tǒng)管理程序(hypervisor)來實(shí)現(xiàn)。 二層數(shù)據(jù)包轉(zhuǎn)發(fā)器(Packet Forwarder)是實(shí)現(xiàn)物理以太網(wǎng)適配器共享的核心,它負(fù)責(zé)傳遞客戶邏輯分區(qū)和物理以太網(wǎng)適配器間的通信數(shù)據(jù)包。 向“客戶”邏輯分區(qū)分配和映射SAN LUN,實(shí)現(xiàn)了共享物理光纖通道。管理邏輯分區(qū)中的多路徑I/O軟件能保護(hù)管理邏輯分區(qū)和SAN存儲管理器間光纖通
19、道的錯(cuò)誤。 管理分區(qū)中的AIX 5L 邏輯卷管理(LVM)實(shí)現(xiàn)了虛擬磁盤存儲器。系統(tǒng)中的磁盤卷將成為“客戶”邏輯分區(qū)的虛擬磁盤。管理邏輯分區(qū)同樣能有效實(shí)現(xiàn)SCSI目標(biāo)模式(SCSI Target Mode)用戶能通過運(yùn)行多個(gè)I/O管理邏輯分區(qū)來提高系統(tǒng)可用性?!翱蛻簟边壿嫹謪^(qū)能運(yùn)行多路徑I/O軟件防止主機(jī)分區(qū)的錯(cuò)誤。推動(dòng)“自主計(jì)算” 虛擬技術(shù)為客戶帶來價(jià)值企業(yè)已經(jīng)迎來了快速成長的時(shí)代,業(yè)務(wù)日趨復(fù)雜,辦公場所逐年增加,所有這些都給IT建設(shè)提出了更多挑戰(zhàn)。傳統(tǒng)的環(huán)境中,服務(wù)器數(shù)量將無序增長,應(yīng)用增加、重 疊和互相干擾,又引致服務(wù)器數(shù)量的進(jìn)一步增加,形成惡性循環(huán),這無疑都導(dǎo)致IT管理成本呈現(xiàn)幾何級數(shù)增長。要打破惡性循環(huán)鏈,實(shí)現(xiàn)自主計(jì)算,并大大簡化 IT基礎(chǔ)架構(gòu),虛擬化無疑是理想的選擇。服務(wù)器整合和集中隨著企業(yè)的發(fā)展,IT部門積累了各個(gè)時(shí)期運(yùn)行各種應(yīng)用的大大小小服務(wù)器,擁有邏輯分區(qū)能力的IBM p系列服務(wù)器在這樣的環(huán)境就大有用武之地,IBM p5系統(tǒng)的微分區(qū)技術(shù)更可大放光芒。通過微分區(qū)技術(shù),用戶將可以根據(jù)實(shí)際應(yīng)用的計(jì)算力需要,將基于POWER 5 / 5+處理器的系統(tǒng)劃分成大小不一的微分區(qū),實(shí)現(xiàn)虛擬微分區(qū)對現(xiàn)有物理服務(wù)器的完全取代。以單臺基于POWER 5 / 5+的p5系
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2023年塔城地區(qū)招聘初高中教師筆試真題
- 2023年山東泰安技師學(xué)院招聘考試真題
- 2024年孔隙水壓力計(jì)項(xiàng)目規(guī)劃申請報(bào)告
- 2023年菏澤市第六人民醫(yī)院招聘備案制人員考試真題
- 2024年制導(dǎo)儀項(xiàng)目提案報(bào)告
- 白蟻防治處理方案
- 白涼粉烘焙課程設(shè)計(jì)
- 病蟲害防治課程設(shè)計(jì)
- 病毒治療策略研究報(bào)告
- 病房呼叫控制器課程設(shè)計(jì)
- 充電樁整體解決方案PPT幻燈片(PPT 27頁)
- 物業(yè)服務(wù)集團(tuán)全員品質(zhì)督導(dǎo)策劃方案
- 建筑設(shè)計(jì)基礎(chǔ)(ppt)課件
- 半導(dǎo)體芯片項(xiàng)目商業(yè)計(jì)劃書范文參考
- 邯鄲市政府采購辦事指南
- 城市初期雨水污染治理
- 在護(hù)林員培訓(xùn)班上的講話護(hù)林員會議講話稿.doc
- 材料科學(xué)基礎(chǔ)-第7章-三元相圖
- (完整word版)高頻變壓器的設(shè)計(jì)
- 公路工程2018各項(xiàng)費(fèi)用的計(jì)算程序及計(jì)算方式
- 戶外急救知識(必備)
評論
0/150
提交評論