![服務器的架構和組成_第1頁](http://file3.renrendoc.com/fileroot_temp3/2022-3/11/0daba97c-5b7a-4b3c-a29f-c95dcefd24e0/0daba97c-5b7a-4b3c-a29f-c95dcefd24e01.gif)
![服務器的架構和組成_第2頁](http://file3.renrendoc.com/fileroot_temp3/2022-3/11/0daba97c-5b7a-4b3c-a29f-c95dcefd24e0/0daba97c-5b7a-4b3c-a29f-c95dcefd24e02.gif)
![服務器的架構和組成_第3頁](http://file3.renrendoc.com/fileroot_temp3/2022-3/11/0daba97c-5b7a-4b3c-a29f-c95dcefd24e0/0daba97c-5b7a-4b3c-a29f-c95dcefd24e03.gif)
![服務器的架構和組成_第4頁](http://file3.renrendoc.com/fileroot_temp3/2022-3/11/0daba97c-5b7a-4b3c-a29f-c95dcefd24e0/0daba97c-5b7a-4b3c-a29f-c95dcefd24e04.gif)
![服務器的架構和組成_第5頁](http://file3.renrendoc.com/fileroot_temp3/2022-3/11/0daba97c-5b7a-4b3c-a29f-c95dcefd24e0/0daba97c-5b7a-4b3c-a29f-c95dcefd24e05.gif)
版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、一 ,服務器概述服務器是指在局域網(wǎng)中,一種運行管理軟件以控制對網(wǎng)絡或網(wǎng)絡資源(磁盤驅動器、打印機等)進 行訪問的計算機,并能夠為在網(wǎng)絡上的計算機提供資源使其猶如工作站那樣地進行操作。從廣義上講,服 務器是指網(wǎng)絡中能對其它機器提供某些服務的計算機系統(tǒng)(如果一個PC對外提供ftp服務,也可以叫服務器)。從狹義上講,服務器是專指某些高性能計算機,能通過網(wǎng)絡,對外提供服務。相對于普通PC來說,穩(wěn)定性、安全性、性能等方面都要求更高,因此在 CPU芯片組、內(nèi)存、磁盤系統(tǒng)、網(wǎng)絡等硬件和普通PC有所不同。服務器作為網(wǎng)絡的節(jié)點,存儲、處理網(wǎng)絡上80%的數(shù)據(jù)、信息,因此也被稱為網(wǎng)絡的靈魂。做一個形象的比喻:服務器
2、就像是郵局的交換機,而微機、筆記本、 PDA手機等固定或移動的網(wǎng)絡終端,就如散 落在家庭、各種辦公場所、公共場所等處的電話機。日常的生活、工作中的電話交流、溝通,必須經(jīng)過交 換機,才能到達目標電話;同樣如此,網(wǎng)絡終端設備如家庭、 企業(yè)中的微機上網(wǎng),獲取資訊,與外界溝通、 娛樂等,也必須經(jīng)過服務器,因此也可以說是服務器在“組織”和“領導”這些設備。服務器的構成與微機基本相似,有處理器、硬盤、內(nèi)存、系統(tǒng)總線等,它們是針對具體的網(wǎng)絡應用 特別制定的,因而服務器與微機在處理能力、穩(wěn)定性、可靠性、安全性、可擴展性、可管理性等方面存在 差異很大。服務器的功能:提供服務-IP地址將一種資源共享給多個請求者-
3、數(shù)據(jù)庫將一種設備共享給多個請求者-打印機為其他系統(tǒng)開放網(wǎng)關-Web提供處理能力-數(shù)字存儲內(nèi)容-數(shù)據(jù),服務器的主要分類服務器往往被用于運行企業(yè)或個人的關鍵業(yè)務,所以對其性能與可靠性方面的要求會遠遠高于桌面電腦。一般來說服務器的 CPU內(nèi)存、網(wǎng)絡、存儲都會使用企業(yè)級部件。譬如相比桌面電腦常用的Intel酷睿系列CPU服務器的CPU往往會采用性能更穩(wěn)定強大的Intel至強(Xeon)系列或者 舊M的Power系列。而內(nèi)存也會采用帶有諸如ECC效驗等自恢復功能的高速企業(yè)級內(nèi)存。為了滿足特定的業(yè)務需求,不同種類的服務器又會在網(wǎng)絡、存儲、內(nèi)存、顯卡等方面進行強化。如電信行業(yè)采用的服務器往往會配備高速網(wǎng)卡以
4、配合高速交換機;數(shù)據(jù)倉庫應用中的服務器往往會配備高速光纖卡以便通過光纖接口(FabricChannel )與存儲網(wǎng)絡配合。按照體系架構來區(qū)分,服務器主要分為兩類:非x86服務器:包括大型機、小型機和UNIX服務器,它彳門是使用 RISC (精簡指令集)或 EPIC處理器,并且主要采用 UNIX和其它專用操作系統(tǒng)的服務器,精簡指令集處理器主要有舊M公司的POWE和PowerPC處理器,SUNT富士通公司合作研發(fā)的SPARCL理器、EPIC處理器主要是HP與Intel合作研發(fā)的安騰處理器等。這種服務器價格昂貴,體系封閉,但是穩(wěn)定性好,性能強,主要用在金融、電信等大型企 業(yè)的核心系統(tǒng)中。x86服務器
5、:又稱CISC (復雜指令集)架構服務器,即通常所講的PC服務器,它是基于PC機體系結構,使用Intel或其它兼容x86指令集的處理器芯片和Windows操作系統(tǒng)的服務器,如舊M的System x系列服務器、HP的Proliant 系列服務器等。價格便宜、兼容性好、穩(wěn)定性差、不安全,主要用在中小企業(yè)和非關鍵業(yè)務中。CISC型 CPUCISC是英文"Complex Instruction Set Computer"的縮寫,中文意思是“復雜指令集”,它是指英特爾生產(chǎn)的x86(intel CPU勺一種命名規(guī)范)系列CPU及其兼容CPU度他廠商如AMD,VIA等生產(chǎn)的CPU), 它
6、基于PC機(個人電腦)體系結構。這種 CPLH般者B是32位的結構,可稱為IA-32 CPU。(IA: Intel Architecture , Intel架構)。CISC型CPU目前主要有intel的服務器 CPU口 AMD勺服務器 CPU兩類。RISC型 CPURISC 是英文“Reduced Instruction Set Computing ”的縮寫,中文意思是“精簡指令集”。它是在 CISC(Complex Instruction Set Computer) 指令系統(tǒng)基礎上 發(fā)展起來的,相對于 CISC型CPU, RISC型CPU僅精簡了指令系統(tǒng),還采用了一種叫做“超標量和超流 水線
7、結構”,架構在同等頻率下,采用 RISC架構的CPUt匕CISC架構的CPU性能高很多,這是由 CPU的技 術特征決定的。RISC型CPUT Intel和AMD勺CP唯軟件和硬件上都不兼容。根據(jù)不同的業(yè)務需求與應用場景可以將服務器架構分為通用式服務器、機架式服務器、刀片服務器 和企業(yè)服務器。下面將以 舊M System x為例介紹這些架構的組成、特點與適用場景。直立式服務器(塔式服務器):為可獨立放置于桌面或地面的服務器,大都具有較多的擴充槽及硬盤空間.無需額外設備,插上電即 可使用,因此使用最為廣泛。外形上和立式桌面電腦很相似,不過其主板可擴展性更高。此種服務器一般使用入門級至強處理器如 E
8、5-2400, E3-1200 ,也可以使用低成本的酷睿、奔騰、賽揚系列。適用于中小型企 業(yè)的文件與打印、電子郵件與協(xié)作、防火墻、分布式分支機構等業(yè)務。機架式服務器:機架式服務器外形有別于桌面計算機,更像交換機,其使用工業(yè)標準尺寸可以安放在標準的19英寸機柜中。相比塔式服務器機架式服務器更節(jié)約空間,同時性能上也更強大。為可裝上機柜之服務器,主要作用為節(jié)省空間,機臺高度以1U為單位,1U約44mm因空間較局限,擴充性較受限制,例如1U的服務器大都只 有1到2個PCI擴充槽.此外,散熱性能成為十分重要的因素,此時,各家廠商的功力就在此展現(xiàn)了。缺點是 需要有機柜等設備,多為服務器用量較大的企業(yè)使用。
9、此種服務器一般采用中端的至強系列處理器如E5-2600、E5-4600。適用于文件與打印、零售、網(wǎng)絡基礎架構、分布式應用程序、Web服務、Web 2.0、虛擬化、光數(shù)據(jù)庫、ERP應用程序、小型 HPC安裝、ERP部署和虛擬化。刀片服務器:可算是比機架式服務器更節(jié)省空間的產(chǎn)品 .主要結構為一大型主體機箱,內(nèi)部可插上許多卡片,一張 卡片即相當于一臺服務器.當然,散熱性在此非常重要,往往各 家廠商都裝上大型強力風扇來散熱 .此型服 務器雖然空間較節(jié)省,但光是主體機箱部份可能就所費不費,除大型企業(yè)外較少使用。企業(yè)服務器企業(yè)服務器擁有更高的性能與可靠性,可以滿足嚴苛業(yè)務需求。企業(yè)服務器一般需要安置在標準
10、機 架上工作,所以外形上類似于機架式服務器,另外也有高性能的刀片版本。此類服務器一般采用高端的至 強系列處理器,例如 Xeon E7系列??梢蕴峁┏蟮膬?nèi)存容量、內(nèi)存帶寬和存儲空間以優(yōu)化數(shù)據(jù)庫和虛擬 環(huán)境。適用于虛擬化、數(shù)據(jù)庫和企業(yè)級工作負載的平衡系統(tǒng)。以舊M System x3850 X5 and x3950 X5 為例。EM System x3850 X5基于最新一代 EM?企業(yè)級 X 架 構?技術和處理器構建,可在節(jié)能、經(jīng)濟的設計中提供卓越的性能和無與倫比的可靠性。其最大的優(yōu)點是能 提供超凡的可擴展性和靈活性,幫助客戶在正確的時間獲得正確的功能??蛻粜枰员纫酝斓乃俣葘?解決方案部署
11、在數(shù)據(jù)中心內(nèi)并產(chǎn)生回報。x3950 X5工作負載優(yōu)化系統(tǒng)是交鑰匙式的解決方案,專為高性能數(shù)據(jù)庫或虛擬化環(huán)境而配置。多個型號均配置實現(xiàn)了處理能力、內(nèi)存、高性能存儲、網(wǎng)絡和軟件的出色平 衡,可以針對客戶的數(shù)據(jù)庫應用程序、虛擬化或SAP HANA環(huán)境自由選擇。x3850 X5服務器允許自由選擇極其靈活的配置以及內(nèi)存擴展功能。模塊化的構建模塊設計使客戶既能夠按照當前需求自定義系統(tǒng),又 能夠應對不斷變化的工作負載??蓮碾p處理器系統(tǒng)擴展為擁有多達 4個處理器??梢蕴砑拥诙€系統(tǒng),以便創(chuàng)建一個八處理器系統(tǒng)。起始配置為2個內(nèi)存DIMM,可憑借雙節(jié)點系統(tǒng)和 2個MAX5內(nèi)存擴展選件擴展至多達192個。根據(jù)環(huán)境變
12、化重新分配資源。x3850 X5能夠滿足客戶的當前需求,同時提供一種簡便、經(jīng)濟有效的升級途徑,可在客戶做好準備時更改環(huán)境。IBM System x3850 X5下一代服務器(PureSystems )如今,IT領導者正在運用各種方法努力打造智慧的運算。許多領導者使用靈活的通用系統(tǒng)構建自己 量身定制的系統(tǒng),隨后對這些系統(tǒng)進行優(yōu)化,以滿足其特定的業(yè)務環(huán)境需求。但為了成功實現(xiàn)優(yōu)化,這些 領導者需要耗費大量的時間和精力。此外,企業(yè)領導者還會利用高級硬件設備的簡便性來打造智慧運算環(huán) 境,并當這些方法奏效之后,他們會充分利用云計算的彈性。為此舊M推出了包含最佳實踐和專家能力的PureSystems專家集成
13、系統(tǒng)。專家集成系統(tǒng)是指功能構建塊。這些構建塊是數(shù)千次部署、成熟最佳實踐、創(chuàng)新思維和IT行業(yè)領先地位的完美結晶。專家集成系統(tǒng)分為兩種類型:平臺系統(tǒng)和基礎架構系統(tǒng)。這兩種專家集成系統(tǒng)均可節(jié) 省您IT專業(yè)人員的時間和技能,使您的團隊能夠集中精力專注于創(chuàng)新和發(fā)展。這些集成式系統(tǒng)可向整個 企業(yè)各個級別的不同角色提供專家能力,無論是業(yè)務領導者、還是數(shù)據(jù)中心經(jīng)理概不例外。以 IBM PureFlexSystem為例。PureFlex System 是具有專家集成技能的完整基礎架構系統(tǒng)。這款舊M產(chǎn)品為您提供了一款集成式的計算系統(tǒng),它將服務器、存儲設備、網(wǎng)絡、虛擬化和管理全面結合至單一結構中。PureFlex
14、System性能提供的預置專家能力可幫助企業(yè)領導者簡化管理,靈活部署使用統(tǒng)一管理的虛擬和硬件資源的集成模式。高效性和操作的靈活性有助于支持業(yè)務領導者以更低的成本快速部署IT服務。止匕外,PureFlex System建立在數(shù)十年的專家能力基礎上。因此,它能夠支持您深入集成并集中管理綜合全面的開放式基礎架構系統(tǒng)。這樣,您有望顯著降低管理和部署系統(tǒng)所需的技能成本和培訓成本。按照用途分類如下:文件服務器:文件服務器根據(jù)客戶端的請求,對數(shù)據(jù)進行存儲、檢索及更新。打印服務器:有了打印服務器,就不必在每個客戶端上安裝打印機。并且,打印服務器支持各種打印機類型及打 印隊列。22數(shù)據(jù)庫服務器:數(shù)據(jù)庫服務器的主
15、要功能就是從磁盤存儲、搜索、檢索及更新數(shù)據(jù)Email服務器Email服務器作為電子郵件的存儲庫及路由器,負責將電子郵件發(fā)送到目的地Web服務器Web服務器用于寄存Web網(wǎng)頁,并可運行服務器密集型Web應用?;A服務器-DNSDNS服務器負責處理客戶端的名稱解析請求?;A服務器DHCPDHCP服務器負責處理客戶端的IP地址請求*九虛擬化服務器虛擬化平臺能夠使多操作系統(tǒng)在相同的物理硬件上同時運行。三.舊M的x86服務器舊M的x86服務器主要是System X系列(以X開頭的服務器均為 X系列服務器的型號)。 舊M System x系列服務器是基于Intel和AMD勺x86架構處理器而開發(fā)的,主要面
16、向中小型企業(yè)。從最初的PC服務器發(fā)展到現(xiàn)今的企業(yè)級 x系列服務器架構,舊M System x經(jīng)歷了四代的演變,融合了舊M開發(fā)大型主機的40多年經(jīng)驗,能夠向用戶提供低成本、高可用性、高可靠性及可擴展的企業(yè)級應用服務器。同時舊M Systemx還向用戶提供了一系列靈活的系統(tǒng)管理工具,使得系統(tǒng)的維護更為便捷和高效。舊M公司的服務器產(chǎn)品包括 IBM System z, IBM System i, IBM System p, IBM SystemStorage和IBM System x。如圖所示, 舊M采用了在大型機和小型機( 舊M System z , IBM System i和IBM System
17、p)多年來的技術優(yōu)勢和深厚積累,比如群集擴展性能,高可靠性,高可用性和高可管理性,把一系列領先技術(光通道、遠程聯(lián)接診斷、超級并行交換開關、熱插拔和熱添加)系統(tǒng)地移植到System x服務器,從而使 舊M System x系統(tǒng)地吸收了 舊M四十多年來在高可靠企業(yè)計算系統(tǒng)方面的技術精華。IBM System x的名字起源于 舊M的PC服務器,后來更名 Netfinity ,然后更名為 eServer xSeries , 現(xiàn)在是System x ,但貫穿其中不變的是 舊M企業(yè)級x系列服務器架構(Enterprise X-Architecture ), 為用戶提供了以前舊M僅向大型機和其它高端系統(tǒng)用
18、戶提供的高級功能。如下表所示,舊M System x具有高可用性,高靈活性,開放性,高性能和高擴展性,簡化的可管理 性,虛擬化,強大的支持和可服務性。IBMSystem x 特點實現(xiàn)高可用性 熱插拔和冗余 預測故障分析(Predictive Failure Analysis: PFA 高級內(nèi)存- Chipkill- 在線備用- 內(nèi)存鏡像- 熱插拔和熱添加內(nèi)存矢量校準冷卻(CalibratedVector Cooling )身靈活性 平臺選擇 升級選擇和選項 集成RAID 集成主板管理控制器(Baseboard ManagementControllers: BMC ) eXtended I/O
19、領先的每瓦性能長期穩(wěn)定性和兼容性開放性最新技術和標準 B合作伙伴納入管理高性能和高擴展性 X3/X4架構 按需擴展(XpandOnDemand簡化的可管理性BMC和 RSA IBM Director-多平臺-多供應商-插件-企業(yè)集成 Power Executive服務能力和支持光通路診斷組件的顏色編碼 IBM服務和支持-多平臺-多供應商-軟件支持電子服務代理商虛擬化 VMware銷售和支持(IBM BladeCenter HS21 XM 刀片服務器和 舊M System x3850 M2服務器集成 VMwareESXServer 3i )IBM Director虛擬化管理器為了
20、滿足日益增長的 Web 2.0企業(yè)和數(shù)據(jù)中心的需求,2008年4月23日,IBM發(fā)布了互聯(lián)網(wǎng)級服務 器舊M System x iDataplex ,提供量身定制的互聯(lián)網(wǎng)級數(shù)據(jù)中心,在相同的電源和散熱模塊封裝中容納更 多的處理器,更高效地利用空間。IBM System x iDataPlex是一款互聯(lián)網(wǎng)級的解決方案,可幫助客戶克服在電源、散熱和物理空間方面的限制。iDataPlex解決方案采用創(chuàng)新的設計,將基于 Intel處理器的處理融入到了節(jié)點、機架和數(shù)據(jù) 中心內(nèi),可以提高電源和散熱效率并獲得所需的計算密度。iDataPlex解決方案圍繞Flex Node技術構建,提供了定制的解決方案,以滿足
21、客戶對計算能力、存儲密度和聯(lián)網(wǎng)的特殊業(yè)務需求。圖1.2顯示了舊M System x iDataplex外觀圖,其最突出的三大優(yōu)點是節(jié)能,高密度計算和易用。1)節(jié)能:iDataPlex服務器配備了水冷裝置來取代空氣制冷設備,其適用于互聯(lián)網(wǎng)級數(shù)據(jù)中心的靈活設計其能耗僅為40%,大幅減少散熱成本;最小化甚至免除空調開支。(參見文獻2)2)高密度計算:iDataplex獨特的機架設計專門經(jīng)過優(yōu)化,可以大大節(jié)省占地空間。創(chuàng)新的機架體系 架構與標準1U機架相比使服務器密度提高了一倍以上,計算密度提高了5倍。(參見文獻2)3)易用:借助布滿可輕松管理的組件的智能機架,iDataPlex解決方案可以整合信息提
22、供單點參考,快速一瞥便可以知曉一切是否工作正常。iDataPlex服務器使用前端訪問式布線易于維修和管理,您無需操作后面板便可以完成工作。其自定義設計能支持應用軟件和工作負載的特殊需求,iDataPlex服務器的機箱在工廠中已經(jīng)完成整體的配置,全面的測試和集成,然后整機出廠直接交付給用戶。iDataplex是一種交鑰匙式的解決方案,由于在工廠中已經(jīng)完成了所有的集成工作,這樣用戶第一天就可以開始iDataplex并且iDataplex采用包括Linux操作系統(tǒng)和集群管理技術xCat在內(nèi)的工業(yè)標準化組件,從而減少了服務器的運行成本和有助于第三方廠商的集成。IBM企業(yè)級X系列服務器架構在2007年,
23、舊M推出了第四代企業(yè)級 x系列服務器架構(Enterprise X-Architecture )。第四代企業(yè)級x系列服務器架構提供無與倫比的解決方案,允許利用16、32甚至64個并行處理單元或“內(nèi)核”。第四代EXA技術能夠在可擴展性、可靠性、可用性和卓越的設計之間維護系統(tǒng)均衡,以便通過一個高能效的產(chǎn)品來滿足數(shù)據(jù)庫處理、企業(yè)應用主機托管及通過虛擬化整合服務器等要求。下表簡單地回顧了舊M企業(yè)級x系列服務器架構的歷史和各個階段的主要特點。企業(yè)級x系列服務器架構推出時間及機型主要特點第一代2002 年 x440內(nèi)存鏡像32MB XceL4服務器加速緩存第二代2003 年 x445 熱插拔內(nèi)存 聚集I/
24、O提高40% 延時降低12% 64MB XceL4服務器加速緩存第三代2005 年 x366 雙總線架構 支持x86 64位擴展(EM64T) 96MB XceL4服務器加速緩存 支持PCI-X 2.0 ,所有槽66MHz第四代2007 年 x3850 M2 處理器獨占白前端總線(FSB) 前端總線(FSB)頻率從667 MH遍高至 11066 MHz 內(nèi)存帶寬從333 MHz提高到67 MHz 內(nèi)存容量提高4倍 支持4核 提供系統(tǒng)管理虛擬化模塊組(embeddedhypervisor capability):內(nèi)嵌 4GB VMWare ESX 3iU盤舊M企業(yè)級x系列服務器架構吸收了舊M 4
25、0多年來在大型機和小型機方面的設計精華,通過簡化管理、降低成本和提高可用性,降低了用戶的總擁有成本。其主要包含以下技術:XpandOnDeman暇需擴展PCI-X I/O 和 Active PCI-X I/O高級內(nèi)存子系統(tǒng)XceL4服務器加速緩存XpandOnDeman散需擴展XpandOnDeman能夠按照系統(tǒng)擴展,提供根據(jù)客戶需求付費的可擴展性,從而保護了客戶的現(xiàn)有投資。通過使用業(yè)內(nèi)標準的硬件,XpandOnDemancdT以輕松實現(xiàn)更高性能。比如只需要通過XpandOnDeman數(shù)據(jù)跳線連接4臺4路x3950 M2服務器(Intel 6核至強處理器)就可升級為1臺16路服務器(96個In
26、tel處理器內(nèi)核)。這些功能使用戶可以根據(jù)需求變化來動態(tài)增加處理器和內(nèi)存容量。下圖顯示了使用 舊M System x3950 M2來進行XpandOnDeman按需擴展,動態(tài)地增加處理器,內(nèi)存和磁盤控制器PCI-X IO 和 Active PCI-X IO當前PCI總線帶寬不夠支持新興的10 Gbps (或更高)I/O環(huán)境。舊M與其他公司于1998年提出并實現(xiàn)了 PCI-X標準,主要用來解決日益增長的高速設備(高速以太網(wǎng)卡,光纖通道,Ultra3 SCSCS配卡等)和多處理器集群間通信所帶來的總線帶寬瓶頸。IBM System x服務器支持最新的PCI-X標準,其成倍提高了 PCI總線帶寬,緩
27、解了 I/O瓶頸。IBM System x服務器支持Active PCI-X 允許用戶無需關閉服務器就可添加或更換Active PCI 和Active PCI-X 卡,支持如下特性:?熱插拔:允許用戶更換故障或即將發(fā)生故障的適配器,無需重啟?熱添加:提供簡便升級,允許用戶在服務器運行時添加新適配器(舊M是業(yè)界第一家提供這一特性的廠商)?故障切換:在主適配器故障時允許備份適配器負責運行所有正在處理的業(yè)務高級內(nèi)存系統(tǒng)IBM System x使用了很多先進的內(nèi)存技術,其主要包含以下四種技術:1)Chipkill 內(nèi)存:Chipkill內(nèi)存最初是由20年前的IBM大型機發(fā)展過來的,ChipKill最初
28、是為美 國航空航天局(NASA的“探路者”探測器赴火星探險而研制。它是舊M公司為了解決服務器 ECC (ErrorChecking and Correcting )內(nèi)存技術的不足而開發(fā)的。 ECC#信息進行8比特編碼時,只能改正 1比特的錯誤和檢查到(但不改正)2比特的錯誤。而Chipkill內(nèi)存提供對每個DRAW存糾正2比特錯誤的能力,進一步提高了服務器的可靠性。2)Memory ProteXion : Memory ProteXion 最初開發(fā)用于IBM 大型機并且多年來用于IBM System z 和IBM System i 服務器,用來幫助保護不出現(xiàn)由于硬內(nèi)存錯誤導致的突發(fā)故障。它的工
29、作方式是:如果系統(tǒng)檢測到DIMM內(nèi)存上有壞扇區(qū),它將把數(shù)據(jù)寫到備用扇區(qū)以實現(xiàn)這一目的。Memory ProteXion在DIMMB別工作,可糾正多位元 DRAMt誤并進一步防止數(shù)據(jù)丟失。3)內(nèi)存鏡像:在該項技術中,內(nèi)存的管理方法與RAID配置中磁盤鏡像非常類似。在這種情況下,主內(nèi)存條上數(shù)據(jù)的精確映射被鏡像到備用內(nèi)存條。結果是,如果一根內(nèi)存條出現(xiàn)故障,鏡像的內(nèi)存條將變?yōu)橹鲀?nèi)存條。在更換了故障內(nèi)存條之后,主內(nèi)存條內(nèi)存中的數(shù)據(jù)將鏡像復制到新內(nèi)存條。4) 熱添加 / 熱插拔內(nèi)存:在系統(tǒng)不關機的情況下熱添加/熱插拔內(nèi)存,從而動態(tài)添加主存,增強性能。內(nèi)存鏡像和熱插拔支持允許同步讀寫獨立的和冗余的內(nèi)存卡,從
30、而提供無與倫比的高級數(shù)據(jù)保護。Xcel4XceL4服務器加速緩存(Server Accelerator Cache )是集成在 SMPT展模塊中的 DDR(雙倍速率) 內(nèi)存,可實現(xiàn)Intel 處理器、主存儲器和I/O 設備間的高速性能,通過降低處理器需要訪問主內(nèi)存的次數(shù)來獲取更多的數(shù)據(jù),可以將總體系統(tǒng)性能提高20。IBM System x每個SMPT展模塊都包括一個 32MB (或更高)XceL4緩存。當客戶從4路向8路擴展 時,無論他們選擇向4路中添加另一個SMPT展模塊還是將兩個 4路系統(tǒng)連接在一起,均能從添加另一個 32MBXceL4緩存中受益。同樣,在16路配置中,無論配置方式是2x8
31、路還是4x4路,客戶均能從128MBXceL4 緩存中受益。易于管理的硬件基于硬件和軟件的系統(tǒng)管理功能是IBM System x 服務器和刀片服務器系列產(chǎn)品的一個重要的亮點。這些功能使IBM 服務器更容易管理,并提供全面的警報和基于任務的管理。不管是入門級配置還是大型高端企業(yè)環(huán)境,良好的服務器系統(tǒng)管理都是全面減少總成本擁有的關鍵,因此IBM System x 從最初的設計開始就非常重視提供良好的系統(tǒng)管理軟件,從而減少用戶的總擁有成本。舊M隨System x服務器和刀片服務器一起提供了一組完備的系統(tǒng)管理工具,以幫助客戶解決在服務器的使用期內(nèi)所遇到的現(xiàn)實問題,在成本節(jié)約和提高可用性方面實現(xiàn)量化的效
32、益。這樣,客戶可以相應地 從投資中獲得更多的回報,并可以讓珍貴的人力資源物盡其用。根據(jù)所管理的元素和側重點的不同,客戶的系統(tǒng)管理任務在邏輯上可以分為以下三層:1) 具體設備的單點管理;2)跨設備的多系統(tǒng)平臺管理;3)異構可擴展的企業(yè)級運營高級管理。上層的系統(tǒng)管理任務往往依賴于下層的系統(tǒng)管理任務的支持。例如第二層的多系統(tǒng)平臺管理“IBMDirector ”依賴于第一層的單點管理“動態(tài)系統(tǒng)分析( DSA ”和硬件BMC第三層的企業(yè)級運營高級管理 "IBM Tivoli基礎架構管理”依賴于第二層的平臺管理“ 舊M Director 向上集成模塊(Upward Integration Mod
33、ules: UIMs )”。如圖1.4所示,單點管理處于系統(tǒng)管理的最底層,主要有:(1)基于硬件的系統(tǒng)管理,如MM/AMMBMC和RSA-II卡;(2)基于軟件的系統(tǒng)管理,如動態(tài)系統(tǒng)分析( Dynamic System Analysis )和易捷升級系統(tǒng)包 (UpdateXpress System Pack )。這一層主要關注單一硬件設備類型的點對點管理。平臺管理處于系統(tǒng)管理的中間層,主要有舊M Director 軟件。這一層主要關注中小型企業(yè)的跨設備 綜合管理。高級管理處于系統(tǒng)管理的最上層,主要有IBM Tivoli 軟件(包括舊M Director 的向上集成)和第三方公司的系統(tǒng)管理軟件(
34、比如HP Openview和CA Unicenter )。企史毅落坦度乎臺*瑾,二前歸將葡、苛占解工矍工注星中小笛自酒獻不普勒即慚克b把兄,企韭輯嘉里胃里,號片雅嘉瑞景法皿嘴砒抬財彈負就則耳事履海鄴情婢睦,歸性心骸,災 旌南總置舉,JT皂麥工即轉受妙壬18理Ex5在2012年3月3日,IBM公司在北京舉行了其面向下一代X86服務器的eX5體系架構發(fā)布會,并現(xiàn)場展示了即將在月底英特爾 Nehalem-EX發(fā)布之后推向市場的三款 eX5服務器新品:4路服務器System x3850 X5 雙路服務器 System x3690 X5 和刀片服務器 BladeCenter HX5 。eX5的創(chuàng)新優(yōu)勢:
35、MAX5生能優(yōu)化中心,可以實現(xiàn)最大 3TB的內(nèi)存擴展空間;高性能的eXFlash極速存儲套件,使用主流的 SSD固態(tài)硬盤技術;虛擬化 IO 可以實現(xiàn)帶寬的虛擬化,根據(jù)應用實現(xiàn)帶寬的分配;eX5五大創(chuàng)新之四:FlexNode靈動分區(qū)帶來的模塊化擴展,全面供貨,可以實現(xiàn)多臺設備的堆疊;eX5五大創(chuàng)新之五:舊M OnForeverTM自動失效切換帶來高可靠性,可以實現(xiàn)堆疊組中任何一臺設備 DOWN1,將程序自動切換到現(xiàn)有正常機器運行。四.SMP、NUMAMPP#系結構從體系結構來看,目前廣泛應用于關鍵業(yè)務領域的商用服務器大體可以分為三類,即對稱多處理器 結構(SMP: Symmetric Multi
36、-Processor) ,非一致存儲訪問結構(NUMA: Non-Uniform Memory Access) 以及海量并行處理結構(MPP: Massive Parallel Processing) 。SMP吉構是指服務器中多個 CPU對稱工作,無主次或從屬關系。各CPU共享相同的物理內(nèi)存,每個 CPU訪問內(nèi)存中的任何地址所需時間是相同的,因此SMPfe被稱為一致存儲器訪問結構。對SMP服務器進行擴展的方式包括:增加內(nèi)存、使用更快的 CPU增加CPU擴充I/O、更多的外部設備(通常是磁盤存儲)。 SMP!務器的主要特征是共享, 系統(tǒng)中所有資源(CPU內(nèi)存、I/O等)都是共享的。也正是由于這種
37、特征, 導致了 SMP服務器的主要問題,那就是它的擴展能力非常有限:每一個共享的環(huán)節(jié)都可能造成SMP!務器擴展時的瓶頸;對SMP而言,最受限制的是內(nèi)存,每個CPU必須通過相同的內(nèi)存總線訪問相同的內(nèi)存資源; 隨著CPUB量的增加,內(nèi)存訪問沖突將迅速增加, 造成CPU源的浪費,CPU性能的有效性大大降低。由于SMPft擴展能力上的限制,人們開始探究如何進行有效地擴展從而構建大型系統(tǒng)的技術,NUM硼是這種努力下的結果之一。利用 NUM徽術,可以把幾十個 CPU(甚至上百個CPU組合在一個服務器內(nèi)。CPU利用率最好的情況是之至4個CPUNUMA艮務器的基本特征是:具有多個 CPU模塊(或稱為Build
38、ing Block、節(jié)點);每個CPU模塊由多 個CPU(如4個)組成,并且具有獨立的本地內(nèi)存、I/O槽口等;節(jié)點之間通過互連模塊進行連接和信息交互;每個CPU可以訪問整個系統(tǒng)的內(nèi)存,顯然,訪問本地內(nèi)存的速度將遠遠高于訪問遠地內(nèi)存(系統(tǒng)內(nèi)其 他節(jié)點的內(nèi)存)的速度,這也是非一致存儲訪問NUMA勺由來。由于這個特點,為了更好地發(fā)揮系統(tǒng)性能,開發(fā)應用程序時需要盡量減少不同CPU模塊之間的信息交互。利用NUM戚術,可以較好地解決原來 SM僚統(tǒng)的擴展問題,在一個物理服務器內(nèi)可以支持上百個CPUNUM強術的主要問題是,由于訪問遠地內(nèi)存的延時遠遠超過本地內(nèi)存,因此當CPU數(shù)量增加時,系統(tǒng)性能無法線性增加。和
39、NUMM同,MPPg供了另外一種進行系統(tǒng)擴展的方式,它由多個SMP!務器通過一定的節(jié)點互聯(lián)網(wǎng)絡進行連接,協(xié)同工作,完成相同的任務,從用戶的角度來看是一個服務器系統(tǒng)。其基本特征如下:由多個SMP服務器(每個SMP服務器稱節(jié)點)通過節(jié)點互連網(wǎng)絡連接而成,每個節(jié)點只訪問自己的本地資源(內(nèi)存、存儲等),是一種完全無共享結構;擴展能力最好,理論上其擴展無限制,目前的技術可實現(xiàn)512個節(jié)點互連。在MPP系統(tǒng)中,每個SM沖點也可以運行自己的操作系統(tǒng)、數(shù)據(jù)庫等,但和NUMAF同的是,它不存在異地內(nèi)存訪問的問題。換言之,每個節(jié)點內(nèi)的CPU不能訪問另一個節(jié)點的內(nèi)存。節(jié)點之間的信息交互是通過節(jié)點互聯(lián)網(wǎng)絡實現(xiàn)的,這個
40、過程一般稱為數(shù)據(jù)重分配(Data Redistribution) 。MPFW務器的主要問題是:需要一種復雜的機制來調度和平衡各個節(jié)點的負載和并行處理過程。目前一些基于MPPK術的服務器往往通過系統(tǒng)級軟件(如數(shù)據(jù)庫)來屏蔽這種復雜性?;诖祟悢?shù)據(jù)庫來開發(fā)應用 時,不管后臺服務器由多少個節(jié)點組成,開發(fā)人員所面對的都是同一個數(shù)據(jù)庫系統(tǒng),而不需要考慮如何調 度其中某幾個節(jié)點的負載。NUMAf MPP的區(qū)另I通過分析NUM厭口 MPP服務器的內(nèi)部架構和工作原理不難發(fā)現(xiàn)其差異所在。節(jié)點互聯(lián)機制不同。NUMA勺節(jié)點互聯(lián)機制是在同一個物理服務器內(nèi)部實現(xiàn),當某個CPU需要進行遠地內(nèi)存訪問時,它必須等待,這也是N
41、UMA艮務器無法實現(xiàn)CPU曾加時性能線性擴展的主要原因。而MPP的節(jié)點互聯(lián)機制是在不同的SMP服務器外部通過I/O實現(xiàn)的,每個節(jié)點只訪問本地內(nèi)存和存儲,節(jié)點之間的信息交互與節(jié)點本身的處理是并行進行的。因此,MP唯增加節(jié)點時性能基本上可以實現(xiàn)線性擴展。內(nèi)存訪問機制不同。在NUMA艮務器內(nèi)部,任何一個CPUW以訪問整個系統(tǒng)的內(nèi)存,但遠地訪問的性能遠遠低于本地內(nèi)存訪問,因此在開發(fā)應用程序時應該盡量避免遠地內(nèi)存訪問。在MPF!艮務器中,每個節(jié)點只訪問本地內(nèi)存,不存在遠地內(nèi)存訪問的問題。哪種服務器技術更適合于數(shù)據(jù)倉庫環(huán)境?回答這個問題,需要從數(shù)據(jù)倉庫環(huán)境本身的負載特征入手。典型的數(shù)據(jù)倉庫環(huán)境具有大量復雜
42、的數(shù)據(jù)處理 和綜合分析,要求系統(tǒng)具有很高的I/O處理能力,并且存儲系統(tǒng)需要提供足夠的I/O帶寬與之匹配。從NUM舞構來看,它可以在一個物理服務器內(nèi)集成許多CPU使系統(tǒng)具有較高的事務處理能力,由于遠地內(nèi)存訪問時延遠長于本地內(nèi)存訪問,因此需要盡量減少不同CPU模塊之間的數(shù)據(jù)交互。顯然,NUM麋構當用于數(shù)據(jù)倉庫環(huán)境時,由于大量復雜的數(shù)據(jù)處理必然導致大量的數(shù)據(jù)交互,將使CPU勺利用率大大降低。相對而言,MPFW務器架構的并行處理能力更優(yōu)越,更適合于復雜的數(shù)據(jù)綜合分析與處理環(huán)境。當然,它需要借助于支持 MP限術的關系數(shù)據(jù)庫系統(tǒng)來屏蔽節(jié)點之間負載平衡與調度的復雜性。另外,這種并行處理能力也與節(jié)點互聯(lián)網(wǎng)絡有
43、很大的關系。顯然,適應于數(shù)據(jù)倉庫環(huán)境的MPP服務器,其節(jié)點互聯(lián)網(wǎng)絡的I/O性能應該非常突出,才能充分發(fā)揮整個系統(tǒng)的性能。服務器衡量標準深入解讀TPC體系TPC-C基準程序用來衡量整個IT系統(tǒng)的性能,而不是評價服務器或某種硬件系統(tǒng)的標準,其中性能 由tpmC衡量。TPC-H所報告的性能計量單位被稱為“ TPC-H復合式每小時查詢性能單位(Qphh) ”,反映 出了系統(tǒng)處理查詢的多方面能力。TPC體系是影響最大的評測基準之一。TPC(TransactionProcessing Performance Council ,事務處理性能委員會) 是由數(shù)十家會員公司創(chuàng)建的非贏利組織,總部設在美國。TPC不
44、給出基準程序的代碼,而只給出基準程序的標準規(guī)范。任何廠家或其他測試者都可以根據(jù)規(guī)范,最優(yōu)地構造出自己的測試系統(tǒng)( 測試平臺和測試程序)。為保證測試結果的完整性,被測試者 (通常是廠家)必須提交給TPC一套完整的報告, 包括被測系統(tǒng)的詳細配置、分類價格和包含5年維護費用在內(nèi)的總價格。該報告必須由TPC授權的審核員 核實(TPC本身并不做審計)。TPC在全球只有不到10名審核員,而且全部在美國。TPC推出過11套基準程序,分別是正在使用的 TPC-App TPC- H TPC-G TPC-W過時的TPC-A、TPC-R TPC-D和TPC-R以及因為不被業(yè)界接受而放棄的TPC-S (Server專
45、門測試基 準程序)、TPC-E (大型企業(yè)信息服務測試基準程序)和 TPC-Client/Server 。目前最為“流行”的 TPC-C是聯(lián)機事務處理(OLTP)的基 準程序,于1992 年 7 月完成,后被業(yè)界逐漸接受。TPCC標準作為一家非盈利性機構,事務處理性能委員會(TP。負責定義諸如TPC-C TPC-H和TPC-W基準測試之類的事務處理與數(shù)據(jù)庫性能基準測試,并依據(jù)這些基準測試項目發(fā)布客觀性能數(shù)據(jù)。TPC基準測試采用極為嚴格的運行環(huán)境,并且必須在獨立審計機構監(jiān)督下進行。委員會成員包括大多數(shù)主要數(shù)據(jù)庫產(chǎn)品廠商以及服務器硬件系統(tǒng)供應商。相關企業(yè)參與TPC基準測試以期在規(guī)定運行環(huán)境中獲得客
46、觀性能驗證,并通過應用測試過程中所使 用的技術開發(fā)出更加強健且更具伸縮性的軟件產(chǎn)品及硬件設備。TPC-C是一種旨在衡量聯(lián)機事務處理(OLTR)系統(tǒng)性能與可伸縮性的行業(yè)標準基準測試項目。這種基 準測試項目將對包括查詢、更新及隊列式小批量事務在內(nèi)的廣泛數(shù)據(jù)庫功能進行測試。許多 IT 專業(yè)人員將TPC-C視為衡量“真實” OLTP系統(tǒng)性能的有效指示器。TPC- C基準測試針對一種模擬訂單錄入與銷售環(huán)境測量每分鐘商業(yè)事務(tpmC)吞吐量。特別值得一提的是,它將專門測量系統(tǒng)在同時執(zhí)行其它四種事務類型(如支 付、訂單狀態(tài)更新、交付及證券級變更)時每分鐘所生成的新增訂單事務數(shù)量。獨立審計機構將負責對基 準
47、測試結果進行公證,同時,TPC將出據(jù)一份全面徹底的測試報告。這份測試報告可以從TPCWeb站點()上獲得。TPC-E- OLTP聯(lián)機事務處理測試新模型20年前,美國的 TPC(事務處理性能委員會,Transaction Processing Performance Council) 成立之時,或許并沒有想到其 TPC系列測試標準會如此受業(yè)界關注。作為國際上權威的服務器性能測試組織。 目前在國際上幾乎所有IT界的知 名廠商(如IBM、HR SUN英特爾等)都是TPC的會員。OLTPM試模型一直是 TPC組織的重點測試標準,TPC-C的前身TPC-A就是TPC組織發(fā)布的第一個測 試標準。由于TPC
48、-C逼真地 模擬了 OLTP應用,在發(fā)布后逐漸得到廣大用戶的認可,使用tpmC作為其計算機系統(tǒng)性能評價體系基礎的用戶數(shù)量逐年上升。不過,隨著信息產(chǎn)業(yè)的不斷發(fā)展,TPC-C的一些問題也慢慢暴露出來。首先,隨著 B2R B2c等新型應用逐漸興起,TPC-C現(xiàn)有的倉庫管理系統(tǒng)測試模型已經(jīng)距離目 前的OLTP用戶應用模式越來越遠,5種作業(yè)需求也不足以覆蓋用戶現(xiàn)有的典型操作;其次,眾多的測試設備投入使得TPC-C測試給廠商帶來了較大的壓力,這并不是TPC組織愿意看到的,因此 TPC組織于2007年3月推出了全新的OLTP試標準一一TPC-E,意在用這個測試標準取代 TPC-C測試,從而對上述問題起 到
49、解決作用。TPC-E在測試模型上進行了巨大的革新與改進。TPC-E是以美國紐約證券交易所為模型,該測試模擬了一系列后端處理數(shù)據(jù)以及證券公司前端客戶在股票交易市場的典型行為賬戶查詢、在線交易和市場 調研。與TPC-C測試模型相比,TPC-E更加強調模型的高仿真性,其模型微縮模擬了全球最大電子股票交易 市場美國納斯達克股市的日常業(yè)務 流程, 模型架構完成了從C/S 架構到 B/S 架構的過渡,是典型的互聯(lián)網(wǎng)時代OLTP性能測試基準。同時,數(shù)據(jù)類型更加豐富,由3類擴展為10類,模擬的交 易條件更復雜。TPC-H關注查詢能力TPC-H是一種決策支持基準。它包含一整套面向商業(yè)的特殊查詢和并發(fā)數(shù)據(jù)修改內(nèi)容
50、。該基準中選擇的查詢和數(shù)據(jù)庫中的數(shù)據(jù)都具有廣泛的全行業(yè)關聯(lián)性。這種測試基準所描述的決策支持系統(tǒng)可檢查大量的 數(shù)據(jù),所執(zhí)行的查詢也具有很高的復雜度。TPC-H所報告的性能計量單位被稱為“ TPC-H復合式每小時查詢性能單 位” (TPC-H Composite Query-per-Hour Performance Metric - QphHSize ,反映的是系統(tǒng)處理查詢的多方面能力,包括查詢執(zhí)行時選定的數(shù)據(jù)庫大小、單個流提交查詢 時的查詢處理能力,以及多個并發(fā)用戶提交查詢時的查詢吞吐量。TPC-H的價格/性能比計量單位的表達方式為。應用性能參考SPECSPECl!標準性能評估公司(Standa
51、rd Performance Evaluation Corporation )的簡稱。SPEdl由 計算機廠商、系統(tǒng)集成商、大學、研究機構、咨詢等多家公司組成的非營利性組織,這個組織的目標是建立、維護一套用于評估計算機系統(tǒng)的標準。與TPC體系注重在線處理能力和數(shù)據(jù)庫查詢能力不同,SPEC#系中最廣為人知的兩個子項,是衡量CPU內(nèi)存卜iE能的CPU2000和Web服務器性能的web2005另外還有一個衡量 Java服務器性能的jbb2005 , 近年來也逐漸受到關注。除了 TPC家族,SPECt族也是廣為人知的一大體系。SPEC旨標體系由Standard PerformanceEvaluatio
52、n Corp. 制定,目前主要包括針對 CPU性能的SPEC CPU2000已有CPU2006但尚無數(shù)據(jù))、針 對 Web服務器的SPECweb2005針對高性能計算的 SPEC HPC2002f SPEC MPI2006針對Java應用的 jAppServer2004與JBB2005,以及對圖形系統(tǒng)、網(wǎng)絡和郵件服務器的測試指標。SPEC CPU 2006SPEC CPU 2006是SPEC!織推出的CPU系統(tǒng)評估軟件最新版,在早些年,業(yè)界使用的是其上一個 版本 SPEC CPU 2000 和 SPEC CPU 2000一樣,SPEC CPU 2006M括了 CINT2006和 C FP2006 兩個子項目, 前者用于測量和對比整數(shù)性能,而后者則用于測量和對比浮點性能,SPEC CPU 2006中對SPEC CPU 2000中的一些測試進行了升級,并拋棄/ 加入了一些測試,因此兩個版本測試得分并沒有可比較性。SPEC CPUM試中,測試系統(tǒng)的處理器、內(nèi)存子系統(tǒng)和使用到的編譯器(SPEC CPl供的是源代碼,并且允許測試用戶進行一定的編譯優(yōu)化)都會影響最終的測試性能,而I/O (磁盤)、網(wǎng)絡、操作系統(tǒng)和圖形子系統(tǒng)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 現(xiàn)代電子商務的物流與供應鏈管理
- 環(huán)保與科技的完美融合-產(chǎn)品設計策略
- 生態(tài)環(huán)境監(jiān)測技術的前沿與發(fā)展
- 《奧運中的數(shù)學》(說課稿)-2024-2025學年四年級下冊數(shù)學北師大版
- 深度融合現(xiàn)代教育技術創(chuàng)新大學生學業(yè)指導與管理策略研究
- 災難面前學校的快速響應與救援
- 《第五單元·閱讀2 江南》說課稿-2024-2025學年統(tǒng)編版(2024)語文一年級上冊
- 2025年度特種輪車租賃與應急人員響應合同
- 《二、養(yǎng)成學習好習慣》(說課稿)-2024-2025學年二年級上冊綜合實踐活動山東科學技術版
- 二零二五年度醫(yī)療健康單位員工勞動合同書(含醫(yī)療福利及健康管理)
- (康德一診)重慶市2025屆高三高三第一次聯(lián)合診斷檢測 英語試卷(含答案詳解)
- 2025年福建泉州文旅集團招聘24人高頻重點提升(共500題)附帶答案詳解
- 建筑行業(yè)砂石物資運輸方案
- 腫瘤全程管理
- 融資報告范文模板
- 桃李面包盈利能力探析案例11000字
- GB/Z 30966.71-2024風能發(fā)電系統(tǒng)風力發(fā)電場監(jiān)控系統(tǒng)通信第71部分:配置描述語言
- 污泥處置合作合同模板
- 腦梗死的護理查房
- 2025高考數(shù)學專項復習:概率與統(tǒng)計的綜合應用(十八大題型)含答案
- 2024-2030年中國紫蘇市場深度局勢分析及未來5發(fā)展趨勢報告
評論
0/150
提交評論