服務(wù)器虛擬化技術(shù)研究與應(yīng)用

PAGE3服務(wù)器虛擬化技術(shù)研究與應(yīng)用單位：中國移動(dòng)通信集團(tuán)北京有限公司-信息系統(tǒng)部作者：趙永剛?cè)掌冢?008-12摘要：文章介紹了服務(wù)器虛擬化技術(shù)的發(fā)展和分類，對比了四種服務(wù)器虛擬化技術(shù)特點(diǎn)，根據(jù)服務(wù)器虛擬化在中國移動(dòng)北京公司KM項(xiàng)目中實(shí)際應(yīng)用情況，總結(jié)出一種基于分區(qū)技術(shù)的資源配置和資源重組的方案，該方案解決了大型可分區(qū)服務(wù)器的資源最大化利用率問題和資源調(diào)整的柔軟性問題。關(guān)鍵詞：服務(wù)器、虛擬化、分區(qū)技術(shù)目錄TOC\o"1-2"\h\z\u1 引言 12 虛擬化技術(shù)及發(fā)展 12.1 簡介 12.2 服務(wù)器虛擬化技術(shù) 13 虛擬化技術(shù)KM應(yīng)用案例 63.1 KM項(xiàng)目簡介 63.2 KM測試系統(tǒng) 63.3 KM生產(chǎn)系統(tǒng) 84 虛擬化應(yīng)用分析 144.1 虛擬化的價(jià)值 144.2 虛擬化存在的問題 144.3 虛擬化應(yīng)用前景 155 結(jié)束語 15PAGE15引言虛擬化技術(shù)是服務(wù)器行業(yè)最引人關(guān)注的技術(shù)之一，圍繞這項(xiàng)技術(shù)眾多廠商做出了不懈的努力，也取得了較多成果。近年來，隨著大型部門對“服務(wù)器整合”的需求日益迫切，為更好地利用系統(tǒng)硬件資源，提高系統(tǒng)的靈活性和有效性，虛擬化技術(shù)在各行業(yè)得到了越來越廣泛的應(yīng)用。本文將全面介紹虛擬化技術(shù)的發(fā)展，并結(jié)合KM系統(tǒng)實(shí)際案例，著重闡述硬件物理分區(qū)虛擬化技術(shù)在KM系統(tǒng)中的應(yīng)用。虛擬化技術(shù)及發(fā)展簡介虛擬化技術(shù)源于大型機(jī)。大型機(jī)上的虛擬分區(qū)技術(shù)最早可以追溯到上世紀(jì)六、七十年代。早在上世紀(jì)60年代，IBM公司就發(fā)明了一種操作系統(tǒng)虛擬機(jī)技術(shù)，允許在一臺主機(jī)上運(yùn)行多個(gè)操作系統(tǒng)，讓用戶盡可能地充分利用昂貴的大型機(jī)資源。隨著技術(shù)的發(fā)展和市場競爭的需要，大型機(jī)上的技術(shù)開始向小型機(jī)或UNIX服務(wù)器上移植。IBM、HP和SUN后來都將虛擬化技術(shù)引入各自的高端RISC服務(wù)器系統(tǒng)中。30多年來，應(yīng)該說虛擬化技術(shù)以及在上述高端產(chǎn)品上的應(yīng)用日臻成熟。但真正使用大型機(jī)和小型機(jī)的用戶畢竟還是少數(shù)，加上各家產(chǎn)品和技術(shù)之間并不兼容，致使虛擬化曲高和寡。隨著X86處理器性能的提升和應(yīng)用普及，人們開始考慮將這一技術(shù)導(dǎo)入用戶面更廣泛的X86平臺。早在1998年，通過運(yùn)行在WindowsNT上的Vmware來啟動(dòng)Windows95的做法讓人們驚嘆不已。許多發(fā)燒友和工程測試人員也開始在PC和工作站領(lǐng)域開始運(yùn)用這種虛擬方案。近年來，人們開始把這團(tuán)火燒向PC服務(wù)器。當(dāng)人們認(rèn)識到服務(wù)器資源的利用率低下以及服務(wù)器整合的必要性越來越強(qiáng)，加之64位、多核X86處理器的出現(xiàn)，讓單臺X86服務(wù)器的性能越來越強(qiáng)大，虛擬化開始吸引更多廠商的關(guān)注。特別是在Intel和AMD相繼宣布將推出內(nèi)建虛擬技術(shù)的處理器，以實(shí)現(xiàn)硬件輔助虛擬化，從而改善原來僅通過軟件實(shí)現(xiàn)虛擬化所帶來的性能和穩(wěn)定性方面的不足。進(jìn)入2006年，從處理器層面的AMD和Intel到操作系統(tǒng)層面的微軟的加入，從數(shù)量眾多的第三方軟件廠商的涌現(xiàn)到服務(wù)器系統(tǒng)廠商的高調(diào)，我們看到一個(gè)趨于完整的服務(wù)器虛擬化的產(chǎn)業(yè)生態(tài)系統(tǒng)正在逐漸形成。這也使得在過去的一兩年時(shí)間里，虛擬化開始成為廣受關(guān)注的熱點(diǎn)話題。服務(wù)器虛擬化技術(shù)實(shí)際上，從原理上看，所有虛擬技術(shù)虛擬的是指令集。所有的IT設(shè)備，不管是PC、服務(wù)器還是存儲(chǔ)，都有一個(gè)共同點(diǎn)：它們被設(shè)計(jì)用來完成一組特定的指令。這些指令組成一個(gè)指令集。對于虛擬技術(shù)而言，“虛擬”實(shí)際上就是指的這些指令集。虛擬機(jī)有許多不同的類型，但是它們有一個(gè)共同的主題就是模擬一個(gè)指令集的概念。每個(gè)虛擬機(jī)都有一個(gè)用戶可以訪問的指令集。虛擬機(jī)把這些虛擬指令“映射”到計(jì)算機(jī)的實(shí)際指令集。定義完“虛擬”的概念，我們可以清楚知道，目前所能看到的硬分區(qū)、軟分區(qū)、邏輯分區(qū)、SolarisContainer、VMware、Xen、微軟VirtualServer2005等這些虛擬技術(shù)，都是同樣的原理，只是虛擬指令集所處的位置不同而已。以此，可將目前所有的虛擬技術(shù)大致分為硬件分區(qū)、邏輯分區(qū)、軟件分區(qū)和應(yīng)用分區(qū)四種模式。四種服務(wù)器虛擬化技術(shù)虛擬化技術(shù)代表產(chǎn)品廠家平臺支持操作系統(tǒng)硬件分區(qū)DomainsSunSunRiscSolarisnParHPHPRisc/ItaniumHP/Linux/Windows邏輯分區(qū)LPARIBMIBMIBM/LinuxVPARHPHPRisc/ItaniumHP/Linux/WindowsLogicalDomainVMwareSunRiscSolaris/LinuxESXVMwareX86Linux/Windows軟件分區(qū)VMWareWorkStationVMwareX86Linux/WindowsVirtualPCMicroSoftX86Linux/Windows應(yīng)用分區(qū)VirtuozzoSWsoftX86Linux/WindowsOpenVZProjectX86LinuxHPVSEFreeBSDJailHPX86FreeBSDSunSolarisContainerSunSunRisc/X86Solaris10硬件物理分區(qū)硬件虛擬技術(shù)是隨著Unix服務(wù)器的發(fā)展而出現(xiàn)的。實(shí)際上，在Unix服務(wù)器上，不少廠商和用戶習(xí)慣于將電氣級的虛擬技術(shù)稱為硬分區(qū)（或物理分區(qū)），而把通過軟件或固件實(shí)現(xiàn)的邏輯分區(qū)技術(shù)則稱之為軟分區(qū)。但無論如何稱呼，實(shí)際上邏輯虛擬模式和硬件虛擬模式的共同點(diǎn)是：與應(yīng)用所在的操作系統(tǒng)無關(guān)，只與系統(tǒng)硬件相關(guān)。那么，它們之間的區(qū)別在哪里？先看看硬件虛擬模式。HP和Sun等廠商在Unix服務(wù)器上采用的是MBB（ModularBuildingBlock）架構(gòu)。MBB由多個(gè)BB（BuildingBlock）構(gòu)成，Sun稱之為Board，HP稱之為Cell。每個(gè)BB可包含4路CPU、若干內(nèi)存和I/O卡。不同BB內(nèi)的CPU可以有不同的時(shí)鐘頻率。所有的BB通過一種稱為CrossbarSwitch（縱橫交換結(jié)構(gòu)模塊）的交換機(jī)制連接在一起，Crossbarswitch可以提供BB之間的點(diǎn)對點(diǎn)的高速連接。采用MBB技術(shù)可以比較容易地設(shè)計(jì)出擁有更多數(shù)量CPU的服務(wù)器。在這種服務(wù)器上既可以運(yùn)行一個(gè)操作系統(tǒng)，也可以在一個(gè)或多個(gè)BB上運(yùn)行多個(gè)操作系統(tǒng)。這就是服務(wù)器的硬分區(qū)?；贛BB技術(shù)的服務(wù)器是由多個(gè)BB構(gòu)成的，所以具有物理分區(qū)的特性：即可以熱插拔CPU板和內(nèi)存板。這是因?yàn)槊恳粋€(gè)BB是物理分開的，每個(gè)4路CPU板可以單獨(dú)從系統(tǒng)中隔離出來并將其下電。再來看邏輯虛擬模式。該模式?jīng)]有采用CrossbarSwitch技術(shù)做CPU之間的連接，比如剛才提到的IBMP系列產(chǎn)品，它不允許不同主頻的CPU共存在同一臺機(jī)器內(nèi)。而MBB結(jié)構(gòu)的服務(wù)器則允許這樣做，但要求CrossbarSwitch工作在相同的帶寬上（MBB之間的連接帶寬恒定）。比較而言，硬件虛擬模式的優(yōu)點(diǎn)無疑是100％的隔離度和安全性，不占用任何系統(tǒng)資源。缺點(diǎn)是操作相對復(fù)雜，最小操作粒度是1顆CPU，而且在進(jìn)行分區(qū)資源變更的時(shí)候，移出CPU的分區(qū)需要重啟操作系統(tǒng)。邏輯虛擬模式的優(yōu)點(diǎn)是配置靈活，操作相對簡單而且分區(qū)粒度可達(dá)1/20個(gè)CPU，資源變更時(shí)無需重啟系統(tǒng)，甚至無需重啟應(yīng)用。但相對硬件虛擬模式而言，邏輯虛擬模式會(huì)占用一定比例的系統(tǒng)資源。目前大型主機(jī)的虛擬效率一般在95%以上，虛擬化損耗大約為2%～3%；AIX和HP-UX上的虛擬效率在90％以上，虛擬化損耗約為5％；而x86架構(gòu)上的虛擬效率則在80%左右，虛擬化損耗大約為20%。需要注意的是，Intel和AMD也開始了對硬件級虛擬技術(shù)的關(guān)注，例如Intel和AMD在2006年將分別推出采用IntelVirtualMachineMonitor和AMDPacifica虛擬技術(shù)的處理器，它們將更好地支持VMwareESXServer和Xen這樣的虛擬機(jī)軟件。硬件邏輯分區(qū)最早的虛擬模式可以說是源自IBM大型主機(jī)的邏輯分區(qū)技術(shù)，這種技術(shù)的主要特點(diǎn)是，在IBM的大型主機(jī)中，每一個(gè)虛擬機(jī)都是一臺真正機(jī)器的完整拷貝，只是內(nèi)存少了點(diǎn)。根據(jù)這一概念，一個(gè)功能強(qiáng)大的大型主機(jī)可以被分割成許多虛擬機(jī)。這些虛擬機(jī)僅比原來的主機(jī)少一點(diǎn)內(nèi)存資源而已。這一虛擬模式后來被業(yè)界廣泛借鑒，包括HPvPAR、VMwareESXServer和Xen在內(nèi)的虛擬技術(shù)都是這樣的工作原理。在邏輯虛擬模型中，虛擬機(jī)操作系統(tǒng)是整個(gè)虛擬機(jī)體系結(jié)構(gòu)的“大腦”，包括操作系統(tǒng)和硬件在內(nèi)的整個(gè)系統(tǒng)被稱作虛擬機(jī)系統(tǒng)（VMSystem）。每個(gè)虛擬機(jī)系統(tǒng)都被一個(gè)叫做控制程序的程序控制?？刂瞥绦虺斯芾韺?shí)際的物理硬件，還要為每個(gè)系統(tǒng)用戶創(chuàng)建一個(gè)虛擬機(jī)。每個(gè)用戶都可以在他們的虛擬機(jī)上運(yùn)行程序、存儲(chǔ)數(shù)據(jù)，甚至虛擬機(jī)崩潰也不會(huì)影響系統(tǒng)本身和其他的系統(tǒng)用戶。因此，虛擬機(jī)模型不僅要允許資源共享，而且要實(shí)現(xiàn)系統(tǒng)資源的保護(hù)。在上述模型中，虛擬控制程序以固件形式直接運(yùn)行在主機(jī)硬件層之上，位于操作系統(tǒng)之下，是虛擬機(jī)系統(tǒng)中最重要的一部分?？刂瞥绦蛞芾硐到y(tǒng)硬件，包括啟動(dòng)和關(guān)機(jī)在內(nèi)的系統(tǒng)支持任務(wù)，以及請求的排隊(duì)和執(zhí)行。同時(shí)控制程序還要管理每個(gè)虛擬機(jī)的編程特征和每個(gè)虛擬機(jī)的建立和維護(hù)。例如IBM的P系列服務(wù)器產(chǎn)品，由于IBMp系列的設(shè)計(jì)思想是共享式的，即所有CPU可以同等地看到所有的內(nèi)存和I/O的連接方式，即一種為數(shù)據(jù)／指令流提供足夠的高速通路的體系結(jié)構(gòu)。在p系列上，Hypervisor能看到所有的真實(shí)資源（CPU、內(nèi)存和I/O卡），并且通過一個(gè)控制臺（HMC）來管理邏輯分區(qū)。通過HMC將上述提到的資源定義到不同的邏輯分區(qū)中去，每個(gè)邏輯分區(qū)所需的最小資源是1/10個(gè)CPU（在2004年8月發(fā)布的AIX5Lv5、3上實(shí)現(xiàn)了1/10個(gè)CPU級別的分區(qū)粒度，以及1/100個(gè)CPU的微調(diào)量）、1GB內(nèi)存和一個(gè)PCI插槽。而且IBM有意將邏輯分區(qū)技術(shù)進(jìn)一步下移。2005年第四季度，IBM發(fā)布了虛擬I/O服務(wù)器，其目的就是讓沒有配置HMC的1～2路低端p系列和i系列用戶，可以通過虛擬I/O的一個(gè)組件IVM（IBMVirtualMachine），實(shí)現(xiàn)簡化后的HMC控制臺功能。虛擬機(jī)技術(shù)隨著虛擬化技術(shù)的進(jìn)一步發(fā)展,出現(xiàn)了基于軟件的虛擬機(jī)管理技術(shù),并在X86系列平臺上得到較多應(yīng)用。該技術(shù)不再對硬件資源進(jìn)行劃分,而是在硬件上首先部署一套Host系統(tǒng)。在Host系統(tǒng)上,加裝虛擬機(jī)管理軟件又稱為虛擬層,作為應(yīng)用級別的軟件存在。虛擬層會(huì)給每個(gè)虛擬機(jī)模擬一套獨(dú)立的硬件設(shè)備,包含CPU、內(nèi)存、主板、顯卡、網(wǎng)卡等硬件資源,并在其上安裝所謂的操作系統(tǒng)。最終用戶的應(yīng)用程序,運(yùn)行在操作系統(tǒng)中。虛擬機(jī)管理技術(shù)的主要特點(diǎn)是能在一臺機(jī)器上安裝多個(gè)不同類型的操作系統(tǒng),模擬多種操作系統(tǒng)運(yùn)行環(huán)境。但也存在虛擬機(jī)管理器軟件、操作系統(tǒng)等自身消耗硬件資源,從而造成性能損耗等缺點(diǎn)。因此該技術(shù)一般用于部門的實(shí)驗(yàn)室、測試環(huán)境中,很少用于真實(shí)生產(chǎn)環(huán)境。其代表產(chǎn)品有微軟的等。軟件虛擬模式最為普通用戶熟悉，例如最近幾年頗為火熱的VMwareGSXServer和微軟VirtualServer2005就是最廣為人知的虛擬機(jī)產(chǎn)品。虛擬機(jī)技術(shù)是通過虛擬機(jī)軟件來創(chuàng)建一個(gè)完整的系統(tǒng)環(huán)境，在這個(gè)軟件生成的系統(tǒng)環(huán)境下可以運(yùn)行各種服務(wù)器應(yīng)用軟件。由于虛擬機(jī)本身也是一個(gè)在OS上運(yùn)行的應(yīng)用，所以在一臺物理服務(wù)器上可以運(yùn)行很多個(gè)虛擬機(jī)，每個(gè)虛擬機(jī)內(nèi)可以獨(dú)立運(yùn)行其應(yīng)用，在虛擬機(jī)內(nèi)運(yùn)行的應(yīng)用好像是在自己專有的一套OS環(huán)境下，這樣應(yīng)用就通過虛擬機(jī)相互隔離。虛擬機(jī)可以通過虛擬I/O來共享物理I/O設(shè)備，而不必配備專用的I/O設(shè)備如網(wǎng)卡等。操作系統(tǒng)虛擬化最新的虛擬化技術(shù)已經(jīng)發(fā)展到了操作系統(tǒng)虛擬化。操作系統(tǒng)虛擬化是在操作系統(tǒng)內(nèi)核基礎(chǔ)上提供虛擬化。從一個(gè)安裝操作系統(tǒng)的版本中,可動(dòng)態(tài)創(chuàng)建由、內(nèi)存、存儲(chǔ)空間和網(wǎng)絡(luò)組成的應(yīng)用所需的多個(gè)獨(dú)立運(yùn)行的操作系統(tǒng)環(huán)境。這樣,應(yīng)用就被隔離在不同的運(yùn)行環(huán)境里。由于只有一個(gè)操作系統(tǒng)內(nèi)核,減少了虛擬機(jī)和操作系統(tǒng)兩個(gè)資源消耗層次,提高了虛擬環(huán)境中的應(yīng)用性能,同時(shí)具有安裝部署、補(bǔ)丁升級等管理特性上的優(yōu)勢。但該技術(shù)由于涉及操作系統(tǒng)內(nèi)核修改,目前只有在特定操作系統(tǒng)上可以實(shí)現(xiàn)。如Sun在Solaris10里提供的SolarisContainer（也叫N1GridContainer），號稱可以讓每個(gè)Solaris10創(chuàng)建多達(dá)8192個(gè)安全、無故障軟件分區(qū)。這種模式無疑可以提高單一系統(tǒng)的資源利用率，在一個(gè)操作系統(tǒng)上實(shí)現(xiàn)系統(tǒng)資源的高利用率，只要用戶的硬件足夠強(qiáng)大，可以把眾多業(yè)務(wù)系統(tǒng)運(yùn)行在獨(dú)立的動(dòng)態(tài)系統(tǒng)域（Zone）。需要說明的是，上述四種模式并非割裂的關(guān)系，可以混合使用。據(jù)惠普于2005年初發(fā)布的HP-UX11iv2，在這個(gè)版本上惠普提出了HPVSE（VirtualServerEnviorment）體系，這一體系包括基于硬件的nPAR技術(shù)、邏輯虛擬模式下的vPAR、軟件虛擬模式下的HPVirtualMachine和應(yīng)用虛擬模式下的HPResourcePartition技術(shù)。HPVSE體系與其他虛擬技術(shù)的不同在于設(shè)定閾值時(shí)的人性化設(shè)計(jì)。其他虛擬機(jī)管理工具在設(shè)定計(jì)算資源變更閾值時(shí)，通常是對CPU占用率這一指標(biāo)進(jìn)行設(shè)定，例如某應(yīng)用令分區(qū)內(nèi)CPU有80％以上的負(fù)載，則調(diào)用其他分區(qū)的閑置CPU資源。但問題在于，如果用戶不知道一個(gè)應(yīng)用對CPU的負(fù)載有多大的時(shí)候怎么辦？從惠普提供的HPVSE演示Flash看到，用戶的確可以針對應(yīng)用指標(biāo)設(shè)定閾值，例如在設(shè)定Web服務(wù)器時(shí)，可以設(shè)定Http連接數(shù)超過1000時(shí)調(diào)用計(jì)算資源，Http連接低于200時(shí)主動(dòng)釋放計(jì)算資源。四種服務(wù)器虛擬化技術(shù)特點(diǎn)四種服務(wù)器虛擬化的分類基礎(chǔ)主要在于虛擬層的實(shí)現(xiàn)方式，圖1描述了四種虛擬化方式的差異和特征。四種服務(wù)器虛擬化架構(gòu)示意圖具體到四種虛擬化技術(shù)的應(yīng)用特性，可以參考表2四種服務(wù)器虛擬化技術(shù)的應(yīng)用特性硬件虛擬邏輯虛擬軟件虛擬應(yīng)用虛擬獨(dú)立文件系統(tǒng)有有有無獨(dú)立網(wǎng)絡(luò)地址有有有無獨(dú)立安全配置和口令有有有無獨(dú)立OS內(nèi)核版本有有有無獨(dú)立OS補(bǔ)丁有有有無資源虛擬粒度1CPU1/20CPU（HPVSE）據(jù)虛擬機(jī)不同而異每OS最多8192個(gè)動(dòng)態(tài)域（SolarisContainer）需要管理的OS鏡像數(shù)量多個(gè)多個(gè)多個(gè)單個(gè)系統(tǒng)軟件許可證多個(gè)多個(gè)多個(gè)單個(gè)主OS是否故障點(diǎn)無主OS無主OS是是虛擬實(shí)施周期慢較慢中等快硬件故障隔離無無無無應(yīng)用隔離程度完全強(qiáng)強(qiáng)弱實(shí)施成本高較高較低低虛擬化技術(shù)KM應(yīng)用案例KM項(xiàng)目簡介在公司戰(zhàn)略框架下，當(dāng)時(shí)的計(jì)費(fèi)業(yè)務(wù)中心于2003年2月開始了北京移動(dòng)知識管理門戶一期工程的建設(shè)，在過去的5年多中，項(xiàng)目從最初的4個(gè)試點(diǎn)部門，陸續(xù)推廣到整個(gè)公司，成為員工日常辦公不可或缺的一部分。通過豐富的門戶應(yīng)用，滿足了公司員工不斷增長的日常辦公和業(yè)務(wù)需要，提高了企業(yè)工作效率；通過持續(xù)開發(fā)、優(yōu)化電子化流程，把知識管理和企業(yè)業(yè)務(wù)流程緊密結(jié)合，加快了企業(yè)反應(yīng)速度；通過完善、優(yōu)化知識庫系統(tǒng)和電子學(xué)習(xí)考試系統(tǒng)，增強(qiáng)了企業(yè)知識沉淀和學(xué)習(xí)能力。目前知識管理門戶主要承載公司三大方面的應(yīng)用：1．門戶依托知識管理門戶為公司員工提供良好的個(gè)人體驗(yàn)，包括：你問我答、個(gè)人博客、班組博客、門戶信息發(fā)布、投票、黨群、工會(huì)子門戶、單點(diǎn)登錄、期刊專欄、以及OA、EPM等待辦工作數(shù)據(jù)整合、；2．知識管理為公司知識管理提供IT系統(tǒng)支撐，包括：企業(yè)級知識庫、專業(yè)知識地圖、協(xié)作空間、電子學(xué)習(xí)、電子考試、知識論壇、統(tǒng)一知識搜索等等。3．管理支撐為公司管理流程提供IT系統(tǒng)支撐，包括：績效管理平臺、統(tǒng)計(jì)類/非統(tǒng)計(jì)類需求管理流、商機(jī)流程、大客戶特殊需求管理流程、報(bào)銷信息查詢、權(quán)限變更管理、技術(shù)管理信息化、法律事務(wù)管理、全面風(fēng)險(xiǎn)管理、綜合服務(wù)系統(tǒng)、懲防體系管理、宣傳管理等等眾多流程。KM測試系統(tǒng)案例背景知識管理門戶作為公司重要的管理支撐系統(tǒng)，承載著公司眾多的管理流程，每個(gè)流程、應(yīng)用的上線前都必須要得到充分的功能測試和壓力測試。在項(xiàng)目建設(shè)過程中，由于經(jīng)過5年的技術(shù)跨度周期，眾多應(yīng)用使用的操作系統(tǒng)、中間件、流程平臺都發(fā)生了很多變化。給測試環(huán)境的大家?guī)碇T多不便，主要體現(xiàn)在：1．KM項(xiàng)目本身包含多種不同的應(yīng)用，項(xiàng)目建設(shè)需要為每種應(yīng)用搭建測試環(huán)境，包括WAS,WPS,Documentum,Workflow2．并且生產(chǎn)系統(tǒng)使用的操作系統(tǒng)版本AIX版本不同，補(bǔ)丁要求也盡不相同3．測試環(huán)境能夠模擬生產(chǎn)環(huán)境進(jìn)行壓力測試我們分類整理了KM項(xiàng)目使用的操作系統(tǒng)、中間件、數(shù)據(jù)庫及其他軟件的使用情況如下：KM系統(tǒng)使用的軟件版本序號應(yīng)用操作系統(tǒng)中間件其它軟件1門戶服務(wù)AIX5、3Websphere5、1、1WebspherePoratlServer5、12管理流程、業(yè)務(wù)流程、統(tǒng)計(jì)類/非統(tǒng)計(jì)類流程等8個(gè)流程AIX5、2Websphere5、0、2MQWorkFlow3、53人力績效、雙獎(jiǎng)評優(yōu)等12個(gè)流程AIX5、2Websphere5、1、1WebSphereServerFoundation5、14DocumentumAIX5、3Websphere5、0Documentum5、2、4從整理的情況看，要搭建測試環(huán)境必須能夠滿足兩個(gè)要求：1．保留和生產(chǎn)環(huán)境相同的配置環(huán)境2．具備滿足上線前壓力測試的要求3．能夠滿足高可用HACMP測試的要求最簡單的方案是采購4~5臺和生產(chǎn)環(huán)境相同的服務(wù)器，但這種方案勢必造成投資浪費(fèi)。這時(shí)虛擬化化的方案被提到了建設(shè)方案。采用虛擬化方案，采購1~2臺服務(wù)器進(jìn)行硬件分區(qū)，模擬出4~5臺主機(jī)，在壓力測試時(shí)可以動(dòng)態(tài)調(diào)整分區(qū)中的CPU、內(nèi)存配置，既滿足了測試的三個(gè)基本要求，又可以節(jié)約投資。解決方案現(xiàn)有硬件的情況分析分析，KM系統(tǒng)中現(xiàn)有一臺測試機(jī)，配置情況如下：型號：IBMP650CPU：8Cpu內(nèi)存：16GB內(nèi)存內(nèi)置磁盤：2X36Gb網(wǎng)卡：2塊網(wǎng)卡對現(xiàn)有設(shè)備進(jìn)行擴(kuò)容，增加兩個(gè)擴(kuò)展柜和1臺KMC控制臺設(shè)備型號：7311D20內(nèi)置磁盤：2X73Gb網(wǎng)卡：2塊網(wǎng)卡KM測試系統(tǒng)部署架構(gòu)示意圖經(jīng)過上述擴(kuò)容后，通過HMC控制對設(shè)備的資源進(jìn)行劃分，分成4臺邏輯設(shè)備，分別部署以下應(yīng)用程序。KM測試系統(tǒng)LPAR劃分表序號CPU內(nèi)存操作系統(tǒng)中間件其它軟件12CPU4GAIX5、3Websphere5、1、1WebspherePoratlServer5、122CPU4GAIX5、3Websphere5、1、1Documentum5、2、432CPU4GAIX5、2Websphere5、0、2MQWorkFlow3、542CPU4GAIX5、2Websphere5、0、2WebSphereServerFoundation5、1第一臺LPar上，分配部署1套WAS，一套數(shù)據(jù)庫DB2V8、2，并部署門戶應(yīng)用。第二臺LPar上，分配部署1套WAS，一套數(shù)據(jù)庫DB2V8、2，并部署Documentum應(yīng)用。第三臺LPar上，分配部署1套WBI-SF，1套DB2V8、2，MQWorkFlow并配置為Cluster。第四臺LPar上，分配部署1套WBI-SF，1套DB2V8、2，WBIServerFoundation并配置為Cluster。資源調(diào)配KM測試系統(tǒng)采用虛擬化的方式實(shí)現(xiàn)后，可以根據(jù)需要在4個(gè)虛擬服務(wù)器分配資源，可以隨時(shí)將網(wǎng)卡、存儲(chǔ)、CPU、內(nèi)存分配到一臺主機(jī)。然而測試系統(tǒng)的虛擬化方式是靜態(tài)的，無法實(shí)現(xiàn)在線實(shí)時(shí)對CPU、內(nèi)存等資源進(jìn)行調(diào)整，每次調(diào)整必須先關(guān)閉調(diào)整對象虛擬機(jī)再重新啟動(dòng)。KM生產(chǎn)系統(tǒng)案例背景目前，在知識管理門戶系統(tǒng)中，綜合應(yīng)用服務(wù)器為門戶系統(tǒng)中重要的核心服務(wù)器，承載了門戶中很大部分的應(yīng)用功能：KM現(xiàn)有主服務(wù)器部署架構(gòu)圖兩臺機(jī)器目前配置如下：型號：IBMP570CPU：6CPU內(nèi)存：24G硬盤：146G目前，綜合應(yīng)用服務(wù)器上分別安裝了WAS6集群3個(gè)，ServerFundation集群2個(gè)，數(shù)據(jù)庫實(shí)例1個(gè)。綜合應(yīng)用服務(wù)器上分別運(yùn)行如下的應(yīng)用：KM生產(chǎn)系統(tǒng)應(yīng)用部署情況一欄該應(yīng)用服務(wù)器上目前共運(yùn)行了35個(gè)應(yīng)用，其中有26個(gè)應(yīng)用的使用范圍為公司全體員工，目前公司全體員工為6039人。由于企業(yè)內(nèi)網(wǎng)應(yīng)用的特點(diǎn)，大量用戶登錄km后，通常會(huì)一直保持打開km首頁的狀態(tài)，同時(shí)處理別的公務(wù)，而km上大部分應(yīng)用都實(shí)際運(yùn)行在綜合應(yīng)用服務(wù)器上，這就導(dǎo)致了服務(wù)器每天都承載大量的同時(shí)在線用戶，每一個(gè)用戶訪問綜合應(yīng)用服務(wù)器的一個(gè)應(yīng)用都會(huì)增加綜合應(yīng)用服務(wù)器的一個(gè)在線人數(shù)，而一個(gè)用戶登錄KM后，后臺系統(tǒng)將自動(dòng)訪問4－5個(gè)服務(wù)器上的應(yīng)用（如博客，班組博客，你問我答，法務(wù)系統(tǒng)等）。所以對門戶系統(tǒng)而言，至少有相當(dāng)于4-5倍在線用戶數(shù)量的并發(fā)訪問量，即綜合應(yīng)用服務(wù)器承載了巨大的訪問壓力，目前，知識管理門戶系統(tǒng)的2臺綜合應(yīng)用服務(wù)器的內(nèi)存使用率在正常情況已經(jīng)達(dá)到100%，不得不經(jīng)常使用虛擬內(nèi)存，嚴(yán)重影響了系統(tǒng)的性能；服務(wù)器CPU使用率也保持在80%左右，嚴(yán)重影響系統(tǒng)的響應(yīng)時(shí)間。隨著項(xiàng)目的建設(shè)，綜合應(yīng)用服務(wù)器將承載更多的應(yīng)用，其CPU、內(nèi)存將嚴(yán)重制約系統(tǒng)的性能，成為影響系統(tǒng)的穩(wěn)定性巨大的風(fēng)險(xiǎn)。根據(jù)優(yōu)化配置建議，內(nèi)存使用率應(yīng)該保持在50%左右，CPU使用率應(yīng)保持在50%以內(nèi)。解決方案經(jīng)過前期在測試系統(tǒng)上進(jìn)行分區(qū)集成上，可以采用擴(kuò)充部分CPU、內(nèi)存的方式對現(xiàn)有兩臺綜合應(yīng)用服務(wù)器進(jìn)行擴(kuò)容，在擴(kuò)容后的主機(jī)上進(jìn)行LPAR分區(qū)進(jìn)行虛擬化。鑒于目前的系統(tǒng)，我們提出如下擴(kuò)容方案：硬件配置建議如下：1．兩臺P570綜合應(yīng)用服務(wù)器各增加10顆CPU，40G內(nèi)存，擴(kuò)容后共有16顆CPU，64G內(nèi)存2．增加4個(gè)擴(kuò)展柜，用于放置新增加的CPU3．12塊光纖存儲(chǔ)卡，12塊光纖網(wǎng)卡，1個(gè)HMC控制臺，8個(gè)內(nèi)置磁帶機(jī)隨著知識管理項(xiàng)目的不斷深化，目前知識管理系統(tǒng)上運(yùn)行著大量的應(yīng)用，與知識管理項(xiàng)目早期的設(shè)計(jì)初衷已有很大變化，已經(jīng)到了需要對系統(tǒng)的物理架構(gòu)進(jìn)行調(diào)整的時(shí)候。此次調(diào)整主要針對運(yùn)行WAS、工作流引擎、DB2的綜合應(yīng)用服務(wù)器，具體參見下圖：綜合應(yīng)用服務(wù)器的物理架構(gòu)改造圖在現(xiàn)有的兩臺綜合應(yīng)用服務(wù)器上，分別劃分出四組LPar（邏輯上將現(xiàn)有的服務(wù)器分為四組相對獨(dú)立的機(jī)器）：第一對LPar上，分配部署兩套WAS，并配置為Cluster。第二對LPar上，分配部署兩套WAS，并配置為Cluster。第三對LPar上，分配部署兩套WBI-SF，并配置為Cluster。第四對LPar上，分配部署1套DB2，并配置為HA方案。重新調(diào)整數(shù)據(jù)庫架構(gòu)：現(xiàn)在的數(shù)據(jù)庫服務(wù)器上集中了近20個(gè)數(shù)據(jù)庫，每個(gè)數(shù)據(jù)庫承載不同的系統(tǒng)應(yīng)用，這種架構(gòu)方式已經(jīng)不能適應(yīng)北京移動(dòng)現(xiàn)有環(huán)境。本次擴(kuò)容將對數(shù)據(jù)庫進(jìn)行合并，同時(shí)合并數(shù)據(jù)庫表，減小數(shù)據(jù)庫數(shù)量，從而從系統(tǒng)架構(gòu)級別提高數(shù)據(jù)庫響應(yīng)性能。4．?dāng)U容后系統(tǒng)情況綜合應(yīng)用服務(wù)器完成擴(kuò)容后，系統(tǒng)將形成如下物理架構(gòu)：擴(kuò)容后的物理部署示意圖完成擴(kuò)容后，兩臺機(jī)器配置如下：型號：IBMP570CPU：16CPU內(nèi)存：64G硬盤：146G擴(kuò)容后，綜合應(yīng)用服務(wù)器可以支撐50個(gè)應(yīng)用，具備為北京移動(dòng)9000員工提供日常應(yīng)用服務(wù)的能力。根據(jù)08年北京移動(dòng)IT系統(tǒng)建設(shè)計(jì)劃，擴(kuò)容后服務(wù)器能夠滿足新上線系統(tǒng)對硬件的新增需求。資源調(diào)配為充分利用硬件的計(jì)算能力，資源組和業(yè)務(wù)組配置方案將服務(wù)器的硬件資源劃分成四個(gè)資源組，每個(gè)資源組中包含若干多個(gè)CPU、內(nèi)存和磁盤等硬件資源，根據(jù)所處理業(yè)務(wù)的性質(zhì)劃分業(yè)務(wù)組：應(yīng)用服務(wù)組、流程服務(wù)組、數(shù)據(jù)庫服務(wù)組。配置時(shí)首先根據(jù)業(yè)務(wù)組的作業(yè)量的大小和變化規(guī)律得出每個(gè)業(yè)務(wù)組所需資源的缺省配置和最大配置。然后根據(jù)各個(gè)資源組的資源量和業(yè)務(wù)組資源配置的缺省需求和最大需求將資源組和業(yè)務(wù)組關(guān)聯(lián)。關(guān)聯(lián)原則：1．確保所有業(yè)務(wù)正常運(yùn)行某資源組的總資源>=所有業(yè)務(wù)組所需的缺省資源配置之和2．減少閑置資源某資源組的資源量<=所有業(yè)務(wù)組所需的最大資源配置之和$3．確保關(guān)鍵業(yè)務(wù)的運(yùn)行某資源組空閑資源>=關(guān)鍵業(yè)務(wù)的最大資源配置需求－關(guān)鍵業(yè)務(wù)缺省資源配置需求為了提高資源配置的柔軟性針對系統(tǒng)在運(yùn)行期間出現(xiàn)的不同情況應(yīng)采用不同的預(yù)測性方案解決，為此準(zhǔn)備了一下三種解決方案：1．周期性資源自動(dòng)重組（制訂任務(wù)計(jì)劃）對于作業(yè)量具有周期性變化規(guī)律的業(yè)務(wù)，可以對其所在的分區(qū)制定相應(yīng)的任務(wù)計(jì)劃定時(shí)對該分區(qū)進(jìn)行系統(tǒng)資源重組。在應(yīng)用服務(wù)器擴(kuò)容案例中一般情況下白天系統(tǒng)主要處理在線業(yè)務(wù)，晚間主要處理備份業(yè)務(wù)，這種業(yè)務(wù)的作業(yè)量變化具有周期性，因此在白天可以對應(yīng)用服務(wù)器或流程服務(wù)器分配較多資源，對數(shù)據(jù)庫服務(wù)務(wù)器分配較少資源，而在晚間則反之，這樣有效地減少了閑置資源，并使繁忙業(yè)務(wù)適時(shí)占有最大資源，從而有效地提高了系統(tǒng)的柔軟性。2．動(dòng)態(tài)資源重組(制訂策略)某些業(yè)務(wù)的作業(yè)量變化往往具有不確定性。因此執(zhí)行業(yè)務(wù)所需要的資源開銷也不確定。對于這種業(yè)務(wù)，分配較多資源會(huì)造成資源浪費(fèi)，分配較少資源會(huì)因?yàn)橘Y源不足導(dǎo)致業(yè)務(wù)無法正常運(yùn)行。所以根據(jù)負(fù)荷狀況進(jìn)行動(dòng)態(tài)資源重組，既可保證業(yè)務(wù)正常運(yùn)行，又提高了系統(tǒng)資源的利用率。系統(tǒng)的動(dòng)態(tài)資源重組應(yīng)該按照策略進(jìn)行，策略又稱Policy,包括策略條件、策略動(dòng)作、策略優(yōu)先級和策略條件4個(gè)要素。策略條件包括負(fù)荷情報(bào)、時(shí)間周期、硬件故障等等，負(fù)荷情報(bào)定義了負(fù)荷種類、判定對象、負(fù)荷閾值、負(fù)荷持續(xù)時(shí)間、負(fù)荷監(jiān)視間隔；時(shí)間周期指定了策略的有效期；硬件故障信息記錄故障所在的分區(qū)名、發(fā)生硬件故障的部件名等信息。策略動(dòng)作是指當(dāng)策略條件成立時(shí)系統(tǒng)所進(jìn)行的控制動(dòng)作，策略動(dòng)作有：新建分區(qū)、刪除指定分區(qū)給指定分區(qū)添加或剝離指定數(shù)目的CPU、內(nèi)存、替換指定的部件等。策略具有優(yōu)先級當(dāng)出現(xiàn)競爭時(shí)策略的執(zhí)行按照策略優(yōu)先級的高低順序執(zhí)行，當(dāng)優(yōu)先級相同時(shí)則按照策略的定義順序依次執(zhí)行。策略管理是將策略條件和策略動(dòng)作按照他們之間的邏輯關(guān)系聯(lián)系起來，保存到知識庫中，當(dāng)控制系統(tǒng)中的條件發(fā)生時(shí)，執(zhí)行特定動(dòng)作的過程，策略條件和策略動(dòng)作之間按照以下四種邏輯關(guān)系進(jìn)行組合：1）1個(gè)條件觸發(fā)一個(gè)動(dòng)作2）1個(gè)條件觸發(fā)多個(gè)動(dòng)作3）多個(gè)條件的邏輯組合觸發(fā)一個(gè)動(dòng)作4）多個(gè)條件的邏輯組合觸發(fā)多個(gè)動(dòng)作定義分區(qū)時(shí)，指定備用資源。當(dāng)分區(qū)執(zhí)行業(yè)務(wù)時(shí)，對于作業(yè)量具有周期性變化規(guī)律的業(yè)務(wù)，對其所在的分區(qū)制定相應(yīng)的任務(wù)計(jì)劃，定時(shí)對該分區(qū)進(jìn)行資源重組；對作業(yè)量變化無規(guī)律的業(yè)務(wù)分區(qū)，制訂策略，按照策略，調(diào)整分區(qū)的資源配置。例如，當(dāng)系統(tǒng)監(jiān)測到某分區(qū)當(dāng)前負(fù)荷已達(dá)到或超過分區(qū)閾值上限時(shí)，系統(tǒng)按照策略對該分區(qū)進(jìn)行資源調(diào)整。如給分區(qū)添加資源，提高其處理能力，避免資源不足導(dǎo)致不能順利完成任務(wù)。反之，當(dāng)某分區(qū)的負(fù)荷小于閾值下限時(shí)，系統(tǒng)則剝離該分區(qū)的閑置資源，將剝離出的資源設(shè)置為備用資源，供其他分區(qū)使用，以實(shí)現(xiàn)系統(tǒng)的負(fù)荷平衡。當(dāng)系統(tǒng)的備用資源已經(jīng)用完，同時(shí)有很多分區(qū)處于高負(fù)荷狀態(tài)，就整個(gè)系統(tǒng)而言，資源不足，無法滿足所有高負(fù)荷狀態(tài)分區(qū)的資源添加。這時(shí)根據(jù)制定的策略，按照業(yè)務(wù)優(yōu)先級的高低對資源進(jìn)行重組，以確保關(guān)鍵業(yè)務(wù)的執(zhí)行，使整個(gè)系統(tǒng)資源和業(yè)務(wù)的搭配趨于合理。以達(dá)到系統(tǒng)資源最大化利用。3．定期檢測和替換備用資源系統(tǒng)進(jìn)行動(dòng)態(tài)資源重組是基于可用的備用資源基礎(chǔ)之上的。所以，備用資源是否可用，直接影響著系統(tǒng)能否成功實(shí)現(xiàn)動(dòng)態(tài)的資源配置。因此，在柔軟性方案中，還提出了定期檢測備用資源，以確保備用資源的可用性；并定期替換使用中資源和備用資源，以降低使用中資源的故障發(fā)生率，從而提高系統(tǒng)的可靠性，而替換和檢測方式。都可以制定為任務(wù)計(jì)劃或策略。讓系統(tǒng)根據(jù)任務(wù)計(jì)劃或策略，自動(dòng)進(jìn)行故障檢測和資源替換。案通過分區(qū)資源配置、周期性資源自動(dòng)重組、動(dòng)態(tài)資源重組、定期檢測和替換備用資源等方法，提高了現(xiàn)有資源的利用率，簡化了資源的配置管理，從而提高了可分區(qū)服務(wù)器的資源配置的柔軟性。該方案目前已在測試系統(tǒng)上部署驗(yàn)證，取得了預(yù)期的效果，具有較高的實(shí)際運(yùn)用價(jià)值和一定的前瞻性，可望在后期擴(kuò)容方案實(shí)施過程實(shí)踐中繼續(xù)改進(jìn)和挖掘。虛擬化應(yīng)用分析虛擬化的價(jià)值通過將服務(wù)器資源分配到多個(gè)虛擬機(jī)，虛擬化支持不同的應(yīng)用,甚至不同的操作系統(tǒng)在同一企業(yè)級服務(wù)器上同時(shí)運(yùn)行。每個(gè)虛擬機(jī)就像一臺獨(dú)立的服務(wù)器，但實(shí)際上在同一物理服務(wù)器內(nèi)運(yùn)行。在一臺服務(wù)器上運(yùn)行多個(gè)應(yīng)用能夠提高服務(wù)器效率，并減少需要管理和維護(hù)的服務(wù)器數(shù)量。當(dāng)應(yīng)用需求增加時(shí)，可以迅速創(chuàng)建更多虛擬機(jī)，從而無需增加物理服務(wù)器即可靈活地響應(yīng)不斷變化的需求。而且，利用虛擬技術(shù)，IT管理員可以在服務(wù)器之間移動(dòng)正在運(yùn)行的虛擬機(jī)，同時(shí)保持服務(wù)器持續(xù)可用。總體來看，本次在KM中采用服務(wù)器虛擬化能帶來的好處主要有以下幾個(gè)方面：1．減少物理服務(wù)器的數(shù)量，提供一種服務(wù)器整合的方法，減少硬件采購成本3．提高服務(wù)器資源的利用率，提高服務(wù)器計(jì)算能力2．通過動(dòng)態(tài)資源配置提高IT對業(yè)務(wù)的靈活適應(yīng)力4．提高可用性，帶來具有透明負(fù)載均衡、動(dòng)態(tài)遷移、故障自動(dòng)隔離、系統(tǒng)自動(dòng)重構(gòu)的高可靠服務(wù)器應(yīng)用環(huán)境而且，隨著虛擬化技