u2vl精英訓(xùn)練營應(yīng)用服務(wù)器中間件篇

U2VL精英訓(xùn)練營－應(yīng)用服務(wù)器／中間件篇12014年11月版（第三版）AgendaJava平臺概述為什么虛擬化Java平臺Java平臺設(shè)計與規(guī)劃遷移方法論Java平臺最佳實踐和調(diào)優(yōu)成功案例Java平臺概述常規(guī)JAVA平臺Java平臺一般都會涉及多個組織，維護較為復(fù)雜數(shù)據(jù)庫Java應(yīng)用負載均衡層負載均衡Web服務(wù)器IT運維

網(wǎng)絡(luò)組IT運維

服務(wù)器組IT運維

開發(fā)團隊IT運維

DBA關(guān)鍵利益相關(guān)部門Web服務(wù)器層應(yīng)用服務(wù)器層數(shù)據(jù)庫層DBServers負載均衡層Web服務(wù)器層應(yīng)用服務(wù)器層數(shù)據(jù)層WebServerPoolAppServerPoolDBConnectionPoolHtml靜態(tài)查詢請求(負載位于Web服務(wù)器)對后臺數(shù)據(jù)庫的動態(tài)請求(負載位于應(yīng)用服務(wù)器與DB)基于vSphere的Java平臺架構(gòu)負載均衡Web服務(wù)器Java應(yīng)用服務(wù)器為什么虛擬化Java平臺每套應(yīng)用環(huán)境都需要獨立的系統(tǒng)會導(dǎo)致服務(wù)器的泛濫提供新的應(yīng)用系統(tǒng)需要大量的時間和技術(shù)資源72%vs.28%運維與創(chuàng)新比率整個企業(yè)范圍的打補丁和系統(tǒng)升級十分困難不能通過池化實現(xiàn)資源的彈性調(diào)配JavaEEApplicationServer人力資源JavaEEApplicationServerCRM應(yīng)用JavaEEApplicationServer財務(wù)系統(tǒng)JavaEEApplicationServer測試系統(tǒng)人力CRM財務(wù)研發(fā)每個應(yīng)用的實例都需要一個獨立的操作系統(tǒng)和一套獨立的硬件環(huán)境傳統(tǒng)應(yīng)用系統(tǒng)的挑戰(zhàn)研發(fā)集群VMwareInfrastructure/vSphere人力集群VirtualMachineWindowsNTJavaEEApplicationServer人力資源財務(wù)集群VirtualMachineSUSELinuxJavaEEApplicationServer財務(wù)應(yīng)用VirtualMachineWindows2000ServerJavaEEApplicationServer測試系統(tǒng)CRM集群VirtualMachineWindows2003ServerJavaEEApplicationServerCRM應(yīng)用VirtualMachineWindowsNTJavaEEApplicationServer測試系統(tǒng)VirtualMachineRedHatLinuxJavaEEApplicationServer財務(wù)應(yīng)用VirtualMachineRedHatLinuxJavaEEApplicationServerCRM應(yīng)用銷售部門資源池開發(fā)部門資源池后臺部門資源池VMwareESXServer#1VMwareESXServer#2 VMwareVmotion技術(shù)StorageServers把系統(tǒng)資源進行池化整合Java平臺的虛擬化Java本身就是虛擬化概念的體現(xiàn)（JVM）Java中間件在vSphere上經(jīng)過了廣泛地測試(包括在VMware，合作伙伴以及客戶的環(huán)境中)Java基于虛擬化的性能和基于物理機的性能十分接近中間件一直以來都以云作為自己的發(fā)展方向，虛擬化正是將應(yīng)用移動到云端的第一步Java平臺基于虛擬化平臺的好處靈活的調(diào)配計算資源的配置，例如虛機大小，增加更多的節(jié)點靈活的部署軟硬件補丁，并保證最小的停機時間通過減少中間件創(chuàng)建維護消耗時間來建立更加方便管理的系統(tǒng)方便的進行整體的性能調(diào)優(yōu)方便的監(jiān)控整個中間件平臺方便的處理不同時期的工作負載，可以方便的進行按需管理Java平臺設(shè)計與規(guī)劃應(yīng)用平臺從Unix物理機器遷移到Linux，往往存在拓撲擴展情況，一般需要重新設(shè)計虛機容量

第一步：建立負荷模型從生產(chǎn)環(huán)境的日志、監(jiān)控報告、需求分析、當初設(shè)計文檔等確定：并發(fā)用戶數(shù)反應(yīng)時間高峰反應(yīng)時間評價反應(yīng)時間建立SLA

第二步：建立性能基線在測試環(huán)境下，通過多次迭代測試，確定滿足SLA的虛機容量在測試的過程中，進行各種參數(shù)調(diào)優(yōu)，這些參數(shù)最終可以應(yīng)用到生產(chǎn)環(huán)境

第一步：生產(chǎn)環(huán)境容量設(shè)計在第二步測試的基礎(chǔ)上，設(shè)計生產(chǎn)環(huán)境的容量，根據(jù)業(yè)務(wù)的發(fā)展留有一定的空間設(shè)計和規(guī)劃Java平臺第二步–建立性能基線決定需要多少個VM建立水平的可伸縮性水平擴展測試在CPU使用率70-80%的情況下需要建立多少臺虛擬機滿足響應(yīng)時間，TPS，并發(fā)用戶的需求?在應(yīng)用出現(xiàn)瓶頸之前，確定水平可以擴展的系數(shù)橫向擴展測試標準虛機標準虛機SLA滿足?測試結(jié)束查看出現(xiàn)瓶頸的原因：網(wǎng)絡(luò)，存儲，應(yīng)用配置和vSphere如果水平擴展的瓶頸解決，繼續(xù)進行水平擴展測試如果是建立的標準虛擬機存在瓶頸？不滿足標準虛機BuildingBlockVM建立標準虛擬機建立垂直的可伸縮性縱向擴展測試估算每臺虛擬機承載多少JVM?估算虛擬機的大小，配置多少vCPU和虛擬內(nèi)存縱向擴展測試建立標準虛機基于vSphere的JVMJVMMaxHeap-XmxJVM內(nèi)存PermGenInitialHeap操作系統(tǒng)內(nèi)存VM內(nèi)存-XmsJavaStack-Xssperthread-XX:MaxPermSizeOthermem本地內(nèi)存Java內(nèi)存JAVA虛擬機內(nèi)存計算方式操作系統(tǒng)的內(nèi)存占用一般為1G“othermem”是指NIObuffers,JITcodecache,classloaders,SocketBuffers(receive/send),JNI,GCinternalinfo這些組件需要的內(nèi)存如果您再一臺VM上面部署多個JVM，那么VM的內(nèi)存計算如下:虛擬機內(nèi)存=操作系統(tǒng)內(nèi)存+N*JVM內(nèi)存虛擬機內(nèi)存=操作系統(tǒng)內(nèi)存+JVM內(nèi)存JVM內(nèi)存

=JVMMaxHeap(-Xmxvalue)+JVMPermSize(-XX:MaxPermSize)+NumberOfConcurrentThreads*(-Xss)+“otherMem”常規(guī)JVM設(shè)計示例JVMMaxHeap-Xmx(4096m)JVM內(nèi)存(4588m)PermGenInitialHeap操作系統(tǒng)內(nèi)存虛擬機

內(nèi)存(5088m)-Xms(4096m)JavaStack-Xssperthread(256k*100)-XX:MaxPermSize(256m)Othermem(=217m)500musedbyOS設(shè)置虛擬機內(nèi)存預(yù)留為5088m基于內(nèi)存數(shù)據(jù)庫技術(shù)的大JVM示例JVMMaxHeap-Xmx(30g)PermGenInitialHeap操作系統(tǒng)內(nèi)存-Xms(30g)JavaStack-Xssperthread(1M*500)-XX:MaxPermSize(0.5g)Othermem(=1g)0.5-1gusedbyOS設(shè)置虛擬機內(nèi)存預(yù)留為34gJVM內(nèi)存(32g)虛擬機內(nèi)存(34g)為什么使用內(nèi)存預(yù)留當各種內(nèi)存部分確定好以后虛擬機設(shè)置內(nèi)存預(yù)留，預(yù)留內(nèi)存5088MB這是保證對已經(jīng)啟動的虛擬機分配的實際VMwareESX?/VMwareESXi(tm)主機內(nèi)存是可用的，以避免內(nèi)存過度承諾產(chǎn)生爭用ESX/ESXi的內(nèi)存管理技術(shù),例如ballooning和swapping機制都要避免采用以防止對性能產(chǎn)生影響設(shè)計VM內(nèi)存大小的影響16Exabytes64-bitJavatheoreticallimitGuestOSlimitis1TBto16TBESXi5limit32vCPU1TBRAMPhysicalserverlimit~256GB<1TBPerNUMARAM目前最影響整個設(shè)計的就是NUMA節(jié)點的影響NUMA本地內(nèi)存計算方式對于生產(chǎn)環(huán)境來說最好留一些余量，例如按照NUMA節(jié)點的95%計算生產(chǎn)環(huán)境的NUMA節(jié)點大小ProdNUMALocalMemory(Intel)PerVM=0.95*NUMALocalMemoryProdNUMALocalMemory(AMD)PerVM=(0.95*NUMALocalMemory)/296GBRAM2sockets8pCPUpersocket中間件組件45GBRAMVMswith8vCPUVMs可用的內(nèi)存=96*0.98-1GB=>93GB=>93*0.95=>88.5GB每個NUMA節(jié)點的內(nèi)存=>88.5GB/2Approx.45GBforeachVMJAVA虛擬機推薦配置方式WebJVM-1WebJVM-1WebJVM-2WebJVM-1WebJVM-2WebJVM-3WebJVM-41VM4vCPU1JVM4GB2VMs2vCPUoneachVM2JVMs2.5GBeach4VMs1vCPUoneachVM4JVMs2GBeach遷移方法論U2VL遷移方法論階段一：評估階段二：設(shè)計階段四：運行階段三：實施數(shù)據(jù)收集性能基線需求映射依賴性調(diào)查數(shù)據(jù)分析業(yè)務(wù)用例遷移策略TCO/ROIVMware駐場計劃運維上線支持技術(shù)客戶經(jīng)理支持（TAM）BCS／MCS支持構(gòu)建最優(yōu)虛擬化架構(gòu)使用最適合的工具對應(yīng)用的業(yè)務(wù)邏輯和數(shù)據(jù)進行遷移完成系統(tǒng)管理框架實施概要設(shè)計詳細設(shè)計風險分析防范措施POC測試最佳實踐遷移計劃一般遷移步驟CONFIDENTIAL26Phase1–虛擬化WebServer層Phase2–虛擬化Java應(yīng)用層Phase3–虛擬化DBServer層Phase4–虛擬化LoadBalancer層Phase2Phase1Phase3Phase4Java應(yīng)用是平臺無關(guān)的，所以一般來說很方便進行遷移從Unix到Linux的遷移:通常JVM會發(fā)生變化(不同的OS需要特定的JVM),但是這是與應(yīng)用無關(guān)的應(yīng)用的代碼不需要變化，除非一些情況可能會因為我們把JVM從32位升級到64位一些特殊方法需要變化當進行操作系統(tǒng)的改變的時候一些JVM的命令和操作可能會發(fā)生變化，但這些變化影響的范圍很小遷移注意事項當前運行環(huán)境的調(diào)查與評估多少個JVM?每個JVM多大?每個JVM的作用?目前使用32位還是64位的JVM?服務(wù)器配置（包括CPU，內(nèi)存等信息）當前系統(tǒng)的CPU和內(nèi)存使用率OS版本與配置參數(shù)?中間件版本與配置參數(shù)應(yīng)用的版本項目計劃明確項目目標，規(guī)模和范圍明確項目涉及的軟硬件資源及配合廠商明確項目參與人員及分工明確測試項目，關(guān)鍵測試用例明確項目時間進度，分工流程，軟硬件組件調(diào)度流程明確遷移窗口制定風險控制方案項目實施：遷移過程準備遷移環(huán)境搭建硬件平臺，安裝服務(wù)器，存儲，部署網(wǎng)絡(luò)環(huán)境VMware軟件平臺，安裝和配置vSphere，vCenter安裝虛擬機，配置操作系統(tǒng)和中間件遷移環(huán)境驗證準備測試用例，應(yīng)用聯(lián)調(diào)，驗證應(yīng)用功能完整性和應(yīng)用正確性進行壓力測試和性能調(diào)優(yōu)新系統(tǒng)進行最后調(diào)整，遷移全部應(yīng)用Java平臺最佳實踐和調(diào)優(yōu)對于Java平臺一般通用虛機配置每個JVM配置兩顆vCPU當縱向擴展或者橫向擴展的時候都盡量保持這樣的比例1JVM:2vCPU盡量采用橫向擴展而不要采用縱向擴展對于普通的應(yīng)用系統(tǒng)建議采用這種方式進行設(shè)計2vCPUVM1JVM(-Xmx4096m)Approx5GBRAMReservationGC機制ESXi并不關(guān)心采用哪種GC機制，因為對于EXSi來說操作系統(tǒng)和JAVA虛擬機都是各自獨立的GC調(diào)優(yōu)不論你調(diào)整GC是為了獲得高吞吐量或者低延遲，都是以犧牲另外一種為代價的提高吞吐量降低延遲調(diào)優(yōu)方向JobWeb中間件基于vSphere的最佳實踐

EnterpriseJavaApplicationsonVMwareBestPracticesGuide

BestPracticesforPerformanceTuningofLatency-SensitiveWorkloadsinvSphereVMs

vFabricSQLFireBestPracticesGuide

vFabricReferenceArchitecture

最佳實踐匯總

按照前面討論的建議進行設(shè)計設(shè)置內(nèi)存預(yù)留開啟HT，保持1vCPU=1.25pCPU的比例如果采用多線程垃圾回收機制,那么需要保證足夠的vCPU用于垃圾回收(numberofthreads<=numberofvCPUs)example:-Xgcthreads4Locators/heartbeat類的程序不要開啟vMotion,一旦開啟會導(dǎo)致網(wǎng)絡(luò)風暴等問題當做常規(guī)維護需要使用vMotion時候建議要使用10Gbps以上的網(wǎng)絡(luò)帶寬虛擬CPU與線程和物理CPU的對應(yīng)關(guān)系Thread1Thread2Thread3Thread4vCPU0Thread5Thread6vCPU1vCPU2vCPU3