基準和接入實驗室Power平臺運維方法

1、基準和接入實驗室Power平臺運維開發(fā)中心侯祥君2015.9POWER概況p實驗室現(xiàn)已在Power上部署了三套基準測試環(huán)境（J1/J2/J3）和接入測試環(huán)境（R1/R2/R3)約520個分區(qū)。p環(huán)境中大部分AIX系統(tǒng)分區(qū)位于4臺POWER_780及4臺750上，每臺P780都為64c的cpu現(xiàn)在剩余約15c左右，每臺部署了約80個分區(qū)。每個P750都為32c的cpu現(xiàn)在剩余1c左右，每臺約40個分區(qū)。p實驗室中絕大部分AIX分區(qū)(約500個)都是基于PowerVM的。POWER概況vJ3環(huán)境的POWER平臺分區(qū)以生產環(huán)境備份恢復，包括rootvg、apvg、datavg, 部分VG參照生產重新

2、創(chuàng)建，包括ASM磁盤、GPFS文件系統(tǒng)和數(shù)據(jù)庫數(shù)據(jù)。vJ1/J2環(huán)境則已J3為模板進行vg備份恢復。部分VG參照生產進行重新創(chuàng)建。PowerVM設計思路vPowerVM 具有VIO Server（VIOS）和VIO Client（VIOC）兩個層面，主要分為CPU及內存規(guī)劃、物理通道規(guī)劃和虛擬通道規(guī)劃三個方面。v先了解一下，什么是PowerVM ，我們看下圖。PowerVM概述左邊一張是傳統(tǒng) I/O 結構圖，硬盤和外設掛載到 I/O 適配器上，通過 I/O 處理器連接到系統(tǒng)總線并與 CPU 和內存進行數(shù)據(jù)交互。右邊一張是虛擬 IO 服務器的結構圖，硬盤掛載到物理 I/O 適配器后，由虛擬 IO

3、 服務器統(tǒng)一管理，虛擬 IO 服務器將物理適配器虛擬化后，經由虛擬適配器通過虛擬 SCSI 層連接到客戶分區(qū)進行數(shù)據(jù)交互。PowerVM 能夠針對于客戶分區(qū)來虛擬化 Power 主機的處理器、內存、存儲及 I/O 資源，使我們的 主機資源得以充分的利用，更加方便擴展，在擴充虛擬機的時候并不一定需要增加硬件。計算資源設計我們看一個分區(qū)cpu屬性計算資源設計vPowerVM的共享CPU池技術（share processor）可以根據(jù)用戶分區(qū)的負載，以0.1顆CPU為粒度分配CPU的運算能力。v圖中的CPU分為Min（最小值）、Des（已分配）和Max（最大值）三個值，Min表示分區(qū)啟動所需的最小C

4、PU數(shù)，Des表示分區(qū)可以獲得的運算能力。Max表示分區(qū)在Dlpar時可以調整的CPU最大值。計算資源設計v圖中的虛擬處理器數(shù)（VP）也分為Min、Des和Max三個值。vMin和Max用于Dlpar時調整VP的數(shù)量，VP 已分配值是分區(qū)的運算負載分布在多少顆CPU上。比如一個處理單元 Des為1，而VP Des為2的分區(qū)，表示分區(qū)會使用兩個物理CPU的運算時鐘周期，但是每個CPU只使用50%，總共提供1個CPU的運算能力v注意這三個值都應該是整數(shù)，并且他們分別被對應的Entitlement值除時應該大于0.1計算資源設計v主機每過10ms會對分區(qū)的忙閑程度做評估，然后按需分配不同分區(qū)使用物理

5、CPU的比例。如果剩余的CPU數(shù)量有限，Weight值大的分區(qū)在與其他分區(qū)爭用CPU時能夠取得較多部分。這個后面還將詳細說一下。計算資源設計v內存規(guī)劃的分配與CPU類似，Min和Max確定了Dlpar的區(qū)間，Des是分區(qū)啟動時嘗試取得的內存數(shù)量。注意Max不能大于Min的64倍。v我們的計算資源分配分別為生產系統(tǒng)的5%、5%、20%。v物理通道規(guī)劃物理通道規(guī)劃v我們使用了VIOS來管理所有的網(wǎng)絡和存儲的IO，要把板卡冗余地分配給兩個VIOS即可，下表為VIOS的硬件IO卡劃分例子。虛擬通道規(guī)劃虛擬通道規(guī)劃v在搭建VIOS環(huán)境的過程中，要建立分區(qū)規(guī)劃的虛擬網(wǎng)絡及存儲通道表。這有助于在后期對系統(tǒng)的

6、整體維護。v在使用VSCSI方式的模式下，我們用下面這個表格演示虛擬卡之間的關系，注意這個表格中ent、vhost、hdisk號是在系統(tǒng)安裝完后才能確定。表中分別列出了VIOS1、VIOS2和VIOC的虛擬以太網(wǎng)卡（VEA）、虛擬SCSI卡（VSA）等內容的對應關系。 在兩個VIOS中，建立了Slot ID 11的虛擬以太網(wǎng)卡，Slot ID 99的心跳線，20、30、40號卡為虛擬SCSI卡，用于綁定VIOC的虛擬SCSI卡提供磁盤、虛擬光驅等設備。 SEA下面的ent4是VIOS中用于橋接物理網(wǎng)卡和虛擬網(wǎng)卡而產生的以太網(wǎng)設備。兩個VIOS需要有不同的優(yōu)先級。虛擬通道規(guī)劃虛擬通道規(guī)劃v我們建

7、立Shared Ethernet Adapter（SEA）實現(xiàn)VLAN1和外部網(wǎng)絡的橋接。建立SEA之前，我們需要確認兩個方面，首先，VIOS1和VIOS2用于創(chuàng)建SEA的虛擬以太網(wǎng)卡的trunk是不一樣的。其次，VIOS1和VIOS2用于心跳的虛擬以太網(wǎng)卡是在同一個VLAN里面。v這本例里面，就是確認VIOS1的11號卡trunk為2、VIOS2的11號卡trunk為1、并且VIOS1的99號卡和VIOS2的99號卡都處在VLAN99上。v這些檢查步驟能夠有效地預防網(wǎng)絡風暴的產生。v下面的命令在兩個VIOS中輸入，注意命令需要完整：vmkvdev -sea ent0 -vadapter en

8、t20 -default ent20 -defaultid 3501 -attr ha_mode=auto ctl_chan=ent36 vmkvdev -sea ent0 -vadapter ent2 -default ent2 -defaultid 1 -attr ha_mode=auto ctl_chan=ent3vent0 （插槽ID為11）是橋接SEA使用的物理卡，ent2是默認VLANID為1的VEA（插槽ID為11）；ent3是VLAN為99的VEA（插槽ID為99），用來做心跳控制；ha_mode為自動切換模式，兩個VIOS都要安裝以上的參數(shù)規(guī)定進行設置。Npiv下的虛擬光纖卡

9、通道規(guī)劃我們給每個 LPAR 配備四個虛擬 FC 適配器。將頭兩個虛擬 FC 適配器映射到第一個 VIOS 的頭兩個虛擬 FC 端口，并將最后兩個虛擬 FC 適配器映射到第二個 VIOS 的頭兩個物理 FC 端口。如下圖所示。其中藍色數(shù)據(jù)流量從 客戶分區(qū) 上的虛擬適配器 vfcs0 和 vfcs1 通過vfchost映射到 vios1 上第一個 FC 適配器上的物理端口 fcs0 和 fcs1。同樣 虛擬 FC 適配器 vfcs2 和 vfcs3 映射到 vios2 上第一個 FC 適配器的物理端口 fcs0 和 fcs1。建立建立VIO Serverv我們首先要在服務器上建立前面提到的VIO

10、S.v如下圖在HMC所管理的服務器上選擇左側server菜單下的POWER服務器建立虛擬IO 服務器分區(qū)，選擇配置 - 創(chuàng)建邏輯分區(qū) - VIO 服務器。建立建立VIO Serverv輸入分區(qū)標識 和名稱, 完成后繼續(xù)選擇下一步。建立建立VIO Serverv然后輸入概要文件名，完成后繼續(xù)選擇下一步后，選擇CPU的配置。vcpu受限與不受限，可以在這里選擇。受限和非受限分區(qū)的差別。如果是受限分區(qū)，負載很重的話，分配也會恒定在某一個地方，你給它多少個CPU處理能力，就恒定在那里，有空閑的資源也達不到，如果是非受限分區(qū)，當它的負載要求很高的時候，它可以拿到更多的資源，并且整個CPU池中空閑的資源都

11、可以被它拿到。加權范圍值，這個數(shù)值越高優(yōu)先級越高，如果是0代表不可能拿到更多的CPU。不受限邏輯分區(qū)所使用的處理單元的總數(shù)可以臨時地超出對不受限邏輯分區(qū)指定的最大數(shù)量v不受限權重必須是 0 到 255 的整數(shù)。更大的數(shù)目表示它接收到的空閑處理單元所占的比例更高。不受限邏輯分區(qū)的缺省不受限權重是 128。如果將不受限權重設置為 0，那么受管系統(tǒng)將邏輯分區(qū)視為受限邏輯分區(qū)。不受限權重為 0 的邏輯分區(qū)所使用的處理單元不能多于落實至該邏輯分區(qū)的處理單元。v下一步內存、IO設置依據(jù)規(guī)劃分配便可。建立建立VIO Serverv創(chuàng)建虛擬適配器。v注意虛擬適配器的槽位號分配。VIOS系統(tǒng)是通過槽位號來區(qū)分虛

12、擬卡。建立建立VIO Server此圖是創(chuàng)建虛擬以太網(wǎng)卡，適配器標識為虛擬卡槽位號。 如果vios上對外虛擬以太網(wǎng)卡VLAN ID設為130，配置VIO Client時需要把虛擬以太網(wǎng)卡的VLAN ID也指定為130，這樣客戶機分區(qū)就可以通過VIO Server連接外網(wǎng)，兩個VIO Server上的優(yōu)先級值不能相同，優(yōu)先級值小的1優(yōu)先級高）建立建立VIO Server邏輯主機以太網(wǎng)適配器、主機通道適配器（HCA）不用配置，直接點擊下一步。預覽概要文件配置信息，如果確認完成，選擇完成. 虛擬IO服務器 概要文件 配置建立完成 。建立建立VIO Serverv分區(qū)概要創(chuàng)建完成后就相當于有了一臺虛擬

13、機硬件，下一步就可以裝系統(tǒng)了，按照一般的AIX安裝步驟即可。v在安裝VIOS系統(tǒng)時要注意系統(tǒng)版本選擇：企業(yè)版和標準版，他們就差別就一點，它可以做動態(tài)分區(qū)遷移，第三種是快捷版，實際上它只支持POWER6的520和550上使用，它相當于比較粗略的版本，功能有一定的限制。采用PowerVM初級版，每一個服務器上最多有三個分區(qū)。v客戶端分區(qū)與VIOS分區(qū)建立步驟相似，在第一步選擇AIX分區(qū)選項。注意客戶分區(qū)的虛擬卡規(guī)劃。分區(qū)管理v分區(qū)的啟停 這是分區(qū)關機狀態(tài)下的控制欄，這里可以用激活概要文件來啟動當前分區(qū)，在分區(qū)開機狀態(tài)下操作欄下的激活變?yōu)殛P閉分區(qū)與重新啟動。 這里也可以刪除分區(qū)。通過管理概要文件來配置虛擬機IO卡，配置后的概要文件需要重啟激活才能生效.延遲延遲：HMC 將使用延遲的斷電序列關閉該邏輯分區(qū)。這使該邏輯分區(qū)有時間結束作業(yè)并將數(shù)據(jù)寫入磁盤。如果該邏輯分區(qū)無法在預先確定的時間內關閉，那么它將異常結束，并且下次重新啟動所需的時間將比正常情況長。立即立即：HMC 將立即關閉該邏輯分區(qū)。HMC 將立即結束所有活動作業(yè)。不允許那些作業(yè)中運行的程序執(zhí)行任何作業(yè)清除工作。如果已經更新了部分數(shù)據(jù)，那么此選項可能會導致不良后