核心系統(tǒng)高可用性設計

1、關于系統(tǒng)穩(wěn)定性策略的探討1. 前言系統(tǒng)作為業(yè)務系統(tǒng)的核心，其運行穩(wěn)定性和高可用性至關重要。因此，需 要通過高可用性設計來盡量減少系統(tǒng)的計劃內和計劃外停機，并在系統(tǒng)出現(xiàn)故 障時及時響應、快速恢復，以保障關鍵數(shù)據(jù)和業(yè)務系統(tǒng)的運行穩(wěn)定性和可持續(xù) 訪問性。其中：1. 計劃內停機是指管理員有組織、有計劃安排的停機，比如升級硬件微碼、升 級軟件版本、調整數(shù)據(jù)庫庫表、更換硬件設備、測試系統(tǒng)新功能等時，可能 需要的停止系統(tǒng)運行。2. 計劃外停機是指非人為安排的、意外的停機，比如當硬件出現(xiàn)重大故障、應用程序停止運行、機房環(huán)境遭到災難性的破壞時所引起的業(yè)務系統(tǒng)停止運行。目前，對于計劃內和計劃外停機，可通過消除系統(tǒng)

2、中的單點失效來盡量減 少停機時間。同時，通過采用可在線維護（固件升級、在線擴充、故障部件更 換）的設備，并通過負載均衡機制實現(xiàn)應用系統(tǒng)的在線升級、維護，將有效消除 計劃內停機對業(yè)務系統(tǒng)的影響。此外，由于系統(tǒng)中采用了全面的負載均衡設 計，并針對系統(tǒng)失效提供了可靠的數(shù)據(jù)備份恢復和多點容災保護，因而能夠有 效減少系統(tǒng)計劃外停機的恢復時間。在造成系統(tǒng)宕機的原因方面，有統(tǒng)計中表明并非都是硬件問題。其中，硬 件問題只占 40 ，軟件問題占 30 ，人為因素占 20 ，環(huán)境因素占 10 。因 此，高可用性設計應盡可能地考慮到上述所有因素。對于系統(tǒng)而言，其整體的 可用性將取決于內部的應用系統(tǒng)、主機、數(shù)據(jù)庫等多

3、種因素；同時，訓練有素 的系統(tǒng)維護人員和良好的服務保障也是確保系統(tǒng)穩(wěn)定運行和故障快速恢復的關 鍵。2. 應用系統(tǒng)系統(tǒng)在應用軟件架構設計中應從渠道層、渠道管理層、業(yè)務處理層等不同 層面通過多種措施和策略的綜合設計來提高應用系統(tǒng)的高可用性和穩(wěn)定性。在渠道管理層和業(yè)務處理層的設計中，要考慮設置應用負載均衡、應用軟 件失效備援、 vip 服務通道、流量控制、故障隔離等機制。1. 應用負載均衡應用軟件負載均衡通過多個層次上不同的負載均衡策略一起實現(xiàn)整體的負 載均衡，應用負載均衡的設計思路是將大量的并發(fā)訪問或數(shù)據(jù)流量分擔到多臺 節(jié)點設備上分別處理和將單個重負載的運算分擔到多臺節(jié)點設備上做并行處理 來達到負

4、載均衡的效果，從而提高服務響應速度，提高服務器及其他資源的利 用效率，避免服務請求集中于單一節(jié)點導致?lián)砣?. 應用軟件失效備援應用軟件構建在面向服務的架構、設計思想上，應用服務具有較高的可靈 活部署性。通過這種靈活性，結合系統(tǒng)基礎設施的規(guī)劃、部署可以實現(xiàn)應用軟 件的失效備援。系統(tǒng)可以考慮實現(xiàn)基于應用服務和基于應用服務管理框架的多 種應用軟件失效備援機制?；趹梅盏氖湓窃趹梅展芾砜蚣苤锌梢詫崿F(xiàn)應用服務的冗 余部署，利用硬件負載均衡設備或應用軟件負載均衡可以在需要時將服務請求 切換到相應的冗余服務。基于應用服務管理框架的失效備是將應用服務框架在系統(tǒng)中冗余部署，利 用硬件負載均衡設備

5、或應用軟件負載均衡可以在需要時將服務請求切換到相應 的冗余的應用服務管理框架。3. vip 服務通道在系統(tǒng)中，從系統(tǒng)運行穩(wěn)定性、持續(xù)性及處理性能的角度，配合物理設 備、系統(tǒng)支撐軟件 （數(shù)據(jù)庫系統(tǒng)、操作系統(tǒng)） 的相關措施，應用軟件可通過構建 VIP 服務通道的方式降低應用服務運行期間的相互影響。服務通道可以基于不 同業(yè)務產品或不同應用服務管理框架的不同粒度來設置，從而滿足部分應用處 理資源只響應特定的服務請求或不同的服務監(jiān)聽響應不同的通道傳遞過來的服 務申請的功能。4. 流量控制在系統(tǒng)中，從系統(tǒng)運行穩(wěn)定性、持續(xù)性角度，配合物理設備、系統(tǒng)支撐軟 件（數(shù)據(jù)庫系統(tǒng)、操作系統(tǒng)） 的相關措施，應用軟件可以

6、通過對服務請求的流量 控制機制，在系統(tǒng)性能波動較大時間段，對少部分影響程度高的交易進行流量 控制，保障系統(tǒng)運行平穩(wěn)運行。流量控制是大集中系統(tǒng)體系結構中提供的通過應用軟件對系統(tǒng)實施控制的 功能。流量控制基于大集中系統(tǒng)邏輯架構，依據(jù)系統(tǒng)、子系統(tǒng)、渠道等不同層 面的交易流量、交易狀態(tài)和確定的控制策略、控制規(guī)則，對系統(tǒng)實施控制。應 用系統(tǒng)具有如下功能：a) 流量數(shù)據(jù)采集：支持流量數(shù)據(jù)的采集功能。b) 流量值計算：完成對采集的流量數(shù)據(jù)進行計算，檢索出有流量超過額定 量的服務或交易，為后續(xù)的流量控制提供依據(jù)。c) 交易流量控制：支持針對特定交易進行流量控制。如：針對網(wǎng)絡流量大 的交易做控制， 如報表文件傳

7、輸； 交易高峰期對批量業(yè)務進行流量控制。d) 渠道流量控制：支持按照渠道進行流量控制；e) 控制策略及規(guī)則管理：支持控制策略及規(guī)則的配置，修改等功能。5. 故障隔離在系統(tǒng)中將考慮實現(xiàn)故障隔離機制，在應用軟件系統(tǒng)發(fā)生故障的時候，通 過故障隔離把故障造成的危害限制在最小范圍內，提高系統(tǒng)提供對外服務的整 體能力水平。故障隔離是大集中系統(tǒng)體系結構中提供的通過應用軟件對系統(tǒng)實施控制的 功能，應用軟件設計可考慮應用服務、應用服務框架的靈活部署，支持多角 度，多層次的故障隔離。應用系統(tǒng)具有如下功能：a) 支持按渠道的故障隔離，例如：當 POS 渠道交易響應慢，可停止 POS 渠道的對外服務功能。b) 支持按

8、子系統(tǒng)的故障隔離，例如：當查詢子系統(tǒng)出現(xiàn)異常時，可停止查 詢子系統(tǒng)的對外服務功能。c) 支持異常服務的故障隔離，例如：若某服務出現(xiàn)異常(如服務 CORE DOWN )，可停止此服務的對外服務功能。d) 支持按交易的故障隔離，例如：若某查詢交易出現(xiàn)服務堵塞，可停止此交易的對外服務功能在渠道層的設計中，可考慮采用網(wǎng)絡負載均衡、 vip 服務通道等機制。6. 網(wǎng)絡負載均衡在柜面網(wǎng)點前置系統(tǒng)側，可以考慮采用硬件負載均衡器對網(wǎng)點終端連接到 網(wǎng)點前置的負載均衡，利用負載均衡器的連接狀態(tài)檢查和負載均衡策略可以靈 活地調整終端的連接指向，屏蔽因網(wǎng)點前置機故障導致的終端操作異常，提高 網(wǎng)點前置系統(tǒng)的可用性。7.

9、 VIP 服務通道渠道層的 VIP 服務通道與業(yè)務處理層的 VIP 服務通道均針對提高系統(tǒng)的可用 性，但是在建設方式上有所區(qū)別。渠道層的 VIP 服務通道不僅可以通過渠道層 相關應用軟件的服務通道設立來實現(xiàn)，還可以考慮通過設置物理上相互隔離的 不同渠道通路來實現(xiàn)。3. 主機系統(tǒng)主機系統(tǒng)作為各應用系統(tǒng)的運行平臺，其可用性和穩(wěn)定性是業(yè)務系統(tǒng)能夠 持續(xù)、穩(wěn)定運行的前提。根據(jù)應用軟件架構設計，每個子系統(tǒng)的功能通過硬件 負載均衡機制部署于多套主機設備上，從而消除單臺主機所引入的單點故障。對于單臺主機系統(tǒng)而言，其高可用性和運行穩(wěn)定性可從以下幾方面加以保障：1. 主機自身的高可靠性主機采用高度冗余設計，可充

10、分保障自身的運行可靠性，如：多處理器架 構、冗余電源、冗余風扇、冗余時鐘、冗余 IO 等；同時，主機采用多種容錯技 術，可有效提升自身的可靠性，如：內存與高速緩存上的檢錯與糾錯 （ ECC）、 內存雙芯片備用、內存和處理器自動解除配置、用于監(jiān)控系統(tǒng)狀態(tài)的獨立的服 務處理器等。2. 主機關鍵部件全冗余配置 為確保主機運行的可靠性和穩(wěn)定性，系統(tǒng)主機的所有關鍵部件均采用了冗 余配置，以消除主機自身的單點故障，其中包括：a）配置熱插拔 N+1 或 N+N 冗余電源、 風扇，避免電源或風扇失效造成的 硬件故障或宕機。b）配置冗余系統(tǒng)盤，并通過操作系統(tǒng)進行系統(tǒng)盤的 RAID 1 鏡像保護；或 采用 SAN

11、 BOOT 系統(tǒng)盤，在實現(xiàn)存儲網(wǎng)絡連接全冗余的同時，通過在 SAN BOOT 磁盤組中采用高可靠級別的 RAID 技術（如 RAID10+ 熱備 盤）、不同存儲設備中的啟動盤映像副本選擇啟動、 磁盤陣列鏡像 （即“雙 陣列啟動”）等技術，切實保證 SAN BOOT 的可用性。c）配置冗余網(wǎng)卡，并根據(jù)實際需求采用多網(wǎng)卡綁定技術，實現(xiàn)多網(wǎng)卡間的 自動冗余和流量的負載均衡， 以提供更高的數(shù)據(jù)帶寬和鏈路的高可用性。d）配置冗余光纖通道 HBA 卡和 InfinibandHCA 卡，并通過多路徑軟件（操 作系統(tǒng)或第三方軟件支持）來實現(xiàn)多 HBA/HCA 卡的自動冗余與 IO 負 載均衡。e）配置冗余的主

12、機管理處理器， 能夠在線配置、 管理主機并監(jiān)控主機狀態(tài)， 同時支持透明接管和在線更換管理處理器。3. 主機自身的高可維護性主機的高可維護性對于消除計劃內停機的影響至關重要，主機通過其在線維護功能來確保其計劃維護期間的高可用性。其中：a）主機支持固件的在線升級，避免了因固件升級造成的計劃內停機。b）在主機上采用高可用操作系統(tǒng)，通過支持在線處理單元板增加與刪除、 動態(tài)內核調試、動態(tài)可加載內核模塊框架（支持在線 IO 驅動加載與補 丁升級）、PCI錯誤自動修復、動態(tài)錯誤管理與安全隔離、動態(tài)根盤（支 持軟件在線補丁升級）等高可維護特性來實現(xiàn)不停機的 IO 驅動、操作 系統(tǒng)和應用軟件的版本、補丁升級，從

13、而避免了因軟件版本或補丁升級 造成的計劃內停機。c）主機的處理單元板、電源、風扇、磁盤、 IO 等關鍵部件均支持在線增加 與刪除，同時其硬件支持熱插拔，可實現(xiàn)故障部件的在線更換，避免了 因部件更換造成的計劃內停機。4. 主機系統(tǒng)的高可用性設計 在主機上設計采用了電氣隔離的動態(tài)硬件分區(qū)技術，同時各分區(qū)采用相互 獨立、冗余的 IO 配置以實現(xiàn)自身的高可靠性。硬件分區(qū)技術在優(yōu)化主機資源 利用的同時，可在同一主機硬件內全面隔離分區(qū)故障。如果一個分區(qū)中的操作 系統(tǒng)、軟件或甚至是硬件出現(xiàn)問題，運行在其他分區(qū)中的操作系統(tǒng)和軟件均不 受影響。在主機硬件分區(qū)的基礎上，系統(tǒng)設計采用多個主機分區(qū)形成集群來為各業(yè) 務

14、應用提供運行支撐，同時各主機集群通過 Oracle RAC 或網(wǎng)絡負載均衡機制 實現(xiàn)主機間的負載均衡和自動冗余。為保證最大的可用性，應將同一集群內的 不同分區(qū)分別部署在相互獨立的主機硬件上，并通過各分區(qū)相互獨立的 IO 接入 數(shù)據(jù)網(wǎng)絡、心跳網(wǎng)絡和存儲網(wǎng)絡，從而確保了主機系統(tǒng)整體的高可用性。5. 主機系統(tǒng)的高可恢復性設計可恢復性定義了系統(tǒng)修復故障和恢復正常運行的能力。主機系統(tǒng)的可恢復 性從一定程度決定了系統(tǒng)出現(xiàn)故障時是否能夠自動修復和快速恢復，應通過主 機系統(tǒng)的備份與容災設計來確保其高可恢復性。其中：a) 對主機系統(tǒng)盤定期進行自動化克隆備份，以便于版本管理和系統(tǒng)盤的失效恢復，同時其備份的系統(tǒng)盤映

15、像副本可用于主機在線軟件、補丁升級 維護(通過動態(tài)根盤技術實現(xiàn)) 。b) 目前，系統(tǒng)中采用了兩地三中心 + 同址備援的容災體系設計。在上述容 災體系中，通過以下方式實現(xiàn)主機系統(tǒng)的災難恢復：? 同城容災：現(xiàn)階段基于存儲同步復制實現(xiàn)數(shù)據(jù)級容災，今后可考慮通過主機的城際集群實現(xiàn)同城災備中心與主中心間的主機系統(tǒng)自動災難接管。? 異地容災：可基于存儲異步復制、 Oracle DataGuard 等技術實現(xiàn)應用級容 災，今后可考慮通過主機的洲際集群實現(xiàn)異地災備中心與主中心間的主機系 統(tǒng)自動災難接管。? 同址備援： 可通過存儲陣列的異步復制和 Oracle DataGuard 等技術來減少Oracle 數(shù)據(jù)

16、庫邏輯數(shù)據(jù)塊損壞故障對業(yè)務系統(tǒng)造成的影響， 相關系統(tǒng)主機可 按策略實現(xiàn)故障接管。通過上述高可用性設計，主機系統(tǒng)中將不再存在單點故障隱患，這充分保 證了主機系統(tǒng)的可靠性；同時，主機的高可維護性設計保證了主機能夠在線進 行故障硬件更換、在線擴充、不停機進行軟件和補丁升級，從而有效避免了主 機的計劃內停機，提高了主機系統(tǒng)的可用性和穩(wěn)定性；此外，通過備份、容災 設計，在一定程度上保證了主機系統(tǒng)在發(fā)生故障或遭到災難時能夠快速恢復服務，從而確保了系統(tǒng)的業(yè)務連續(xù)性。4. 數(shù)據(jù)庫為了避免數(shù)據(jù)庫主機、數(shù)據(jù)庫存儲或者數(shù)據(jù)庫邏輯錯誤等引起的數(shù)據(jù)庫故 障，盡最大可能保障數(shù)據(jù)庫提供 7*24 小時的對外服務， Orac

17、le 提供了一個高可 用性、高可靠性和高可擴展性的數(shù)據(jù)庫環(huán)境。 Oracle 數(shù)據(jù)庫提供數(shù)據(jù)庫集群 RAC (Real Application Cluster )、 Data Guard 、自動存儲管理 ASM ( Automaic Storage Management )故障組鏡像、閃回技術 Flashback 、Stream 、 RMAN 快速備份和恢復等技術來保障數(shù)據(jù)庫的高可用性和穩(wěn)定性等功能。在系統(tǒng)中，采用如下 Oracle 數(shù)據(jù)庫技術提供其高可用性和穩(wěn)定性：1. RAC 數(shù)據(jù)庫中如某個節(jié)點發(fā)生故障， 集群中剩余節(jié)點可繼續(xù)提供服務， 同時 這些節(jié)點可自動對失效實例進行實例恢復，以保證數(shù)

18、據(jù)的一致性；崩潰節(jié)點 的相關虛擬 IP 可飄移到某個存活節(jié)點以繼續(xù)響應連接請求；這樣可有效解 決數(shù)據(jù)庫服務器的單點故障；2. RAC 數(shù)據(jù)庫是共享存儲的集群數(shù)據(jù)庫，在 Oracle 10g 之前，如果數(shù)據(jù)文件 所在陣列發(fā)生故障，數(shù)據(jù)庫依然無法提供服務。而進入 10g 之后，可利用 ASM 故障組特性，將數(shù)據(jù)文件存放在兩個不同的存儲陣列上，來自同個存 儲陣列的磁盤置于同一個故障組中， 這樣即使單個存儲陣列失效數(shù)據(jù)庫依然 可對外提供服務，有效解決了介質的單點故障；3. 在高可用性的人為錯誤方面， Oracle 數(shù)據(jù)庫提供了多種特性來加以解決：a) 閃回( Flashback )功能可解決刪除記錄(

19、 delete 操作)的誤操作問題；b) 如果打開回收站功能，閃回特性也可解決刪除對象的誤操作( Drop 操作)；c) 閃回特性需要額外的存儲空間；d) 如果無法做閃回操作，可使用“表空間基于時間點的恢復” (TSPITR) 將誤操作對象所在的某些表空間進行不完全恢復，以恢復誤操作數(shù)據(jù)； 一般情況下，此類操作需要額外的服務器資源；4. Oracle本身提供了 Dataguard容災技術，Dataguard 將數(shù)據(jù)量相對較小的 重做日志從生產系統(tǒng)傳輸?shù)綖膫湎到y(tǒng)，并重新應用相關日志，使備庫與生產 庫保持一致；進入 Oracle 11g 后， DataGuard 還支持日志的壓縮傳輸，減 少了日志

20、傳輸所需的網(wǎng)絡帶寬； Dataguard 除可實現(xiàn)災備， 也可分流生產庫 的部分工作負荷，如：生產庫的數(shù)據(jù)庫備份、報表生成等； DataGuard 也 有如下一些缺點：a) 主備庫間耦合度較高，會加重生產庫的工作負荷。在 Oracle 9i 中，如 主備庫間歸檔日志差異過大， 可能所有歸檔進程均用于向備庫傳送歸檔， 造成生產庫因無歸檔進程可用而掛起的嚴重后果；新版本中有無此類Bug 尚需測試加以確認；b) 日志傳輸效率低下。 Oracle 的 DataGuard 體系結構中，一個歸檔日志 文件只能使用一個歸檔進程傳輸，即使使用了日志壓縮技術，其效率也 較低；c) Oracle 只是判斷歸檔日志

21、的檢驗和來驗證日志的完整性， 在原災備中心 建設時已經過測試驗證此種方式可造成備庫錯誤；因此，如果需要使用 Dataguard 實現(xiàn)容災，建議仍然采用原災備中心的工 作方式，使用第三方編寫的傳輸軟件進行歸檔日志的傳輸，并使用類似 MD5 校 驗等方式保證日志文件的完整性， 這樣既實現(xiàn)了容災目的， 又降低了主備庫之間 的耦合度；5. 在高可用性中的計劃宕機及維護方面， Oracle 也提供了一系列的特性加以支 持：a) 支持索引的在線重建；b) 可在線重定義表，此功能可實現(xiàn)諸如：添加 / 刪除分區(qū)、添加 /刪除列、 移動表空間、堆表與分區(qū)表的相互轉換、改變存儲參數(shù)等操作；c) 新的“熱”升級(

22、Out-of-Place )方式將補丁安裝到新的軟件目錄中， 以減少安裝軟件所需宕機時間；在實際生產環(huán)境中， 除了介質損壞、 用戶誤操作等造成的損壞之外， 還有一 種由于 Oracle Bug 導致的異常，如內存混亂、數(shù)據(jù)塊邏輯損壞等。針對于此類 錯誤，雖然無法全面規(guī)避，但可通過以下兩種途徑降低系統(tǒng)級風險。a) 緊密關注 Oracle 公司定期發(fā)布的補丁，并根據(jù)實際情況完成補丁的評 估、驗證及生產庫的安裝使用，以降低系統(tǒng)潛在風險；b) 采用同址備援方案， 通過異步數(shù)據(jù)庫備份模式， 以豐富處理 Oracle 生產 庫數(shù)據(jù)塊部分邏輯錯誤處理試，加快系統(tǒng)恢復速度。5. 服務保障根據(jù) IT 系統(tǒng)運維的

23、多年經驗，系統(tǒng)的穩(wěn)定運行離不開堅實可靠的售后服務 體系、高水平的專業(yè)服務團隊和高質量的運維管理流程的支撐， 同時訓練有素的 系統(tǒng)維護人員和良好的服務保障也是確保系統(tǒng)故障能夠快速恢復的關鍵。結合系統(tǒng)建設的實際情況， 需要從以下幾個層面來保障系統(tǒng)的運行穩(wěn)定性和 高可用性。1. 運維管理層面 在數(shù)據(jù)中心，通過對所有硬件設備和應用軟件運行狀態(tài)的實時監(jiān)控和統(tǒng)一展 現(xiàn)，可以實現(xiàn)對設備、應用軟件異常的預警，同時在系統(tǒng)故障發(fā)生時及時報警。為減少人工運維操作所需的時間， 提高管理人員的工作效率， 降低運維管理 工作量并消除人為錯誤導致的故障隱患， 可考慮逐漸在數(shù)據(jù)中心運維工作中推廣 標準化運維操作的自動化運行， 通過基于配置管理數(shù)據(jù)庫的流程化運維管理工具 來實現(xiàn)自動化日常巡檢（自動化、流程化的系統(tǒng)健康檢查） 、軟件（操作系統(tǒng)、 補丁、應用等）的自動化安裝、部署和變更監(jiān)控、審計、以及自動化的系統(tǒng)合規(guī) 審計和數(shù)據(jù)的自動化備份等運維工作。2. 售后服務層面全面、及時、高質量的售后服務是關