銀行數(shù)據(jù)中心自動化智能運維平臺需求

數(shù)據(jù)中心自動化智能運維平臺

項目背景、目標(biāo)描述描述項目的背景及需要解決的問題描述項目的目標(biāo)評價項目目標(biāo)是否實現(xiàn)的衡量指標(biāo)項目背景目前我行所負(fù)責(zé)運維的開放平臺服務(wù)器已經(jīng)達(dá)到了相當(dāng)?shù)臄?shù)量規(guī)模，但是大多數(shù)配置管理和變更工作仍還由IT維護(hù)人員手工運維。隨著設(shè)備數(shù)量的增長、運維標(biāo)準(zhǔn)的提升、配置和運維規(guī)范的日益嚴(yán)格，手工運維的模式已經(jīng)越來越難以實現(xiàn)我行在IT運維方面的高標(biāo)準(zhǔn)要求，在配置管理、變更管理、合規(guī)審計和聯(lián)合排障等方面，因手工運維帶來的大量繁瑣工作和易出錯的操作都給安全生產(chǎn)帶來極大隱患。從運維管理模式上看，數(shù)據(jù)的集中意味著運維管理也必須相應(yīng)的向集中式的運維模式轉(zhuǎn)型，如果IT還停留在傳統(tǒng)的運維模式和運維水平，勢必對集中的業(yè)務(wù)帶來極大的潛在風(fēng)險。項目目標(biāo)改變IT部門的傳統(tǒng)運維模式，建立新的自動化運維模式，建設(shè)開放平臺服務(wù)器自動化配置管理系統(tǒng)將。從范圍上來說，該系統(tǒng)不僅能滿足目前中國XX銀行IT部門對數(shù)據(jù)中心開放平臺服務(wù)器的日常運維管理需求，而且應(yīng)能夠具備良好的擴展性，可以在未來為中國XX銀行IT部門提供從數(shù)據(jù)中心到測試中心、開發(fā)中心、各分行，乃至地市分行的端到端自動化運維管理。從功能上來說，該系統(tǒng)應(yīng)可以為開放平臺服務(wù)器的整個管理生命周期的提供一系列自動化配置管理手段，涵蓋開放平臺服務(wù)器規(guī)劃、設(shè)計、實施和運維的各個階段。需求分析配置信息自動化采集和管理日常巡檢自動化審計和合規(guī)管理軟件/補丁安裝和回退用戶權(quán)限管理報表管理代理(Agent)對目標(biāo)機器的影響需求分析：1配置信息自動化采集和管理：自動采集各種IT資產(chǎn)的配置信息，包括硬件信息、操作系統(tǒng)信息、數(shù)據(jù)庫信息、中間件信息等，并保證信息的實時性、準(zhǔn)確性；可以同時對許多設(shè)備進(jìn)行并發(fā)操作，大幅度提高管理效率，降低人為操作失誤。需求分析：2日常巡檢自動化：取代傳統(tǒng)的人工檢查，有效確保配置規(guī)范、安全規(guī)范、版本規(guī)范在實際環(huán)境中的落實；檢查內(nèi)容非常廣泛，包括用內(nèi)置的模板進(jìn)行檢查，以及由用戶自定義檢查，比如檢查CPU利用率、表空間利用率、日志文件搜集和分析、補丁規(guī)范、配置規(guī)范、安全設(shè)置等；檢查可以由管理員觸發(fā)進(jìn)行，也可以在設(shè)定的時間窗口自動周期性執(zhí)行，效率大大高于傳統(tǒng)方式，并且可以實現(xiàn)密集的檢查，及時發(fā)現(xiàn)和消除故障隱患，變頻頻救火為防患于未然，從根本上提升系統(tǒng)可靠性。需求分析：4軟件/補丁安裝和回退：操作系統(tǒng)補丁安裝升級應(yīng)用補丁安裝，包括：數(shù)據(jù)庫補丁、中間件補丁、XXX銀行自己開發(fā)應(yīng)用的補丁，以及如何自動部署新的應(yīng)用軟件/補丁的回退,能夠回退到上一狀態(tài)以工作流方式實現(xiàn)對各個運維管理子系統(tǒng)的指揮調(diào)度和協(xié)同工作實現(xiàn)IT流程完整的生命周期自動化，對流程進(jìn)行閉環(huán)管理；提供可視化工具定制流程；需求分析：5用戶權(quán)限管理：提供集中、統(tǒng)一的用戶認(rèn)證和權(quán)限管理實現(xiàn)基于角色、細(xì)粒度、靈活的用戶權(quán)限控制為實現(xiàn)實名制用戶管理提供技術(shù)手段，消除賬號共享的弊端提供單點登錄功能，避免用戶記憶很多口令支持多種外部的用戶認(rèn)證方式，包括LDAP、AD等需求分析：6報表管理：跨越多個數(shù)據(jù)中心提供全面的硬件、軟件和操作活動的全面報表；可以自動生成通用的合規(guī)報表，如Sarbanes-Oxley報表等；可以創(chuàng)建可互操作的圖表，提供多層次數(shù)據(jù)并可層層深入挖掘；可以導(dǎo)出報表數(shù)據(jù)與其它報表工具進(jìn)行集成。應(yīng)用或技術(shù)架構(gòu)圖應(yīng)用架構(gòu)圖技術(shù)架構(gòu)圖系統(tǒng)示意圖技術(shù)架構(gòu)圖HP自動化運維術(shù)語SAServerautomation服務(wù)器自動化系統(tǒng)CoreCoreSA的核心服務(wù)器Sliceslice和agent通訊的組件MRModelRepositoryoracle數(shù)據(jù)庫SARServiceautomationreport報表管理系統(tǒng)OOOperationOrchestration自動化運維流程整合系統(tǒng)CentralServerCentralServerOO的核心服務(wù)器SQLServer

SQLServerSQL服務(wù)器基礎(chǔ)設(shè)施部署架構(gòu)圖具體網(wǎng)絡(luò)拓?fù)鋱D典型部署與訪問方式分布部署，高可用性1002客戶端http443Java10991002300130011002衛(wèi)星節(jié)點被管服務(wù)器

SA架構(gòu)SA架構(gòu)比較復(fù)雜,下面做詳細(xì)說明由于xxx銀行業(yè)務(wù)擴展,數(shù)據(jù)中心業(yè)隨著擴充,服務(wù)器數(shù)量也不斷增加,現(xiàn)有服務(wù)器大約為1,400臺左右,考慮以后發(fā)展,如~2,250臺,~4,500臺,~7,200臺,~8,000臺等的架構(gòu)CoreCapableofSupporting2,250ManagedServersCoreCapableofSupporting4,500ManagedServersCoreCapableofSupporting7,200ManagedServersCoreCapableofSupporting8,000ManagedServers容量估算SA數(shù)據(jù)庫服務(wù)器2臺，建議配置如下：處理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，4顆以上內(nèi)存：16GBRAM以上硬盤：200GB以上,SCSI網(wǎng)卡：100/1000Mbps以太網(wǎng)卡，2個容量估算OO流程自動化工具后臺服務(wù)器2臺，建議配置如下：處理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，4顆以上內(nèi)存：8GBRAM以上硬盤：80GB以上,SCSI網(wǎng)卡：100/1000Mbps以太網(wǎng)卡，2個容量估算OO流程自動化工具數(shù)據(jù)庫2臺，建議配置如下：處理器：CPUDual-coreProcessorIntelXeon,3.0+GHz，2顆以上內(nèi)存：4GBRAM以上硬盤：80GB以上,SCSI網(wǎng)卡：100/1000Mbps以太網(wǎng)卡，2個服務(wù)器列表范例2913三月2023操作系統(tǒng)報表范例3013三月2023軟件信息報表范例3113三月2023日常巡檢自動化日常巡檢自動化內(nèi)容：包括用內(nèi)置的模板進(jìn)行檢查，以及由用戶自定義檢查，比如檢查CPU利用率、表空間利用率、日志文件搜集和分析、補丁規(guī)范、配置規(guī)范、安全設(shè)置等標(biāo)準(zhǔn)操作系統(tǒng)軟件/補丁信息補丁版本、xxx.rpm包版本等信息日常巡檢自動化方法：取代傳統(tǒng)的人工檢查,自動化管理檢查可以由管理員觸發(fā)進(jìn)行，也可以在設(shè)定的時間窗口自動周期性執(zhí)行，效率大大高于傳統(tǒng)方式，并且可以實現(xiàn)密集的檢查，及時發(fā)現(xiàn)和消除故障隱患，變頻頻救火為防患于未然，從根本上提升系統(tǒng)可靠性.日常巡檢自動化的解決方案日常巡檢的內(nèi)容由于每個企業(yè),每個銀行,每個數(shù)據(jù)中心都不同,沒有統(tǒng)一的標(biāo)準(zhǔn),需要利用現(xiàn)有腳本或者開發(fā)新的腳本(shell,perl,VBscript,.bat,python)開進(jìn)行日常巡檢.有的日常巡檢需要采集某些信息如CPU利用率等,有的日常巡檢只是判斷某個參數(shù)是否合規(guī)(符合定義的數(shù)值),通常用SA的audit功能的customscript或者OGFS腳本來實現(xiàn),相關(guān)數(shù)據(jù)會寫入數(shù)據(jù)庫,再用BIRT報表工具自定義用戶需求的報表日常巡檢可以有管理員定義schedule定時執(zhí)行,以可以立即執(zhí)行自定義腳本實現(xiàn)日常巡檢自動化范例自定義腳本:密碼長度>6位定時日常巡檢范例定義運行時間服務(wù)器合規(guī)報表范例審計和合規(guī)管理審計和合規(guī)的內(nèi)容用戶操作行為審計用戶登陸哪臺服務(wù)器、登陸時間、執(zhí)行的操作命令、命令執(zhí)行的時間等業(yè)績多種合規(guī)或最佳實踐SarbanesOxley,PCI,FISMA,HIPAA,ITIL,COBIT,COSO等這些業(yè)績規(guī)范的合規(guī)審計用戶自定義合規(guī)策略也可由用戶自定義合規(guī)策略，可以針對文件、目錄、用戶、組、補丁、軟件包、注冊表、應(yīng)用配置模板等多種對象制定合規(guī)策略審計和合規(guī)管理審計和合規(guī)的解決方案用戶操作行為審計可以對用戶的擊鍵記錄進(jìn)行全程的跟蹤用戶操作行為審計報表范例業(yè)界規(guī)范范例審計和合規(guī)的解決方案業(yè)績規(guī)范或者最佳實踐審計業(yè)界規(guī)范之HP-UX審計審計和合規(guī)的解決方案業(yè)績規(guī)范或者最佳實踐審計自定義合規(guī)策略審計和合規(guī)的解決方案用戶自定義合規(guī)策略用戶可以利用SA的audit功能定義自己的合規(guī)策略自定義遠(yuǎn)程登陸timeout時間為300s審計和合規(guī)報表范例軟件/補丁安裝和回退軟件/補丁安裝和回退的內(nèi)容:操作系統(tǒng)補丁HP-UX,RedHatLinux等應(yīng)用補丁數(shù)據(jù)庫補丁、中間件補丁、XXX銀行自己開發(fā)應(yīng)用的補丁等軟件/補丁安裝的方法:以工作流方式實現(xiàn)補丁安裝軟件/補丁安裝軟件/補丁安裝的解決方案對于操作系統(tǒng)補丁,數(shù)據(jù)庫補丁如oracle和中間件補丁,可以直接采用SA的自帶的補丁安裝功能進(jìn)行安裝,支持的操作系統(tǒng)補丁類型有:OSVersionPatchTypesAIX4.3,5.1,5.2,5.3AIXUpdate

APARHP-UX11.00,11.11,11.23HP-UXPatch

HP-UXPatchProductSunSolaris6-10,10x86SolarisPatch

SolarisPatchClusterSuseLinux9,10rpmRedhatLinuxAS3,AS4rpmWindows2000,2003,2003x64,WindowsXPandWindowsNT4.0WindowsHotfix

WindowsOSServicePack軟件/補丁安裝軟件/補丁安裝的解決方案對于操作系統(tǒng)補丁,數(shù)據(jù)庫補丁和中間件補丁,操作步驟如下:補丁入庫到SA制定軟件/補丁策略執(zhí)行軟件/補丁策略查詢報表操作系統(tǒng)補丁類型范例AIX補丁Solaris補丁操作系統(tǒng)補丁安裝范例選擇補丁,選擇機器進(jìn)行補丁安裝軟件/補丁安裝軟件/補丁安裝的解決方案對于應(yīng)用程序補丁(如XXX銀行自己開發(fā)應(yīng)用的補丁),可以采用OO+SA的方式,進(jìn)行應(yīng)用程序補丁安裝.方案如下:1.利用OO開發(fā)flow(流程),此flow包含整個應(yīng)用程序補丁安裝的整個過程2.在OO中調(diào)用SA的相關(guān)功能如分布時腳本執(zhí)行,軟件分發(fā),OGFS腳本等3.利用SAR功能查詢報表軟件/補丁安裝軟件/補丁安裝的解決方案對于應(yīng)用程序補丁安裝步驟如下:準(zhǔn)備工作:1.在SASclient端建立路徑如/CCB/packages/,/CCB/scrpts/2.第一次需要用SASclient在Globalshell下面導(dǎo)入正確的停止weblogic應(yīng)用程序(b2c,b2b)的腳本如weblogic_stop.sh和weblogic_start.sh到/home/se/scripts目錄下,如果此腳本修改,需要再次導(dǎo)入.3.上傳要變更的包到版本管理服務(wù)器的/packages上4.對設(shè)備進(jìn)行分組如:B2b__|__普通

|__異步交易B2c___|__投資理財

|__通用

|__法蘭克福

|__異步交易5.上傳要變更的補丁(.tar)到某臺版本服務(wù)器上(可以是SAScore)的/packages目錄下面軟件/補丁安裝軟件/補丁安裝的解決方案對于應(yīng)用程序補丁安裝步驟如下:OO流程說明:1.在OOwebclient端啟動變更流程2.調(diào)用應(yīng)用停止自動化子流程3.選擇要安裝的補丁4.download補丁到目標(biāo)機器5.用md5檢查download已經(jīng)完成并且成功6.執(zhí)行安裝腳本b2cpatch20081115_full_fix1.sh進(jìn)行補丁安裝7.顯示成功的機器和失敗的機器8.在Globalshell下面,拷貝啟動腳本到成功的目標(biāo)機器9.執(zhí)行啟動腳本,啟動應(yīng)用程序10.最后顯示成功的機器列表和和失敗的機器應(yīng)用程序補丁安裝流程范例子流程子流程軟件/補丁回退軟件/補丁回退的解決方案對于操作系統(tǒng)補丁,數(shù)據(jù)庫補丁如oracle和中間件補丁,可以直接采用SA的自帶的補丁回退功能進(jìn)行回退.對于應(yīng)用程序補丁的回退,需要用OO開發(fā)flow(工作流)來進(jìn)行回退,關(guān)鍵是調(diào)用回退腳本.回退工作流說明:1.在OOwebclient端啟動回退流程2.調(diào)用應(yīng)用停止自動化子流程3.輸入回退的補丁名如unb2cpatch20081115_full_fix14.到停止成功的機器上,執(zhí)行反安裝腳本如unb2cpatch20081115_full_fix1.sh5.調(diào)用啟動腳本,啟動應(yīng)用程序6.最后顯示成功的機器列表和和失敗的機器列表用戶權(quán)限管理用戶權(quán)限管理內(nèi)容資源(resource)權(quán)限介質(zhì)庫如操作系統(tǒng)補丁,應(yīng)用程序補丁,自動化腳本等用戶組如按照組織結(jié)構(gòu)或者功能分為:系統(tǒng)HP-UX組,系統(tǒng)windows組,網(wǎng)銀操作組等設(shè)備組B2b設(shè)備組,b2c設(shè)備組,AIX5.3設(shè)備組等系統(tǒng)功能(action)權(quán)限安裝軟件,執(zhí)行腳本的權(quán)限等單點登陸SSO與LDAP等外部用戶的集成用戶權(quán)限管理用戶權(quán)限管理的解決方案對于一個用戶組的權(quán)限包含對資源的權(quán)限和哪些action(做何種操作),權(quán)限是二維的,如下:用戶權(quán)限管理用戶權(quán)限管理的解決方案單點登陸(SSO):SA自帶了單點登陸功能,事先設(shè)置好登陸用戶和權(quán)限之后,可以不用輸入密碼在一個統(tǒng)一的界面實現(xiàn)單點登陸.用戶權(quán)限管理用戶權(quán)限管理的解決方案與外部LDAP等集成HPSA能夠和LDAP集成,HPSA用戶的驗證在LDAPserver上,因此HPSA所有的用戶及認(rèn)證密碼都可以保存在LDAPserver上。用戶權(quán)限管理用戶權(quán)限管理的解決方案與外部LDAP等集成的架構(gòu)用戶權(quán)限管理用戶權(quán)限管理的解決方案與外部LDAP等集成SA和LDAP的用戶同步增加用戶LDAPclient增加用戶；郵件通知HPSA管理員；HPSA管理員從HPSAWebClient同步新增的用戶；刪除用戶LDAPclient刪除用戶,LDAP沒有此用戶；郵件通知HPSA管理員；如果HPSA沒有刪除用戶,由于認(rèn)證在LDAP上,因此仍然不能登陸HPSA；HPSA管理員定期從HPSAWebClient手工刪除用戶報表報表內(nèi)容基礎(chǔ)報表服務(wù)器信息報表,軟件信息報表,硬件信息報表,合規(guī)報表等擴展報表數(shù)據(jù)庫信息報表如按照組織結(jié)構(gòu)或者功能分為:系統(tǒng)HP-UX組,系統(tǒng)windows組,網(wǎng)銀操作組等中間件信息報表日常巡檢報表報表報表的解決方案基礎(chǔ)報表對于基礎(chǔ)報表可以利用SAR自帶的基本報表,quicksearch,advancedsearch等功能實現(xiàn)基礎(chǔ)報表的展現(xiàn)如操作系統(tǒng)報表,軟件信息報表,硬件信息報表,合規(guī)報表等擴展報表對于擴展報表需要用BIRT自定義開發(fā)報表報表的解決方案擴展報表自定義報表步驟如下:在windows下安裝BIRT2.1.1生成報表展現(xiàn)格式利用BIRT工具生成*.rptdesign(包含select語句和展現(xiàn)的格式)*rptdesign關(guān)聯(lián)到SAR 1)拷貝*.rptdesign到SAR的/opt/opsware/omdb/reports目錄下2)在custom_def.xml中關(guān)聯(lián)*.rptdesighAgent對被管機器的影響Agent安裝需求目標(biāo)機器至少30RAMAgent需要使用1002端口Agent需要和SAcore的3001端口通訊空間需求30MBin/opt/opsware(Unix)100MBin/var/opt/opsware(Unix)30MBin%SystemDrive%\ProgramFiles\Opsware(Windows)100MBin%SystemDrive%\ProgramFiles\CommonFiles\Opsware(Windows)Agent對被管機器的影響Agent支持的操作系統(tǒng)Agent對被管機器的影響Agent運行時需求如果SAclient不發(fā)起任何操作,Agent占有目標(biāo)機器的CPU,memory和I/O基本為0如果SAclient發(fā)起下面的操作1.軟件/補丁安裝:SA先download軟件/補丁介質(zhì)到目標(biāo)機器,再在目標(biāo)機器上執(zhí)行安裝腳本,通常軟件/補丁dowl