運維項目工作總結參考

1、xxxx 運維服務工作總結目錄1概述 .42運維項目背景.43運維目標 .44運維人員配備.55運維工作總結.65.1 1-8月份 . .65.1.1XXXX系統(tǒng)測試與部署 .65.1.2協(xié)助 XXXX機房搬遷 .75.1.3二線專家支撐 .75.1.4XXXX系統(tǒng)優(yōu)化 .85.2 9-12月份 .85.2.1系統(tǒng)運維支撐 .95.2.1.1系統(tǒng)巡檢方式 . .95.2.1.1.1遠程方式 .95.2.1.1.2現(xiàn)場方式 .95.2.1.2系統(tǒng)維護巡檢內容 . .105.2.1.2.1遠程方式巡檢內容 .105.2.1.2.2現(xiàn)場方式巡檢內容 .105.2.1.3系統(tǒng)運行分析 . .105.2

2、.1.3.1系統(tǒng) CPU分析 .105.2.1.3.2系統(tǒng)內存分析 .105.2.1.3.3系統(tǒng)硬盤空間分析 .105.2.1.3.4系統(tǒng)進程運行分析 .115.2.1.3.5系統(tǒng)故障分析 .115.2.1.4現(xiàn)網(wǎng)作業(yè)工作 . .125.2.2業(yè)務協(xié)維 .125.2.2.1系統(tǒng)業(yè)務管理 . .125.2.2.2運營支撐內容 . .135.2.2.3 ZS 業(yè)務客戶服務與支持 .135.2.2.4運營數(shù)據(jù)分析 . .135.2.3專家服務 .145.2.3.1運維體系的建立 . .145.2.3.2輸出文檔 .145.2.3.3運維、系統(tǒng)二線支撐 . .145.2.3.4運營優(yōu)化 .145.2.

3、3.5XXXX應用接入 . .145.2.3.6運維風險評估 . .145.2.4系統(tǒng)定制開發(fā) .156規(guī)范運維流程 .157總結與明年展望 .151 概述2011 年對于 XXXX來說是具有歷史意義的一年， XXXX成功上線到接入第一個業(yè)務系統(tǒng)：集團采購門戶系統(tǒng)，揭開了XXXXXXXX認證的一個新的篇章， XXXX公司作為 XXXX的運維服務方， 在歷史的一年即將過去， 通過對 XXXX運維工作進行年度總結，從中發(fā)現(xiàn)工作中的不足，在以后的工作中逐漸改善。2 運維項目背景3 運維目標XXXX公司為 XXXX系統(tǒng)提供運行維護服務包括，XXXX軟件系統(tǒng)、系統(tǒng)相關的主機設備、操作系統(tǒng)、數(shù)據(jù)庫和存儲設

4、備的運行維護服務，保證 XXXX系統(tǒng)整體的正常運行，降低整體管理成本，提高 XXXX系統(tǒng)的整體服務水平。同時根據(jù)日常維護的數(shù)據(jù)和記錄， 提供 XXXX系統(tǒng)的整體建設規(guī)劃和建議， 更好的為 XXXX發(fā)展提供有力的支持。同時 XXXX公司為 XXXX系統(tǒng)提供業(yè)務協(xié)維服務， 包括業(yè)務系統(tǒng)接入前期業(yè)務支撐、業(yè)務系統(tǒng)接入后期業(yè)務支撐， 為業(yè)務系統(tǒng)提供專業(yè)的業(yè)務指引、 開發(fā)指引，方便各業(yè)務系統(tǒng)快速接入 XXXX系統(tǒng)。XXXX系統(tǒng)的組成主要可分為兩類：硬件設備和軟件系統(tǒng)。硬件設備包括網(wǎng)絡設備、安全設備、主機設備、存儲設備等；軟件設備可分為操作系統(tǒng)軟件、典型應用軟件（如：數(shù)據(jù)庫軟件、中間件軟件等）、業(yè)務應用軟

5、件等。XXXX公司通過運行維護服務的有效管理來提升XXXX系統(tǒng)的服務效率，結合用戶現(xiàn)有的環(huán)境、組織結構、IT 資源和管理流程的特點，從流程、人員和技術三方面來規(guī)劃用戶的網(wǎng)絡信息系統(tǒng)的結構。將用戶的運行目標、業(yè)務需求與IT服務的相協(xié)調一致。XXXX公司提供的服務的目標是， 對用戶現(xiàn)有的 XXXX系統(tǒng)基礎資源進行監(jiān)控和管理，及時掌握網(wǎng)絡信息系統(tǒng)資源現(xiàn)狀和配置信息，反映XXXX系統(tǒng)資源的可用性情況和健康狀況， 創(chuàng)建一個可知可控的IT 環(huán)境，從而保證 XXXX系統(tǒng)的各類業(yè)務應用系統(tǒng)的可靠、高效、持續(xù)、安全運行。4 運維人員配備XXXX運維團隊駐點工程師業(yè)務協(xié)維工程師二線專家XXXX運維人員梯隊結構人的

6、因素是決定運維服務好壞的最重要的因素，合理的人力配置能夠提高運維的質量和效率，保障運維工作的順利開展, XXXX 公司通過人力資源的整合與配置，形成了駐點工程師、業(yè)務協(xié)維、二線專家的人員梯隊結構，更好地適應XXXX運維工作的開展。駐點工程師擔著 XXXX運維工作的主動發(fā)起者的角色， 通過主動對 XXXX系統(tǒng)，從硬件、軟件各方面進行巡檢，保證 XXXX正常運行。業(yè)務協(xié)維工程師站在業(yè)務的角度， 解決 XXXX用戶的業(yè)務問題， 協(xié)助 XXXX公司運營人員。二線支持為用戶提供專業(yè)技術更強的技術支持服務， 深入研究疑難事件和問題，并在需要提供現(xiàn)場服務的情況下及時到現(xiàn)場為用戶排憂解難。通過三方面人員間的明

7、確分工和緊密配合，形成了較為合理的運維人力配置。XXXX公司人員配備如下：合同要求實際發(fā)生情況工作角色姓名工作量 (人工作量 (人月)服務周期服務周期月 )5 運維工作總結5.11-8 月份1 月份到 8 月份， XXXX處于系統(tǒng)測試與部署階段，XXXX公司提供的服務為系統(tǒng)進行全面測試、 部署、業(yè)務協(xié)維、協(xié)助 XXXX機房搬遷等內容， 共計提供 215人天運維服務工作， 其中 XXXX上線測試投入 4 人共 56 人天；系統(tǒng)部署上線共投入 3 人共 48 人天； XXXX機房搬遷投入 1 人共 8 人天；二線支撐投入1人共 83人天； XXXX系統(tǒng)優(yōu)化投入 1 人共 20 人天。4035302

8、5系統(tǒng)測試20系統(tǒng)部署機房搬遷15優(yōu)化10二線支撐501月2月3月4月5月6月7月8月運維工作量按月分布圖工作類型1 月2 月3 月4 月5 月6 月7 月8 月合計所占比例系統(tǒng)測試 ( 人天 )000001823155616.2%系統(tǒng)部署 ( 人天 )0000008404816.2%XXXX機房搬遷（人00000080816.2%天）XXXX優(yōu)化 ( 人天 )015000032209.3%二線支撐 ( 人天 )4573101219238321%總計(人天)：4207310306180215100%5.1.1 XXXX系統(tǒng)測試與部署XXXX按照 XXXX基地實際業(yè)務需求定制開發(fā)，開發(fā)項目組內部

9、測試通過后，需提交到運維人員內部及 XXXX內部進行測試驗證， 運維人員內部由 XXXX公司的業(yè)務協(xié)維工程師和駐點工程師 3 人共同完成，包括 XXXX基本的業(yè)務功能，如 ZS 申請、 ZS 審核、 ZS 下載、 ZS 批量申請等，共完成測試用例 138 起。根據(jù) XXXX需求文檔及測試用例嚴格執(zhí)行，業(yè)務功能基本符合要求后，XXXX公司工程師正式部署上線 XXXX系統(tǒng)。5.1.2 協(xié)助 XXXX機房搬遷XXXX在 7 月份進行機房搬遷， XXXX工程師協(xié)助 XXXX局方完成服務器的搬遷，包括服務器的網(wǎng)絡調試、XXXX系統(tǒng)的應用部署等。5.1.3 二線專家支撐1-8 月份二線支撐服務主要包括以下

10、工作：對 XXXX開發(fā)人員及測試人員提供專業(yè)的知識指導。制定 XXXX系統(tǒng)現(xiàn)網(wǎng)作業(yè)方案 （版本升級方案、新版本的產品說明；patch 升級方案，打完 patch 后的產品說明； 系統(tǒng)調整方案； 相應的升級回退方案）解答 XXXX等局方人員的技術難點。部分工作明細：工作類型工作任務工作描述OFFLINEXXXX 、分析日志發(fā)現(xiàn) oracle 連接在建立 8 小時后會自動斷開， 故需要使用連其他業(yè)務OCSP數(shù)據(jù)庫連接接池來避開這個問題。對OFFLINEXXXX、 OCSP與數(shù)據(jù)庫的連接方式進一段時間后超時行改造，改為連接池方式，解決了問題。日志顯示 TomXXXXt啟動時，連接 JBoss EJB

11、 服務異常，檢查 JBoss EJB遠程支持XXXXtomXXXXt啟狀態(tài)，發(fā)現(xiàn) EJB 對外暴露的 ip 地址是 192.168.8.2 ，而 XXXXweb的動異常jndi 配置指定為 127.0.0.1 ，故找不到 EJB 服務。指導運維人員啟動XXXX JBoss 時不加 -b 參數(shù)，解決了問題。局方希望 XXXX能支持以前采購的溝通得知此批 KEY 廠商為飛天，與飛天的技術人員溝通，提出改造需其他業(yè)務BJXXXX的 key ，求，由他們評估改造可行度，將結果反饋給局方。相關改造工作的調研其他業(yè)務XXXX控件對多廠家 key 的支持與需要支持的廠家技術人員聯(lián)系，給他們說明需要定制的需求

12、，并跟進進度。5.1.4 XXXX系統(tǒng)優(yōu)化針對 XXXX部署上線進行全面測試后出現(xiàn)的BUG進行修復：優(yōu)化類型內容描述修復 BUG對OFFLINEXXXX、OCSP增加數(shù)據(jù)庫連接池，解決這兩個模塊應用與數(shù)據(jù)庫連接一段時間后超時的問題。修復 BUG因為審計頁面存在多個元素 id 為 log ，導致 OCSP審計頁面顯示異常，修復此問題。除RA外 , 其他分系統(tǒng)的審計功能有問題，點“審計”頁面彈出窗口提示“該密鑰集未被修復 BUG定義”。因為審計功能記錄日志時，指定操作員ZS容器為 ipass-key ，因為容器不對，初始化時出錯。修復此問題。修復 BUG數(shù)量統(tǒng)計導出 excel 亂碼，因為產生 e

13、xcel 文件內容時沒有指定字符編碼，修復此問題。修復 BUGXXXX企業(yè) ZS管理查詢結果只有一條 ZS時，不能做吊銷。因為頁面 JS有錯，修復此問題。5.29-12 月份9-12 月份，XXXX平衡運行的同時， 成功接入集團采購門戶系統(tǒng)與XXXX基地4A 系統(tǒng)，為這兩個系統(tǒng)提供最高級別的安全保障。按XXXX公司的要求， XXXX公司配備的 4 位運維人員，包括兩位駐點工程師與兩位業(yè)務協(xié)維工程師，到XXXX基地現(xiàn)場辦公，能夠及時響應XXXX局方的要求。 XXXX公司為 XXXX提供全面的運維服務，包括硬件巡檢、軟件巡檢、XXXX系統(tǒng)巡檢、業(yè)務協(xié)維、二線專家支撐等，共計 445 人天，其中硬件

14、巡檢46 人天，軟件巡檢46 天， XXXX系統(tǒng)巡檢90 天，故障處理 2 天，業(yè)務協(xié)維174 天，二線專家支撐87 天，其中10 人天為晚上加班。運維工作量按月分布圖工作類型9 月10 月11 月12 月合計所占比例硬件巡檢與監(jiān)控 ( 人天 )111211124610%系統(tǒng)軟件巡檢與監(jiān)控 ( 人天 )111211124610%XXXX系統(tǒng)巡檢與監(jiān)控（人天）222322239020%XXXX系統(tǒng)故障處理 ( 人天 )110020%二線支撐 ( 人天 )222022238729.4%業(yè)務協(xié)維 ( 人天 )4440444617421%總計(人天)：111108110116445100%5.2.1

15、系統(tǒng)運維支撐5.2.1.1系統(tǒng)巡檢方式5.2.1.1.1遠程方式因 XXXX系統(tǒng)機房部分辦公設備還沒準備好，所以只能通過遠程連接服務器方式，對各個服務區(qū)及服務器進行巡檢，巡檢內容如下：區(qū)域服務器地址5.2.1.1.2現(xiàn)場方式現(xiàn)場巡檢方式是駐點工程師通過到達XXXX機房內部，通過觀察各服務器硬件指示燈、風扇運行等，檢查服務器系統(tǒng)運行狀態(tài)，巡檢的服務器數(shù)量如下：設備名字數(shù)量 ( 單位：臺 )Linux 服務器8Unix 服務器6磁帶庫服務器1交換機17加密機7防火墻105.2.1.2系統(tǒng)維護巡檢內容5.2.1.2.1遠程方式巡檢內容檢查服務器 CPU使用情況檢查服務器硬盤使用情況( 針對 home

16、目錄 )檢查服務器內存使用情況檢查系統(tǒng)進程運行情況通過查看日志，檢查系統(tǒng)運行情況5.2.1.2.2現(xiàn)場方式巡檢內容各服務器指示燈各服務器風扇運行狀態(tài)交換機指示燈狀態(tài)檢查機房實時溫度是否達標檢查機房設備溫度是否過熱檢查機房衛(wèi)生是否符合要求有無臨時接線搭線未清理5.2.1.3系統(tǒng)運行分析5.2.1.3.1系統(tǒng) CPU分析各服務器 CPU運行均都處于正常指標 (CPU使用率 <=85%)范圍內，具體如下：5.2.1.3.2系統(tǒng)內存分析各服務內存使用正常， 沒有發(fā)生內存占滿或內存溢出等故障，保證了各服務進行的運行：5.2.1.3.3系統(tǒng)硬盤空間分析各服務器空間以小幅度的速率增長，健康狀況良好：5

17、.2.1.3.4系統(tǒng)進程運行分析服務器的應用進程處于正常狀態(tài)，具體如下：區(qū)域服務器地址系統(tǒng)名字進程檢查情況5.2.1.3.5系統(tǒng)故障分析XXXX系統(tǒng) 9-12 月出現(xiàn)故障情況如下，在故障發(fā)生的第一時間，運維人員收到監(jiān)控系統(tǒng)的郵件通知， 并在收到郵件通知的第一時間進行處理，并把故障原因通報 XXXX公司相關負責人， 在完成后進行記錄、整理，輸出相應的故障報告等：故障出現(xiàn)時間故障服務器故障起因故障影響是否修復2011-9-24 11:30192.168.8.2網(wǎng)絡問題因為 8.1 和 8.2已修復服務器做的是負載（機器網(wǎng)絡不通，均衡 8.2 出現(xiàn)暫時重啟后恢復正常。連接不上，不影響業(yè)務的正常運行2

18、011-10-25192.168.6.6數(shù)據(jù)庫服目前未對外提已修復務器硬件問題供服務，本次故障未造成對外服務的影響。5.2.1.4現(xiàn)網(wǎng)作業(yè)工作任務簡介任務描述執(zhí)行人備注制作模板生成個人， 企業(yè)，服務器模板， 有效期為3 年簽發(fā)操作員 ZS簽發(fā) LA 操作員 ZS模板備份系統(tǒng)現(xiàn)有模板進行備份系統(tǒng)升級系統(tǒng) 920 版本部署上線 , 并進行功能測試防火墻操作核查防火墻配置系統(tǒng)升級XXXX V001R001B004版本的上線升級核實數(shù)據(jù)去后臺數(shù)據(jù)庫核實數(shù)據(jù)系統(tǒng)部署安裝部署 XXXX業(yè)務監(jiān)控系統(tǒng)系統(tǒng)備份去機房配合粟鈁對防火墻進行配置、對ocsp數(shù)據(jù)庫進行排錯定位、對備份服務器的配置硬件支持現(xiàn)場協(xié)助惠普工

19、程師處理數(shù)據(jù)庫服務器問題，最后硬件故障解決， p 數(shù)據(jù)庫恢復正常IDS 加電檢查檢查綠盟的 IDS 入侵檢測設備加電情況滲透測試配合華為對 XXXX系統(tǒng)進行入侵檢測和滲透測試軟件驗收XXXX軟件驗收 KMC、 XXXX部分應急演練配合 XXXX局方進行 XXXX系統(tǒng)應該演練5.2.2 業(yè)務協(xié)維5.2.2.1系統(tǒng)業(yè)務管理創(chuàng)建 ZS 模板：因項目需求創(chuàng)建項目適用ZS 模板，并做好模板備份工作。創(chuàng)建受理點：為項目創(chuàng)建新受理點，配置人員等。創(chuàng)建應用類型：為集團采購部項目創(chuàng)建單獨應用類型，便于項目ZS 量的統(tǒng)計及數(shù)據(jù)分析。操作員權限分配：一方面滿足項目需求，另一方面根據(jù)安全規(guī)范分配。系統(tǒng)升級上線業(yè)務功能

20、測試，保證系統(tǒng)業(yè)務功能的可用性與完整性。XXXX 系統(tǒng)內部全面測試：完成內部系統(tǒng)測試，為XXXX 系統(tǒng)軟件功能驗收測試做好充足準備。系統(tǒng)監(jiān)控系統(tǒng)功能部署前測試及功能演示等工作。參與 XXXX 系統(tǒng)定制開發(fā)需求的評審并提出修改意見，與開發(fā)人員配合討論確認方案，保障開發(fā)前需求評審及方案制定工作順利完成。配合南基 4A 系統(tǒng)接入的聯(lián)調測試。5.2.2.2運營支撐內容受理集團的上線。等。平臺相關人員對XXXX 的問題。5.2.2.3ZS 業(yè)務客戶服務與支持受理集團的 ZS業(yè)務客服咨詢與故障投訴申報； ZS業(yè)務流程咨詢、 ZS 使用問題技術支持。1) 指引、 FAQ 等日常文檔輸出： XXXX 業(yè)務系統(tǒng)

21、接入指引 CMXXXX Open API需求規(guī)格說明書2) 系統(tǒng)業(yè)務測試：系統(tǒng) 920 版本部署前測試，及功能演示，上線后功能驗證等工作。3) 系統(tǒng)業(yè)務測試：系統(tǒng) 1129 版本部署前測試， 及功能演示，上線后功能驗證等工作。5.2.2.4 運營數(shù)據(jù)分析此圖為 2011 年 XXXXZS 發(fā)放分析指標分析說明：5.2.3 專家服務5.2.3.1運維體系的建立制定規(guī)范制度：規(guī)范ZS 發(fā)行、客戶服務等工作流程行為，基于經驗、結合CMXXXX的業(yè)務特性，制定了CMXXXX數(shù)字 ZS 發(fā)行規(guī)范、CMXXXX數(shù)字 ZS 客戶服務規(guī)范等文檔。為建立健全運維、運營體系提供了堅實的基礎。5.2.3.2輸出文檔

22、 XXXXCMXXXX應急響應計劃 CMXXXX系統(tǒng)運維規(guī)范 CMXXXX行規(guī)范 CMXXXX客戶服務規(guī)范5.2.3.3運維、系統(tǒng)二線支撐機房網(wǎng)絡現(xiàn)場調試網(wǎng)管監(jiān)控方案及討論定制開發(fā)需求評審部署方案審核現(xiàn)網(wǎng)作業(yè)密碼管理XXXX 明年發(fā)展規(guī)劃5.2.3.4運營優(yōu)化根據(jù)項目支撐情況，提出日常運營優(yōu)化建議：規(guī)范 ZS申請流程規(guī)范 ZS使用流程規(guī)范 UKEY使用流程5.2.3.5XXXX應用接入。5.2.3.6運維風險評估滲透測試 :為了保障 XXXX 系統(tǒng)的安全性，應 XXXX 基地要求，地 XXXX進行滲透測試，從外網(wǎng)到內網(wǎng)全方位、漏洞滲透等，取得了良好的效果。5.2.4 系統(tǒng)定制開發(fā)根據(jù)應用項目的

23、特性、運營人員提出的優(yōu)化需求，進行需求分析、評審，輸出解決開發(fā)，協(xié)調資源進行定制開發(fā)工作，把控定制開發(fā)質量。1) XXXX支持二級審核開發(fā)及上線改造 XXXX，使其支持二級審核。對應用類型配置其下 ZS的審核級別。如果是一級審核，。2) 系統(tǒng)監(jiān)控功能的需求分析及評審對 CMXXXX系統(tǒng)業(yè)務進行監(jiān)控，當系統(tǒng)異常時通過郵件方式通知系統(tǒng)維護人員。系統(tǒng)暫時不考慮對系統(tǒng)權限的管理控制。3)系統(tǒng)定制開發(fā)功能的測試環(huán)境搭建。部署XXXX定制開發(fā)到測試環(huán)境，完成測試組內測試，進而運營人員針對業(yè)務功能進行測試并已完成測試。目前XXXX11月版本已部署上線，驗證工作也已基本結束。6 規(guī)范運維流程隨著運維工作的逐漸開展， 在與 XXXX公司的工作配合過程中， 通過引入 XXXX 公司的服務運營管理平臺 (somp) ，規(guī)范了運維工作流程，包括事件管理流程等。所謂事件，