系統(tǒng)運維體系架構(gòu)規(guī)劃

1、系統(tǒng)運維體系架構(gòu)規(guī)劃  分享 本文主要介紹運維體系與架構(gòu)的設(shè)計規(guī)劃，這將引導(dǎo)我們從一個高屋建瓴的角度去考慮如何組織運維團隊，如何規(guī)劃運維架構(gòu)，用什么構(gòu)建起運維架構(gòu)，以及如何開展運維工作。圖1-1本文將會引入很多簡明的運維實踐示例來形象直觀的告訴大家如何構(gòu)建起運維體系。通過學(xué)習(xí)本文內(nèi)容將會使我們具備規(guī)劃與構(gòu)建整個IT運維體系架構(gòu)的知識和能力。運維體系是運維的基礎(chǔ)和核心。通過運維體系的構(gòu)建及完善，使我們的運維做到穩(wěn)定可靠，準確完備，規(guī)范科學(xué)。從某種角度來看，系統(tǒng)運維體系可以用一個四面體來描述(如圖1-1所示)，包括四大方面：人、事、物、流程標(biāo)準。從人、事、物、流程這四個方面便可

2、以很好地將運維體系進行解構(gòu)，它們彼此互相作用，共同構(gòu)建了一個完整實用的運維體系。下面列舉了這四個方面各自的含義及相關(guān)內(nèi)容。人：例如完善崗位職責(zé)與職業(yè)發(fā)展、提高團隊技術(shù)水平、完善技能分享與培訓(xùn)、完善團隊績效考核、規(guī)范工作行為規(guī)范等。目的是要建成一支工作高效、技術(shù)水平高、團結(jié)穩(wěn)定、有職業(yè)素養(yǎng)的運維團隊。事：例如做好日?；A(chǔ)運維工作，保障好生產(chǎn)業(yè)務(wù)運行。不斷探索新的運維理念與技術(shù)，探索優(yōu)化系統(tǒng)架構(gòu)。具體可以分為幾大塊，例如運維流程管理，資源架構(gòu)規(guī)劃，應(yīng)急與故障處理，監(jiān)控與優(yōu)化，安全與防護，項目及日常工作，等等。目的是要明白運維做什么正確的事，怎么正確地做事，做事有章法，穩(wěn)定高效能。物：主要是如何管理

3、好系統(tǒng)運維所涉及的各種資源。例如機房環(huán)境、辦公設(shè)備、服務(wù)器、網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用軟件、工具等各種軟硬件資源。目的要使各類資源配置管理妥當(dāng)，清楚資源屬性，知道從哪來，現(xiàn)在哪，要去哪。使得物盡其用，物有所值，安置妥當(dāng)。流程標(biāo)準：運用流程標(biāo)準將上述要素(人、事、物)有機地結(jié)合，有序科學(xué)地流轉(zhuǎn)、高效穩(wěn)定地運行。例如資源規(guī)劃與采購，各種標(biāo)準規(guī)范、項目規(guī)范、軟硬件配置部署規(guī)范、安全制度、工作交接，等等。就上述四大方面，下文繼續(xù)展開論述，當(dāng)然也僅是一些內(nèi)容的列舉，畢竟具體到每個企業(yè)組織，其運維工作內(nèi)容可能會大同小異。1.1團隊人員規(guī)劃1.1.1崗位職責(zé)劃分一個優(yōu)秀企業(yè)(組織團隊)的核心競爭力其實說到底就

4、是人。合適的人在合適崗位上正確地干正確的事情這就是核心競爭力。一個好的運維團隊也是如此，人在運維體系中就是核心，好的運維團隊能夠有效地、高質(zhì)量地、相對低成本地發(fā)揮各個運維元素的功效，達到更完美的運維效能。對于運維崗位劃分，很多企業(yè)大同小異，一般都是以保障業(yè)務(wù)生產(chǎn)穩(wěn)定高效運行為目的，根據(jù)自身企業(yè)發(fā)展需要劃分崗位。小微企業(yè)可能沒有專門的運維人員及崗位設(shè)置，稍大的一些企業(yè)也可能由其他崗位人員(如開發(fā)人員)兼職運維人員，發(fā)展到中小型企業(yè)后往往就會設(shè)置專門的運維崗位人員從事日常維護工作。對于中大型企業(yè)一般都會有專門的運維團隊從事專業(yè)的運維工作，而且不僅僅是運維，還包括運維開發(fā)。隨著運維的發(fā)展，運維崗位也

5、逐漸細分很多種，各個企業(yè)崗位設(shè)置與職責(zé)也不盡相同，但崗位工作內(nèi)容大同小異。大致有如下崗位：系統(tǒng)管理員、數(shù)據(jù)庫管理員、網(wǎng)絡(luò)管理員、機房環(huán)境管理員、運維開發(fā)工程師、應(yīng)用運維工程師、服務(wù)管理工程師、安全審計工程師、架構(gòu)師等。有了崗位設(shè)置及專職人員，然后就會產(chǎn)生人力職業(yè)發(fā)展、技能培訓(xùn)、績效考核等一系列問題，這些問題往往即相互聯(lián)系又各成一體。如下是某企業(yè)的崗位職責(zé)劃分示例：· 崗位(一級分類)通用職責(zé)要求是系統(tǒng)管理每個崗位都應(yīng)履行的職責(zé)。· 崗位(二級分類)專項職責(zé)是針對每一項工作崗位的職責(zé)要求。· 崗位(三級分類)專人職責(zé)是針對每一個人設(shè)置的各自不同的具體職責(zé)。每個人在執(zhí)

6、行通用職責(zé)的基礎(chǔ)上同時履行各自的專項專人職責(zé)。崗位(一級分類)通用職責(zé)示例通用職責(zé)如表1-1所示。表1-1續(xù)表崗位(二級分類)專項職責(zé)示例如下是系統(tǒng)管理崗位工作示例：表1-2續(xù)表1.1.2崗位交接示例因人員的短期離崗(以及離職)會給運維的穩(wěn)定性、安全性、經(jīng)驗傳承、資料留存、以及團隊穩(wěn)定等眾多方面產(chǎn)生一系列影響,運維工作中的故障隱患很大比例來自于崗位交接。因此運維工作的崗位交接是個重要的事情，表1-3是崗位交接制度示例。表1-3續(xù)表1.1.4技能培訓(xùn)不同的企業(yè)，對人力的培訓(xùn)也各有方式，輕重不同，內(nèi)容有別。有的企業(yè)注重以老帶新，有的企業(yè)注重個人自學(xué)，有的企業(yè)注重內(nèi)部交流，有的企業(yè)注重外部培訓(xùn)。培訓(xùn)

7、往往也與崗位發(fā)展、財務(wù)狀況、績效考核、獎懲福利等相互關(guān)聯(lián)。從培訓(xùn)的途徑來看，培訓(xùn)主要分為內(nèi)訓(xùn)和外訓(xùn)兩種方式。內(nèi)訓(xùn)：由公司人力部門(或其他某部門)組織的培訓(xùn)，包括外請其他公司專家、公司內(nèi)部講師(一般都是有經(jīng)驗特長的內(nèi)部員工)。外訓(xùn)：(1)由公司出資金為員工提供外部的培訓(xùn)(員工個人申請培訓(xùn)內(nèi)容、培訓(xùn)機構(gòu)、價格。經(jīng)公司審批后即可外訓(xùn))。(2)公司簽訂的部分合同中附帶有一些培訓(xùn)。(3)由公司組織聯(lián)系到其他單位參觀交流。(4)由其他廠商邀請的技術(shù)大會、峰會等。(5)由公司組織選拔資助少量員工直接到其他單位實地鍛煉學(xué)習(xí)。(6)由公司選拔資助少量員工參加一些脫產(chǎn)或不脫產(chǎn)的繼續(xù)教育學(xué)習(xí)。1.1.5績效考核示例

8、有人對應(yīng)崗位做相應(yīng)的工作，自然而然會有績效問題，也因此也會產(chǎn)生績效考核相關(guān)制度。運維考核的難度在于如何定義KPI關(guān)鍵業(yè)績指標(biāo)、如何定性與量化，每個企業(yè)單位內(nèi)部都不一樣，需要根據(jù)自身環(huán)境定制基線?？己说姆绞蕉喾N多樣。可以按照時間分為周考核、月考核、季度考核、年終考核。也可以按照KPI等關(guān)鍵因素進行考核。也可以從上下級人為主觀考核。也可以由評審委員會考核。表1-6是某運維部門考核標(biāo)準示例。1.2體系架構(gòu)相關(guān)事宜規(guī)劃運維要做的事情，實在太多了。說復(fù)雜，復(fù)雜得沒有人能說明白，列舉全面。說簡單，倒也簡單：運維工作就是支持生產(chǎn)運行，是成本中心，一般不直接產(chǎn)生利潤。目的就是運行保障生產(chǎn)設(shè)備軟硬件正常運行，讓

9、內(nèi)外部用戶滿意度。運維要做的事情與崗位職責(zé)內(nèi)容密切聯(lián)系，可能有了運維要做的事情需求，因此設(shè)置了崗位和人員，但也有因為有了這個崗位的人，因此創(chuàng)造了一些運維事情。這有點“雞生蛋、蛋生雞”的邏輯。1.2.1 運維系統(tǒng)架構(gòu)每個公司的IT環(huán)境，不論大小復(fù)雜度，總會有個系統(tǒng)架構(gòu)層次。有了這個架構(gòu)體系，那所有的運維事情大體都圍繞著這個系統(tǒng)架構(gòu)上的每個元素及整體進行運維保障工作。運維架構(gòu)從某種角度可以劃分為如下兩種：商業(yè)封閉式系統(tǒng)架構(gòu)(IOE架構(gòu))與開源系統(tǒng)架構(gòu)。1. 商業(yè)封閉式系統(tǒng)架構(gòu)(IOE架構(gòu))典型的即以使用IOE(IBM、Oracle、EMC)產(chǎn)品軟硬件為主要元素的系統(tǒng)架構(gòu)。IOE架構(gòu)以縱向擴展為特點

10、，通過增加CPU、內(nèi)存、擴展柜、冗余備件等方式來提高處理能力及穩(wěn)定性。該架構(gòu)的處理能力主要取決于單臺(套)設(shè)備(系統(tǒng))的最大擴展能力，很難通過增加設(shè)備(系統(tǒng))數(shù)量來增加處理能力，換句話說該架構(gòu)很難通過擴大集群規(guī)模的方式來解決問題。隨著縱向擴展的規(guī)模增大，其實施技術(shù)難度、管理復(fù)雜度以及隱患風(fēng)險都會正比例大幅上升?；贗OE架構(gòu)的典型企業(yè)如：金融業(yè)、電信業(yè)，交通運輸業(yè)。IOE典型的系統(tǒng)架構(gòu)如圖1-2所示。圖1-2上述IOE型系統(tǒng)架構(gòu)。其服務(wù)器多使用小型機、大型機(還有以往的中型機)，數(shù)據(jù)庫系統(tǒng)往往會使用Oracle，存儲則多使用知名品牌的中高端存儲陣列、帶庫等設(shè)備。服務(wù)器與存儲之間多使用SAN存儲

11、網(wǎng)絡(luò)。這些服務(wù)器、存儲等硬件本身往往就是雙冗余的，線路連線也都是雙冗余的，而且設(shè)備性能指標(biāo)往往非常好，例如一臺普通中端的Power 7系列服務(wù)器可以輕松劃分出若干個系統(tǒng)分區(qū)或者一二十個虛擬機系統(tǒng)。2. 開源系統(tǒng)架構(gòu)典型的即以使用廉價PC服務(wù)器，開源產(chǎn)品技術(shù)為主要元素的系統(tǒng)架構(gòu)。開源系統(tǒng)架構(gòu)以橫向擴展，分布式部署為特點。通常通過往集群中增加單機設(shè)備資源解決存儲空間、性能以及穩(wěn)定性問題，其集群規(guī)模可以小到兩三臺PC服務(wù)器組成，也可以大到上萬臺PC服務(wù)器集群。對于數(shù)據(jù)庫，可以通過分布式集群方式解決數(shù)據(jù)庫擴展性的問題。另外非結(jié)構(gòu)化數(shù)據(jù)庫及分布式文件系統(tǒng)在處理非結(jié)構(gòu)化數(shù)據(jù)的存儲與使用方面也很靈活方便?；?/p>

12、于開源系統(tǒng)架構(gòu)的典型企業(yè)如：以BAT(百度、阿里、騰訊)為代表的眾多互聯(lián)網(wǎng)企業(yè)，開源系統(tǒng)架構(gòu)如圖1-3所示。圖1-3上述開源系統(tǒng)架構(gòu)中使用了CDN和反向代理以提高網(wǎng)站性能。例如我們的服務(wù)器可能部署在北京，對于北京及周邊用戶來說訪問是較快的，而對于遠離北京的用戶訪問則感覺較慢，因為數(shù)據(jù)傳輸時間比較長。對于這種情況，常常使用CDN解決，CDN將數(shù)據(jù)內(nèi)容緩存到運營商(或自建CDN)的機房，用戶訪問時先從最近的CDN機房獲取數(shù)據(jù)，這樣大大減少了網(wǎng)絡(luò)訪問的路徑。對于反向代理，當(dāng)用戶請求達到時首先訪問反向代理，反向代理服務(wù)器將(Varnish)緩存的數(shù)據(jù)返回給用戶，如果沒有沒有緩存數(shù)據(jù)才會繼續(xù)走應(yīng)用服務(wù)器

13、獲取，這也減少了獲取數(shù)據(jù)的成本。當(dāng)然對于海量訪問請求，或者龐大集群架構(gòu)，則就需要分多層、綜合運用上述負載均衡以及代理(反代理)，同時可能需要引入zookeeper等功能以協(xié)調(diào)(服務(wù))任務(wù)調(diào)度。關(guān)于去IOE問題，本文簡單闡述如下。近年來開源技術(shù)的迅猛發(fā)展，以及國內(nèi)外政策環(huán)境共同作用，引發(fā)了一場去IOE的風(fēng)潮。他們使用低廉的軟硬件產(chǎn)品代替昂貴高門檻的IOE產(chǎn)品，搭建起自主開放的開源系統(tǒng)架構(gòu)。之所以出現(xiàn)“去IOE”運動，其中原因總結(jié)概述如下幾條：(1)自“棱鏡門事件”之后，國家強烈意識到數(shù)據(jù)安全的重要性，大力提倡產(chǎn)品設(shè)備國產(chǎn)化與自主研發(fā)，這正與“去IOE”觀點不謀而合，上下一致。(2)近年來，云計算

14、、大數(shù)據(jù)等新興IT技術(shù)的蓬勃發(fā)展，促使眾多行業(yè)開始往更加開放靈活的開放系統(tǒng)架構(gòu)轉(zhuǎn)型。這對于傳統(tǒng)的IOE架構(gòu)而言，其定制與擴展靈活性有限，往往是擅長于集中式架構(gòu)的管理，而很難應(yīng)對大規(guī)模集群，分布式存儲計算。(3)在購買成本方面，以IOE為代表的商業(yè)產(chǎn)品價格昂貴(動輒上百萬元)，PC服務(wù)器相對廉價(通常幾萬元)。在部署與管理方面，IOE產(chǎn)品的學(xué)習(xí)掌握門檻偏高，而開源系統(tǒng)環(huán)境相對容易搭建與管理。另外IOE產(chǎn)品技術(shù)相對商業(yè)封閉，不易掌握?；谏鲜鲆恍┰颍OE應(yīng)時而生。當(dāng)然具體到自身企業(yè)是否要去IOE，這需要慎重考慮，適合自身發(fā)展需要的系統(tǒng)架構(gòu)就是好的架構(gòu)。去IOE過程，其實是系統(tǒng)架構(gòu)的更新?lián)Q代，

15、產(chǎn)品的更新?lián)Q代，運維理念的更新?lián)Q代，運維人員的更新?lián)Q代，知識體系的更新?lián)Q代，等等。因此如果冒然去IOE，可能既不會降低成本，也不會提高效率，更不會穩(wěn)定架構(gòu)。如下列舉幾點“去IOE”要考慮的因素：· 自身業(yè)務(wù)是否真正需要大數(shù)據(jù)、云計算以及分布式這種海量運維體系。· 是否已經(jīng)考慮好系統(tǒng)架構(gòu)、運維理念、人員、知識更新?lián)Q代的方案。· 自身的研發(fā)實力儲備是否夠解決大量開源產(chǎn)品的坑坑洼洼，并有實力搭建開源系統(tǒng)架構(gòu)。· 是否有足夠的資金應(yīng)對“去IOE”轉(zhuǎn)型中的成本，例如從硬件高成本轉(zhuǎn)向人力技術(shù)高成本。去IOE只是給予我們一些最佳實踐與選擇路子，但去IOE技術(shù)門檻較高，

16、一般企業(yè)很難復(fù)制。從目前發(fā)展來看，IOE架構(gòu)與非IOE架構(gòu)仍將長期并存。一時間很難找到一些能夠完美替代以IOE為代表的成熟(且普適)產(chǎn)品方案。1.2.2運維工作層次分類示例例如海量運維、運營規(guī)劃(作者：唐文)一書，作者很有觀點地概括了運維要做的事情，他以質(zhì)量、效率、成本為核心，從運營規(guī)劃、管理、流程/規(guī)范、系統(tǒng)/平臺、監(jiān)控、告警、安全、優(yōu)化、考核等幾個維度來闡述運維工作，如圖1-4所示。圖1-4另外也可以從邏輯框架的層次來分類運維工作要做的事情。如下借鑒美團的分享者(唐君毅、邱劍、朱晏)關(guān)于企業(yè)運維的觀點，運維框架可以概括為五橫三縱。從橫向來看，自底向上分為五個層次：· 物理層：包括

17、機房網(wǎng)絡(luò)、硬件設(shè)施相關(guān)工作。如采購招投標(biāo)工作、機房實施工作、機房環(huán)境(強弱電、照明、通風(fēng)、網(wǎng)絡(luò)布線、溫濕度等)，各種設(shè)備上下電與維修工作等。· 系統(tǒng)層：包括操作系統(tǒng)、虛擬化、云計算等一系列系統(tǒng)環(huán)境所涉及的部署、配置、優(yōu)化等工作。· 服務(wù)層：包括Webserver、緩存、代理、數(shù)據(jù)庫等所涉及的軟件應(yīng)用的部署、配置、優(yōu)化等工作。· 邏輯層：包括業(yè)務(wù)邏輯、數(shù)據(jù)流。這一層的主要工作是發(fā)布和變更。· 應(yīng)用層：包括用戶可見部分。所有前端平臺，主要涉及與前端用戶交互或提供信息(服務(wù))的平臺。比如前端網(wǎng)站、各種新媒體平臺的維護與監(jiān)控。從縱向來看，有三部分工作，對上述五個

18、層次是通用的：· 監(jiān)控：從物理層到服務(wù)層的監(jiān)控和報警都是運維來跟進、響應(yīng)的。對于邏輯層和應(yīng)用層，一般由運維提供監(jiān)控API的規(guī)范，開發(fā)人員自己創(chuàng)建監(jiān)控項、設(shè)定報警規(guī)則、進行增刪改查。· 安全：建立部署統(tǒng)一的安全接入平臺，所有線上的人工操作都需要登陸跳板機，每個人有獨立的登陸帳號，所有線上操作都有審計日志。更多的安全工作由專門的信息安全組負責(zé)。· 流程：早期基于Jira做了一些簡單的流程，但需要改進?，F(xiàn)在正在針對比較集中的需求，開發(fā)相應(yīng)的流程控制系統(tǒng)，方向也是自動化、自助化。從業(yè)務(wù)部門申請VM資源，到業(yè)務(wù)擴容的整個流程，未來可以在Web界面上通過很簡單的操作實現(xiàn)，也提

19、供服務(wù)化的API，方便其他業(yè)務(wù)平臺進行集成。以期實現(xiàn)虛擬化覆蓋全業(yè)務(wù)線。1.3基礎(chǔ)設(shè)施相關(guān)物資規(guī)劃做飯要有材米油鹽，打仗要有彈藥武器。干運維，也要有一系列軟硬工具。什么算是運維工作的工具，恐怕這個也沒有明確定義。運維所涉及的工具物品，有看的見的，也有看不見的;有摸得著的，也有摸不著的。這里簡單概括一下運維工作會用到的各種軟硬件、工具、設(shè)施。1.3.1機房基礎(chǔ)設(shè)施環(huán)境示例如下列舉的是機房基礎(chǔ)設(shè)施環(huán)境相關(guān)要素，如表1-7所示。機房不論大小，基本上都會涉及到如下幾大主要工程(系統(tǒng))。續(xù)表1.3.2服務(wù)器產(chǎn)品示例對于大多數(shù)企業(yè)通常是采購現(xiàn)有品牌(也有些企業(yè)是定制設(shè)備)，產(chǎn)品示例如表1-8所示。1.3.

20、3 存儲設(shè)備示例存儲設(shè)備示例如表1-9所示。1.3.4 操作系統(tǒng)示例操作系統(tǒng)示例如表1-10所示。1.3.5 常用軟件示例常用軟件示例如表1-11所示。續(xù)表1.4運維流程標(biāo)準規(guī)劃將上述要素(人、事、物)有機地結(jié)合，有序科學(xué)地流轉(zhuǎn)、高效穩(wěn)定地運行，就得靠科學(xué)合理的流程，如各種規(guī)章制度、流程標(biāo)準。流程就好比珠寶上的穿繩，就好比一個人的思想，就好比社會法律規(guī)范。流程是一個企業(yè)的流水線，是企業(yè)的行為規(guī)范，是企業(yè)制度與文化的組成部分。合理的流程規(guī)范像血液，能讓部門穩(wěn)定高效地運轉(zhuǎn)，這是企業(yè)專業(yè)與否的重要組成部分。運維工作到底有多少流程，這個無法窮舉，就好比一個人的思想到底有多少，因人而異，因時而異。關(guān)于I

21、T服務(wù)運營流程，ITIL流程在全球享有盛名，ITIL為企業(yè)的IT服務(wù)管理實踐提供了一個客觀、嚴謹、可量化的標(biāo)準和規(guī)范，這在后續(xù)章節(jié)做專題介紹。本文主要列舉運維工作中一些常見流程規(guī)范。1.4.1商務(wù)流程商務(wù)公開招標(biāo)流程示例：商務(wù)公開招投標(biāo)大致流程如下所示：采購啟動 需求確認 委托招標(biāo)上報 簽訂委托協(xié)議 標(biāo)書準備(采購部門技術(shù)標(biāo)書準備，商務(wù)部門組織商務(wù)標(biāo)書準備，標(biāo)書合并) 提交標(biāo)書 專家評審意見反饋 公開招標(biāo)上報 公開招標(biāo) 招標(biāo)結(jié)果上報 商務(wù)談判 合同簽訂上報 簽訂采購合同1.4.2運維制度流程一、項目管理制度示例：以下簡要介紹項目開展與實施相關(guān)制度流程1、 執(zhí)行集團和公司的項目管理規(guī)定。2、 項

22、目范圍為公司和部門下達的各類項目。3、 每年10月底之前，部門結(jié)合公司下達的任務(wù)和部門的生產(chǎn)需求，研究討論制定部門下一年度的項目計劃，完成項目建議書(含目標(biāo)、范圍、完成時間、費用估算等)4、 每年12月底之前，針對部門下一年度的項目計劃，通過任命和競聘相結(jié)合的方式產(chǎn)生各項目經(jīng)理。部門和項目經(jīng)理應(yīng)根據(jù)項目建議書中項目目標(biāo)、范圍、時間要求等內(nèi)容，并根據(jù)人員的實際情況，在10個工作日內(nèi)，組建項目團隊，提交可行的驗收標(biāo)準、項目計劃、管理章程5、 項目的實施流程主要分為一、啟動項目呈批件;二、可行性分析和技術(shù)方案形成階段;三、方案完善階段;四、提交啟動商務(wù)呈批件;五、提交商務(wù)談判說明和啟動商務(wù)呈批件;六

23、、商務(wù)談判過程;七、提交合同簽訂呈批件階段;八、到貨驗收階段;九、試運行階段;十、項目驗收階段。6、 原則上產(chǎn)品供應(yīng)商的選擇不少于3家，如果產(chǎn)品唯一那么集成商或代理商選擇不少于3家。二、需求處理流程規(guī)定示例需求提出者在ITSM系統(tǒng)流程中向職責(zé)對應(yīng)團隊小組提出需求，承接團隊對需求進行分析處理，處理流程示例如下圖1-5。圖1-5三、故障處理制度流程示例：1. 故障來源于客戶報告、值班人員巡查、監(jiān)控系統(tǒng)監(jiān)控、日常例行檢查等。2. 根據(jù)故障對用戶的影響程度，對故障進行如下分類：嚴重故障：生產(chǎn)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)性能嚴重降低，應(yīng)用系統(tǒng)運行緩慢，工具軟件不可用，機房供配電系統(tǒng)發(fā)生故障等對生產(chǎn)安全運行存在嚴重

24、隱患，開發(fā)、測試、災(zāi)備、應(yīng)急系統(tǒng)不可用，或?qū)τ脩羰褂卯a(chǎn)生嚴重影響的故障。重大故障：生產(chǎn)系統(tǒng)(含子系統(tǒng))、數(shù)據(jù)庫、應(yīng)用系統(tǒng)不可用、網(wǎng)絡(luò)中斷、機房供配電系統(tǒng)停止運行等影響生產(chǎn)安全、無法保障用戶使用的故障。一般故障：生產(chǎn)系統(tǒng)、數(shù)據(jù)庫、網(wǎng)絡(luò)、機房供配電系統(tǒng)、工具軟件等告警或運行狀態(tài)不正常，開發(fā)、測試、災(zāi)備、應(yīng)急系統(tǒng)發(fā)生問題，且不影響用戶正常使用的故障。故障癥候：生產(chǎn)系統(tǒng)(含子系統(tǒng))、數(shù)據(jù)庫、應(yīng)用系統(tǒng)有故障癥候，報故障代碼或故障消息，或者對生產(chǎn)正常運行存在易患， 并可在一定時限內(nèi)解決的故障。3. 當(dāng)故障發(fā)生在工作時間內(nèi)，由故障發(fā)現(xiàn)者通知崗位工程師，崗位工程師依據(jù)工作上報批準規(guī)范進行信息通報上級經(jīng)理，將故

25、障記錄填寫到ITSM的事件流程中，并負責(zé)故障處理。各級經(jīng)理決定通知相關(guān)崗位和客戶的范圍和方式。當(dāng)故障發(fā)生在非工作時間，由值班人員按照電話值班管理規(guī)定通知電話值班工程師處理，并在隨后的一個工作日內(nèi)記錄在ITSM服務(wù)管理系統(tǒng)中，電話值班工程師依據(jù)工作上報批準規(guī)范進行上報上級經(jīng)理，由科室經(jīng)理決定通知相關(guān)崗位和客戶的范圍和方式。4. 故障受理人負責(zé)故障處理，當(dāng)需要服務(wù)商工程師到現(xiàn)場時，故障受理人聯(lián)系服務(wù)商工程師，并陪同服務(wù)商工程師進行故障處理。當(dāng)故障持續(xù)時間較長需要輪換故障處理人員時，要做好故障處理交接工作，并將前期處理情況和過程以文字形式交接給接續(xù)人員，并通報科室經(jīng)理，接續(xù)人員繼續(xù)承擔(dān)處理故障職責(zé)。5. 上級經(jīng)理跟蹤下級故障處理過程。6. 故障處理完畢后，由故障處理人員通知上級經(jīng)理，告知故障已經(jīng)解決，并由經(jīng)理決定通知相關(guān)崗位和客戶的范圍和方式，最后故障處理人員或運維主管將ITSM中的事件流程中的故障記錄填寫完整。7. 需要升級到問題的故障轉(zhuǎn)入問題流程，后續(xù)按照問題管理規(guī)定處理。四、應(yīng)急(演練)管理流程示例：制定