運(yùn)維故障處理思路

事件/故障處理應(yīng)該要有什么思路導(dǎo)讀：在講解事件、故障處理思路前，我先講一個(gè)故障場景（以呼叫中心系統(tǒng)作為一例子）：業(yè)務(wù)人員反映呼叫中心系統(tǒng)運(yùn)行緩慢，部份電話在自助語言環(huán)節(jié)系統(tǒng)處理超時(shí)，話務(wù)轉(zhuǎn)人工座席，人工座席出現(xiàn)爆線情況。運(yùn)維人員開始忙活了，查資源使用情況、查服務(wù)是否正常、查日志是否報(bào)錯(cuò)、查交易量還有沒有……時(shí)間不知不覺的在敲鍵盤、敲鍵盤、敲鍵盤中過去，但是原因還未定位。經(jīng)理過來了解情況：“系統(tǒng)恢復(fù)了嗎？”、“故障影響是什么？”、“交易中斷了嗎？”……運(yùn)維人員趕緊敲鍵盤，寫sql，看交易量；敲鍵盤，寫命令，看系統(tǒng)資源、情況……最終，定位到問題原因是其中一個(gè)功能沒有控制返回?cái)?shù)量，導(dǎo)致內(nèi)存泄露。針對這個(gè)故障，業(yè)務(wù)希望運(yùn)維能否更快的解決故障的恢復(fù)，經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程，做了以下幾件事：優(yōu)先故障處理過程的時(shí)間——”能通過鼠標(biāo)完成的工作，不要用鍵盤“提前發(fā)現(xiàn)故障，加強(qiáng)監(jiān)控——“技術(shù)早于業(yè)務(wù)發(fā)現(xiàn)問題，監(jiān)控不僅是報(bào)警，還要協(xié)助故障定位”完善故障應(yīng)急方案——“應(yīng)急方案是最新的、準(zhǔn)確的、簡單明了的”長遠(yuǎn)目標(biāo)：故障自愈——”能固化的操作自動(dòng)化，能機(jī)器做的讓機(jī)器做“下面將從故障常見的處理方法開始介紹，再從故障前的準(zhǔn)備工作（完善監(jiān)控、制定應(yīng)急方案等方式）來解決經(jīng)理提出的問題，并提出未來解決故障的想法。1、常見的方法：1）確定故障現(xiàn)象并初判問題影響在處理故障前，運(yùn)維人員首先要知道故障現(xiàn)象，故障現(xiàn)象直接決定故障應(yīng)急方案的制定，這依賴于運(yùn)維人員需要對應(yīng)用系統(tǒng)的整體功能有一定的熟悉程度。確認(rèn)了故障現(xiàn)象后，才能指導(dǎo)運(yùn)維人員初判斷故障影響。2）應(yīng)急恢復(fù)運(yùn)維最基本的指標(biāo)就是系統(tǒng)可用性，應(yīng)急恢復(fù)的時(shí)效性是系統(tǒng)可用性的關(guān)鍵指標(biāo)。有了上述故障現(xiàn)象與影響的判斷后，就可以制定故障應(yīng)急操作，故障應(yīng)急有很多，比如：服務(wù)整體性能下降或異常，可以考慮重啟服務(wù)；應(yīng)用做過變更，可以考慮是否需要回切變更；資源不足，可以考慮應(yīng)急擴(kuò)容；應(yīng)用性能問題，可以考慮調(diào)整應(yīng)用參數(shù)、日志參數(shù)；數(shù)據(jù)庫繁忙，可以考慮通過數(shù)據(jù)庫快照分析，優(yōu)化SQL；應(yīng)用功能設(shè)計(jì)有誤，可以考慮緊急關(guān)閉功能菜單；還有很多……另外，需要補(bǔ)充的是，在故障應(yīng)急前，在有條件的情況需要保存當(dāng)前系統(tǒng)場景，比如在殺進(jìn)程前，可以先抓個(gè)CORE文件或數(shù)據(jù)庫快照文件。3）快速定位故障原因是否為偶發(fā)性、是否可重現(xiàn)故障現(xiàn)象是否可以重現(xiàn)，對于快速解決問題很重要，能重現(xiàn)說明總會有辦法或工具幫助我們定位到問題原因，而且能重現(xiàn)的故障往往可能是服務(wù)異常、變更等工作導(dǎo)致的問題。但，如果故障是偶發(fā)性的，是有極小概率出現(xiàn)的，則比較難排查，這依賴于系統(tǒng)是否有足夠的故障期間的現(xiàn)場信息來決定是否可以定位到總是原因。是否進(jìn)行過相關(guān)變更大部份故障是由于變更導(dǎo)致，確定故障現(xiàn)象后，如果有應(yīng)的變更，有助于從變更角度出現(xiàn)分析是否是變更引起，進(jìn)而快速定位故障并準(zhǔn)備好回切等應(yīng)急方案。是否可縮小范圍一方面應(yīng)用系統(tǒng)提倡解耦，一支交易會流經(jīng)不同的應(yīng)用系統(tǒng)及模塊；另一方面，故障可能由于應(yīng)用、系統(tǒng)軟件、硬件、網(wǎng)絡(luò)等環(huán)節(jié)的問題。在排查故障原因時(shí)應(yīng)該避免全面性的排查，建議先把問題范圍縮小到一定程序后再開始協(xié)調(diào)關(guān)聯(lián)團(tuán)隊(duì)排查。關(guān)聯(lián)方配合分析問題1）應(yīng)急方案缺乏持續(xù)維護(hù)，缺乏演練，信息不及時(shí)、不準(zhǔn)確；2）應(yīng)急方案過于追求大而全，導(dǎo)致不利于閱讀與使用；3）應(yīng)急方案形式大于實(shí)際使用效果，方案針對性不強(qiáng)；4）只關(guān)注應(yīng)急方案的內(nèi)容，但沒有關(guān)注運(yùn)維人員對方案的理解；針對上述常見問題，我認(rèn)為應(yīng)急方案需要做到以下幾點(diǎn)：1）內(nèi)容精&簡很多人可能會認(rèn)為故障出現(xiàn)的形式各種各樣，所以應(yīng)急方案需要涉及到方方面面。但實(shí)際的故障處理過程中，我們可以發(fā)現(xiàn)其實(shí)我們的應(yīng)急措施往往重復(fù)使用幾個(gè)常用的步驟，所以我認(rèn)為應(yīng)急方案要有重點(diǎn)，如果一個(gè)應(yīng)急方案可以應(yīng)對平時(shí)故障處理80%的場景，那這個(gè)應(yīng)急手冊應(yīng)該是合格的。過于追求影響應(yīng)用系統(tǒng)方方面面的內(nèi)容，會導(dǎo)致這個(gè)方案可讀性變差，最終變更一個(gè)應(yīng)付檢查的文檔。以下是我覺得應(yīng)用系統(tǒng)應(yīng)急方案應(yīng)該有的內(nèi)容：（1）系統(tǒng)級：能知道當(dāng)前應(yīng)用系統(tǒng)在整個(gè)交易中的角色，當(dāng)前系統(tǒng)出現(xiàn)問題或上下游出現(xiàn)問題時(shí)，可以知道如何配合上下游分析問題，比如：上下游系統(tǒng)如何通訊，通訊是否有唯一的關(guān)鍵字等。另外，系統(tǒng)級里還涉及一些基本應(yīng)急操作，比如擴(kuò)容、系統(tǒng)及網(wǎng)絡(luò)參數(shù)調(diào)整等。（2）服務(wù)級：能知道這個(gè)服務(wù)影響什么業(yè)務(wù)，服務(wù)涉及的日志、程序、配置文件在哪里，如何檢查服務(wù)是否正常，如何重啟服務(wù)，如何調(diào)整應(yīng)用級參數(shù)等。（3）交易級：能知道如何查到某支或某類交易出現(xiàn)了問題，是大面積、局部，還是偶發(fā)性問題，能用數(shù)據(jù)說明交易影響的情況，能定位到交易報(bào)錯(cuò)的信息。這里最常用的方法就是數(shù)據(jù)庫查詢或工具的使用。知道最重要的交易如何檢查是否正常，重要的定時(shí)任務(wù)的應(yīng)急處理方案，比如開業(yè)、換日、對賬的時(shí)間要求及應(yīng)急措施。（4）輔助工具的使用：有時(shí)候，需要借助一些工具或自動(dòng)化工具輔助分析并應(yīng)急，這時(shí)需要有輔助工具如何使用的方法。（5）溝通方案：溝通方案涉及通訊錄，包括上下游系統(tǒng)、第三方單位、業(yè)務(wù)部門等渠道。（6）其它：上述5點(diǎn)內(nèi)容如何都完備，相信這個(gè)應(yīng)急手冊己可以解決80%的故障恢復(fù)工作。2）應(yīng)急方案是一項(xiàng)持續(xù)的工作有了應(yīng)急方案，如何讓運(yùn)維人員持續(xù)去更新是難點(diǎn)。我認(rèn)為要解決這個(gè)難點(diǎn)，需要先讓運(yùn)維人員經(jīng)常使用這個(gè)手冊。如果一個(gè)手冊沒有場景可以用，那就需要管理者為運(yùn)維人員創(chuàng)造機(jī)會去使用這個(gè)手冊，比如應(yīng)急演練。3）關(guān)注運(yùn)維人員對應(yīng)用關(guān)鍵信息的認(rèn)識前兩點(diǎn)關(guān)注了手冊，最后一點(diǎn)我覺得有必要關(guān)注使用這個(gè)手冊的人。有些運(yùn)維人員認(rèn)為應(yīng)用運(yùn)維人員沒有能力去把應(yīng)用系統(tǒng)本身的內(nèi)容了解得很透徹，所以應(yīng)用運(yùn)維人員在故障處理過程中的地位很尷尬，運(yùn)維人員掌握操作權(quán)，但卻不知道應(yīng)該操作什么。對此，我認(rèn)同應(yīng)用運(yùn)維人員不需要掌握應(yīng)用系統(tǒng)的業(yè)務(wù)功能，但我覺得就對應(yīng)用系統(tǒng)本身來講應(yīng)用運(yùn)維人員需要具備以下最基本的能力：（1）知道應(yīng)用系統(tǒng)這個(gè)是干什么的，基本的業(yè)務(wù)是什么；（2）知道應(yīng)用架構(gòu)部署、上下游系統(tǒng)邏輯關(guān)系；（3）知道應(yīng)用下的服務(wù)的作用、端口、服務(wù)級的應(yīng)急處理，日志等數(shù)據(jù)信息如何找到并簡單定位。（4）知道應(yīng)用系統(tǒng)重要的時(shí)間點(diǎn)及任務(wù)，比