河北唐山CDMA網絡質量事故回溯報告

1、Huawei Technologies Co. Ltd.Report No.Strictly ConfidentialRev2.0河北唐山CDMA網絡質量事故回溯報告Prepared by:劉利鋒Date：2009-7-16Checked by:Date：Approved by:Date： Huawei Technologies Co., Ltd. All rights reserved1、事件過程描述：32、事件反思44、問題背后的問題65、總結71、事件過程描述：河北CDMA項目唐山本地網為河北省重點區(qū)域，自6月10日割接完成，割接完成后立即進行大量新建站及1x、DO擴容；至今已有在網設備

2、1x基站556、載頻數2063，DO基站353個基站、載頻數2012。7月12日唐山項目組進行參數核查時發(fā)現存在7個基站駐留策略與既定策略不一致，通過對割接腳本核查，原腳本正確，唐山網規(guī)組TL蘇文慶、TS孫軍計劃對7個站駐留策略參數進行調整，安排合作方進行準備。7月14日唐山電信網優(yōu)部門在晚上20點收到用戶投訴“唐海黨?！被緹o法主被叫，唐山網規(guī)組檢查該站話務量、掉話、呼建KPI指標正常。 7月15日11點再次收到“唐海黨校”投訴，網優(yōu)到達現場測試，現場測試“唐海黨校”主被叫正常；但測試發(fā)現“唐海供電一所”無法起呼，但可以從其他基站切入該站； BSC側進行該站告警、接入、登記數據檢查，并對基站

3、進行復位操作，問題依舊。跟蹤信令發(fā)現，主叫沒有任何信令發(fā)到BSC，被叫的時候手機也沒有任何響應消息，聯系交換核查數據正常。分析全網話務指標進行對比，發(fā)現26個基站話務量為0，且在同一Abis接口板?，F場派出多人測試，,經用戶同意對發(fā)現不能通話基站進行緊急閉塞。詢問現場沒有近期無操作，懷疑Abis接口板故障。7月15日14點左右現場B側工程師知會省項目組，并再次詢問現場沒有近期無操作。打800建單，啟動緊急事件處理流程。7月15日14點30左右分省項目組在石家莊召開電話會議，要請研發(fā)等相關人員接入處理。7月15日16點左右研發(fā)檢查日志，初步判斷為駐留策略問題，讓現場人員檢查駐留策略。檢查這三個站

4、主流策略，發(fā)現283、201頻點的CCLM、ECCLM發(fā)送參數均為不發(fā)送，導致在283、201頻點無法尋呼建立尋呼信道，導致1X語音無法接入，用戶主被叫均不能撥打，造成大量用戶投訴。根據日志檢查發(fā)現7月14日下午點唐海曹妃甸、唐海供電一所、樂亭遠大酒店等七個基站的多載波參數駐留配置錯誤。后通過維護臺用LST CDMACH 檢查問題基站配置參數，發(fā)現三問題基站下的283、201頻點的CCLM、ECCLM發(fā)送參數值為不發(fā)送，即基站不下發(fā)任何尋呼信道列表。合作方鄭柯柯承認7月14日16時未告知任何人下發(fā)7個站駐留參數調整腳本回顧整個事件，有以下幾個關鍵點：時間事件操作人結果7月12日參數核查蘇文慶（

5、TL）、孫軍（TS）參數檢查發(fā)現7個站201頻點僅在201頻點CCLM、ECCLM發(fā)送，與駐留策略不符。7月13日參數修改決策蘇文慶、孫軍與割接腳本進行核查，割接腳本正確；決策需要進行修改。7月14日駐留策略腳本制作鄭柯柯（合作方）腳本制作錯誤，問題隱患腳本審核未審核TL蘇文慶、TS孫軍未收到腳本；但未及時關注策略整改進度。7月14日16點獨自下發(fā)加本、未經允許鄭柯柯（合作方）問題：未在規(guī)定時間、下載未審核腳本、未經TL/TS允許、下載腳本后未跟蹤涉及基站狀態(tài)7月14日20點用戶投訴“唐海黨?！被緹o法主被叫孫軍、魏國星（合作方）檢查該站話務量、掉話、呼建KPI指標正常7月15日11點再次收到

6、“唐海黨校”投訴，現場測試正常；測試發(fā)現“唐海供電一所”無法起呼蘇文慶、魏國星（合作方）發(fā)現故障基站，并進行全網話務KPI指標，發(fā)現26個基站接入次數為0次，部分未開通基站7月15日14點檢查基站無告警、分析存在無法進行呼叫基站均在同一Abis接口板，現場測試對不能呼叫基站進行閉塞，對測試站進行復位，詢問現場近期無人進行參數修改操作楊碩（B側）800建單，啟動緊急處理流程7月15日14點30分省項目組召集電話會議，跟蹤督促問題進展河北省項目組7月15日16點研發(fā)分析發(fā)現硬指配存在問題800現場對7個基站進行檢查發(fā)現201和283頻點CCLM、ECCLM參數均設置為“不下發(fā)”，現場修改后正常7月

7、16日省項目組7月15日晚連夜趕赴唐山，7月16日上午向用戶出具報告，進行安撫。靳慶剛、劉利鋒2、事件反思本次事件由一名網優(yōu)工程師進行參數修改沒有按照流程執(zhí)行引起，但是從整個過程中發(fā)現了很多本應能夠杜絕事件發(fā)生的關鍵點沒有把握好，導致問題不斷擴大。1. 每周項目會議均對網絡安全、參數修改流程（提交申請、審批、執(zhí)行、觀察、閉環(huán)）進行重點強調，且上周剛完成規(guī)范學習考試，為什么現場仍然會存在私自修改參數的情況？2. 現場根據核查發(fā)現參數問題，已經制定了調整決策，卻沒有跟蹤進展和過程，沒有給出操作時間和流程提醒，是缺少責任心還是已經麻痹、還是自認為小事情、不會出問題。問題往往都會存在認為不可能出現問題

8、的地方。3. 參數修改后，沒有對參數進行檢查，且對修改基站指標為什么沒有進行跟蹤觀察？4. 收到用戶投訴后，僅對投訴基站進行檢查；現場用戶只能通過位置進行大概描述，第一次收到投訴分析時，僅分析用戶提及的基站，為什么不能擴展到周邊基站？5. 現場進行測試時，發(fā)現不能呼叫，從后來原因結果看，在廣播消息中完全安可以判斷出問題，為什么現場處理人員就不能進行判斷？6. 出現問題時想到詢問現場是否進行參數修改，但是為什么就沒能查出來參數被修改問題，而且LST CDMACH是常用命令，很快就能查到，為什么就沒能查到？7. 出現問題時已經詢問現場人員是否進行參數調整，現場均沒有人承認自己進行操作；且沒有該項操

9、作記錄；如果能夠多從自我分析，多想想自己，可能就會大大降低事態(tài)的擴大？4、問題的警惕及改進措施此次事件中，貫穿著流程意識薄弱、項目管理、操作監(jiān)控、現網安全意識差、問題跟蹤、操作記錄、故障判斷等眾多問題；通過對本次事故的分析，本次事故產生存在嚴重的隱患：1. 搬遷順利完成后，網絡指標、用戶評價等均優(yōu)于原來預期；成功喜悅掩蓋了潛在的更大危機；雖然在項目組在周例會多次強調網絡安全、操作流程，但仍然存在沒有真正落實到每個成員實際工作當中、沒有真正貫徹到每個成員思想當中。今后項目組不但要定期進行規(guī)范學習、考試，還要組織進行答辯，切實讓每個人都能吸取教訓，網絡安全天天抓、時時抓。2. 責任心、認真重視程度

10、需要加強：真?zhèn)€事件過程中從決策制定后的跟蹤執(zhí)行、腳本制作、投訴處理、測試即故障排查，無數個只要再認真細心一點、責任心再增強一點、對事情再深入一點就能夠將事件影響最小化及時解決；可是每次的擦肩而過、點到為止讓事情不斷擴大；可見提高每個人的職業(yè)素養(yǎng)、責任心、事事小心的意識仍是一項重要工作。3. 敲響警鐘，網絡安全不容忽視：本事件涉及7個基站，從中反映的問題，想起來都后怕；如果修改的是BSC及或其它參數，后果不堪設想；每一個人都必須嚴格要求自己，網絡操作，責任重大，特別是優(yōu)化工作，所有操作都在現網進行，只有按照規(guī)章制度辦事、按照流程操作，才能保證不犯錯誤，順利交付。 4. 事故處理完畢以后，組織唐山項目組全員召開事件進行回溯會，通過對時間開始到最后處理過程進行分析，現場每人根據對本次事件認識和教訓，結合自己工作進行分析并發(fā)言；刨析到項目管理工作監(jiān)控不到位、審核工作不到位、流程意識薄弱、現網安全意識差、對問題跟蹤不徹底、沒有操作記錄危害、故障判斷不仔細等問題；通過本次會議讓每個人都認識到規(guī)章、流程重要性；自由按照規(guī)章制度、流程規(guī)范操作才能保證項目順利進行，任何一次偶爾、僥幸的違規(guī)都將造成嚴重后果。本要在整個河北項目組進行學習，讓每個人都從中吸取經驗，不