故障匯總報告

1、XXXXXXXXX故障匯總報告【二零壹參年壹月一陸月】報告人:報告時間：2013-07-10內(nèi)容摘要：1、故障內(nèi)容概述。2013上半年度重大故障匯總。2、故障原因分析重大故障原因分析。3、故障總結、后續(xù)工作重點故障總結、后續(xù)工作安排。各位領導好：首先感謝貴方選用我司的 WLAN系列產(chǎn)品。在此我們對上半年所有在網(wǎng)設 備發(fā)生的重大故障做一個匯總并加以分析， 并對我們的工作內(nèi)容進行調(diào)整；以保 證我司設備運行更穩(wěn)定。同時也敬請各位領導對我們維護工作中的不中足之處提 出重要建議。一、故障內(nèi)容概述：1、設備概況：目前在網(wǎng)的AC設備26組，AP兩萬臺以上（包含：室內(nèi)AP、村通、大覆蓋）。 具體信息見下表：地

2、市7605I8610AQ2000-ENHAQ2000-E2AN2AQ3000AF4000AF3120AF3120-N榆林1191087820821590延安1126535163242咸陽219793004374503寶雞22806172944020750西安22624銅川197240545渭南12753114564710070安康31113387318812900漢中1210361339220205268112商洛4473641257430合計141264269923231923042921122、重大故障統(tǒng)計：在過去的半年中，我司設備故障較多（14次），平均每臺設備發(fā)一次故障。經(jīng)過對比分析，

3、共有9個故障。故障匯總如下：序號地市故障現(xiàn)象簡述故障次數(shù)設備型號1咸陽1號業(yè)務板下AP設備離線，手動使 AP上線后用戶無法接入網(wǎng)絡， AC自動重啟1Autex86102咸陽某一業(yè)務板下掛的熱點斷電再來電后用戶出現(xiàn)無法打開PORTAL頁面以及無法認證的情況2Autex86103咸陽陜西服裝學院用戶無法打開認證頁面，現(xiàn)場用戶可以搜索到 CMCC-EDU佶號，可以獲得業(yè)務IP地址，但無法推送認證頁面，認證用戶流量顯示為01Autex86104咸陽4號業(yè)務板數(shù)據(jù)丟失1Autex86105咸陽AC自動重啟2Autex86106寶雞AC掉死，現(xiàn)場測試無信號1Autex86107寶雞PING不可達告警，不用

4、認證直接登錄，但用戶上網(wǎng)正常1Autex7605i8榆林SNMP協(xié)議間隙性不同1Autex86109漢中用戶不能認證，提示瀏覽器異常4Autex8610、故障原因分析、故障進展地市故障現(xiàn)象簡述故障原因是否徹底解決咸陽1號業(yè)務板下AP設備離線，手動使AP上線后用戶無法接入網(wǎng)絡，AC自動重啟AC設備軟件存在漏洞，對于dbus和主線程處理用戶表項時，未加線程互斥鎖；導致收到用戶離線報文，主線程刪除用戶，同時在dbus側調(diào)用該用戶的相關參數(shù)，導致asd模塊掛死，asd模塊異常，頻繁調(diào)用dbus,導致dbus收發(fā)包擁塞，AP接入關鍵進程 WID需要dbus通信，dbus繁忙時會出現(xiàn)AP頻繁上下線問題，由

5、于asd進程長時間異常導致 AC自動重啟已經(jīng)解決咸陽某一業(yè)務板下掛的熱點斷電再來電后用戶出現(xiàn)無法打開PORTAL頁面以當熱點斷電再來電后，CMCC與CMCC-AUTO用戶突然占用了同一個端口，導致EAG （負責用戶認證的模塊）服務鎖死，用戶出現(xiàn)打不開PORTAL以及無法認已經(jīng)解決及無法認證的情況證的現(xiàn)象咸陽陜西服裝學院用戶無法打開認證頁面，現(xiàn)場用戶可以搜索到CMCC-EDU信號，可以獲得業(yè)務 IP 地址，但無法推送認證頁面，認證用戶流量顯示為0現(xiàn)網(wǎng)配置的是 iptables授權，從iptables取流量。iptables授權和取流量需要調(diào)用某個接口函數(shù)，從日志看，每次調(diào)用該函數(shù)都失敗了，導致給

6、用戶的授權和取流量也失敗了已經(jīng)解決咸陽4號業(yè)務板數(shù)據(jù)丟失FD指針耗盡導致配置丟失已經(jīng)解決咸陽AC自動重啟由于nat內(nèi)存模塊在使用了rcu鎖之后，沒有使用call_rcu去free該內(nèi)存模塊，而是直接free掉。導致非法內(nèi)存訪問，令內(nèi)核掛掉，從而導致整機異常重啟補丁解決，已實施寶雞AC掉死，現(xiàn)場測試無信號內(nèi)核異常解決寶雞PING不可達告警，不用認證直接登錄，但用戶上網(wǎng)正常EAG模塊掉死Autex7605i榆林SNMP協(xié)議間隙性不同SNMP進程占用內(nèi)存過高，導致進程重啟006補丁解決，未實施漢中用戶不能認證，提示瀏覽器異常eag模塊異常建議升級三、故障總結，后續(xù)工作重點:從上半年發(fā)生的故障分析得出結論，造成故障原因如下:1、 設備軟件BUG。2、 與其它設備廠商的配合、組網(wǎng)等。針對故障原因，我們會在以下方面做出改進：1、加強與貴方維護人員、我司產(chǎn)品技術支持中心的溝通。對于其它省市已知發(fā)現(xiàn)的故障引患，在第一時間拿到解決方案（補丁或軟件更新）并進行部署工作。避免因為已知的故障引患，造成設備重啟、斷網(wǎng)等重大事故。此事由我司李永強專人負責。2、 加強設備巡檢工作，提高巡檢頻率。由目前的一