華為PTN傳輸隱性故障導(dǎo)致諾基亞LTE網(wǎng)絡(luò)特定IP地址段eNB基站速率異常

1、名稱華為PTN傳輸隱性故障導(dǎo)致諾基亞LTE網(wǎng)絡(luò)特定IP地址段eNB基站速率異常公司中國移動通信集團(tuán)浙江分公司專業(yè)無線設(shè)備類型LTE-eNodeB設(shè)備廠家諾基亞設(shè)備型號軟件版本編制時間2015.01作者作者電話關(guān)鍵字 傳輸時延，最大速率故障描述：2015年1月27日中午14點30分，接到寧波余姚移動分公司投訴，余姚分公司有兩個室分站，其中1個站點可正常上網(wǎng)，另一個站點上網(wǎng)異常，現(xiàn)場測試下載速率峰值只有1Mbps。后經(jīng)過對問題區(qū)域的拉網(wǎng)測試和一系列分析最終確定是由于華為PTN傳輸隱性故障導(dǎo)致諾基亞LTE網(wǎng)絡(luò)特定IP地址段eNB基站下載速率異常，并且導(dǎo)致的一些用戶投訴問題.在此次故障中，存在一下幾個

2、特征：（1）故障的表象從單個站點開始，排查具備片面性；該故障最初有寧波余姚分公司投訴開始，單個站點上網(wǎng)速率較低，分公司反映這類站點共計有5個，最初排障主要集中在單個站點的排障測試中，沒能第一時間從全網(wǎng)考慮出發(fā)。（2）無線主設(shè)備狀態(tài)正常，無告警，排障具有隱蔽性；由于LTE網(wǎng)絡(luò)的扁平化，用戶感知的體驗不好的排障由無線側(cè)發(fā)起，在無線側(cè)沒有相關(guān)告警提示的情況下，增大了對站點排障的難度，拉長了故障處理時間。（3）故障處理過程專業(yè)跨度較大，排障具有較強(qiáng)的不便性；本次故障涉及網(wǎng)優(yōu)（具體指標(biāo)查看）、無線（站點排查）、傳輸（定位故障原因落地側(cè)）三個專業(yè)，故障處理過程專業(yè)跨度較大，在排障中具有很強(qiáng)的不便性。流程圖

3、大批量LTE小區(qū)速率降低可能原因：1、LTE網(wǎng)管側(cè)操作或參數(shù)修改，如數(shù)據(jù)激活；2、核心網(wǎng)故障或者參數(shù)修改3、傳輸側(cè)故障或參數(shù)修改；3、RNC板卡問題；4、CN網(wǎng)側(cè)問題LTE網(wǎng)管側(cè)參數(shù)修改等 YN是否為該原因因N核心網(wǎng)參數(shù)修改等是否為該原因YN傳輸側(cè)故障或參數(shù)修改Y是否為該原因因提供解決方案N問題是否解決Y經(jīng)驗總結(jié)問題分析：v 首先對用戶投訴的“NBYY移動新綜合樓2ESTL”基站進(jìn)行了初步分析排查:1、核查基站狀態(tài)正常無告警，提取歷史告警信息，也無任何歷史告警；2、核查基站參數(shù)配置，問題發(fā)生時未進(jìn)行過任何修改，參數(shù)配置核查亦無異常；3、后臺查看指標(biāo)情況，正常工作日上午會有峰值出現(xiàn)，峰值速率一般

4、在50Mbps以上。后臺指標(biāo)上看當(dāng)天上午最大速率只有7Mbps，見下圖-1：圖-14、 從指標(biāo)上看，最大速率明顯較日常下降很多，對基站進(jìn)行重啟操作后，無法恢復(fù)；采取TDS和TDL進(jìn)行雙重啟同樣無法恢復(fù)，且TDS側(cè)站點指標(biāo)均正常；v 1月27日余姚區(qū)域日常拉網(wǎng)測試時也反映發(fā)現(xiàn)下載速率異常:外場測試人員在余姚的當(dāng)天的日常拉網(wǎng)測試過程中發(fā)現(xiàn)，部分站點切入、切出正常，RRC層無明顯異常信令，但是占用這些站點調(diào)度幾乎為0，下行速率基本上在1Mbps以下，而且出現(xiàn)PING失敗現(xiàn)象。下表1為路測的速率及調(diào)度情況： 小區(qū)SCell EARFCN DLPDCP Thr'put DL(kb/s)PDSCH

5、 Rb Num/slotPDSCH Rb Num/s738278-1379003.25.0370.0402347-2383504.87.0148.5402439-2383505.07.0139.0402346-13835012.25.5385.0402359-33835017.75.0585.0730538-237900194.25.51280.4730538-137900204.08.11171.7738276-337900256.014.91844.6730538-337900277.58.41940.5738294-137900311.214.13400.2738294-33790031

6、7.415.51806.4738289-137900380.664.07370.0738276-237900391.811.41890.8738276-137900406.818.12992.1737876-137900407.727.24037.0738280-137900417.819.43362.2737845-137900444.121.82997.0738286-337900498.525.87654.7738279-137900509.117.44660.4738286-137900524.934.35564.3表-1v 從余姚區(qū)域測試?yán)W(wǎng)結(jié)果來看，速率下降問題已經(jīng)不是單個eNB站

7、的問題而是區(qū)域性存在問題:1、 15點后臺跟蹤基站LOG時發(fā)現(xiàn)有一個站點的LOG無法提取，后臺ping該基站地址，發(fā)現(xiàn)時延非常大（2000ms左右，正常ping包時延不會超過10ms），對發(fā)現(xiàn)異常的站點均進(jìn)行了Ping時延驗證，發(fā)現(xiàn)都存在時延大的問題。于是反饋給傳輸側(cè)進(jìn)行檢查；2、 15點30分傳輸側(cè)進(jìn)行排查未發(fā)現(xiàn)告警，對其中一個站點進(jìn)行了傳輸主備倒換，基站ping包時延正常，平均在3ms左右，同時外場進(jìn)行復(fù)測恢復(fù)正常；圖-23、懷疑是傳輸單板隱性故障，導(dǎo)致基站時延較大，對路測中發(fā)現(xiàn)的速率低小區(qū)進(jìn)行傳輸主備單板倒換，外場復(fù)測速率恢復(fù)正常；4、由于傳輸單板無告警，懷疑全網(wǎng)性的傳輸故障，對寧波全網(wǎng)

8、LTE站點的當(dāng)天6-15時的最大速率進(jìn)行統(tǒng)計，并和上周同一時段下行最大速率（PDCP_DATA_RATE_MAX_DL）和平均速率（PDCP_DATA_RATE_MEAN_DL）進(jìn)行對比，發(fā)現(xiàn)存在速率異常站點526個，主要集中在3個IP地址段，反饋給傳輸側(cè)進(jìn)行倒換。IP地址段基站數(shù)201501202015012720日和27日速率比值PDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DL100

9、.67.286131798.4324.125074.5258.81.31.3100.67.823130530.7265.617580.3218.71.71.2100.67.923428350.0250.96919.1159.74.11.6表-2解決措施通過上述一系列的分析和定位，可以確定該LTE網(wǎng)絡(luò)故障問題是由于華為PTN傳輸隱性故障導(dǎo)致的，所以對存在問題的基站提交給傳輸部門進(jìn)行處理：1、對一批基站進(jìn)行傳輸?shù)箵Q后進(jìn)行現(xiàn)場測試驗證，發(fā)現(xiàn)仍然有部分站點未恢復(fù)，也就是說簡單的基站傳輸?shù)箵Q并不能完全解決所有基站的問題；2、最后傳輸側(cè)采用新的故障處理方法，申請1月28日凌晨1點進(jìn)行傳輸板倒換，然后將主傳

10、輸板重啟后再倒回主傳輸板操作；問題解決：28日凌晨1點對傳輸主備單板分別重啟操作完成后，立馬對前期存在問題的基站逐個進(jìn)行了現(xiàn)場測試驗證都已經(jīng)恢復(fù)正常。并且第二天白天對整個余姚區(qū)域進(jìn)行了詳細(xì)的拉網(wǎng)測試驗證，拉網(wǎng)測試下載速率也已經(jīng)恢復(fù)正常。對全網(wǎng)速率KPI指標(biāo)進(jìn)行核查亦恢復(fù)正常，至此，由于傳輸隱性故障導(dǎo)致的局部性的速率下降問題得到解決。三個傳輸問題IP地址段在故障解決后KPI速率統(tǒng)計對比如下表所示：IP地址段基站數(shù)201501202015012720日和27日速率比值2015012820日和28日速率比值PDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP

11、_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DLPDCP_DATA_RATE_MAX_DLPDCP_DATA_RATE_MEAN_DL100.67.286231798.4324.125074.5258.81.31.332124.9333.31.01.0100.67.823230530.7265.617580.3218.71.71.234559.9348.70.90.8100.67.923428350.0250.96919.1159.74.11.628868.3280.01.00.9