貝爾BSC設(shè)備重大操作后的監(jiān)控和預(yù)防措施

1、貝爾BSC設(shè)備重大操作后的監(jiān)控和預(yù)防措施中國聯(lián)通貴州省分公司 王宇摘要：從貴陽MX9主備單板倒換后無線接通率指標(biāo)異常切入，結(jié)合貝爾BSC設(shè)備硬件結(jié)構(gòu)、性能報(bào)告、TCH分配流程，深入分析無線接通率指標(biāo)異常的原因，并總結(jié)本次故障處理的經(jīng)驗(yàn)，建立一套預(yù)防措施，提高快速定位解決問題的能力，盡可能減少貝爾BSC重大操作后網(wǎng)絡(luò)質(zhì)量出現(xiàn)異常的持續(xù)時(shí)間。關(guān)鍵詞：貝爾BSC 重大操作 監(jiān)控 預(yù)防一、 概述前期，貴州聯(lián)通貝爾區(qū)域各地市陸續(xù)進(jìn)行BSC設(shè)備的升級(jí)、倒換等重大操作，由于貝爾GSM設(shè)備存在一定的隱患，操作后部分BSC的無線接通率、問題小區(qū)比例等指標(biāo)出現(xiàn)大幅波動(dòng)，如貴陽MX9、銅仁MX1，造成相應(yīng)區(qū)域的網(wǎng)絡(luò)

2、質(zhì)量和用戶接入感知下降。針對(duì)此問題，在深入掌握貝爾BSC設(shè)備和性能統(tǒng)計(jì)知識(shí)基礎(chǔ)上，結(jié)合TCH分配流程，以貴陽MX9無線接通率嚴(yán)重異常的故障為案例，分析問題產(chǎn)生原因，總結(jié)經(jīng)驗(yàn)教訓(xùn)，制定預(yù)防措施，盡可能規(guī)避BSC設(shè)備重大操作后帶來的風(fēng)險(xiǎn)，減少對(duì)網(wǎng)絡(luò)的影響。二、 貝爾BSC設(shè)備為了更好地預(yù)防和處理BSC側(cè)故障，需要對(duì)貝爾BSC的硬件結(jié)構(gòu)和單板功能有清晰的認(rèn)識(shí)。目前，貴州聯(lián)通公司有5個(gè)地市使用貝爾GSM設(shè)備，BSC采用A9130硬件設(shè)備，主要是由BSC、TC、MFS等三部分構(gòu)成。具體結(jié)構(gòu)介紹如下：BSC內(nèi)部結(jié)構(gòu)A9130 BSC主要有OMCP（操作維護(hù)控制處理板）、CCP（控制處理板）、TP（傳輸處理

3、板）、LIT接口板（傳輸接口單元）。OMCP單板相當(dāng)于一臺(tái)服務(wù)器，提供了系統(tǒng)管理的平臺(tái)，實(shí)現(xiàn)系統(tǒng)管理及操作維護(hù)的功能，使用1+1冗余備份。CCP單板實(shí)現(xiàn)呼叫控制功能，使用N+1冗余備份，每塊處理200個(gè)載頻。TP單板提供傳輸功能，使用1+1冗余備份。LIU接口板提供與ABIS , ATER MUX的傳輸接口，使用1+1冗余備份，通過CS-ATER接口與TC框相連，PS-ATER接口與MFS相連。MFS內(nèi)部結(jié)構(gòu)MFS主要有OMCP（操作維護(hù)控制處理板）、GPU、LIU、MUX等單板。GPU單板提供GPRS業(yè)務(wù)功能。LIU單板提供ATER MUX的傳輸接口。MUX單板實(shí)現(xiàn)E1和IP的轉(zhuǎn)換，使用1+

4、1冗余備份。TC框只有一種MT120單板，實(shí)現(xiàn)語音的編碼、解碼功能，并提供與MSC的傳輸接口。三、 貝爾性能報(bào)告 日常優(yōu)化人員根據(jù)性能報(bào)告了解網(wǎng)絡(luò)運(yùn)行情況，及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)存在的問題，并進(jìn)行維護(hù)和優(yōu)化。貝爾系統(tǒng)中性能報(bào)告的類型有很多，如TYPE1、TYPE9、TYPE18、TYPE110等等。每種類型的性能報(bào)告都是一些計(jì)數(shù)器的集合。常用的性能報(bào)告類型下：110報(bào)告：統(tǒng)計(jì)單位為單個(gè)TRX、單個(gè)CELL或者單個(gè)N7，體現(xiàn)TCH、SDCCH、N7等性能情況。180報(bào)告：統(tǒng)計(jì)單位為一條單向切換關(guān)系，體現(xiàn)話務(wù)流性能情況。31報(bào)告：統(tǒng)計(jì)單位為單個(gè)CELL或單個(gè)TRX，體現(xiàn)無線鏈路性能情況如上下行電平、質(zhì)量的統(tǒng)

5、計(jì)信息。GPRS報(bào)告：統(tǒng)計(jì)單位為單個(gè)CELL或PVC等，體現(xiàn)服務(wù)質(zhì)量、資源可用性和負(fù)荷等等信息。018報(bào)告：統(tǒng)計(jì)單位為單個(gè)BSC，通過對(duì)A口的TCH分配失敗及SD和TCH掉話進(jìn)行原因歸類，可以快速地對(duì)問題進(jìn)行判斷，主要問題歸類為BSC側(cè)和無線測。018報(bào)告的counter主要說明如下：SD和TCH掉話：根據(jù)下表中counter的統(tǒng)計(jì)值，就可以知道某BSC的掉話原因。若一個(gè)BSC內(nèi)的SD和TCH掉話較多，則可以結(jié)合上述各原因值進(jìn)行問題判斷，其中無線側(cè)原因?yàn)橹饕脑蛑怠ounterCounter說明掉話原因值C180aNB_N7_CLEAR_REQ_RadioIntMessFail無線接口信令

6、丟失C180bNB_N7_CLEAR_REQ_O&MintervO&M原因C180cNB_N7_CLEAR_REQ_EquipFail設(shè)備故障C180dNB_N7_CLEAR_REQ_RadioIntFail無線側(cè)原因C180eNB_N7_CLEAR_REQ_NoRadioResAvail無線側(cè)沒有可用資源C182NB_N7_CLEAR_REQ_EST_PHAS在占用TCH信道后或者小區(qū)間切換失敗和BSC切換失敗發(fā)生的掉話均被記為C182TCH分配失?。焊鶕?jù)下表中counter的統(tǒng)計(jì)值，就可以知道某BSC的TCH分配失敗主要原因，其中C181g為主要的原因值，其次為C181d。

7、若在原因值中出現(xiàn)其他類型分配失敗，如C181E、C181f、C181K等，則問題可能需要定位至BSC側(cè)。CounterCounter說明TCH分配失敗原因值C181aNB_N7_ASS_FAIL_RadioIntMessFail無線接口信令丟失C181bNB_N7_ASS_FAIL_O&MintervO&M原因C181cNB_N7_ASS_FAIL_EquipFail設(shè)備故障C181dNB_N7_ASS_FAIL_NoRadioResAvail無線側(cè)沒有可用資源C181eNB_N7_ASS_FAIL_ReqTerResUnav/Alloc被分配的資源不可用或者已被占用C181f

8、NB_N7_ASS_FAIL_ReqTrans/RateUnav被分配的資源編碼方式及速率不匹配C181gNB_N7_ASS_FAIL_RadioIntFailRevOldChan因無線原因返回原信道C181hNB_N7_ASS_FAIL_RadioIntFail無線側(cè)原因C181iNB_N7_ASS_FAIL_CipherAlgoNotSupp加密方式不被支持C181jNB_N7_ASS_FAIL_BSSnotEquipCIC資源未配置C181kNB_N7_ASS_FAIL_ProtocolErrorBSC和MSC間協(xié)議錯(cuò)誤C181lNB_N7_ASS_FAIL_ReqSpeechVersU

9、nav手機(jī)不支持信道編碼方式四、 TCH分配信令流程根據(jù)以往的經(jīng)驗(yàn)，貝爾BSC升級(jí)、倒換等重大操作后，最容易出現(xiàn)的問題是在TCH分配階段出現(xiàn)異常，導(dǎo)致接入失敗，引起B(yǎng)SC內(nèi)小區(qū)的無線接通率指標(biāo)惡化。通過常規(guī)優(yōu)化手段不能定位問題原因時(shí)，就需要使用掛信令儀或維護(hù)操作臺(tái)跟蹤信令，根據(jù)assginment failure消息攜帶的原因值，進(jìn)一步定位，因此網(wǎng)絡(luò)優(yōu)化人員需要熟悉正常及不正常時(shí)的TCH分配流程。正常的TCH分配流程異常的TCH分配流程-擁塞BSC收到分配請(qǐng)求時(shí)，無空閑的TCH信道可用，并且隊(duì)列功能未開啟或已滿，BSC發(fā)送帶“No Radio Resourece Available”原因的As

10、signment Failure消息，中止呼叫，C181d計(jì)數(shù)增加一次。異常的TCH分配流程-CIC不可用異常的TCH分配流程-CIC已分配BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)如下情況：指定的CIC為0；由于操作維護(hù)的原因?qū)е轮付ǖ腃IC不可用，BSC會(huì)發(fā)送帶“Requested terrestrial resource unavailable”原因的Assignment Failure消息，中止呼叫，C181e計(jì)數(shù)增加一次。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)指定的CIC已被其他連接使用，會(huì)發(fā)送帶“Terrestrial Res

11、ource Already Allocated”原因的Assignment Failure消息，中止呼叫，C181e計(jì)數(shù)增加一次。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)以下情況：指定的CIC不存在指定的CIC沒有裝備或配置指定的CIC是No.7的信令信道BSC會(huì)發(fā)送帶“BSS not Equipped”原因的Assignment Failure消息，中止呼叫，C181j計(jì)數(shù)增加。BSC收到MSC發(fā)出的Assignment Request后，若發(fā)現(xiàn)以下情況：缺少信道類型碼，或指定的信道類型不是話音、數(shù)據(jù)或信令指定的信道類型為信令，但指定的信道速率不等于“SDCCH”

12、或“SDCCH or TCH”期望的CIC不存在或存在不期望的CIC指定的信道類型和速率組合不支持指定的數(shù)據(jù)速率不存在BSC會(huì)發(fā)送帶“Protocol Error between BSC and MSC”原因的Assignment Failure消息，中止呼叫，C181k計(jì)數(shù)增加一次。五、 典型案例1、 故障現(xiàn)象9月27日凌晨，貴陽分公司對(duì)現(xiàn)網(wǎng)5套MXBSC的所有業(yè)務(wù)板件進(jìn)行主備倒換，包括BSC的TP、OMCP、CCP，TC的MT120和MFS的GP等核心板件，倒換后，貴陽地區(qū)的無線接通率大幅下降，問題小區(qū)比例高達(dá)9.74%。2、 故障原因分析貴陽5套MXBSC的所有業(yè)務(wù)板件進(jìn)行主備倒換后，貴

13、陽MX9的無線接通率大幅下滑，尤其是話務(wù)忙時(shí)下滑非常明顯，按照以下步驟進(jìn)行分析排障處理：1、檢查問題BSC所有小區(qū)，發(fā)現(xiàn)絕大部分小區(qū)的無線接通率均呈不同幅度下滑，說明問題不是集中在某個(gè)別或者少數(shù)小區(qū)，排除個(gè)例，說明問題很可能與BSC的核心板件或者A口有關(guān)，同時(shí)也排除了CCP的問題，因?yàn)槿绻悄硥KCCP問題，則問題小區(qū)應(yīng)集中映射到某塊CCP上，查看BSC告警信息，并無新增告警。2、查看GSM話務(wù)Type 110報(bào)告，發(fā)現(xiàn)無線接通率下滑是TCH分配成功率大幅下滑，TCH占用成功率保持平穩(wěn)，MC703和MC14b大幅下滑，而MC140a和MC812則基本保持平穩(wěn)，結(jié)合語音呼叫流程，說明TCH分配失敗

14、惡化并非擁塞引起，可以排除無線側(cè)問題，BSC收到assignment request以后，應(yīng)開始進(jìn)行channel activation流程，但尚未開始就被異常結(jié)束，出現(xiàn)這種問題可能是BSC無法占用MSC在assignment request消息里分配的A口CIC，所以呼叫流程直接被終止，還有一種可能是無線資源管理模塊異常，即BSC的無線資源管理模塊監(jiān)控到TCH信道狀態(tài)異常，直接結(jié)束呼叫流程，而不會(huì)進(jìn)行信道激活流程，進(jìn)一步查看GSM話務(wù)Type 018報(bào)告，發(fā)現(xiàn)問題BSC的C181E均大幅增長，基本上確定問題出在A口CIC異常，查看A口占用平均時(shí)長，并沒有某條A口CIC占用時(shí)間特別短的問題，占

15、用平均時(shí)長呈均勻分布狀態(tài)。3、經(jīng)過第一，二兩步的分析，已經(jīng)大致確定問題出現(xiàn)在了A口CIC，但實(shí)際上問題出現(xiàn)之前并未進(jìn)行過任何A口的操作，即A口CIC狀態(tài)異常僅僅是現(xiàn)象，并非是根本原因，考慮到問題出現(xiàn)前，進(jìn)行了TP，OMCP，CCP，TC的MT120和MFS的GP等板件的倒換，故在29日凌晨對(duì)問題BSC的TP，OMCP，MT120（未進(jìn)行CCP倒換，因?yàn)閺那懊娴谝徊椒治鲆呀?jīng)排除CCP故障的可能）再次進(jìn)行了主備倒換，于29日晚忙時(shí)觀察指標(biāo)，未有改善，問題依舊。4、協(xié)調(diào)核心網(wǎng)導(dǎo)出A口CIC表和BSC側(cè)進(jìn)行一一核對(duì)，除了少數(shù)TS16和TS31在核心網(wǎng)側(cè)與無線側(cè)的定義不一致外，其余都是一致，解決狀態(tài)不一

16、致的CIC的問題后，指標(biāo)依然沒有明顯改善。5、通過掛表抓取N7信令，根據(jù)信令跟蹤文件過濾出所有的assginment failure消息，并查找消息里攜帶的cause value為requested terrestrial resource unavailable或者terrestrial resource already allocated的指配失敗（018報(bào)告中counter181E反映的就是此類問題），找到此類assginment failure消息后，再倒推找到該次呼叫對(duì)應(yīng)的assignment request消息，查找消息里MSC分配的CIC電路編號(hào)，說明該CIC就是狀態(tài)存在異常無法

17、占用，記錄下所有類似CIC的電路編號(hào)，經(jīng)過大量的分析，發(fā)現(xiàn)并非集中在某條CIC，而是分布散亂無規(guī)律，說明大部分CIC都有問題，而且CIC并不是完全持續(xù)不可用，而僅僅是偶發(fā)不可用（這與第二步分析提到的A口時(shí)隙平均占用時(shí)間呈均勻分布是吻合的），本來在BSC板件倒換前就已經(jīng)存在，只不過執(zhí)行板件倒換后，問題顯著惡化，CIC不可用的概率大幅增加。6、協(xié)調(diào)MSC工程師，進(jìn)行指定CIC撥打測試，對(duì)每條CIC進(jìn)行逐一撥測，但很難遇到TCH分配失敗原因是A口引起的，這與第五步分析的結(jié)論是相吻合的。7、綜合以上分析，可以看出，無線接通率下滑的原因是A口狀態(tài)不一致引起，且問題并非集中在某少數(shù)CIC，而是呈廣泛分布，

18、但A口CIC的不可用狀態(tài)是偶發(fā)的，不是持續(xù)的，所以在BSC上也看不到任何相關(guān)告警，屬于隱形故障。8、結(jié)合以往處理A口短時(shí)隙，傳輸?shù)粼挄r(shí)都是重啟MT120板的經(jīng)驗(yàn)，我們?cè)贠MCR上通過對(duì)BSC的每條CIC進(jìn)行l(wèi)ock/unlock操作后，無線接通率恢復(fù)正常，至此問題得到解決。3、 解決措施在BSC的OMCR上，對(duì)每條CIC進(jìn)行l(wèi)ock再進(jìn)行unlock操作。六、 預(yù)防措施通過本次故障，發(fā)現(xiàn)BSC重大操作后的指標(biāo)監(jiān)控和問題處理上存在一定的問題。9月27日凌晨貴陽進(jìn)行BSC單板主備倒換，9月30日下午網(wǎng)絡(luò)優(yōu)化人員才發(fā)現(xiàn)無線接通率異常，指標(biāo)監(jiān)控嚴(yán)重滯后，需要加強(qiáng)BSC和網(wǎng)絡(luò)優(yōu)化人員之間的溝通力度，BS

19、C人員進(jìn)行重大操作前必須知會(huì)網(wǎng)絡(luò)優(yōu)化人員，網(wǎng)絡(luò)優(yōu)化做好指標(biāo)監(jiān)控和相關(guān)保障工作。10月1日16:00發(fā)現(xiàn)A口電路問題，10月2日凌晨處理完畢后貴陽MX9 的無線接通率才徹底恢復(fù)正常，問題定位和處理時(shí)間較長，對(duì)網(wǎng)絡(luò)質(zhì)量影響很大。為了防止這種故障的再次發(fā)生，非常迫切地需要建立一套預(yù)防措施，提高發(fā)現(xiàn)和處理問題的效率，優(yōu)化建議如下：1、 網(wǎng)絡(luò)優(yōu)化人員需要將018話務(wù)報(bào)告納入日常監(jiān)控范圍，及時(shí)發(fā)現(xiàn)指標(biāo)異常的共性問題并進(jìn)行處理，消除網(wǎng)絡(luò)潛在的隱患。2、 BSC人員在進(jìn)行重大操作前，必須通知網(wǎng)絡(luò)優(yōu)化人員在此期間監(jiān)控指標(biāo)。3、 網(wǎng)絡(luò)優(yōu)化人員發(fā)現(xiàn)指標(biāo)異常，必須立即通知BSC人員及其他相關(guān)人員。根據(jù)以往的經(jīng)驗(yàn)，若出