互聯(lián)網(wǎng)QC-降低互聯(lián)網(wǎng)DSLAM丟包率

降低互聯(lián)網(wǎng)DSLAM丟包率

鐵通江西分公司網(wǎng)絡(luò)支撐中心QC小組課題名稱：降低互聯(lián)網(wǎng)DSLAM丟包率成果類型：現(xiàn)場型注冊時間：2010-07活動日期：2010年07月-2010年12月注冊號：QC-14-2010-00X一、小組概況小組成員小站成員性別文化程度職務(wù)（或職稱）主要分工組長成員成員成員成員成員成員成員二、選題理由1、江西分公司下達(dá)網(wǎng)運考核指標(biāo)：互聯(lián)網(wǎng)DSLAM丟包合格率≥96%（每月進(jìn)行考核一次）2、2010年7月-2010年10月互聯(lián)網(wǎng)DSLAM丟包合格率統(tǒng)計表二、選題理由日期監(jiān)測DSLAM總數(shù)監(jiān)測DSLAM丟包率合格數(shù)監(jiān)測DSLAM丟包率不合格數(shù)丟包合格率（%）2010年7月77264512783.55%2010年8月77257819474.84%2010年9月7726918189.53%2010年10月7717145792.62%7月-10月平均值77265711585.13%綜合上述兩點，我們選定課題為“降低互聯(lián)網(wǎng)DSLAM丟包率”。二、選題理由三、確定目標(biāo)根據(jù)鐵通江西分公司下達(dá)的網(wǎng)運考核指標(biāo)，我們小組確定本次QC活動的目標(biāo)值為：互聯(lián)網(wǎng)DSLAM丟包合格率≥96%。四、可行性分析1、7月份通過互聯(lián)網(wǎng)綜合網(wǎng)管（已監(jiān)控的772套DSLAM設(shè)備），導(dǎo)出DSLAM設(shè)備丟包率不達(dá)標(biāo)的設(shè)備有127套，是在部分規(guī)定時間內(nèi)統(tǒng)計到的核心路由器（NC-SGR1/NC-SGR2）至這些DSLAM設(shè)備ping包存在全部或部分丟棄現(xiàn)象，為了查清癥結(jié)，對此其形成的原因進(jìn)行了分類統(tǒng)計。四、可行性分析序號丟包原因頻數(shù)（套）累計頻數(shù)（套）累計頻率1DSLAM上行鏈路擁塞373729.13%2停機要點施工作業(yè)215845.67%3DSLAM主控板故障106853.54%4城域網(wǎng)鏈路擁塞107861.42%5DSLAM級聯(lián)98768.50%6DSLAM上行端口協(xié)商模式錯誤59272.44%7機房停電59776.38%8城域網(wǎng)光纜中斷故障510280.31%9匯聚層交換機故障310582.68%10DSLAM主控板軟件版本低310885.04%11光貓故障311187.40%12DSLAM管理地址丟失111288.19%13城域網(wǎng)光纖衰耗大111388.98%14其它14127100.00%合計127127100.00%四、可行性分析四、可行性分析

結(jié)論：DSLAM上行鏈路擁塞、停機要點施工作業(yè)、DSLAM主控板故障、城域網(wǎng)鏈路擁塞、DSLAM級聯(lián)、DSLAM上行端口協(xié)商模式錯誤、機房停電和城域網(wǎng)光纜中斷故障占了總數(shù)的80.31%,是癥結(jié)。2、造成互聯(lián)網(wǎng)DSLAM丟包率不達(dá)標(biāo)的癥結(jié)(DSLAM上行鏈路帶寬不足、停機要點施工作業(yè)、DSLAM主控板故障、城域網(wǎng)鏈路擁塞、DSLAM級聯(lián)、DSLAM上行端口協(xié)商模式錯誤、機房停電和城域網(wǎng)光纜中斷故障)占DSLAM丟包率不達(dá)標(biāo)設(shè)備總數(shù)的80.31%，我們四、可行性分析QC小組須重點解決這些問題，再同步處理匯聚層交換機、光貓故障、DSLAM主控板軟件版本低等其他方面問題，達(dá)到目標(biāo)是完全可能的。3、根據(jù)表一的統(tǒng)計，我們在2010年10月，DSLAM丟包合格率為92.62%，這比較接近我們的目標(biāo)值，增強了信心，再加上小組成員的共同努力，達(dá)到目標(biāo)是完全可能的。五、原因分析

小組成員集思廣議，大家齊心合力，找出DSLAM設(shè)備丟包率不達(dá)標(biāo)的各類原因，列出以下系統(tǒng)圖：人故障處理不及時告警發(fā)現(xiàn)不及時值班人員專業(yè)技能差責(zé)任心不強考核制度不完善無獎罰細(xì)則機無維護(hù)考核指標(biāo)設(shè)備參數(shù)配置不合理上行端口協(xié)商模式錯誤設(shè)備、線路性能下降設(shè)備、線路老化未按規(guī)定進(jìn)行設(shè)備、線路保養(yǎng)設(shè)備、光纜近壽命終結(jié)期主控板軟件版本低設(shè)備軟件不合理機專業(yè)技能培訓(xùn)未達(dá)標(biāo)管理地址丟失DSLAM設(shè)備丟包率不達(dá)標(biāo)機光貓可靠性低光貓故障料設(shè)備機架接地不良雷雨天電路板壞上行鏈路帶寬擁塞環(huán)市電停電設(shè)備受雷擊防雷設(shè)施不健全機房應(yīng)急供電不及時測法上行電路傳送方式不理想傳輸設(shè)備傳送能力不足DSLAM級聯(lián)設(shè)備上行電路無保護(hù)DSLAM組網(wǎng)不合理停機施工綜合網(wǎng)管功能不健全施工時間與PING包測試沖突監(jiān)控手段不完善丟包監(jiān)測手段、處理方法不完善監(jiān)測手段和處理方法不全面DSLAM設(shè)備丟包率不達(dá)標(biāo)接上圖五、原因分析從系統(tǒng)圖上可看出，造成電路不穩(wěn)定的末端因素由15個，（1）無獎罰細(xì)則、（2）專業(yè)技能培訓(xùn)未達(dá)標(biāo)、（3）無維護(hù)考核指標(biāo)、（4）設(shè)備、光纜近壽命終結(jié)、（5）設(shè)備參數(shù)配置不合理、（6）設(shè)備軟件不合理、（7）上行鏈路帶寬擁塞、（8）光貓可靠性低、（9）設(shè)備機架接地不良、（10）防雷設(shè)施不健全、（11）、應(yīng)急供電不及時、（12）、設(shè)備上行電路無保護(hù)路（13）、DSLAM組網(wǎng)不合理、（14）、綜合網(wǎng)管功能不健全（15）、丟包監(jiān)測手段和處理方法不全。六、要因再確認(rèn)為了確定要因，我們對15項末端因素進(jìn)行驗證分析，見《要因驗證表》。序號末端原因確認(rèn)方法確認(rèn)內(nèi)容確認(rèn)標(biāo)準(zhǔn)確認(rèn)情況完成時間責(zé)任人是否要因1無獎罰細(xì)則現(xiàn)場核對檢查考核制度是否規(guī)定了獎罰細(xì)則《網(wǎng)支中心考核細(xì)則》列明具體的獎罰條款網(wǎng)支中心已經(jīng)制定出考核細(xì)則，列明具體的獎罰條款，在2010年1月開始執(zhí)行8月6日劉建華否2專業(yè)技能培訓(xùn)未達(dá)標(biāo)查看記錄網(wǎng)管值班人員的技術(shù)水平是否能勝任培訓(xùn)合格1、

網(wǎng)管值班人員是全省競聘考試，選拔上來的專業(yè)能手，進(jìn)入網(wǎng)管后專業(yè)知識和網(wǎng)管操作技能培訓(xùn)、考核，考試成績85分以上。8月12日劉建華否持證上崗2、持有《全國通信機務(wù)員》證書和助理工程師以上技術(shù)職稱3無維護(hù)考核指標(biāo)現(xiàn)場核對維護(hù)制度是否規(guī)定了考核指標(biāo)

《網(wǎng)支中心考核細(xì)則》列明具體的獎罰條款網(wǎng)支中心已經(jīng)制定出考核細(xì)則，列明具體的獎罰條款，在2010年1月開始執(zhí)行8月6日劉建華否4設(shè)備、光纜近壽命終結(jié)調(diào)查分析設(shè)備、光纜是否超過使用壽命1、設(shè)備運行年限≤10查看設(shè)備履歷簿及設(shè)備、線路固資卡片，發(fā)現(xiàn)設(shè)備運行性能值正常，使用時間最長的設(shè)備7年、光纜使用年最長的線路12年9月12日黃勤否2、光纜運行年限≤20序號末端原因確認(rèn)方法確認(rèn)內(nèi)容確認(rèn)標(biāo)準(zhǔn)確認(rèn)情況完成時間責(zé)任人是否要因5設(shè)備參數(shù)配置不合理遠(yuǎn)程檢查設(shè)備參數(shù)配置是否最佳1、協(xié)商模式原則上要求配置強制百兆/千兆全雙工。1、網(wǎng)支中心已經(jīng)對不合格DSLAM進(jìn)行了配置上的檢查，發(fā)現(xiàn)了少部分設(shè)備配置模式不對，經(jīng)過修改后，丟包現(xiàn)象消失。8月20日萬濤是2、管理地址配置修改后應(yīng)及時用save保存。2、對于管理地址丟失的問題，網(wǎng)支中心已經(jīng)要求各市公司配置修改后要及時保存。6設(shè)備軟件不合理遠(yuǎn)程檢查軟件版本是否運行穩(wěn)定1、華為MA5100版本統(tǒng)一VersionB10D051。1、通過逐步的摸索，網(wǎng)支中心發(fā)現(xiàn)DSLAM設(shè)備的版本也會影響到丟包，因此網(wǎng)支中心聯(lián)系華為和中興公司對管內(nèi)的DSLAM設(shè)備統(tǒng)一進(jìn)行了升級。9月20日萬濤否2、中興9210版本統(tǒng)一V5.0.0F7上行鏈路帶寬擁塞現(xiàn)場驗證鏈路帶寬是否超過90%鏈路帶寬不能超過90%

1、通過對DSLAM上行鏈路的定期監(jiān)測，發(fā)現(xiàn)當(dāng)上行鏈路峰值帶寬利用率超過90%時，就會發(fā)生不規(guī)則的丟包現(xiàn)象，因此我們建立了日常巡視制度，當(dāng)利用率達(dá)到80%時就要開始申請鏈路擴容。9月30日萬偉是8光貓可靠性低調(diào)查分析檢查各廠家光貓的技術(shù)指標(biāo)各項技術(shù)指標(biāo)是否符合行業(yè)入網(wǎng)標(biāo)準(zhǔn)核查各廠家光貓的技術(shù)指標(biāo)，均符合行業(yè)標(biāo)準(zhǔn)8月15日黃勤否序號末端原因確認(rèn)方法確認(rèn)內(nèi)容確認(rèn)標(biāo)準(zhǔn)確認(rèn)情況完成時間責(zé)任人是否要因9設(shè)備機架接地不良現(xiàn)場檢查檢查設(shè)備機架的接地情況設(shè)備機架的保護(hù)地和防雷接地按公司工程要求進(jìn)行安裝設(shè)備機架接地均已安裝，接線牢固9月10日楊良科、萬偉、朱晨輝否10防雷設(shè)施不健全現(xiàn)場檢查檢查防雷設(shè)施所有機房都要按照防雷設(shè)施檢查了所有機房，均有防雷設(shè)施。9月10日楊良科、萬偉、朱晨輝否11應(yīng)急供電不及時現(xiàn)場驗證始于市電停用至現(xiàn)場應(yīng)急油機供電的時長驗證交流停電應(yīng)急預(yù)案的有效性每年組織郊縣、市內(nèi)無人機房交流停電方面的應(yīng)急演練，并現(xiàn)場驗證預(yù)案的有效性，演練結(jié)果在全省通報，所有演練項目均是在規(guī)定時間完成停電機房的應(yīng)急供電，未出現(xiàn)機房中斷情況。9月30日萬濤否12設(shè)備上行電路無保護(hù)調(diào)查分析調(diào)查DSLAM設(shè)備所在局點的設(shè)備組網(wǎng)情況DSLAM設(shè)備屬于接入層，匯聚層設(shè)備上行鏈路要求有保護(hù)路由1、查看7月份DSLAM中斷故障記錄，發(fā)現(xiàn)因上行電路中斷引起的故障有8件，占當(dāng)月故障DSLAM設(shè)備比率僅為6.3%。8月25日黃勤否2、調(diào)查發(fā)現(xiàn)全省匯聚層的交換機或BAS設(shè)備上行鏈路均有雙鏈路。序號末端原因確認(rèn)方法確認(rèn)內(nèi)容確認(rèn)標(biāo)準(zhǔn)確認(rèn)情況完成時間責(zé)任人是否要因13DSLAM組網(wǎng)不合理現(xiàn)場檢查對DSLAM組網(wǎng)情況進(jìn)行檢查按照公司管理要求，不應(yīng)該存在DSLAM級聯(lián)現(xiàn)象網(wǎng)支中心通過地市巡檢交流的方式，對各地市的DSLAM組網(wǎng)情況進(jìn)行了檢查，發(fā)現(xiàn)了4個地市存在少量DSLAM級聯(lián)情況，網(wǎng)支已經(jīng)立即通知市公司整治解決了。9月30日楊良科是14綜合網(wǎng)管功能不健全網(wǎng)管核對當(dāng)DSLAM丟包率為100%是否立即發(fā)出聲光告警DSLAM丟包率達(dá)到100%時應(yīng)該立即發(fā)出聲光告警在進(jìn)行綜合網(wǎng)管功能核對時，發(fā)現(xiàn)當(dāng)DSLAM丟包率達(dá)到100%時不會出現(xiàn)告警，因此網(wǎng)支中心改為使用華為專業(yè)網(wǎng)管對此故障進(jìn)行監(jiān)控9月25日萬濤是15丟包監(jiān)測手段和處理方法不全現(xiàn)場調(diào)查地市維護(hù)人員是否掌握DSLAM丟包監(jiān)測手段和降低設(shè)備丟包率處理方法按照省公司下發(fā)的《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》進(jìn)行處理網(wǎng)支中心通過地市巡檢的方式，按照《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》，對地市進(jìn)行培訓(xùn)。8月6日萬濤是六、要因再確認(rèn)造成互聯(lián)網(wǎng)DSLAM丟包率高的5個主要原因：

1、設(shè)備參數(shù)配置不合理

2、上行鏈路帶寬擁塞

3、DSLAM組網(wǎng)不合理

4、綜合網(wǎng)管功能不健全

5、丟包監(jiān)測手段和處理方法不全七、制定對策我們針對確認(rèn)的主要原因，制定對策表：序號要因?qū)Σ吣繕?biāo)值措施地點完成時間責(zé)任人1設(shè)備參數(shù)配置不合理對不合格的DSLAM設(shè)備配置進(jìn)行檢查按照規(guī)范應(yīng)該設(shè)置為百兆/千兆全雙工檢查DSLAM設(shè)備上行鏈路的接口協(xié)商參數(shù)的配置，如果配置為半雙工，則進(jìn)行修改。南昌8月30日萬濤序號要因?qū)Σ吣繕?biāo)值措施地點完成時間責(zé)任人2上行鏈路帶寬擁塞對每日公布的不合格DSLAM設(shè)備檢查其上行鏈路利用率上行鏈路帶寬利用率不超過80%檢查BAS接入端口流量情況，判斷是否存在接入鏈路帶寬利用率過高的問題，一旦出現(xiàn)立即進(jìn)行擴容。南昌9月30日萬偉3DSLAM組網(wǎng)不合理檢查是否存在級聯(lián)情況禁止DSLAM級聯(lián)一旦發(fā)現(xiàn)DSLAM級聯(lián)，則立即通知市公司進(jìn)行網(wǎng)絡(luò)改造，增加匯聚交換機南昌9月30日楊良科4綜合網(wǎng)管功能不健全聯(lián)系綜合網(wǎng)管廠家解決要求網(wǎng)管能夠監(jiān)控到DSLAM中斷并立即告警網(wǎng)支中心已經(jīng)聯(lián)系了綜合網(wǎng)管廠家，對于丟包100%的DSLAM設(shè)備，必須立即發(fā)出聲光告警。南昌9月25日萬濤5丟包監(jiān)測手段和處理方法不全網(wǎng)支中心撰寫《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》按照《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》的要求進(jìn)行處理為了便于地市規(guī)范的整治不合格DSLAM設(shè)備，網(wǎng)支中心撰寫了《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》，并對地市進(jìn)行培訓(xùn)。南昌8月10日萬濤八、對策實施

實施一：DSLAM設(shè)備參數(shù)配置優(yōu)化工作通過互聯(lián)網(wǎng)綜合網(wǎng)管和手工登錄設(shè)備命令行界面的方式，在全省范圍內(nèi)對DSLAM設(shè)備上行鏈路的接口協(xié)商參數(shù)的配置情況進(jìn)行核查，如果發(fā)現(xiàn)配置為半雙工，則進(jìn)行修改全雙工。全省上行鏈路的接口協(xié)商參數(shù)不合理的設(shè)備17臺。八、對策實施設(shè)備配置修改后截圖八、對策實施

實施二：克服DSLAM設(shè)備上行鏈路帶寬擁塞問題每日檢查BAS接入端口流量情況，判斷是否存在接入鏈路帶寬利用率過高的問題，針對上行鏈路帶寬擁塞的DSLAM局點，在省OA系統(tǒng)公布，網(wǎng)運部立即安排地市進(jìn)行城域傳送網(wǎng)優(yōu)化調(diào)整工作，保證DSLAM上行鏈路帶寬利用率不超過80%。同時網(wǎng)支中心還定期去地市公司進(jìn)行巡檢，指導(dǎo)地市處理此類故障，比如景德鎮(zhèn)中華北路DSLAM_A,中華北路DSLAM_B,中華北路DSLAM_C都有丟包，通過互聯(lián)網(wǎng)綜合網(wǎng)管查看丟包明細(xì)的方法，，發(fā)現(xiàn)三臺設(shè)備丟包時間都發(fā)生在7月11日21：00，如下圖：八、對策實施

然后通過查看這三臺設(shè)備的組網(wǎng)，發(fā)現(xiàn)都是掛在一臺匯聚交換機下，此交換機上行鏈路在21點帶寬利用率已經(jīng)超過90%，如下圖：八、對策實施網(wǎng)支中心發(fā)現(xiàn)此問題后，立即通知景德鎮(zhèn)公司組織進(jìn)行鏈路擴容工作。全省此類問題共計有55件。八、對策實施

實施三組網(wǎng)上禁止DSLAM級聯(lián)，安排市分公司進(jìn)行網(wǎng)絡(luò)改造，增加匯聚交換機。網(wǎng)支中心通過互聯(lián)網(wǎng)綜合網(wǎng)管遠(yuǎn)程檢查和地市巡檢等方式，對全省DSLAM的組網(wǎng)進(jìn)行了檢查，發(fā)現(xiàn)級聯(lián)的DSLAM設(shè)備立即通知市公司整改。全省消除DSLAM級聯(lián)設(shè)備21處。八、對策實施帶級聯(lián)情況設(shè)備拓?fù)鋱D:八、對策實施網(wǎng)絡(luò)改造后設(shè)備拓?fù)鋱D:八、對策實施

實施四：完善互聯(lián)網(wǎng)綜合網(wǎng)管功能，屏蔽因停機施工作業(yè)引起的丟包數(shù)據(jù)統(tǒng)計。對于丟包100%的DSLAM設(shè)備，互聯(lián)網(wǎng)綜合網(wǎng)管立即發(fā)出聲光告警，通知網(wǎng)管值班人員處理。如下圖：八、對策實施八、對策實施增加施工時段內(nèi)對受影響DSLAM設(shè)備PING包測試進(jìn)行數(shù)據(jù)過濾。同時調(diào)整停機施工審批流程，凡涉及互聯(lián)網(wǎng)設(shè)備的停機施工，調(diào)度須報互聯(lián)網(wǎng)工程師審批，進(jìn)行綜合網(wǎng)管相應(yīng)數(shù)據(jù)設(shè)置。八、對策實施實施五：制定整治指導(dǎo)意見，提高業(yè)務(wù)能力。為了便于地市規(guī)范的整治不合格DSLAM設(shè)備，網(wǎng)支中心撰寫了《三率報表不達(dá)標(biāo)數(shù)據(jù)排查整治指導(dǎo)意見》，并且組織地市技術(shù)人員進(jìn)行現(xiàn)場培訓(xùn)，認(rèn)真指導(dǎo)網(wǎng)管值班人員和設(shè)備維護(hù)人員對不達(dá)標(biāo)DSLAM設(shè)備進(jìn)行排查整治工作，有效提高大家解決問題的能力。八、對策實施九、效果檢查效果檢查一結(jié)論：通過QC小組的活動，DSLAM丟包合格率有了明顯的提高，11-12月DSLAM丟包合格率98.12%，達(dá)到了江西分公司的考核標(biāo)準(zhǔn)。（DSLAM丟包合格率≥96%）2010年11月-12月DSLAM丟包合格率統(tǒng)計表

日期監(jiān)測DSLAM總數(shù)監(jiān)測DSLAM丟包率合格數(shù)監(jiān)測DSLAM丟包率不合格數(shù)丟包合格率（%）2010年11月7717601198.57%2010年12月7717531897.67%11-12月平均值7717561498.12%九、效果檢查效果檢查二結(jié)論：DSLAM丟包合格率由活動前的85.13%提高到活動后的98.12%，達(dá)到了我們設(shè)定的目標(biāo)值（DSLAM丟包合格率≥96%）QC活動前后效果對比圖

九、效果檢查效果檢查三經(jīng)濟(jì)效益和品牌效應(yīng)隨著DSLAM設(shè)備丟包率下降，鐵通互聯(lián)網(wǎng)運行質(zhì)量逐步提高，活動開展以來下半年新增寬帶34108戶，環(huán)比上半年月新增寬帶29542臺，凈增4566臺，若按一戶收取寬帶包年費300元計，合計136.98萬元，取得了比較可觀的經(jīng)濟(jì)效益。

DSLAM丟包合格率的提高，鐵通寬帶上網(wǎng)速度更快和體驗感更好，不僅讓用戶滿意，也在日益激烈的市場競爭中，進(jìn)一步提升中國鐵通“鐵通新時速、寬帶新生活”的品牌形象。十、鞏固措施1、制定鞏固措施：①、制定DSLAM設(shè)備和BRAS設(shè)備參數(shù)配置的標(biāo)準(zhǔn)，維護(hù)人員嚴(yán)格按照此標(biāo)準(zhǔn)進(jìn)行配置，確保不會出現(xiàn)參數(shù)配置方面的錯誤。②、加強日常巡視制度，維護(hù)人員密切關(guān)注DSLAM設(shè)備上行鏈路忙時利用率，一旦超過預(yù)警值80%