研究實(shí)現(xiàn)互聯(lián)網(wǎng)互聯(lián)互通故障定位的新方法

1、研究互聯(lián)網(wǎng)互聯(lián)互通故障定位新方法中國移動通信集團(tuán)福建有限公司泉州分公司Speed QC小組2010年3月目 錄1小組概況- 2 -2選擇課題- 4 -3確定目標(biāo)- 7 -4提出各種方案并確定最佳方案- 9 -5對策制定- 24 -6對策實(shí)施- 25 -7效果檢查- 35 -8標(biāo)準(zhǔn)化- 36 -9.總結(jié)打算- 38 -1小組概況1.1小組概況Speed QC小組成立于2009年2月，是一個具有扎實(shí)QC理論基礎(chǔ)知識和豐富交換、IT實(shí)踐經(jīng)驗的QC小組，小組成員均為IT和交換專業(yè)技術(shù)骨干。小組的主要任務(wù)是弘揚(yáng)自主創(chuàng)新文化，開展各項專題技術(shù)攻關(guān)，提升網(wǎng)絡(luò)質(zhì)量，不斷為用戶提供優(yōu)質(zhì)、滿意的網(wǎng)絡(luò)服務(wù)。小組名稱

2、Speed QC小組成立時間2009年2月課題名稱研究互聯(lián)網(wǎng)互聯(lián)互通故障定位的新方法課題類型創(chuàng)新型組長金鵬活動時間2009.22009.12活動次數(shù)11次成員情況注冊號CMFJQZ2009036姓 名性別文化程度小組分工職 稱職 責(zé)葉育文男本科顧問高級工程師活動指導(dǎo)金鵬男本科組長高級工程師活動指導(dǎo)王亦淳男碩士副組長工程師方案制定 組織實(shí)施王瑞斌男碩士組員中級工程師原因分析 具體實(shí)施洪昭明男本科組員工程師數(shù)據(jù)收集 具體實(shí)施王東龍男碩士組員中級工程師資料整理 報告整理吳韋力男碩士組員工程師資料整理 實(shí)施驗證陳夤男本科組員工程師資料整理表 1-1：小組概況 制表人：金鵬 制表時間：2009年2月1.

3、2小組合影1.3術(shù)語解釋序號名 詞含 義1故障定位歷時出現(xiàn)故障到發(fā)現(xiàn)并定位故障原因所經(jīng)歷的時間2PINGPing 是Windows自帶的一個可執(zhí)行命令。利用它可以檢查網(wǎng)絡(luò)是否能夠連通，用好它可以很好地幫助我們分析判定網(wǎng)絡(luò)故障。3HTTP超文本傳輸協(xié)議(HTTP，HyperText Transfer Protocol)是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議。4FTPFile Transfer Protocol 文件傳輸協(xié)議，用于Internet上的控制文件的雙向傳輸5SMTPSimple Mail Transfer (or Transport) Protocol，簡單郵件傳輸協(xié)議，用于電子郵件的傳

4、輸。8DNSDomain Name System 域名系統(tǒng)，用于命名組織到域?qū)哟谓Y(jié)構(gòu)中的計算機(jī)和網(wǎng)絡(luò)服務(wù)。表1-2：名詞解釋 制圖人：王瑞斌 制圖時間：2009年2月2選擇課題2.1問題提出1、現(xiàn)狀分析 2008年以來，泉州分公司互聯(lián)網(wǎng)寬帶業(yè)務(wù)得到了快速發(fā)展。截至2009年1月，寬帶用戶近1.2萬戶。但是，1月份寬帶用戶投訴量劇增，公司要求采取有效措施降低寬帶用戶投訴量。小組分析了08年8月至09年1月移動寬帶業(yè)務(wù)發(fā)展和客戶投訴情況，如圖2-1所示：圖2-1：寬帶業(yè)務(wù)發(fā)展情況 制圖人：洪昭明 制圖時間：2009年2月通過對比發(fā)現(xiàn)，最近三個月寬帶用戶投訴增長速度明顯大于用戶發(fā)展速度并呈快速增長趨

5、勢。2、寬帶用戶投訴分析小組進(jìn)一步提取了08年11月至09年1月寬帶用戶投訴工單，對用戶投訴的故障原因進(jìn)行了分析，結(jié)果如下：圖2-2：寬帶用戶投訴原因分析 制圖人：洪昭明 制圖時間：2009年2月根據(jù)上述分析，QC小組認(rèn)為，互聯(lián)互通故障是產(chǎn)生客戶投訴的主要類別，已成為寬帶業(yè)務(wù)發(fā)展的瓶頸問題。解決互聯(lián)互通故障問題迫在眉睫！ 3、互聯(lián)互通故障投訴分析 小組對08年11月至09年1月有關(guān)互聯(lián)互通故障投訴單進(jìn)一步分析，發(fā)現(xiàn)影響互聯(lián)互通故障投訴的因素是多方面的，具體分析數(shù)據(jù)見下表：序號項目頻數(shù)累計累計百分比（%）1電信端口設(shè)限47547538.42電信路由設(shè)限40788271.33移動故障定位歷時長23

6、0111289.94電信故障處理不及時891201975移動出口帶寬不足26122799.26其它101237100表2-1：互聯(lián)互通故障投訴原因分析 制表人：洪昭明 制表時間：2009年2月根據(jù)上表數(shù)據(jù)做出排列圖：圖2-3：互聯(lián)互通故障投訴原因分析排列圖 制表人：洪昭明 制圖時間：2009年2月（1）由圖2-3可以看出，影響互聯(lián)互通故障投訴的主要因素有電信端口設(shè)限、電信路由設(shè)限、移動故障定位問題和電信故障處理問題，這四個因素占比高達(dá)97%。如果能夠解決這幾方面的問題，那將大大降低互聯(lián)互通故障投訴！（2）解決電信端口設(shè)限、電信路由設(shè)限和電信故障處理問題，顯然非QC小組力所能及。主要的問題還在于

7、取證困難，無法及時向電信及通管局進(jìn)行申告，同時鑒于通管局在互聯(lián)互通問題上的壓力，電信一般不重復(fù)對已申告成功的端口或路由重新設(shè)限，若能加快解決故障定位歷時及盡快收集舉證材料，將有助于降低互聯(lián)互通類投訴。因此，小組認(rèn)為應(yīng)該圍繞這如何解決故障定位歷時這方面入手，通過有效的技術(shù)手段實(shí)現(xiàn)故障的快速定位和快速申告，從而加速故障問題的處理。4、互聯(lián)互通故障定位歷時 小組成員提取了2008年11月至2009年1月三個月的與互聯(lián)互通故障有關(guān)的客戶投訴工單，統(tǒng)計如下：月 份互聯(lián)互通故障工單平均故障定位歷時（min）20081123046.220081248640.920090177344.6平 均496.743.

8、9表2-2：互聯(lián)互通故障定位歷時統(tǒng)計表 制表人：洪昭明 制表時間：2009年2月小組通過調(diào)查分析發(fā)現(xiàn)，由于缺乏有效的技術(shù)手段定位互聯(lián)互通故障，導(dǎo)致故障定位歷時過長。5、移動故障定位歷時與電信故障處理歷時關(guān)系1）小組抽取08年1109年1月互聯(lián)互通故障工單，對我方有提交申告工單，電信方解決時長和我方無法提交申告工單、電信解決時長進(jìn)行對比，結(jié)果如下：月 份互聯(lián)互通故障工單30分鐘內(nèi)提交申訴工單數(shù)（條）電信方24小時解決率超半小時及未提交申訴工單數(shù)（條）電信方24小時解決率20081123012065.211038.320081248623972.424741.5%20090177334169.8%

9、33234.2%平 均496.769.138表2-2-1：電信24小時解決率及我方24小時提交工單統(tǒng)計表 制表人：洪昭明 制表時間：2009年2月結(jié)論：從表2-2-1的統(tǒng)計可以看出，移動方未能在半小時實(shí)現(xiàn)故障定位，電信方24小時故障解決率同比下降30左右，小組據(jù)此推測，移動故障定位歷時縮短將有助于電信方加快解決其限制問題，24小時解決率將提高近30。據(jù)此可以推出，通過縮短移動故障定位歷時一定程度上有助于推動電信方面相關(guān)互聯(lián)互通故障問題的解決。通過對全部50個數(shù)據(jù)的比較分析，據(jù)測算，通過有效控制移動故障定位歷時將分別解決電信端口設(shè)限、電信路由設(shè)限及電信故障處理不及時等三個問題的38、21、30。

10、據(jù)此，小組成員一致認(rèn)為，移動故障定位歷時的解決將解決總體互聯(lián)互通故障投訴的45，有助于進(jìn)一步減少投訴量。6、故障定位方法 小組圍繞這如何縮短互聯(lián)互通故障定位歷時這個問題展開討論和調(diào)查，分析發(fā)現(xiàn)由于互聯(lián)互通故障多樣，技術(shù)人員需要通過多種手段逐一分析，傳統(tǒng)的人工故障定位方法存在諸多不足，如表2-2所示：序號存在不足1對維護(hù)人員有專業(yè)水平和故障處理經(jīng)驗要求高2無法24小時實(shí)現(xiàn)故障監(jiān)測定位3故障監(jiān)測定位的范圍有限4占用系統(tǒng)資源多，存在安全隱患5故障定位不及時；6歷史信息不易查詢，取證困難7無法自動申告表2-2-2：傳統(tǒng)故障定位方法主要不足 制表人：洪昭明 制表時間：2009年2月 如果能夠通過新方法實(shí)

11、現(xiàn)主動監(jiān)測故障、定位故障成因，實(shí)現(xiàn)自動預(yù)警，爭取能夠在第一時間精確鎖定互聯(lián)互通故障問題所在，將有助于縮短故障定位歷時，加快互聯(lián)互通故障問題的解決！但是，小組成員咨詢了集團(tuán)及其他兄弟省市的同事，并查詢了集團(tuán)的成果庫，均沒有發(fā)現(xiàn)相關(guān)的成果。同時查閱了相關(guān)專業(yè)資料，也沒有發(fā)現(xiàn)存在相關(guān)技術(shù)或方法。因此，小組成員決定研發(fā)實(shí)現(xiàn)互聯(lián)互通故障定位的新方法！2.4選定課題圖2-3：選題理由 制圖人：洪昭明 制圖時間：2009年2月2.小組活動進(jìn)度計劃表 2-3活動進(jìn)度計劃制表人：金鵬 制表時間：2008年3月3確定目標(biāo)3.1課題目標(biāo)：通過技術(shù)手段實(shí)現(xiàn)互聯(lián)互通的故障監(jiān)測及智能定位，第一時間定位故障及其原因，縮短互

12、聯(lián)互通故障定位歷時，降低故障處理時長，改善寬帶業(yè)務(wù)網(wǎng)絡(luò)質(zhì)量，提升客戶滿意度。3.2 目標(biāo)值：考慮到多種因素，我們將目標(biāo)值設(shè)為：故障定位歷時8分鐘。圖 3-1：投訴及故障定位情況柱狀圖制表人：王瑞斌 制表時間：2009年3月3.3目標(biāo)設(shè)定的依據(jù)：1、邏輯推理整個故障定位過程包含兩個階段：1） 故障監(jiān)測：故障發(fā)生到發(fā)現(xiàn)故障所經(jīng)歷時間。通過應(yīng)用新方法后，可以模擬用戶的上網(wǎng)行為，從而實(shí)現(xiàn)主動實(shí)時監(jiān)測故障，從業(yè)內(nèi)經(jīng)驗看，定期以不同IP段完成對本地100個固定網(wǎng)站進(jìn)行監(jiān)測，監(jiān)測任務(wù)的執(zhí)行時間為2分鐘計，新方法若可以通過系統(tǒng)實(shí)現(xiàn)并發(fā)測試，故障監(jiān)測歷時可以縮短到2分鐘。2） 故障定位：發(fā)現(xiàn)故障到定位到故障發(fā)生

13、原因所經(jīng)歷時間；通過應(yīng)用故障定位新方法可以全面定位故障并保證故障定位的準(zhǔn)確性，通自動化處理可以現(xiàn)有的平臺（操作系統(tǒng)：windows XP，CPU:2GHZ,內(nèi)存：1G）和目前常見軟件的計算能力，6分鐘就可以完成了對全部故障點(diǎn)的掃描，所以以定位故障可控制在6分鐘內(nèi)。圖 3-2：互聯(lián)互通故障定位過程圖：王瑞斌 制表時間：2009年3月因此，QC小組將互聯(lián)互通故障定位歷時的目標(biāo)設(shè)定為2+6=8分鐘！2、歷史經(jīng)驗經(jīng)驗表明，在常見故障定位上，一個技術(shù)熟練的人員在沒有任何外界干擾且判斷精確的情況下，6-10分鐘可以定位故障。所以，應(yīng)用新的方法還是有可能完成的。3、人員保障小組成員均接受過的技術(shù)培訓(xùn)，并且擁

14、有公司最頂尖的數(shù)據(jù)網(wǎng)維護(hù)、IT系統(tǒng)研發(fā)人才，且小組成員QC活動經(jīng)驗豐富。圖 3-3：目標(biāo)可行性示意圖：王瑞斌 制表時間：2009年3月4提出各種方案并確定最佳方案4.1方案提出 針對我們設(shè)定的目標(biāo)，小組成員集思廣益，結(jié)合嚴(yán)謹(jǐn)?shù)睦碚撝R和廣泛的群眾分析，利用“頭腦風(fēng)暴法”，提出了一系列解決意見并通過親和圖整理如下： 圖4-1：方案討論親和圖制圖人：王東龍 制圖時間：2009年3月經(jīng)過歸納整理，QC小組初步明確了實(shí)現(xiàn)互聯(lián)互通故障定位新方法必須包含三個部分來研究。而通過對三大研究方向展開來分析討論，我們又分別確定了三大部分的可選方案：圖4-2解決方案分解樹圖制圖人：王東龍制圖時間：2009年3月4.

15、2方案選擇一、互聯(lián)互通故障監(jiān)測（一）可行方案提出：在互聯(lián)互通故障監(jiān)測上小組是如何進(jìn)行的呢？小組成員結(jié)合日常的維護(hù)經(jīng)驗以及同廠家進(jìn)行交流，分析總結(jié)了三種解決方案： 表4-1故障監(jiān)測解決方案制表人：王東龍制表時間：2009年3月（二）方案簡介1、基于協(xié)議分析的測試方法簡介：通過對互聯(lián)網(wǎng)應(yīng)用進(jìn)行協(xié)議分析，將復(fù)雜的互聯(lián)網(wǎng)應(yīng)用分解成若干個步驟，對每個步驟的連接時長進(jìn)行統(tǒng)計，通過連接時長衡量互聯(lián)互通是否正常?；ヂ?lián)網(wǎng)由TCP/IP協(xié)議構(gòu)成，所有互聯(lián)網(wǎng)應(yīng)用程序都是基于TCP/IP協(xié)議開發(fā)出來。以此為出發(fā)點(diǎn)，每一種協(xié)議都可以細(xì)化為多個連接步驟。而只要我們能夠?qū)f(xié)議進(jìn)行細(xì)化，由此即可反映出應(yīng)用連接。圖4-3基于協(xié)

16、議分析的測試方法簡介制圖人：洪昭明制圖時間：2009年3月通過分析HTTP協(xié)議等網(wǎng)絡(luò)協(xié)議的連接全過程，細(xì)化每個階段的連接時間，并為其設(shè)置報警閥值，檢測互聯(lián)互通故障。2、基于傳輸連接的測試方法簡介：利用現(xiàn)有的網(wǎng)絡(luò)承載網(wǎng)管設(shè)備，計算每個互聯(lián)網(wǎng)應(yīng)用在傳輸電路層面的連接時間，以此來測試互聯(lián)網(wǎng)業(yè)務(wù)是否正常。圖4-4基于傳輸連接的測試方法簡介制圖人：洪昭明制圖時間：2009年3月3、基于應(yīng)用加載的測試方法利用系統(tǒng)模擬互聯(lián)網(wǎng)應(yīng)用程序，記錄應(yīng)用程序的加載時間，以此來衡量互聯(lián)互通是否正常。圖4-5基于應(yīng)用加載的測試方法簡介制圖人：洪昭明制圖時間：2009年3月（三）方案選擇：1 、方案準(zhǔn)確性測試經(jīng)過分析，互聯(lián)互

17、通故障監(jiān)測最重要的功能就是要能真正的模擬用戶的上網(wǎng)體驗，并先于用戶發(fā)現(xiàn)問題，因此QC小組認(rèn)為首先要評估的參數(shù)即監(jiān)測方法的準(zhǔn)確性。檢測的準(zhǔn)確性主要考慮兩個指標(biāo)，一是誤報率，太高的誤報會導(dǎo)致值班人員浪費(fèi)精力處理不存在的故障。二是漏報率，太高的虛報率會導(dǎo)致經(jīng)常無法提前檢測到故障。QC小組選取最常出現(xiàn)故障的前100個網(wǎng)站，并對這100個網(wǎng)站進(jìn)行長時間互聯(lián)互通故障告警測試。圖4-6基于應(yīng)用加載的測試方法模擬測試 制圖人：洪昭明制圖時間：2009年3月測試結(jié)果如下：方案名稱泉州網(wǎng)泉州地稅漏報率誤報率故障次數(shù)報錯次數(shù)誤報次數(shù)漏報次數(shù)故障次數(shù)報錯次數(shù)誤報次數(shù)漏報次數(shù)基于協(xié)議分析的測試方法6600910103%

18、4%基于傳輸連接的測試方法6501982113%5%基于應(yīng)用加載測試方法671099115%11%表4-2互聯(lián)互通故障監(jiān)測方案對比 制表人：洪昭明制表時間：2009年3月2 、測試結(jié)論l 基于傳輸連接的測試方式，由于存在的端口限制導(dǎo)致的互聯(lián)互通故障，對這類限制該方式無法判定，因此漏報率較高。l 基于應(yīng)用加載測試方式，由于現(xiàn)有測試軟件無法精確測算應(yīng)用加載時間，經(jīng)常得到過高的加載時間，產(chǎn)生了大量的誤報。同時由于部分站點(diǎn)經(jīng)過緩存，因此測試的漏報率也較高。l 基于協(xié)議分析的測試方法，通過多階段的分析減少了兩種方式的弱點(diǎn)帶來的誤報和漏報，故障定位的精確性最高。3、方案評價方案名稱優(yōu)缺點(diǎn)評價標(biāo)準(zhǔn)評價結(jié)論可

19、行性分析基于協(xié)議分析的測試方法l 優(yōu)點(diǎn)：1、定位精確，與用戶實(shí)際體驗幾乎沒有誤差2、自動監(jiān)測不占用終端資源l 缺點(diǎn)：必須對各種應(yīng)用協(xié)議有清楚的認(rèn)識準(zhǔn)確性精確可行研發(fā)難度較難擴(kuò)展性擴(kuò)展功能豐富基于傳輸連接的測試方法l 優(yōu)點(diǎn)：故障發(fā)生時，可以第一時間發(fā)出警報l 缺點(diǎn)：1、 準(zhǔn)確性較差，出現(xiàn)網(wǎng)速慢的情況不易定位；2、 部分端口障礙無法監(jiān)測；準(zhǔn)確性漏報率較高不可行研發(fā)難度一般擴(kuò)展性不易擴(kuò)展基于應(yīng)用加載測試法l 優(yōu)點(diǎn)：較容易實(shí)現(xiàn)；l 缺點(diǎn)：1、由于應(yīng)用加載存在資源緩存，因此存在較大的誤差2、對終端要求較高，占用資源準(zhǔn)確性誤報率較高不可行研發(fā)難度一般擴(kuò)展性一般表4-3第一部分方案可行性分析制表人：洪昭明制

20、表時間：2009年3月4、 結(jié)論圖4-7第一部分的最優(yōu)方案選擇制圖人：洪昭明制圖時間：2009年3月二、互聯(lián)互通故障定位新方法的研究：（一）可行方案分析：第二部分方案是整個QC課題的難點(diǎn)，小組成員充分利用了所學(xué)知識并結(jié)合自身工作經(jīng)驗，展開了熱烈的討論，最終確定了三個可行方案：圖4-8第二部分解決方案樹圖制圖人：王瑞斌制圖時間：2009年3月（二）方案簡介：小組成員于4月份，針對三種方法進(jìn)行100次模擬測試，并統(tǒng)計正確定位出故障點(diǎn)的次數(shù)。以下為三種方案的詳細(xì)對比分析：1、 基于ICMP的測試方法：通過對網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)進(jìn)行時延測試，來判斷故障點(diǎn)。圖4-9 ICMP測試方案示意圖 制圖人：王瑞斌

21、制圖時間：09年3月2、 基于SNMP的網(wǎng)管監(jiān)測方法：利用網(wǎng)管系統(tǒng)，對網(wǎng)絡(luò)中的關(guān)鍵節(jié)點(diǎn)進(jìn)行流量監(jiān)控，通過分析網(wǎng)絡(luò)流量的方法，來定位出故障點(diǎn)所在：圖4-10 SNMP測試方案示意圖 制圖人：王瑞斌 制圖時間：09年3月3、 基于規(guī)則判定的互聯(lián)互通故障定位：通過一組算法，運(yùn)用多種測試工具來組合定位故障。首先測試網(wǎng)站能否解析，判斷DNS是否有問題；接著利用ICMP協(xié)議測試故障節(jié)點(diǎn)；最后利用端口掃描的辦法，確定是否端口被限制。圖4-11：自動關(guān)聯(lián)定位方法示意圖 制圖人：王瑞斌 制圖時間：09年3月利用服務(wù)器下發(fā)應(yīng)用連接任務(wù)，通過收集連接過程中每個步驟的運(yùn)行情況，與內(nèi)置的判定條件進(jìn)行比對，觸發(fā)故障判定動

22、作，并根據(jù)動作的結(jié)果進(jìn)行故障定位（三）方案選擇：1、模擬測試為確定方案，QC小組模擬了故障環(huán)境，并將三種方法置入4種模擬環(huán)境中分別進(jìn)行25次測試。測試、時間、人員和地點(diǎn)（50次）圖4-12： 模擬試驗現(xiàn)場 制圖人：王瑞斌 制圖時間：09年3月測試結(jié)果如下：方案名稱測試環(huán)境測試結(jié)果路由限制端口限制設(shè)備、服務(wù)器故障流量限制定位成功次數(shù)定位平均時間（分鐘）定位成功次數(shù)定位平均時間（分鐘）定位成功次數(shù)定位平均時間（分鐘）定位成功次數(shù)定位平均時間（分鐘）定位成功次數(shù)定位平均時間（分鐘）基于ICMP的自動循環(huán)測試方法254.91416.7255.2167.9808.675基于網(wǎng)絡(luò)設(shè)備SNMP的網(wǎng)管監(jiān)測方法

23、257.32314.6252184.2917.025基于規(guī)則判定的互聯(lián)互通故障定位方法254.9255.3255.2245.1995.1252、測試結(jié)論 小組成員在定位能力測試的基礎(chǔ)上，綜合考慮了研發(fā)難度和研發(fā)可行性，一致認(rèn)為雖然“基于規(guī)則判定的互聯(lián)互通故障定位方法“研發(fā)難度較高，但是定位能力較強(qiáng)，后續(xù)又可以通過規(guī)則庫的擴(kuò)展提升能力，因此將互聯(lián)互通故障定位的方案選定為”基于規(guī)則判定的互聯(lián)互通故障定位方法”。圖4-13第二部分的最優(yōu)方案選擇制圖人：王瑞斌制圖時間：2009年3月三、整體實(shí)現(xiàn)方法研究：（一）可行性方案分析：小組成員再一次利用腦力風(fēng)暴，針對如何實(shí)現(xiàn)自動化故障監(jiān)測和故障定位的問題是展開

24、討論，基于日常工作實(shí)際要求，總結(jié)了四個可以實(shí)現(xiàn)互聯(lián)互通故障定位的新方法： 圖4-14第二部分的最優(yōu)方案選擇制圖人：吳韋力制圖時間：2009年3月1、 基于B/S架構(gòu)的應(yīng)用系統(tǒng)即Browser/Server架構(gòu)，這種方式只需要IE瀏覽器即可模擬一個用戶進(jìn)行故障監(jiān)測及定位，測試人員無需安裝任何軟件。圖4-15B/S架構(gòu)示意圖 制圖人：吳韋力制圖時間：2009年3月2、 基于C/S架構(gòu)的應(yīng)用系統(tǒng)即Client/Server架構(gòu)，這種方式需要測試人員在測試終端上安裝客戶端軟件，客戶端將測試數(shù)據(jù)搜集歸納至服務(wù)端。圖4-16C/S架構(gòu)示意圖 制圖人：吳韋力制圖時間：2009年3月3、 基于手持儀器儀表的方

25、式通過與儀器儀表廠商合作，將故障監(jiān)測及定位的方法制訂成手持設(shè)備的操作系統(tǒng)。圖4-17手持儀器表 制圖人：吳韋力制圖時間：2009年3月4、 基于設(shè)備自動化腳本的實(shí)現(xiàn)方法利用腳本的方法，登錄網(wǎng)絡(luò)設(shè)備進(jìn)行測試，無法研發(fā)新的系統(tǒng)。（二）方案評價：QC小組針以系統(tǒng)的易用性、擴(kuò)展性、經(jīng)濟(jì)性以及廠家支持四個方面入手，制定了三個等級的評估標(biāo)準(zhǔn)，以此來對四套方案進(jìn)行綜合評估：評估項目（9-10分）（6-8分）（1-5分）易用性簡單易用一般使用較困難擴(kuò)展性系統(tǒng)后期擴(kuò)展性強(qiáng)提供基本的擴(kuò)展擴(kuò)展困難經(jīng)濟(jì)性投入較少投入一般投入較多廠家支持自主研發(fā)部分依賴廠家完全依賴廠家表4-5方案評估標(biāo)準(zhǔn)制表人：吳韋力制表時間：200

26、9年3月方案評估見下表：方案名稱方案描述優(yōu)缺點(diǎn)項目評估得分綜合得分可行性分析B/S架構(gòu)研發(fā)基于瀏覽器/服務(wù)器架構(gòu)的系統(tǒng)，用以實(shí)現(xiàn)互聯(lián)互通的監(jiān)測及故障定位l 優(yōu)點(diǎn)：1、 有瀏覽器的終端均可開始互聯(lián)互通測試及定位；2、 圖表功能較齊全；3、 擴(kuò)展性高，可與其它系統(tǒng)對接l 缺點(diǎn)：需要投入較多開發(fā)力量易用性1033可行擴(kuò)展性10經(jīng)濟(jì)性6廠家支持7C/S架構(gòu)研發(fā)基于客戶端/服務(wù)器架構(gòu)的系統(tǒng)，用以實(shí)現(xiàn)互聯(lián)互通的監(jiān)測及故障定位l 優(yōu)點(diǎn)：1、 圖表功能強(qiáng)大；2、 使用起來相對簡單l 缺點(diǎn)：1、 終端需要安裝軟件，不利于引導(dǎo)用戶；2、 客戶端軟件開發(fā)需要較大的費(fèi)用投入易用性724不可行擴(kuò)展性6經(jīng)濟(jì)性5廠家支持6

27、儀器儀表將故障定位方法固化至儀器儀表系統(tǒng)l 優(yōu)點(diǎn)：方便維護(hù)人員上門處理故障；l 缺點(diǎn)：1、 定制的系統(tǒng)，幾乎無法進(jìn)行擴(kuò)展性；2、 自動監(jiān)測功能較差，一般用于故障定位；3、 儀器儀表無法自行生產(chǎn)，依賴廠家的系統(tǒng)開發(fā)易用性518不可行擴(kuò)展性3經(jīng)濟(jì)性6廠家支持4自動化腳本將故障定位方法編制成腳本，并配合服務(wù)器及相關(guān)網(wǎng)絡(luò)設(shè)備自動化運(yùn)行l(wèi) 優(yōu)點(diǎn)：1、 無法額外的費(fèi)用投入，經(jīng)濟(jì)性高；2、 無需廠家支持；l 缺點(diǎn)：1、 腳本編制效率較低，且不利于擴(kuò)展；2、 無圖表功能易用性426不可行擴(kuò)展性3經(jīng)濟(jì)性10廠家支持9表4-6第三部分方案可行性分析制表人：吳韋力制表時間：2009年3月（三）評價結(jié)論：由下表可以發(fā)

28、現(xiàn)，B/S架構(gòu)的實(shí)現(xiàn)方法的可行性最高，因此我們選擇B/S架構(gòu)作為實(shí)現(xiàn)互聯(lián)互通故障定位的實(shí)現(xiàn)平臺：圖4-18第三部分最優(yōu)方案選擇制圖人：吳韋力制圖時間：2009年3月4.3最佳方案確定：綜上所述，我們已經(jīng)明確了研發(fā)互聯(lián)互通故障定位新方法的具體實(shí)施細(xì)節(jié)：圖4-19整體最佳解決方案樹圖制圖人：洪昭明制圖時間：2009年3月5對策制定5.1制定對策表按照”5W1H”，小組設(shè)計制定了如下對策表：步驟對策目標(biāo)措施負(fù)責(zé)人地點(diǎn)時間1按網(wǎng)絡(luò)協(xié)議連接時長的基準(zhǔn)值設(shè)置互聯(lián)互通故障告警參數(shù)故障檢出率達(dá)到90%以上1、 根據(jù)協(xié)議分析原理，對部分應(yīng)用的連接時間進(jìn)行詳細(xì)分析；2、 利用特定算法，計算出不同互聯(lián)網(wǎng)應(yīng)用類型每個

29、時間段的監(jiān)測告警門限值；3、 定時采集網(wǎng)絡(luò)應(yīng)用協(xié)議連接時長并與告警門限值進(jìn)行比對，根據(jù)比對結(jié)果發(fā)出告警洪昭明泉州圣湖六樓機(jī)房2009年4月2基于規(guī)則判定的互聯(lián)互通故障定位的關(guān)聯(lián)測試方法研究研發(fā)出故障定位的規(guī)則引擎1、 采集歷史故障告警數(shù)據(jù)，對告警數(shù)據(jù)進(jìn)行訓(xùn)練，形成故障定位的規(guī)則庫2、 利用告警規(guī)則庫研發(fā)出故障定位規(guī)則引擎；王瑞斌泉州圣湖六樓機(jī)房2009年5月3基于B/S架構(gòu)故障自動定位系統(tǒng)開發(fā)融合自動監(jiān)測以及故障定位B/S系統(tǒng)1、將兩種實(shí)現(xiàn)方法模塊化；2、用戶自服務(wù)功能設(shè)計；3、其它接口開發(fā)吳韋力泉州舊辦公大樓四樓2009年7月表 2：對策表制表人：洪昭明 制表時間：2009年4月6對策實(shí)施小

30、組成員使用了PDPC法提供研發(fā)過程中不可預(yù)料問題的解決方案，有效的降低研發(fā)過程中遇到的風(fēng)險，確定了對策實(shí)施的關(guān)鍵路線，即圖6-1的A0-A1-A2-A3-A4-A5：圖6-1：對策實(shí)施圖制圖人：王東龍 制圖時間：2009年4月6.1對策實(shí)施一：按網(wǎng)絡(luò)協(xié)議連接時長的基準(zhǔn)值設(shè)置互聯(lián)互通故障告警參數(shù)【實(shí)施措施1】：根據(jù)協(xié)議分析原理對部分應(yīng)用的連接時間進(jìn)行詳細(xì)分析（一）用戶關(guān)心的應(yīng)用協(xié)議：QC小組通過調(diào)查09年第一季度的用戶投訴工單，可以發(fā)現(xiàn)，用戶投訴最多的前三種應(yīng)用分別是：HTTP（92%）、FTP（5%）以及SMTP（1%），總共投訴占比達(dá)92%，如圖6-2所示：圖6-2：第一季度互聯(lián)網(wǎng)應(yīng)用投訴占

31、比制圖人：洪昭明制圖時間：09年5月基于上圖的分析，我們認(rèn)為HTTP協(xié)議是主要的網(wǎng)絡(luò)應(yīng)用和投訴來源，如果可以解決HTTP協(xié)議的故障檢測，就可以達(dá)到我們縮短故障定位時間、提高故障定位率、覆蓋90%投訴比的目標(biāo)。（二）HTTP協(xié)議分析：1、客戶端向DNS服務(wù)器發(fā)送DNS查詢請求WEB服務(wù)器的IP地址，DNS服務(wù)器返回查詢結(jié)果。這段時間為DNS查詢時間。2、客戶端獲得WEB服務(wù)器IP地址后，向該WEB服務(wù)器發(fā)送TCP SYN包，要求建立連接；WEB服務(wù)器做出應(yīng)答，完成三次握手，連接建立。這段時間為建立連接時間。3、客戶端向WEB服務(wù)器發(fā)送GET請求，在收到服務(wù)器的ACK后，開始下載頁面。這段時間為首

32、字節(jié)傳輸時間。4、客戶端從收到第一個字節(jié)到接收完整的HTML文件的時間為頁面下載時間，頁面的大小為傳輸字節(jié)數(shù)，吞吐量等于傳輸字節(jié)數(shù)和下載時間的比值。由此，我們可以將HTTP連接時間分解為：DNS查詢時間、連接建立時間以及傳輸總時間三個部分：圖6-3HTTP協(xié)議連接時間分析圖2制圖人：王瑞斌制圖時間：09年5月由此可見，QC小組在對策一中基于協(xié)議分析方法實(shí)現(xiàn)了對HTTP的故障自動監(jiān)測，解決92%應(yīng)用程序監(jiān)測，達(dá)成我們設(shè)定的覆蓋90%投訴比的目標(biāo)！ 【實(shí)施措施2】：計算出不同互聯(lián)網(wǎng)應(yīng)用類型每個時間段的監(jiān)測告警門限值QC小組定義了一種門限基準(zhǔn)值測試方法，用來分析每個小時的網(wǎng)絡(luò)情況，我們將這種方法稱為

33、95%法則，以下以對泉州網(wǎng)的測試為例進(jìn)行說明：1、 基于HTTP協(xié)議分析方法，開啟不間斷的HTTP自動監(jiān)測任務(wù)，每5分鐘記錄一次訪問該網(wǎng)站的最高連接時間；2、 去除一天內(nèi)5%的最高時延，避免突發(fā)情況發(fā)生；3、 記錄每個小時的最高時延，由此可以組成一條最高時延的曲線圖：4、 將告警門限值設(shè)置為每小時最大連接時間的120%，圖6-4的連接時間趨勢圖制圖人：洪昭明制圖時間：09年5月經(jīng)過這樣測算，每個小時將設(shè)置針對泉州網(wǎng)這個網(wǎng)站設(shè)置一個門限值，經(jīng)過一周的數(shù)據(jù)采樣，我們得出，泉州網(wǎng)該網(wǎng)站一周內(nèi)的告警門限值：4月5日4月6日4月7日4月8日4月9日4月10日4月11日23:00 - 24:0010914

34、 10875 10889 11048 10889 10874 11198 22:00 - 23:0017508 17574 17914 17727 17939 17962 17603 21:00 - 22:0017508 17199 17622 17537 17582 18024 17456 20:00 - 21:0017508 17727 17747 17650 17494 17307 17696 19:00 - 20:008484 8498 8710 8339 8550 8497 8555 18:00 - 19:002628 2664 2701 2694 2661 2579 2647 17

35、:00 - 18:006828 6868 6854 6970 6872 6881 6910 16:00 - 17:007482 7425 7700 7593 7410 7628 7706 15:00 - 16:005766 5757 5694 5690 5860 5688 5849 14:00 - 15:006246 6296 6423 6362 6336 6258 6334 13:00 - 14:003654 3679 3619 3741 3598 3732 3737 12:00 - 13:002484 2516 2549 2536 2442 2527 2533 11:00 - 12:004

36、224 4172 4214 4252 4289 4233 4264 10:00 - 11:004662 4647 4603 4671 4771 4695 4661 9:00 - 10:0023042288 2352 2345 2355 2295 2288 8:00 - 9:002742 2730 2751 2801 2781 2710 2800 7:00 - 8:002682 2683 2660 2637 2668 2724 2724 6:00 - 7:004452 4429 4536 4464 4398 4580 4436 5:00 - 6:004350 4308 4407 4301 441

37、5 4266 4355 4:00 - 5:002436 2449 2396 2479 2509 2396 2463 3:00 - 4:002244 2279 2215 2286 2229 2228 2284 2:00 - 3:002604 2554 2614 2632 2664 2673 2644 1:00 - 2:002292 2298 2267 2318 2279 2265 2275 0:00 - 1:002520 2480 2569 2526 2548 2536 2532 表6-2的告警門限值制表人：洪昭明制表時間：09年5月【效果檢查】：設(shè)置完每個時間段的告警門限后，QC小組馬上將自動

38、監(jiān)測系統(tǒng)開啟應(yīng)用，一旦網(wǎng)站連接時間超過門限值，將觸發(fā)告警系統(tǒng)。據(jù)統(tǒng)計，4月份啟用自動監(jiān)測系統(tǒng)后，故障預(yù)警次數(shù)達(dá)到360次，而用戶申告的故障有69次已經(jīng)被提前預(yù)知，即檢出率達(dá)到了93.24%，達(dá)到了對策設(shè)定的目標(biāo)！周統(tǒng)計自動監(jiān)測系統(tǒng)預(yù)警次數(shù)用戶申告次數(shù)檢出率次數(shù)檢出率1231515100.00%97252392.00%56131292.31%84211990.48%4月份總計360746993.24%對策二的目標(biāo)達(dá)成了！表6-3對策2的效果檢查表制表人：洪昭明制表時間：09年5月6.2對策實(shí)施二：基于規(guī)則判定的互聯(lián)互通故障定位的關(guān)聯(lián)測試方法研究【實(shí)施措施1】：故障定位規(guī)則庫：通過對09年以來的互

39、聯(lián)互通告警數(shù)據(jù)進(jìn)行分析，我們得出了一組告警數(shù)據(jù)，通過對告警數(shù)據(jù)進(jìn)行數(shù)據(jù)訓(xùn)練，得出了基于故障定位的規(guī)則庫：圖6-5 故障定位規(guī)則庫舉例制圖人：王瑞斌制圖時間：09年5月【實(shí)施措施2】：根據(jù)故障定位研發(fā)出故障定位規(guī)則引擎：根據(jù)故障定位規(guī)則庫，我們研發(fā)了故障定位的規(guī)則引擎：圖6-6 故障定位規(guī)則庫規(guī)則引擎流程圖 制圖人：王瑞斌制圖時間：09年5月【效果檢查】：QC小組于6月份成功整理出歷史告警信息的故障定位規(guī)則引擎，并成功將規(guī)則引擎固化至自動監(jiān)測系統(tǒng)，一旦出現(xiàn)告警將會自動關(guān)聯(lián)至故障定位引擎：圖6-7 互聯(lián)網(wǎng)協(xié)議連接時間監(jiān)測圖制圖人：王瑞斌制圖時間：09年5月對策二的目標(biāo)達(dá)成了！6.3對策實(shí)施三：自動

40、化的B/S架構(gòu)系統(tǒng)研究QC小組通過對策實(shí)施箭條圖對B/S架構(gòu)研究的各步驟進(jìn)行管理和控制，同時根據(jù)三點(diǎn)估計法（樂觀估計時間（a）/悲觀估計時間（b）/正常估計時間（m）/經(jīng)驗估計作業(yè)時間（a+4m+b/6）計算各個工序的經(jīng)驗估計作業(yè)時間以及總里頭，確定關(guān)鍵路線：0-1-2-6-8-10（紅色路徑），預(yù)計在關(guān)鍵路線上實(shí)施總時間為121天。圖6-8系統(tǒng)研發(fā)實(shí)施箭條圖 制圖人：王東龍制圖時間：09年5月根據(jù)需求統(tǒng)計，我們將整個B/S架構(gòu)的系統(tǒng)，分成測試層、綜合管理層、和其他系統(tǒng)的北向接口三大層次。詳細(xì)的系統(tǒng)架構(gòu)如下圖所示：圖6-9互聯(lián)互通故障定位系統(tǒng)的系統(tǒng)結(jié)構(gòu)圖 制圖人：王東龍制圖時間：09年5月(A

41、)測試層：通過測量Agent、測試管理程序等制訂、執(zhí)行測試任務(wù)，實(shí)現(xiàn)對互聯(lián)互通電路的實(shí)時測試；測試層還完成所有測試任務(wù)的統(tǒng)一調(diào)度；圖6-10測試層架構(gòu)圖制圖人：王東龍制圖時間：09年5月圖6-11自動監(jiān)測任務(wù)圖制圖人：王東龍制圖時間：09年5月圖6-12自動測試AGENT界面制圖人：王東龍制圖時間：09年5月（B）綜合管理層l 對測量獲得的數(shù)據(jù)進(jìn)行處理，獲得最終的測量結(jié)果，并生成測試報表；l 提供測試數(shù)據(jù)的呈現(xiàn)界面；l 對測試測量結(jié)果進(jìn)行存儲管理；l 提供北向數(shù)據(jù)接口；l 提供告警前轉(zhuǎn)；圖6-13綜合管理層界面展示制圖人：吳韋力制圖時間：09年6月（C）其他系統(tǒng)的北向接口l 提供告警數(shù)據(jù)、性能

42、數(shù)據(jù)和報表數(shù)據(jù)；l 提供互聯(lián)網(wǎng)IP 地址運(yùn)營商歸屬查詢數(shù)據(jù)；l 提供告警前轉(zhuǎn)；圖6-14綜合管理層界面展示制圖人：吳韋力制圖時間：09年6月【效果檢查】：通過對各項功能模塊的開發(fā)，互聯(lián)互通故障監(jiān)測及定位系統(tǒng)實(shí)現(xiàn)了以下功能：l 實(shí)現(xiàn)了故障自動發(fā)現(xiàn)功能l 實(shí)現(xiàn)故障自動定位功能；l 實(shí)現(xiàn)了用戶自測試功能；對策三的目標(biāo)達(dá)成了！l 實(shí)現(xiàn)了與其它系統(tǒng)的對接；7效果檢查7.1目標(biāo)實(shí)施效果檢驗1）互聯(lián)互通故障定位歷時表 7-1：互聯(lián)互通故障定位歷時情況統(tǒng)計表 制表人：王東龍 制表時間：2010年1月通過本次QC活動，互聯(lián)互通故障定位歷時幅度下降明顯,小組對2009年8-9月泉州地區(qū)互聯(lián)網(wǎng)用戶投訴情況進(jìn)行了跟蹤

43、分析，平均互聯(lián)互通定位歷時下降到5.3分鐘，完全達(dá)到了并超過了我們當(dāng)初設(shè)定的預(yù)期目標(biāo)。鞏固期平均故障定位歷時為5.47分鐘。目標(biāo)順利達(dá)成了！2）網(wǎng)寬帶客戶投訴情況為驗證QC活動效果，小組成員檢查了寬帶業(yè)務(wù)發(fā)展情況與投訴情況的關(guān)系，發(fā)現(xiàn)自從09年4月份開始進(jìn)行各種故障檢測和定位以來，寬帶業(yè)務(wù)的投訴量逐步下降，活動達(dá)到了預(yù)期的目標(biāo)！ 圖 7-3：寬帶業(yè)務(wù)發(fā)展與投訴情況對比 制圖人：洪昭明 制圖時間：2009年12月7.2效益分析一、 社會效益通過本次活動，小組較好地解決了如何減少互聯(lián)網(wǎng)互聯(lián)互通故障投訴以及快速排障的問題，社會效益顯著,主要體現(xiàn)在以下幾方面:1、 提升移動寬帶業(yè)務(wù)服務(wù)質(zhì)量,提高用戶滿意度實(shí)現(xiàn)網(wǎng)絡(luò)質(zhì)量及各種業(yè)務(wù)的自動撥測及定位，有利于及時發(fā)現(xiàn)故障，提升處理效率，避免以往用戶投訴先于故障告警的不良局面;2、提供了互聯(lián)互通技術(shù)監(jiān)測手段，凈化互聯(lián)網(wǎng)競爭環(huán)境目前，基于該方法所建立的互聯(lián)網(wǎng)服務(wù)質(zhì)量監(jiān)控平臺已推薦通信管理局進(jìn)行測試，可解決以往監(jiān)測手段缺乏的問題，規(guī)范互聯(lián)網(wǎng)互聯(lián)互通保障行為；3、提高工作效率，節(jié)約