異常行為導(dǎo)致感知指標(biāo)劣化分析

【創(chuàng)新材料】異常行為導(dǎo)致感知指標(biāo)劣化分析摘要LTE移動(dòng)互聯(lián)網(wǎng)開(kāi)展迅猛，為了吸引更多的用戶從2G/3G往4G上遷移，擴(kuò)大LTE用戶群，電信從2021年7月份開(kāi)始推出“無(wú)限流量〞套餐來(lái)吸引用戶，“無(wú)限流量〞套餐會(huì)促使用戶消費(fèi)更多的LTE流量，產(chǎn)生一批高流量用戶，增大基站負(fù)荷，對(duì)LTE全網(wǎng)造成一系列的影響。本文主要通過(guò)感知分析系統(tǒng)對(duì)高流量用戶引起的質(zhì)差進(jìn)行感知分析和問(wèn)題定位，在用戶投訴前提早發(fā)現(xiàn)問(wèn)題并及時(shí)處理，以此支撐幫助客服部門(mén)應(yīng)對(duì)4G“無(wú)限流量〞套餐引起的投訴，提高質(zhì)差小區(qū)派單準(zhǔn)確性，提升電信的品牌效益。關(guān)鍵字：感知分析系統(tǒng)、DPI感知分析、問(wèn)題定位、客服支撐

目錄一、工程概述 3二、工程關(guān)鍵創(chuàng)新點(diǎn) 4三、創(chuàng)新成果展示 5四、成果簡(jiǎn)介 54.1、背景介紹 54.2、優(yōu)化分析 64.2.1感知平臺(tái)問(wèn)題定位分析 64.2.2站點(diǎn)告警核查 84.2.3KPI指標(biāo)核查 8、4.2.4小區(qū)用戶指標(biāo)統(tǒng)計(jì)分析 94.2.5跟蹤用戶信令 114.2.6用戶異常行為確認(rèn) 124.3、解決措施 124.4、經(jīng)驗(yàn)總結(jié) 13五、效益評(píng)估及成果價(jià)值 145.1降本增效 145.2提升優(yōu)化效率 15六、成果推廣現(xiàn)狀及應(yīng)用 156.1推廣現(xiàn)狀 156.2平臺(tái)應(yīng)用 15

一、工程概述江蘇電信推出“無(wú)限流量〞套餐以來(lái)，用戶業(yè)務(wù)行為逐步豐富，LTE網(wǎng)絡(luò)負(fù)荷驟增，同時(shí)市場(chǎng)的開(kāi)展及用戶業(yè)務(wù)行為模型的改變對(duì)基站DPI指標(biāo)帶來(lái)不同程度的影響，依據(jù)傳統(tǒng)分析方法及傳統(tǒng)工具難以定位問(wèn)題。南通電信無(wú)線中心以DPI感知指標(biāo)為切入點(diǎn)，利用移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)，從感知、業(yè)務(wù)、終端、小區(qū)等方面著手，數(shù)據(jù)采集量大，多維度深入分析，實(shí)現(xiàn)技術(shù)創(chuàng)新及高效準(zhǔn)確定位問(wèn)題。利用移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)及用戶感知分析系統(tǒng)快速精準(zhǔn)定位問(wèn)題，該平臺(tái)能夠反映用戶真實(shí)感知，輸出用戶業(yè)務(wù)模型，并采用報(bào)表形式輸出不同場(chǎng)景不同類(lèi)型指標(biāo)，有效評(píng)估用戶業(yè)務(wù)感知質(zhì)量。江蘇電信感知平臺(tái)擁有感知評(píng)估、問(wèn)題定界、重點(diǎn)場(chǎng)景專(zhuān)題、橫向支撐等功能，具體包括利用感知評(píng)估功能分析用戶感知指標(biāo)及DPI指標(biāo)趨勢(shì)，利用問(wèn)題定界功能定位質(zhì)差小區(qū)、及TOP用戶，利用橫向支撐功能掌握用戶具體行業(yè)用戶行為，感知平臺(tái)功能的綜合運(yùn)用對(duì)定位網(wǎng)絡(luò)DPI指標(biāo)劣化問(wèn)題起到事半功倍的效果。成果運(yùn)用：本分析方法已在南通全區(qū)推廣，適合各種場(chǎng)景包括高鐵、高速、高校等重點(diǎn)場(chǎng)所，按照此類(lèi)分析方法能夠極大減少人工本錢(qián)及現(xiàn)場(chǎng)測(cè)試本錢(qián)，按照每測(cè)試點(diǎn)0.5人天和測(cè)試本錢(qián)150元統(tǒng)計(jì)，預(yù)計(jì)一年可節(jié)省人力及測(cè)試費(fèi)用50萬(wàn)元，可創(chuàng)造直接經(jīng)濟(jì)效益。目前南通電信已輸出相關(guān)感知系統(tǒng)應(yīng)用文檔2篇，相關(guān)案例17篇。二、工程關(guān)鍵創(chuàng)新點(diǎn)利用感知分析系統(tǒng)，創(chuàng)新定位用戶感知問(wèn)題，實(shí)現(xiàn)多維度掌握網(wǎng)絡(luò)整體感知性能指標(biāo)，利用問(wèn)題診斷功能，發(fā)現(xiàn)網(wǎng)絡(luò)短板，高效定位用戶感知質(zhì)差問(wèn)題，全自動(dòng)輸出網(wǎng)絡(luò)感知指標(biāo)及日?qǐng)?bào)。圖2-1傳統(tǒng)定位分析方法與創(chuàng)新定位分析方法比照創(chuàng)新點(diǎn)1：利用感知平臺(tái)分析，高效定位終端當(dāng)熱點(diǎn)業(yè)務(wù)行為造成DPI感知指標(biāo)劣化問(wèn)題；創(chuàng)新點(diǎn)2：快速定位用戶業(yè)務(wù)行為異常事件，支撐客服“無(wú)限流量〞套餐限速后投訴類(lèi)問(wèn)題處理；三、創(chuàng)新成果展示圖3-1創(chuàng)新定位分析方法與傳統(tǒng)定位分析方法效益比照創(chuàng)新定位分析方法相對(duì)于傳統(tǒng)定位分析方法效益更高，在同等工作量的根底上能夠節(jié)省50%的人力資源本錢(qián)，真正做到事半功倍。創(chuàng)新成果主要為：技術(shù)創(chuàng)新：利用移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)及用戶感知分析系統(tǒng)完全代替?zhèn)鹘y(tǒng)人工現(xiàn)場(chǎng)定位問(wèn)題方法及傳統(tǒng)KPI指標(biāo)逐步分析方法，定位問(wèn)題準(zhǔn)確性及有效性提升?？头危撼浞终莆沼脩魳I(yè)務(wù)行為，及時(shí)定位影響用戶感知問(wèn)題原因，高效支撐客服，有效引導(dǎo)用戶業(yè)務(wù)行為，提高用戶感知。四、成果簡(jiǎn)介4.1、背景介紹2021年9月12號(hào)對(duì)南通感知指標(biāo)進(jìn)行日常統(tǒng)計(jì)監(jiān)控，發(fā)現(xiàn)南通整體DPI指標(biāo)突然惡化，對(duì)問(wèn)題時(shí)段南通各區(qū)縣進(jìn)行細(xì)分統(tǒng)計(jì)，南通區(qū)縣“海門(mén)〞DPI指標(biāo)在11號(hào)出現(xiàn)嚴(yán)重劣化跟南通整體DPI指標(biāo)惡化情況一致，指標(biāo)如下所示：圖4-1DPI優(yōu)良率圖示由上圖初步認(rèn)定海門(mén)DPI指標(biāo)從9月11號(hào)開(kāi)始惡化，影響南通整體DPI指標(biāo)下降，對(duì)海門(mén)指標(biāo)惡化進(jìn)行分析定位處理。4.2、優(yōu)化分析4.2.1感知平臺(tái)問(wèn)題定位分析感知平臺(tái)介紹：是江蘇電信針對(duì)江蘇省用戶感知指標(biāo)監(jiān)控及提取研發(fā)的平臺(tái)，通過(guò)感知平臺(tái)——問(wèn)題定界——SQL查詢，可以提供更細(xì)化的問(wèn)題定位。對(duì)海門(mén)9月份DPI指標(biāo)和視頻業(yè)務(wù)指標(biāo)統(tǒng)計(jì)分析，發(fā)現(xiàn)海門(mén)指標(biāo)保持平穩(wěn)，視頻業(yè)務(wù)指標(biāo)惡化導(dǎo)致海門(mén)指標(biāo)整體惡化，如下所示：圖4-2視頻下載速率優(yōu)良率圖4-3-DPI優(yōu)良率 通過(guò)用戶感知平臺(tái)對(duì)海門(mén)9月11號(hào)視頻業(yè)務(wù)指標(biāo)進(jìn)行小區(qū)級(jí)別統(tǒng)計(jì)，查看是否由于top小區(qū)引起，統(tǒng)計(jì)發(fā)現(xiàn)NTL2NTC海門(mén)_證大清華園_2〔CI:46011075008562〕在問(wèn)題時(shí)間段指標(biāo)惡化嚴(yán)重,全天產(chǎn)生16397視頻質(zhì)差次數(shù),占海門(mén)全天視頻質(zhì)差的68.5%,如下表所示:表4-1視頻下載指標(biāo)地市日期CI優(yōu)良率視頻下載總數(shù)視頻下載速率質(zhì)差次數(shù)視頻下載速率優(yōu)良率南通2021/9/114601107500856265.53222891639726.43南通2021/9/11海門(mén)87.081608542393585.12南通2021/9/11海門(mén)剔除top小區(qū)90.07138565753894.56 由上表可知,海門(mén)視頻質(zhì)差主要由于top小區(qū)(CI:46011075008562)導(dǎo)致，在剔除top小區(qū)后，海門(mén)視頻優(yōu)良率由85.12提升到94.56，下一步對(duì)小區(qū)異常進(jìn)行核查，分析原因。4.2.2站點(diǎn)告警核查站點(diǎn)是否有影響業(yè)務(wù)的告警〔RP3，駐波等〕，將會(huì)直接影響用戶感知，如下列圖所示，質(zhì)差TOP小區(qū)小區(qū)目前沒(méi)有告警，故排除故障對(duì)指標(biāo)的影響。圖4-4告警圖示4.2.3KPI指標(biāo)核查以下是該小區(qū)最近一周的KPI指標(biāo)，具體如下表所示：表4-2KPI指標(biāo)小區(qū)名無(wú)線連接建立成功率(%)E-RAB掉線率(%)eNodeB內(nèi)同頻切換出成功率(%)下行PRB平均利用率(%)覆蓋優(yōu)良比(CQI>=7比例)(%)4G到3G重定向比例(%)NTL2NTC海門(mén)_證大清華園_299.960.0099.922.9197.510.25全網(wǎng)平均99.930.0899.321.7394.930.19通過(guò)提取KPI，TOP小區(qū)KPI指標(biāo)正常，初步認(rèn)定小區(qū)正常，疑心單用戶導(dǎo)致小區(qū)感知指標(biāo)惡化，對(duì)小區(qū)單用戶進(jìn)行分析。、4.2.4小區(qū)用戶指標(biāo)統(tǒng)計(jì)分析統(tǒng)計(jì)top小區(qū)對(duì)應(yīng)時(shí)間段用戶指標(biāo)，發(fā)現(xiàn)存在質(zhì)差用戶〔IMSI:460110163620783,號(hào)碼，該用戶11號(hào)全天在top小區(qū)下面視頻業(yè)務(wù)統(tǒng)計(jì)到16397次質(zhì)差，占該小區(qū)全天視頻質(zhì)差次數(shù)的100%，如下所示：表4-3用戶視頻指標(biāo)地市日期視頻下載總數(shù)視頻下載速率質(zhì)差次數(shù)視頻下載速率優(yōu)良率南通2021/9/11CI:46011075008562222891639726.43南通2021/9/11IMSI:460110163620783222771639726.39南通2021/9/11該小區(qū)剔除單用戶120100該小區(qū)剔除單用戶后視頻優(yōu)良率感知指標(biāo)由26.43提升到100，認(rèn)定是由該用戶導(dǎo)致小區(qū)質(zhì)差，跟客服投訴部門(mén)溝通，沒(méi)有發(fā)現(xiàn)該用戶的投訴，為預(yù)防該用戶可能引起的4G體驗(yàn)投訴和提高南通整體感知，對(duì)該質(zhì)差用戶進(jìn)行分析定位和處理。通過(guò)用戶感知平臺(tái)二級(jí)客服定位用戶當(dāng)天活動(dòng)區(qū)域，并對(duì)活動(dòng)區(qū)域進(jìn)行實(shí)地測(cè)試，發(fā)現(xiàn)用戶活動(dòng)區(qū)域LTE覆蓋正常，峰值速率不存在問(wèn)題，排除無(wú)線環(huán)境問(wèn)題，初步認(rèn)定用戶終端側(cè)原因所致。圖4-5感知分析系統(tǒng)“二級(jí)客服〞功能圖4-6現(xiàn)場(chǎng)測(cè)試指標(biāo)通過(guò)用戶感知平臺(tái)提取質(zhì)差用戶視頻業(yè)務(wù)小時(shí)級(jí)指標(biāo)進(jìn)行分析，發(fā)現(xiàn)該用戶11號(hào)只對(duì)騰訊視頻進(jìn)行使用，視頻請(qǐng)求次數(shù)異常高，如下所示：表4-4視頻指標(biāo)由上表可知該用戶視頻業(yè)務(wù)存在行為異常，主要表現(xiàn)用戶視頻請(qǐng)求次數(shù)過(guò)多，在11號(hào)14點(diǎn)用戶對(duì)騰訊發(fā)起了13629次視頻請(qǐng)求，平均每秒發(fā)起4次，遠(yuǎn)高于正常值，平均每次消耗視頻流量70kb。視頻請(qǐng)求次數(shù)過(guò)多疑心用戶通過(guò)軟件刷視頻或者開(kāi)熱點(diǎn)給多人使用所致。同時(shí)用戶視頻平均速率偏低，11號(hào)14點(diǎn)視頻平均速率僅為652kbps,低于南通視頻平均值。這兩點(diǎn)導(dǎo)致用戶在11號(hào)一天產(chǎn)生了16397次視頻質(zhì)差次數(shù)，拉低了海門(mén)乃至整個(gè)南通地區(qū)的指標(biāo)。用戶行為異?？赡苁怯捎谟脩糁饔^行為導(dǎo)致，需要跟用戶進(jìn)行進(jìn)一步溝通確認(rèn)。先針對(duì)用戶視頻速率低現(xiàn)象進(jìn)行信令追蹤，查明問(wèn)題原因。4.2.5跟蹤用戶信令通過(guò)對(duì)用戶的原始數(shù)據(jù)分析，跟蹤用戶15日業(yè)務(wù)信令，如下列圖所示：圖4-7信令跟蹤圖4-8信令跟蹤從跟蹤的信令中得知當(dāng)前用戶簽約速率為1Mbps，LTE使用存在限速，查詢用戶套餐，該用戶辦理了〞無(wú)限流量〞套餐，且當(dāng)月4G使用流量超過(guò)40G。“無(wú)限流量〞套餐在用戶流量使用超過(guò)40G后會(huì)將用戶的上下行速率會(huì)限制為1Mbps。用戶視頻業(yè)務(wù)平均速率偏低是由于流量使用超過(guò)套餐門(mén)限限速導(dǎo)致。4.2.6用戶異常行為確認(rèn)和用戶溝通，讓用戶了解到“無(wú)限流量〞套餐使用限制，在流量超過(guò)40GB/100GB后，上網(wǎng)速率被限制1Mbps/128Kbps，同時(shí)就視頻請(qǐng)求次數(shù)過(guò)多向客戶進(jìn)行咨詢，客戶反應(yīng)其視頻使用行為正常，沒(méi)有明確的回復(fù)這個(gè)問(wèn)題，需要對(duì)用戶行為進(jìn)行跟蹤，進(jìn)一步確認(rèn)問(wèn)題原因。4.3、解決措施與用戶解釋溝通，引導(dǎo)用戶業(yè)務(wù)行為，LTE速率偏低是由于流量使用超過(guò)門(mén)限受到限速所致，用戶對(duì)我們的處理結(jié)果表示滿意，以下是該用戶在9月11號(hào)以后的感知指標(biāo)統(tǒng)計(jì)表,比照9月11日,可以看出在跟用戶溝通后，視頻下載總數(shù)在11號(hào)以后回落，根本可以認(rèn)定11號(hào)用戶視頻下載總數(shù)過(guò)高是由于用戶主觀行為導(dǎo)致，視頻優(yōu)良率也恢復(fù)正常，問(wèn)題根本得到解決。圖4-9用戶指標(biāo)跟蹤4.4、經(jīng)驗(yàn)總結(jié)電信“無(wú)限流量〞套餐開(kāi)通后，高流量用戶持續(xù)增長(zhǎng)，由這些高流量用戶的使用行為異?！伯?dāng)熱點(diǎn)使用或其它〕導(dǎo)致的感知問(wèn)題不斷出現(xiàn)。如本案例所示，一個(gè)“無(wú)限流量〞用戶的異常竟能夠影響到南通整體的DPI感知，相信隨著“無(wú)限流量〞套餐用戶的增長(zhǎng)，此類(lèi)問(wèn)題會(huì)不斷涌現(xiàn)，對(duì)現(xiàn)網(wǎng)感知造成越來(lái)越重大的影響，隨之引起的相關(guān)投訴也會(huì)增多。目前在感知分析平臺(tái)-橫向支撐-政企客戶群感知分析模塊中已對(duì)“無(wú)限流量〞套餐用戶進(jìn)行整體監(jiān)控，但缺乏對(duì)單個(gè)用戶的指標(biāo)監(jiān)控。如下列圖所示：圖4-10橫向支撐功能 建議在政企客戶群感知分析模塊中添加top用戶指標(biāo)監(jiān)控，方便對(duì)異常用戶進(jìn)行指標(biāo)監(jiān)控和及時(shí)處理。南通這邊已對(duì)此類(lèi)問(wèn)題制定了初步的應(yīng)對(duì)措施，通過(guò)在用戶感知平臺(tái)上采用SQL查詢對(duì)這些用戶進(jìn)行感知追蹤，監(jiān)控異常用戶，在用戶對(duì)現(xiàn)網(wǎng)造成重大影響之前及時(shí)處理，防止由此引起的投訴和全網(wǎng)指標(biāo)惡化，進(jìn)而提升客服投訴處理效率和質(zhì)差小區(qū)派單準(zhǔn)確性，增強(qiáng)南通整體感知。五、效益評(píng)估及成果價(jià)值5.1降本增效南通普及利用感知平臺(tái)分析，有效利用自定義報(bào)表系統(tǒng)，按分析人員需求，輸出不同場(chǎng)景、不同業(yè)務(wù)類(lèi)型DPI指標(biāo)，及時(shí)高效定位問(wèn)題，有效降低人員分析本錢(qián)及現(xiàn)場(chǎng)采集數(shù)據(jù)測(cè)試本錢(qián)。圖5-1本錢(qián)分析比照南通電信無(wú)線中心網(wǎng)優(yōu)組自有人員9個(gè)，日常工作包括現(xiàn)場(chǎng)DT/CQT測(cè)試，KPI、DPI指標(biāo)分析等，工作量大，人員少，通過(guò)感知平臺(tái)應(yīng)用分析可以將現(xiàn)場(chǎng)測(cè)試，網(wǎng)絡(luò)指標(biāo)分析等工作量降低35%，用于從事NB-IOT、VOLTE新網(wǎng)絡(luò)、新課題研究?jī)?yōu)化工作。5.2提升優(yōu)化效率〔1〕問(wèn)題發(fā)現(xiàn)更快捷、全面感知分析平臺(tái)數(shù)據(jù)采集于用戶，其優(yōu)勢(shì)在于數(shù)據(jù)面廣，且能夠記錄儲(chǔ)存用戶業(yè)務(wù)行為，感知分析平臺(tái)自定義報(bào)表功能模塊能夠自動(dòng)輸出相關(guān)DPI指標(biāo)趨勢(shì)，及時(shí)發(fā)現(xiàn)現(xiàn)網(wǎng)網(wǎng)絡(luò)短?！?〕問(wèn)題定位更精確利用感知平臺(tái)其相關(guān)功能，可以更快捷定位出類(lèi)似于特殊終端、用戶業(yè)務(wù)行為異常，單用戶等造成指標(biāo)劣化等問(wèn)題。六、成果推廣現(xiàn)狀及應(yīng)用6.1推廣現(xiàn)狀目前利用移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)及用戶感知分析系統(tǒng)分析DPI感知質(zhì)差問(wèn)題，能夠有效支撐客服及發(fā)現(xiàn)網(wǎng)絡(luò)短板，指導(dǎo)網(wǎng)絡(luò)優(yōu)化建設(shè)，后期在此系統(tǒng)平臺(tái)功能根底上擴(kuò)展業(yè)務(wù)面分析，汲取更多APP數(shù)據(jù)源，大數(shù)據(jù)與感知優(yōu)化相結(jié)合，進(jìn)一步提高優(yōu)化效率，降低優(yōu)化本錢(qián)。6.2平臺(tái)應(yīng)用〔1〕移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)模塊嵌入“應(yīng)用〞→“感知分析系統(tǒng)〞→“問(wèn)題診斷〞→“APP問(wèn)題定界4.0〞/“用戶定界定段〞/“業(yè)務(wù)問(wèn)題定界3.1〞/“小區(qū)定界定段4.0〞圖6-1移動(dòng)網(wǎng)端到端感知分析監(jiān)測(cè)系統(tǒng)功能〔2〕中國(guó)電信江蘇分公司用戶感知分析系統(tǒng)系統(tǒng)平臺(tái)模塊主要包括感知評(píng)估、問(wèn)題定界、重點(diǎn)場(chǎng)景專(zhuān)題、橫向支撐、VOLTE五大類(lèi)，其中“橫向支撐〞模塊中“二級(jí)客服〞支撐能夠精準(zhǔn)定位用戶業(yè)務(wù)行為，對(duì)DPI感知分析具有重大意義。