5G優(yōu)化案例：5G端到端智慧運(yùn)維分析與實(shí)踐的創(chuàng)新案例

5G端到端智慧運(yùn)維分析與實(shí)踐的創(chuàng)新案例XX網(wǎng)絡(luò)運(yùn)營部XXXX年XX月目錄TOC\o"1-2"\h\z\u5G端到端感知分析與實(shí)踐 3一、 概述 3二、 創(chuàng)新方案 42.1 5G新業(yè)務(wù)建模 42.2 現(xiàn)網(wǎng)部署方案 82.3 現(xiàn)網(wǎng)實(shí)踐效果 8三、 經(jīng)驗(yàn)總結(jié) 213.1 價(jià)值描述 213.2 總結(jié)與展望 22

5G端到端智慧運(yùn)維分析與實(shí)踐作者：鄭淑琴、肖慧【摘要】隨著5G網(wǎng)絡(luò)業(yè)務(wù)的快速發(fā)展，網(wǎng)絡(luò)架構(gòu)越發(fā)復(fù)雜，技術(shù)難度不斷攀升，多樣的應(yīng)用與垂直行業(yè)深度融合給網(wǎng)絡(luò)運(yùn)營維護(hù)帶來了全新的挑戰(zhàn)。為支撐5G商用，解決業(yè)務(wù)差異化保障復(fù)雜性大、分層跨域協(xié)作運(yùn)維難的問題，必須具備敏捷、集中、自動(dòng)、智能的運(yùn)維能力。本文描述了XX電信在5G端到端智慧運(yùn)維體系的創(chuàng)新方案與實(shí)踐成果。XX電信在全集團(tuán)、乃至全球率先進(jìn)行5GSA/NSA新業(yè)務(wù)建模，可支持識(shí)別1000+主流2C業(yè)務(wù)場景，具備8000+字段支撐感知建模評(píng)估，特別針對(duì)中國電信云VR游戲、云VR視頻等5G2C新業(yè)務(wù)建立了業(yè)界第一套完整的業(yè)務(wù)質(zhì)量評(píng)價(jià)體系；同時(shí)，針對(duì)2B垂直行業(yè)構(gòu)建了多元特征AI智能識(shí)別能力，識(shí)別99%典型2B行業(yè)業(yè)務(wù)，實(shí)現(xiàn)了SLA端到端保障、具備快速閉環(huán)自愈能力。XX電信5G端到端智慧運(yùn)維體系，實(shí)現(xiàn)了5GNSA/SA網(wǎng)絡(luò)質(zhì)量和5G2C/2B業(yè)務(wù)體驗(yàn)的可視、可管、可回溯定位、可閉環(huán)優(yōu)化，具備垂直行業(yè)的租戶級(jí)運(yùn)營保障能力，包含5G端到端網(wǎng)絡(luò)運(yùn)維保障、投訴支撐、市場支撐等多個(gè)模塊，可節(jié)約運(yùn)維成本225萬元/年，帶來潛在收益500萬/年，實(shí)現(xiàn)了5G端到端網(wǎng)絡(luò)的事先化、智能化、自動(dòng)化運(yùn)維，為XX電信打造高品質(zhì)5G網(wǎng)絡(luò)打下了堅(jiān)實(shí)的基礎(chǔ)?！娟P(guān)鍵字】5G端到端感知體驗(yàn)管理智慧運(yùn)維【業(yè)務(wù)類別】端到端、核心網(wǎng)、智慧運(yùn)維、感知分析概述5G時(shí)代已經(jīng)到來，全新的網(wǎng)絡(luò)架構(gòu)以及3G/4G/5G長期共存使得網(wǎng)絡(luò)越來越復(fù)雜；全新的技術(shù)使得OPEX不斷攀升；4G時(shí)代通信業(yè)務(wù)主要是打電話、上網(wǎng)、玩游戲等語音和數(shù)據(jù)類業(yè)務(wù)，而5G多樣的業(yè)務(wù)應(yīng)用、與垂直行業(yè)深度融合使得業(yè)務(wù)差異化保障復(fù)雜性大幅提升；端到端網(wǎng)絡(luò)云化使得分層、跨域協(xié)作運(yùn)維難度加大，給網(wǎng)絡(luò)運(yùn)營維護(hù)帶來多方面的挑戰(zhàn)。為了支撐5G業(yè)務(wù)快速上市，必須具備敏捷、集中、自動(dòng)、智能的運(yùn)維能力。在前期4G業(yè)務(wù)飛速發(fā)展及目前5G業(yè)務(wù)快速推進(jìn)的網(wǎng)絡(luò)背景下，XX電信移動(dòng)網(wǎng)規(guī)模越來越大。NSA基站已部署近4000個(gè)，NSA核心網(wǎng)（EPC+）具備2Tbps出口能力、核心網(wǎng)元數(shù)量近300臺(tái)。為落實(shí)中國電信集團(tuán)與深圳市政府聯(lián)合舉辦的4265G創(chuàng)新合作大會(huì)“共建5G智慧城市群，助力大灣區(qū)發(fā)展”要求，試點(diǎn)部署SA網(wǎng)絡(luò)，目前已經(jīng)建設(shè)SA基站500多個(gè)、5GCSA核心網(wǎng)3套（廣州2套、深圳1套）。為支持5G商用，XX電信提出了5G端到端智慧運(yùn)維方案，并在現(xiàn)網(wǎng)進(jìn)行部署，實(shí)現(xiàn)了5G端到端運(yùn)維保障、投訴支撐、市場支撐等能力，實(shí)現(xiàn)了5G端到端網(wǎng)絡(luò)的事先化、智能化、自動(dòng)化運(yùn)維，助力了XX電信移動(dòng)網(wǎng)質(zhì)量提升，有效保障了5G業(yè)務(wù)商用及移動(dòng)業(yè)務(wù)發(fā)展。創(chuàng)新方案5G新業(yè)務(wù)建模超高清視頻業(yè)務(wù)超高清視頻為5G2C場景的最重要的業(yè)務(wù)形態(tài)之一。對(duì)比分析4G視頻類業(yè)務(wù)與5G超高清視頻類業(yè)務(wù)，存在以下不同：4G：目前4G感知分析僅支持視頻下載速率、視頻卡頓頻次指標(biāo)采集，且只支持點(diǎn)播類業(yè)務(wù)、不支持直播類業(yè)務(wù)，無法體現(xiàn)4K超高清視頻業(yè)務(wù)的真實(shí)客戶感知；5G：需豐富點(diǎn)播類高清視頻業(yè)務(wù)的感知指標(biāo)，并對(duì)直播場景進(jìn)行建模。超高清視頻業(yè)務(wù)點(diǎn)播場景主要從端側(cè)業(yè)務(wù)體驗(yàn)、管側(cè)業(yè)務(wù)質(zhì)量及云端云質(zhì)量進(jìn)行指標(biāo)建模，端側(cè)包括頁面顯示、初始緩沖及卡頓指標(biāo)，管側(cè)指標(biāo)主要從打的開、播的快、看的清三方面進(jìn)行設(shè)計(jì)，云端則對(duì)調(diào)度服務(wù)器和視頻源服務(wù)器性能指標(biāo)進(jìn)行分析；同時(shí)，針對(duì)5G業(yè)務(wù)新增了直播場景的模型，包括清晰度、流暢度、疑似花屏等指標(biāo)。相比于4G，XX電信基于5G實(shí)驗(yàn)局網(wǎng)絡(luò)，對(duì)超高清視頻的點(diǎn)播及直播場景進(jìn)行建模分析，實(shí)現(xiàn)了超高清視頻業(yè)務(wù)端到端全流程的體驗(yàn)管理。圖1超高清視頻業(yè)務(wù)感知模型 云VR/AR業(yè)務(wù)為確保云VR/AR業(yè)務(wù)質(zhì)量管理有抓手，參照行業(yè)標(biāo)準(zhǔn)：《5GCloudVR業(yè)務(wù)體驗(yàn)標(biāo)準(zhǔn)白皮書》，通過VR技術(shù)特征、典型應(yīng)用和業(yè)務(wù)場景開展分析，制定業(yè)務(wù)識(shí)別規(guī)則，輸出質(zhì)量評(píng)價(jià)指標(biāo)，可實(shí)現(xiàn)基于終端數(shù)據(jù)的CloudVR體驗(yàn)準(zhǔn)確測量，基于云管端數(shù)據(jù)聯(lián)合分析，實(shí)現(xiàn)問題高效定界。根據(jù)《5GCloudVR業(yè)務(wù)體驗(yàn)標(biāo)準(zhǔn)白皮書》，云VR/AR業(yè)務(wù)通過以下三個(gè)指數(shù)對(duì)用戶VR體驗(yàn)進(jìn)行綜合打分：媒體質(zhì)量指數(shù)（MQI）、交互質(zhì)量指數(shù)（IQI）、呈現(xiàn)質(zhì)量指數(shù)（PQI），以便可以對(duì)影響用戶體驗(yàn)的關(guān)鍵因素進(jìn)行針對(duì)性優(yōu)化。MQI(MediaQualityIndex)：媒體質(zhì)量評(píng)分（0~100），表明VR內(nèi)容對(duì)用戶感官的刺激質(zhì)量，包括音視頻和內(nèi)容自由度，是否已達(dá)到逼近真實(shí)世界的效果，對(duì)應(yīng)KQI指標(biāo)包括分辨率、視場角度、碼率、幀率；IQI(InteractionQualityIndex)：交互質(zhì)量評(píng)分（0~100），表明用戶在使用VR業(yè)務(wù)過程中，和VR內(nèi)容操作交互的體驗(yàn)。交互延遲會(huì)導(dǎo)致頭暈，惡心、和真實(shí)感脫節(jié)等現(xiàn)象，KQI指標(biāo)包括黑邊、自由度、交互時(shí)延、空間精度；PQI(PresentationQualityIndex)：呈現(xiàn)質(zhì)量評(píng)分（0~100），表明用戶在VR業(yè)務(wù)的連續(xù)、流暢的感官體驗(yàn)。不流暢的體驗(yàn)主要指看到花屏、卡頓等現(xiàn)象，對(duì)應(yīng)KQI指標(biāo)包括：加載時(shí)延、花屏、卡頓/跳幀。圖2VR業(yè)務(wù)感知模型 在云VR/AR業(yè)務(wù)自動(dòng)識(shí)別方面，支持以下特性：識(shí)別業(yè)務(wù)多：協(xié)議知識(shí)庫具備識(shí)別20多種VR業(yè)務(wù)的能力識(shí)別方式靈活：通過測試碼流，提取業(yè)務(wù)特征，配置二次識(shí)加密業(yè)務(wù)識(shí)別：具備加密VR的業(yè)務(wù)識(shí)別能力云游戲業(yè)務(wù)隨著5G業(yè)務(wù)發(fā)展，數(shù)據(jù)業(yè)務(wù)收入占比日趨重要，云游戲業(yè)務(wù)成為運(yùn)營商吸引用戶、增加市場份額、與互聯(lián)網(wǎng)公司深度合作的主要切入點(diǎn)。游戲體驗(yàn)管理面臨諸多挑戰(zhàn)，包含爆款MOBA游戲用戶（可能包含投訴量）突然激增、游戲體驗(yàn)差導(dǎo)致用戶流失、口碑下滑等，傳統(tǒng)技術(shù)不可視、不可管，處理閉環(huán)效率低且可能缺少手段等。因此需要完整的業(yè)務(wù)模型與指標(biāo)體系能夠具備游戲用戶體驗(yàn)的端到端監(jiān)控、優(yōu)化能力。XX電信在國內(nèi)率開展對(duì)云游戲指標(biāo)建模、評(píng)估定界等專題的研究，并成功在天翼博覽會(huì)保障中進(jìn)行應(yīng)用和驗(yàn)證。云游戲特點(diǎn)在于實(shí)時(shí)交互，異步渲染，對(duì)時(shí)延及丟包敏感（ms級(jí)時(shí)延要求）。對(duì)于云游戲指標(biāo)建模主要基于端管云的數(shù)據(jù)采集，確保用戶體驗(yàn)精準(zhǔn)建模；同時(shí)，引入MQI，IQI，PQI打分機(jī)制，完善的管道側(cè)/終端側(cè)KQI指標(biāo)體系。特別的，針對(duì)于對(duì)戰(zhàn)手游，采用心跳時(shí)延建模，與客戶體驗(yàn)更加一致。圖3云游戲業(yè)務(wù)感知模型除了云游戲外，傳統(tǒng)對(duì)戰(zhàn)手游業(yè)務(wù)也是5GNSA2C的一個(gè)重要應(yīng)用場景，其特點(diǎn)有：上傳和下載速率隨著對(duì)戰(zhàn)激烈程度波動(dòng)幅度較大，不適合用于用戶體驗(yàn)評(píng)估；心跳時(shí)延檢測流，具備周期規(guī)律；心跳能準(zhǔn)確探測網(wǎng)絡(luò)時(shí)延，與用戶體驗(yàn)一致。圖4對(duì)戰(zhàn)類游戲全新建模鑒于5GNSA商用后對(duì)戰(zhàn)類游戲業(yè)務(wù)端到端感知管理的需求，對(duì)比4G、5G，存在以下不同：4G：目前4G感知分析僅支持采集游戲登錄階段的TCP時(shí)延指標(biāo)，無法準(zhǔn)確評(píng)估對(duì)戰(zhàn)手游的正式客戶感知；5G：需采用心跳時(shí)延建模，支持對(duì)戰(zhàn)手游業(yè)務(wù)的感知精準(zhǔn)評(píng)估現(xiàn)網(wǎng)部署方案現(xiàn)網(wǎng)5G端到端感知分析系統(tǒng)，同時(shí)對(duì)NSA、SA網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)采集。NSA利用5GOption3X組網(wǎng)的采集，基于原4GDPI系統(tǒng)探針能力，圍繞EPC+網(wǎng)絡(luò)采集，接口包括：S1-U、S1-MME、S11等，可以通過gNodeBIP識(shí)別5G用戶面流量，支持S1-MME接口上新增的關(guān)鍵信令流程，用戶面流量識(shí)別和建模，繼承原有能力。SAOption2組網(wǎng)數(shù)據(jù)采集需新部署SA探針，圍繞5G核心網(wǎng)接口采集，關(guān)鍵采集點(diǎn)用戶面包括：N1、N2、N7、N11、N12、N13、N14，信令面為N3、N4、N9，采集內(nèi)容也發(fā)生變化，包括：建立SA網(wǎng)絡(luò)信令面/用戶面采集點(diǎn)流量采集能力；支持移動(dòng)性管理、會(huì)話管理、策略控制等關(guān)鍵協(xié)議識(shí)別解析；支持信令面接口同步用戶標(biāo)識(shí)到用戶面探針。圖55G端到端運(yùn)維現(xiàn)網(wǎng)部署組網(wǎng)拓?fù)鋱D現(xiàn)網(wǎng)實(shí)踐效果網(wǎng)絡(luò)運(yùn)營支撐隨著5G網(wǎng)絡(luò)建設(shè)的不斷深入，網(wǎng)絡(luò)設(shè)備不斷更新疊加，其復(fù)雜程度越來越高，而技術(shù)迭代速度的加快，運(yùn)營人員熟悉環(huán)境和進(jìn)行改進(jìn)的時(shí)間卻越來越短。可能造成單一故障的影響范圍越來越大，故障處理和平均故障修復(fù)時(shí)間越拉越長等問題。通過自動(dòng)化、智能化進(jìn)行運(yùn)維，提早發(fā)現(xiàn)問題并將隱患排除，將成為5G時(shí)代網(wǎng)絡(luò)運(yùn)維的主線。XX在中國電信首次基于5GDPI數(shù)據(jù)采集，進(jìn)行5G網(wǎng)絡(luò)管理、業(yè)務(wù)體驗(yàn)支撐、單用戶關(guān)懷等方面實(shí)踐，大幅度提升5G網(wǎng)絡(luò)運(yùn)營支撐能力和問題解決效率，同時(shí)可輔助市場營銷及業(yè)務(wù)發(fā)展等相關(guān)領(lǐng)域。圖65G端到端智慧運(yùn)維體系網(wǎng)絡(luò)可視化XX電信在國內(nèi)率先利用5GNSA、SA進(jìn)行數(shù)據(jù)采集，實(shí)現(xiàn)業(yè)務(wù)可視化與感知可視化，包括：用戶數(shù)、流量、業(yè)務(wù)分布、時(shí)長占比，及速率、時(shí)延等感知指標(biāo)。業(yè)務(wù)可視化通過5G端到端感知分析系統(tǒng)，我們可以清晰的看到目前5G全省日活躍用戶數(shù)為1320戶，廣州、深圳、東莞、佛山4地市用戶數(shù)占比分別為47%、39%、7%和7%，佛山5G用戶占比與東莞相當(dāng)。5G日流量為5.8TB，廣州、深圳、佛山、東莞5G流量占比分別為：65%、26%、7%、2%。由于試商用階段存在較多測試用戶，剔除測試類流量（如測速、下載等業(yè)務(wù)）后的5G用戶及流量，5G日流量為0.7TB，其中廣州占總流量82%，深圳占13%，東佛占5%5G活躍用戶數(shù)及流量剔除測試流量后的5G用戶流量占比5G端到端感知分析系統(tǒng)可識(shí)別1000+主流2C業(yè)務(wù)場景及99%典型2B行業(yè)業(yè)務(wù)。試商用階段，各類5G新上市終端接入網(wǎng)絡(luò)，導(dǎo)致測試流量（即文件傳輸流量File_Access）占比較大，高達(dá)88.5%；剔除測試及other后，流量TOP1、2的業(yè)務(wù)分別為網(wǎng)頁瀏覽（web_browsing）和視頻（streaming），占比分別為48%、37%，即時(shí)通信（IM）占比為5%，排第4，游戲（Game）占1.02%，排第6。而4G網(wǎng)絡(luò)，流量TOP1的業(yè)務(wù)為視頻（streaming），占60%；TOP2為網(wǎng)頁瀏覽（web_browsing），占比為18%；即時(shí)通信（IM）占比為4%，排第4；游戲（Game）占1%，排第8?？偭髁糠植记闆r（5G）剔除測試流量后的5G用戶流量占比5G戶均流量及戶均時(shí)長與4G對(duì)比，5G日戶均流量為4.5G/戶，4G日戶均流量0.35G/戶，5G戶均流量高于4G。僅廣州和佛山分公司5G戶均流量高于全省平均水平。5G戶均時(shí)長為4.7小時(shí)/戶，4G戶均時(shí)長為13.9小時(shí)/戶，4G用戶駐留4G網(wǎng)絡(luò)的時(shí)長較5G用戶長。5G戶均時(shí)長僅廣州分公司高于全省平均水平。剔除測試流量后的5G戶均流量及戶均時(shí)長5G戶均流量為0.6G/戶，比4G戶均高；5G戶均時(shí)長為3.7小時(shí)/戶，遠(yuǎn)低于4G戶均時(shí)長。5G戶均流量與4G對(duì)比5G戶均時(shí)長與4G對(duì)比感知可視化通過5G端到端感知系統(tǒng)數(shù)據(jù)，可進(jìn)行4G與5G峰值速率對(duì)比，5GDPI系統(tǒng)統(tǒng)計(jì)的5G峰值速率為1389Mbps，比4GDPI統(tǒng)計(jì)的4G峰值速率（146.17Mbps）高出8倍以上；使用試商用NSA卡在Speedtest實(shí)測5G峰值速率可達(dá)956Mbps以上，現(xiàn)網(wǎng)Speedtest實(shí)測的4G峰值速率83Mbps，5G實(shí)測比4G高10多倍以上；對(duì)天翼智能生態(tài)博覽會(huì)5G業(yè)務(wù)情況進(jìn)行實(shí)時(shí)監(jiān)控，9月19日采集場館內(nèi)5G峰值速率高達(dá)1202.3Mbps。圖現(xiàn)網(wǎng)4/5G峰值下行速率對(duì)比對(duì)于傳統(tǒng)數(shù)據(jù)業(yè)務(wù)，系統(tǒng)數(shù)據(jù)顯示5G網(wǎng)絡(luò)感知提升明顯，5G網(wǎng)頁瀏覽業(yè)務(wù)的首頁時(shí)延為2794ms，比4G的（6496ms）小50%以上；5GNSA空口優(yōu)于4G空口，5GNSA核心網(wǎng)及SP與4G基本一致，故5G游戲業(yè)務(wù)下行RTT時(shí)延比4G小68%，5G游戲業(yè)務(wù)端到端總RTT為112ms，比4G(215ms)小50%；與游戲業(yè)務(wù)情況類似，5G下行RTT時(shí)延比4G小37%，5G端到端總RTT為84ms，比4G（112ms）小30%；5G視頻業(yè)務(wù)峰值速率為852.5Mbps，為4G（146.17Mbps）的近8倍,5G卡頓由于4G。圖7傳統(tǒng)數(shù)據(jù)業(yè)務(wù)5G、4G感知對(duì)比對(duì)于5G新業(yè)務(wù)，高清視頻、VR/AR、云游戲5G端到端感知系統(tǒng)同樣可以進(jìn)行業(yè)務(wù)識(shí)別和感知可視化，5GDPI監(jiān)測到XX電信現(xiàn)網(wǎng)VR業(yè)務(wù)速率碼率比均高于1.2，感知良好，天翼智能生態(tài)博覽會(huì)展館內(nèi)，VR業(yè)務(wù)視頻下載速率峰值達(dá)32.3Mbps；XX電信5G網(wǎng)絡(luò)可較好承載中國電信云超高清視頻業(yè)務(wù)，打的開：播放成功率高，天翼智能生態(tài)博覽會(huì)場館內(nèi)播放成功率97.9%，播得快：初始緩存時(shí)延低，博覽會(huì)場館內(nèi)2570ms，看得清：下行速率高（34Mbps），速率碼率比大（2.2），卡頓為0；云游戲業(yè)務(wù)主要觀測平均RTT、平均速率、平均丟包率等指標(biāo)，同時(shí)在5G和4G網(wǎng)絡(luò)下進(jìn)行測試，5G網(wǎng)絡(luò)的端到端時(shí)延是52ms，4G網(wǎng)絡(luò)74ms，5G網(wǎng)絡(luò)優(yōu)于4G近30%。VR業(yè)務(wù)指標(biāo)高清視頻業(yè)務(wù)指標(biāo)云游戲業(yè)務(wù)指標(biāo)天翼智能生態(tài)智博會(huì)保障案例2019中國電信天翼智能生態(tài)博覽會(huì)，以“Hello5G，賦能未來”為主題，集中展示了中國電信近幾年在5G、大數(shù)據(jù)、人工智能等方面的最新成果，各方高度重視5G業(yè)務(wù)和用戶發(fā)展，希望能在本次智能生態(tài)博覽會(huì)展現(xiàn)5G的業(yè)務(wù)體驗(yàn)和運(yùn)營管理能力。5G端到端感知系統(tǒng)進(jìn)行了內(nèi)容定制化，呈現(xiàn)了5G用戶在全省的分布，實(shí)現(xiàn)網(wǎng)絡(luò)性能和感知的體驗(yàn)管理，并能支撐分終端的用戶使用和體驗(yàn)分析，支撐服務(wù)端的流量和質(zhì)量監(jiān)控，云、網(wǎng)、邊全面做好業(yè)務(wù)體驗(yàn)管理和用戶發(fā)展支撐。5G端到端感知系統(tǒng)大屏可以看到目前全省5G周用戶數(shù)約為3600戶，天用戶數(shù)為1646，天流量達(dá)到4050.1GB，用戶主要集中在廣州、深圳、東莞、佛山四個(gè)地市。網(wǎng)絡(luò)側(cè)指標(biāo)5G視頻感知速率約為89Mbps，是4G的10倍以上；5G端到端時(shí)延約為110ms，為4G的1/2；建網(wǎng)初期，5G時(shí)長駐留比約為25%—30%。TOP5熱門視頻包括：優(yōu)酷、騰訊視頻、抖音、愛奇藝和天翼電影，游戲排名前5的有王者榮耀、迅游、QQ游戲、QQ飛車及和平精英。云端服務(wù)器質(zhì)量可以看到抖音、愛奇藝、天翼電影流量靠前，服務(wù)器側(cè)時(shí)延在13-30ms之間。圖8天翼博覽會(huì)5G端到端感知系統(tǒng)大屏在對(duì)全網(wǎng)云、網(wǎng)、邊指標(biāo)監(jiān)控分析的基礎(chǔ)上，還對(duì)場館及周邊的網(wǎng)絡(luò)進(jìn)行了站點(diǎn)級(jí)的監(jiān)控，大屏中可以看到場館區(qū)域5G峰值速率為1202.3Mbps、5G用戶數(shù)206個(gè)、流量864.2GB，端到端時(shí)延132ms，輔站添加成功率99.6%。我們還可以看到各個(gè)場館的用戶數(shù)、流量情況，當(dāng)前時(shí)段5G用戶主要集中在3.2和4.2館，人均流量1.5-2GB。同時(shí)，首次在電信體系實(shí)現(xiàn)對(duì)5G重點(diǎn)典型業(yè)務(wù)（VR、高清視頻、云游戲）的用戶體驗(yàn)和感知建模呈現(xiàn)，VR為例，xKB啟動(dòng)時(shí)延為338.5ms，視頻有效下載速率18.4Mbps，速率碼率比1.1。圖9天翼博覽會(huì)場館5G網(wǎng)絡(luò)業(yè)務(wù)指標(biāo)監(jiān)控大屏5G端到端系統(tǒng)在智博會(huì)保障中的成功應(yīng)用，得到了各方的高度評(píng)價(jià)。工具平臺(tái)監(jiān)控能力和數(shù)據(jù)呈現(xiàn)，可實(shí)時(shí)獲知5G網(wǎng)絡(luò)和業(yè)務(wù)感知變化，是智慧運(yùn)維的重要手段，在未來5G商用過程中可支撐日常業(yè)務(wù)體驗(yàn)管理和日常保障，實(shí)現(xiàn)5G網(wǎng)絡(luò)運(yùn)維提質(zhì)增效。網(wǎng)絡(luò)優(yōu)化支撐網(wǎng)絡(luò)優(yōu)化支撐主要應(yīng)用在VIP用戶PS業(yè)務(wù)質(zhì)量保障，2019天翼智能生態(tài)博覽會(huì)議期間進(jìn)行5G新業(yè)務(wù)演示期間，對(duì)現(xiàn)場體驗(yàn)業(yè)務(wù)的20+演示用戶進(jìn)行全程保障，確保演示用戶體驗(yàn)指標(biāo)可視可控。重點(diǎn)用戶準(zhǔn)實(shí)時(shí)保障：單個(gè)用戶和群組用戶分別統(tǒng)計(jì)呈現(xiàn)；5分鐘粒度準(zhǔn)實(shí)時(shí)統(tǒng)計(jì)、異常次數(shù)每分鐘刷新；對(duì)TOP用戶異常事件告警對(duì)接客戶工單派單處理。異常事件回溯和后分析：失敗原因分析和質(zhì)差小區(qū)匯聚，定制化指標(biāo)顯示，通過地理化呈現(xiàn)，快速確定問題發(fā)生地點(diǎn)。在重大活動(dòng)或演示期間VVIP用戶的業(yè)務(wù)感知尤其重要，需要快速發(fā)現(xiàn)VVIP用戶是否發(fā)生異常，及時(shí)定界問題原因，提供網(wǎng)元、小區(qū)、終端信息傳遞給網(wǎng)優(yōu)做問題定位和解決。案例分析：VIP用戶反饋5G手機(jī)無法上網(wǎng)、上網(wǎng)慢問題分析【問題描述】：用戶在2019.8.1早上9點(diǎn)多在電信廣場通過5G手機(jī)上不了網(wǎng)，后中午又出現(xiàn)上網(wǎng)慢現(xiàn)象?！締栴}分析】：通過5G端到端感知分析系統(tǒng)，提取用戶的信令面單據(jù)和用戶面單據(jù)進(jìn)行分析。信令面單據(jù)顯示，用戶在9:19附著成功，后通知EPC修改承載超時(shí)；用戶面分析，用戶在4/5G網(wǎng)絡(luò)間頻繁切換。【根因定位】：根據(jù)單據(jù)分析，用戶無法上網(wǎng)是因?yàn)?G附著成功增加輔站后修改EPC承載時(shí)MME沒反應(yīng)，導(dǎo)致修改承載超時(shí)，用戶重啟后，顯示EPC修改承載成功，問題解決。用戶面單據(jù)顯示中午上網(wǎng)慢由于業(yè)務(wù)從5G反復(fù)回落到4G網(wǎng)絡(luò)，可能為無線側(cè)或終端版本問題引起。圖10用戶控制面及用戶面單據(jù)分析市場發(fā)展支撐終端分析5G端到端感知分析系統(tǒng)，可對(duì)5G終端用戶、性能、使用習(xí)慣等方面進(jìn)行數(shù)據(jù)提取分析，為市場發(fā)展、業(yè)務(wù)創(chuàng)新提供了重要依據(jù)。目前XX5G用戶主要集中在廣、深、東、佛四個(gè)地市，XX、深圳用戶數(shù)、流量都排在首位，特別的在天翼博覽會(huì)期間用戶增長明顯。5G終端自注冊(cè)情況，5G終端累計(jì)注冊(cè)6202臺(tái)，TOP3廠商為華為、VIVO、中興，注冊(cè)終端占比分別為66%、32%、2%，廣深東佛4地市自注冊(cè)終端數(shù)4826臺(tái)。5G終端廠家活躍用戶數(shù)分布，XX5G周活躍終端數(shù)達(dá)4034，5G終端廠家TOP3：華為、VIVO、三星，4G終端廠家TOP3：華為、OPPO、蘋果。5G終端型號(hào)活躍用戶數(shù)分布，5G終端型號(hào)主要為3款：華為MATE20X、三星N9760、VIVOV1916A。5G終端廠家分布（DPI統(tǒng)計(jì)）4G終端廠家TOP10（DPI統(tǒng)計(jì)）5G終端型號(hào)TOP10（DPI統(tǒng)計(jì)）4G終端型號(hào)TOP10（DPI統(tǒng)計(jì)）5G終端用戶感知普遍較好，其中華為終端的初始接通率、峰值速率相對(duì)較高。綜合分析可以看出，目前華為5G手機(jī)在用戶數(shù)、流量、峰值速率及接通率等業(yè)務(wù)、感知指標(biāo)排名第一，性能最優(yōu)。圖105G終端感知情況對(duì)比云端分析5G端到端感知分析系統(tǒng)不僅可以在終端側(cè)為市場業(yè)務(wù)拓展進(jìn)行有力支撐，同時(shí)針對(duì)云端服務(wù)器性能和業(yè)務(wù)分布也具備強(qiáng)大的分析能力，有利于市場及業(yè)務(wù)部門更全面的掌握現(xiàn)網(wǎng)5G使用和感知情況，為制定后續(xù)策略提供重要依據(jù)。通過前面分析我們可以看到，NSA組網(wǎng)傳統(tǒng)數(shù)據(jù)業(yè)務(wù)，各類5G新上市終端接入網(wǎng)絡(luò)，測試流量（即文件傳輸流量File_Access）占比較大，高達(dá)88.5%；剔除測試及other后，TOP流量的業(yè)務(wù)分別為網(wǎng)頁瀏覽（web_browsing）和視頻（streaming），占比分別為48%、37%，即時(shí)通信（IM）占比為5%，排第4，游戲（Game）占1.02%，排第6。i）網(wǎng)頁瀏覽業(yè)務(wù)，在5GNSA試商用初期，因終端均為新上市終端，用戶業(yè)務(wù)訪問模型較4G有較大差異，流量TOP4（Vivo_Browsing、HTTPS_Browsing、Samsungapps_Browsing、ZTE_Browsing）主要為新終端激活啟用產(chǎn)生的業(yè)務(wù)流量，共計(jì)流量占比為48%，流量TOP5~9為騰訊、Speedtest測速、愛奇藝、搜狗、天翼云。首頁顯示時(shí)延，5G網(wǎng)頁瀏覽類業(yè)務(wù)指標(biāo)明顯優(yōu)于4G，騰訊業(yè)務(wù)：5G首頁顯示時(shí)延為2247ms，比4G的5492ms小50%以上，UC網(wǎng)頁瀏覽：5G首頁顯示時(shí)延為4077ms，比4G的8887ms小50%以上，百度業(yè)務(wù)：5G首頁顯示時(shí)延為2031ms，比4G的6426ms小50%以上。5G網(wǎng)頁瀏覽業(yè)務(wù)流量分布網(wǎng)頁瀏覽-首頁顯示時(shí)延均值對(duì)比 Ii）游戲類業(yè)務(wù)，5GTOP1為王者榮耀，占比高達(dá)42%，第二、三位的為迅游和QQ游戲，占比分別為30%、25%。4G網(wǎng)絡(luò)下三款游戲排名有所變化，QQ游戲占比達(dá)到50%。5G游戲業(yè)務(wù)分布游戲感知，5G游戲業(yè)務(wù)時(shí)延指標(biāo)優(yōu)于4G，5GNSA空口優(yōu)于4G空口時(shí)延，因此，王者榮耀、開心消消樂等4款主流游戲的4/5G上行RTT基本同量級(jí)，而下行RTT5G均明顯優(yōu)于4G。特別的，王者榮耀：下行RTT5G為44ms，比4G的149ms小70%，總RTT5G為73ms，比4G的191小50%以上。游戲-上下行RTT-均值對(duì)比Iii）即時(shí)通訊業(yè)務(wù)，5G網(wǎng)絡(luò)下排在前三位的依舊為微信、QQ、阿里旺旺，占比分別為94%、57%、23%，與4G下占比稍有變化。5G即時(shí)通信業(yè)務(wù)時(shí)延指標(biāo)優(yōu)于4G，微信、QQ、阿里旺旺等四款主流即時(shí)通信業(yè)務(wù)的上行RTT兩者同量級(jí)，下行RTT5G優(yōu)于4G，端到端時(shí)延5G優(yōu)于4G；微信：5G下行RTT時(shí)延為64ms，比4G的100ms小將近50%，5G端到端RTT為80ms，比4G的116ms小31%；QQ：5G下行RTT時(shí)延為65ms，比4G的101ms小將近50%，5G端到端RTT為83ms，比4G的123ms小32%。5G即時(shí)通信流量top5上下行RTT-均值iv）視頻類業(yè)務(wù)，5G網(wǎng)絡(luò)下TOP3為優(yōu)酷、愛奇藝、抖音，總占比為37%，目前應(yīng)集團(tuán)要求開展5G通用創(chuàng)新型產(chǎn)品（包括5G+云VR）全流程穿越測試，因此，流量分布與4G有一定差異，TOP4為5G+云VR，流量占比為8%。反觀4G網(wǎng)絡(luò)中，視頻流量較為集中，TOP5業(yè)務(wù)分別為抖音、QQ直播、西瓜、快手、愛奇藝，總流量占比為74%，抖音流量為TOP1，高達(dá)46%。視頻業(yè)務(wù)感知，5G主流長視頻SP速率及卡頓頻次均優(yōu)于4G，優(yōu)酷、愛奇藝、CCTV、騰訊視頻四款主流SP峰值下載速率5G均優(yōu)于4G；騰訊：DPI獲得5G峰值下載速率為852.5Mbps，是4G的146.2Mbps的約5.8倍；優(yōu)酷：DPI獲得5G峰值下載速率為653.7Mbps，是4G的144.8Mbps的約4.5倍。5G短視頻業(yè)務(wù)時(shí)延指標(biāo)優(yōu)于4G，抖音、西瓜、快手、火山四款主流短視頻4/5G上行RTT基本同量級(jí)，而下行RTT5G均明顯優(yōu)于4G，抖音：下行RTT5G為85ms，比4G的214ms小60%，端到端RTT5G為103ms，比4G的247ms小58%，西瓜：下行RTT5G為187ms，比4G的222ms小16%，端到端RTT5G為201ms，比4G的240ms小16%。5G視頻流量topN4G視頻流量topN長視頻--下載速率-峰值對(duì)比長視頻—卡頓頻次-均值對(duì)比vi）5G新業(yè)務(wù)：根據(jù)《關(guān)于開展5G通用創(chuàng)新型產(chǎn)品全流程穿越測試的通知（中國電信市場業(yè)[2019]122號(hào)文）》，集團(tuán)公司在XX進(jìn)行中國電信云VR、中國電信超高清視頻和直播、中國電信云游戲等4項(xiàng)5G2C創(chuàng)新產(chǎn)品的端到端穿測。XX電信5G端到端感知系統(tǒng)的2C應(yīng)用識(shí)別率達(dá)到95%，識(shí)別準(zhǔn)確性90%+，本地化業(yè)務(wù)識(shí)別率業(yè)界領(lǐng)先，保障用戶新業(yè)務(wù)發(fā)展和體驗(yàn)管理，支撐集團(tuán)5G新業(yè)務(wù)上市成功。中國電信云VR業(yè)務(wù)：5GDPI監(jiān)測到XX電信現(xiàn)網(wǎng)VR業(yè)務(wù)速率碼率比均高于1.2，感知良好，XX電信5G網(wǎng)絡(luò)可較好承載VR業(yè)務(wù)發(fā)展。天翼智能生態(tài)博覽會(huì)期間，云VR業(yè)務(wù)XKB啟動(dòng)時(shí)延在350-400ms，VR視頻下行速率在28-35Mbps范圍，速率碼率比大于等于1.2。中國電信超高清視頻業(yè)務(wù)，從打的開、播的快、看的清三個(gè)維度對(duì)用戶體驗(yàn)進(jìn)行管理，天翼博覽會(huì)期間，播放成功率高，天翼智能生態(tài)博覽會(huì)場館內(nèi)播放成功率高于97.9%，初始緩存時(shí)延低，博覽會(huì)場館內(nèi)2570-3100ms，下行速率高（26-34Mbps），速率碼率比較高，卡頓為0。圖11天翼博覽會(huì)超高清視頻感知指標(biāo)中國電信云游戲業(yè)務(wù)：主要聚焦實(shí)時(shí)交互，異步渲染，對(duì)時(shí)延及丟包敏感，關(guān)注整個(gè)游戲?qū)?zhàn)階段的用戶感知。對(duì)帶寬要求大于200Mbps（碼率50Mbps），MTP時(shí)延<70ms。天翼博覽會(huì)期間，云游戲業(yè)務(wù)感知良好，下行平均速率為300-320Mbps，平均RTT時(shí)延53-57ms，上下行丟包率在0.02以下。同時(shí)，5G端到端感知分析系統(tǒng)，對(duì)“王者榮耀”對(duì)戰(zhàn)手游進(jìn)行實(shí)時(shí)監(jiān)控，端到端時(shí)延57.1ms，與實(shí)測基本一致。在5G和4G網(wǎng)絡(luò)下進(jìn)