產(chǎn)品質(zhì)量分析方法研究V1.3《移動通訊》

1、實現(xiàn)移動產(chǎn)品運行質(zhì)量的端到端量化分析的方法研究楊劍 譚志遠 周文紅摘要：提高業(yè)務(wù)質(zhì)量和客戶滿意度是各運營商保證移動業(yè)務(wù)快速發(fā)展，增加客戶粘著度并贏取市場份額的關(guān)鍵。本文基于當(dāng)前中國電信移動產(chǎn)品運營質(zhì)量分析的實際情況，分析了產(chǎn)品運行質(zhì)量分析的需求，提出了移動產(chǎn)品運行質(zhì)量分析采用端到端量化評估的理論模型，并且以WAP業(yè)務(wù)為例說明該模型如何實施。關(guān)鍵詞：產(chǎn)品健康度 KQI KPI 質(zhì)量分析 客戶滿意度 評估模型1. 引言中國電信于2008年末承接了CDMA網(wǎng)絡(luò)并于2009年初對外放號，至此，國內(nèi)三家電信運營商都已經(jīng)具備全業(yè)務(wù)運營的資格，業(yè)務(wù)范圍和目標(biāo)客戶群日益接近，將導(dǎo)致競爭更加直接和激烈。在網(wǎng)絡(luò)同

2、質(zhì)的情況下，產(chǎn)品運營質(zhì)量將成為關(guān)鍵競爭力之一，同類產(chǎn)品之間的客戶感知度將逐步成為未來競爭關(guān)注點，提升客戶感知，提高客戶滿意度將成為獲得競爭優(yōu)勢的關(guān)鍵。定期進行產(chǎn)品運行質(zhì)量分析是運營商評估和掌握網(wǎng)絡(luò)和業(yè)務(wù)的運行情況的常見手段。但是，如何使產(chǎn)品質(zhì)量分析評估的結(jié)果能夠切實反映客戶感知，如何使產(chǎn)品質(zhì)量分析能夠成為促進業(yè)務(wù)質(zhì)量的提升和贏取市場份額的有效工具，是各個運營商都面臨的難題。2. 產(chǎn)品運行質(zhì)量分析的需求基于中國電信當(dāng)前實施產(chǎn)品質(zhì)量分析工作的成果經(jīng)驗和問題分析，我們提出產(chǎn)品質(zhì)量分析應(yīng)滿足以下的關(guān)鍵需求：首先，產(chǎn)品質(zhì)量分析應(yīng)面向用戶，反映用戶的業(yè)務(wù)使用感知。用戶的業(yè)務(wù)使用感知是衡量產(chǎn)品運行質(zhì)量的最重

3、要的標(biāo)準(zhǔn)，所有產(chǎn)品質(zhì)量的評估以及優(yōu)化工作應(yīng)最終反映在用戶業(yè)務(wù)使用體驗和總體滿意度的提高，而這也是產(chǎn)品可以順利和快速推廣的基礎(chǔ)。當(dāng)前的質(zhì)量分析往往出現(xiàn)這種情況，網(wǎng)絡(luò)側(cè)的指標(biāo)評估正常，可實際上用戶的業(yè)務(wù)使用體驗卻不佳。其根本原因在于沒有建立網(wǎng)絡(luò)運行指標(biāo)和用戶業(yè)務(wù)感知之間的關(guān)聯(lián)性，因此，產(chǎn)品的質(zhì)量分析應(yīng)從用戶的業(yè)務(wù)使用場景出發(fā)，切實反映用戶的業(yè)務(wù)使用感知。其次，產(chǎn)品質(zhì)量分析應(yīng)面向網(wǎng)絡(luò)，從全程全網(wǎng)、端到端的角度去綜合考慮產(chǎn)品的運行質(zhì)量。作為業(yè)務(wù)提供的載體，業(yè)務(wù)平臺的運行質(zhì)量一直作為產(chǎn)品質(zhì)量分析的重點和主要工作。但是，從移動業(yè)務(wù)的實現(xiàn)流程來看，業(yè)務(wù)的實現(xiàn)往往需要貫穿業(yè)務(wù)平臺、核心網(wǎng)絡(luò)、承載網(wǎng)絡(luò)、無線網(wǎng)絡(luò)

4、、第三方SP/CP，甚至手機終端等多個環(huán)節(jié)，這些網(wǎng)元和環(huán)節(jié)都可能對產(chǎn)品運行質(zhì)量產(chǎn)生重大的影響，因此，完整有效的產(chǎn)品質(zhì)量分析不應(yīng)局限于業(yè)務(wù)平臺，而應(yīng)該實施端到端的產(chǎn)品運行質(zhì)量分析。再次，產(chǎn)品質(zhì)量分析應(yīng)具備量化評價手段，評估結(jié)果能夠體現(xiàn)產(chǎn)品的整體健康度。當(dāng)前的質(zhì)量分析工作需要解決的一個大難題在于：產(chǎn)品質(zhì)量分析和考核都制定了一批網(wǎng)絡(luò)運行指標(biāo)(KPI)，但是到底哪些指標(biāo)跟用戶的業(yè)務(wù)使用感知更加密切?哪些指標(biāo)的劣化會對業(yè)務(wù)質(zhì)量的影響更大?如何才能通過這些指標(biāo)來綜合評價產(chǎn)品的整體健康度？由于網(wǎng)絡(luò)運行指標(biāo)與產(chǎn)品質(zhì)量之間存在正相關(guān)或負相關(guān)的關(guān)系，同時各個指標(biāo)對產(chǎn)品運行質(zhì)量所產(chǎn)生的影響也各不相同，只能反映一個側(cè)

5、面的產(chǎn)品質(zhì)量，因此產(chǎn)品質(zhì)量分析需考慮影響產(chǎn)品運行質(zhì)量的各個因素的關(guān)聯(lián)關(guān)系以及權(quán)重才能提供綜合和客觀的評價。3. 產(chǎn)品質(zhì)量分析評估模型在介紹產(chǎn)品質(zhì)量分析評估模型之前，需先解釋幾個關(guān)鍵名詞：（1）KQI(key quality index)：產(chǎn)品的服務(wù)質(zhì)量指標(biāo)。產(chǎn)品KQI表示了產(chǎn)品的整體或某一方面的性能，KQI指標(biāo)一般可以通過一個或多個不同的KPI得到。（2）KPI(key performance index)：關(guān)鍵性能指標(biāo)，KPI反映了端到端的服務(wù)的某一方面或某一部分的數(shù)據(jù)，是網(wǎng)絡(luò)運營維護重要的考核指標(biāo)，影響到產(chǎn)品運行質(zhì)量的因素。（3）PHD(product health degree)：產(chǎn)品健

6、康度，對產(chǎn)品整體運行質(zhì)量的量化評分。基于我們對端到端量化評估的需求分析，為了使產(chǎn)品質(zhì)量評估模型能夠反映用戶的業(yè)務(wù)使用感知并滿足量化評估的需求，我們通過兩個階段建立質(zhì)量評估模型。3.1 KQI開發(fā)及分解從用戶實際使用業(yè)務(wù)場景出發(fā)，分析業(yè)務(wù)使用過程用戶的使用感知因素，從而提取出產(chǎn)品KQI，再結(jié)合業(yè)務(wù)流程（話務(wù)模型）、網(wǎng)絡(luò)拓撲結(jié)構(gòu)把產(chǎn)品的KQI分解成網(wǎng)元的KPI指標(biāo)，通過這種方法，從網(wǎng)絡(luò)層面解決用戶感知與產(chǎn)品KQI、網(wǎng)元KPI的關(guān)聯(lián)問題。研究方法如下圖所示：1) 分析業(yè)務(wù)場景：從終端用戶的角度，研究用戶的業(yè)務(wù)的操作使用的過程。2) 分析用戶感知因素：根據(jù)用戶的業(yè)務(wù)使用場景，分析用戶使用業(yè)務(wù)的過程中存

7、在哪些因素會影響到客戶感知。3) 提煉網(wǎng)絡(luò)運營KQI：把用戶感知因素歸納和提煉，形成產(chǎn)品的KQI，每個KQI能夠反映用戶感知的某一方面因素。4) 分析網(wǎng)絡(luò)拓撲架構(gòu)：分析業(yè)務(wù)流程以及網(wǎng)絡(luò)的網(wǎng)絡(luò)拓撲結(jié)構(gòu)，哪些關(guān)鍵網(wǎng)元的共同參與業(yè)務(wù)提供的過程，每個網(wǎng)元負責(zé)哪些關(guān)鍵操作；5) KQI分解：根據(jù)各個網(wǎng)元在業(yè)務(wù)處理過程中的關(guān)鍵操作，分析與之相對應(yīng)的網(wǎng)元KPI指標(biāo)，當(dāng)KPI出現(xiàn)劣化時會影響該業(yè)務(wù)的哪些用戶感知因素，從而確定產(chǎn)品KQI與網(wǎng)元的KPI之間的對應(yīng)關(guān)系；6) 確定KQI度量方法：根據(jù)各網(wǎng)元KPI之間的關(guān)系以及KPI對產(chǎn)品質(zhì)量和用戶感知的影響大小，確定KQI與網(wǎng)元KPI之間的算法和權(quán)重。3.2 產(chǎn)品健

8、康度量化取值通過給KQI指定參考值和量化取值的方法，并且分配不同權(quán)重，聚合形成產(chǎn)品健康度，以滿足產(chǎn)品整體運行質(zhì)量的量化評估的需求。研究方法如下圖所示：1) 建立產(chǎn)品KQI：通過第一階段KQI開發(fā)和分解的工作建立產(chǎn)品KQI體系。2) 對KQI量化評分：制定各個KQI的參考值，同時制定評分的規(guī)則，從而把對網(wǎng)絡(luò)測評結(jié)果，例如：業(yè)務(wù)時延、成功率，轉(zhuǎn)化為100分制的量化值。3) 產(chǎn)品健康度聚合計算：根據(jù)各個KQI對產(chǎn)品質(zhì)量的影響大小不同分配合適的權(quán)重，并且通過KQI加權(quán)聚合得出產(chǎn)品健康度。4. 模型應(yīng)用實例WAP上網(wǎng)是當(dāng)前各運營商重點發(fā)展的移動產(chǎn)品，以下我們將以WAP產(chǎn)品為例介紹產(chǎn)品質(zhì)量分析評估模型如何

9、應(yīng)用和實施。4.1 WAP場景及用戶感知分析用戶使用WAP上網(wǎng)業(yè)務(wù)的場景可以分為3步驟：用戶打開網(wǎng)絡(luò)連接、發(fā)送網(wǎng)頁瀏覽請求、結(jié)果接收和顯示。我們需要分析用戶在這三個步驟的具體操作以及存在哪些可以影響用戶感知的因素。1) 打開網(wǎng)絡(luò)連接：用戶點擊手機終端的上網(wǎng)按鍵，打開網(wǎng)絡(luò)連接。此環(huán)節(jié)影響用戶感知的因素主要包括：l 網(wǎng)絡(luò)連接是否成功；l 建立連接網(wǎng)絡(luò)時間多久；2) 發(fā)送網(wǎng)頁瀏覽請求：用戶打開瀏覽器，輸入所要瀏覽的網(wǎng)址并發(fā)送請求。此環(huán)節(jié)影響用戶感知的因素主要包括：l 用戶終端（含瀏覽器）界面是否友好；l 網(wǎng)址輸入是否方便；l 終端/瀏覽器的操作是否符合用戶的使用習(xí)慣；3) 上網(wǎng)過程中是否出現(xiàn)掉線的情

10、況接收和顯示：用戶終端接收網(wǎng)站的返回結(jié)果，并且顯示輸出網(wǎng)頁。此環(huán)節(jié)影響用戶感知的因素主要包括：l 網(wǎng)頁是否成功打開；l 接收網(wǎng)頁內(nèi)容的速度如何；l 從發(fā)出網(wǎng)頁請求到終端/瀏覽器完成頁面顯示用了多長時間；l 上網(wǎng)過程中是否出現(xiàn)上網(wǎng)掉線的情況；l 終端/瀏覽器的操作是否符合用戶的使用習(xí)慣；4.2提煉影響客戶感知相關(guān)的網(wǎng)絡(luò)運營KQI根據(jù)用戶業(yè)務(wù)使用場景的分析，從影響用戶使用感知的因素提煉形成KQI指標(biāo)，每個KQI指標(biāo)能夠反映用戶在使用WAP上網(wǎng)業(yè)務(wù)時某一個方面感知，總體上可以分為業(yè)務(wù)成功率、業(yè)務(wù)時延、業(yè)務(wù)支持度以及速率幾類。序號影響客戶感知各要素KQI指標(biāo)1網(wǎng)絡(luò)連接是否成功網(wǎng)絡(luò)連接成功率2建立網(wǎng)絡(luò)連

11、接時間多久網(wǎng)絡(luò)連接時延3上網(wǎng)過程中是否出現(xiàn)上網(wǎng)掉線的情況上網(wǎng)掉線率4終端、瀏覽器的界面是否友好終端的業(yè)務(wù)支持度5網(wǎng)址輸入是否方便6終端/瀏覽器操作是否符合使用習(xí)慣7終端（瀏覽器）的頁面顯示效果是否良好8接收網(wǎng)頁內(nèi)容用了多長時間平均下載速率9網(wǎng)頁是否成功打開端到端訪問成功率10從發(fā)出請求到完成網(wǎng)頁顯示用了多長的時間端到端訪問時延表1 WAP產(chǎn)品影響客戶感知的KQI提煉4.3網(wǎng)絡(luò)拓撲及關(guān)鍵操作分析以下從WAP上網(wǎng)業(yè)務(wù)的基本網(wǎng)絡(luò)拓撲入手，分析各個業(yè)務(wù)網(wǎng)元在業(yè)務(wù)提供過程中都有哪些關(guān)鍵的操作可能會對用戶的業(yè)務(wù)體驗產(chǎn)生影響。1) 打開網(wǎng)絡(luò)連接l 移動終端經(jīng)過無線網(wǎng)絡(luò)發(fā)送連接請求。l PDSN與RADIUS

12、 Server進行消息交互完成用戶鑒權(quán)認證、IP地址分配。l PDSN向RADIUS Server 發(fā)起初始計費請求，連同移動終端 MSISDN轉(zhuǎn)發(fā)給WAP GW。l WAP GW 將計費請求消息中的用戶身份信息緩存在內(nèi)存中并 RADISUS Server返回計費開始應(yīng)答。l 計費開始應(yīng)答轉(zhuǎn)發(fā)給PDSN，PDSN 向移動終端下發(fā)動態(tài) IP 地址激活響應(yīng)。2) 發(fā)送網(wǎng)頁瀏覽請求l 用戶輸入網(wǎng)址或者打開本地保存的鏈接，發(fā)起訪問某個網(wǎng)頁的請求。l PDSN 將 WAP 瀏覽請求轉(zhuǎn)發(fā)給WAP GW協(xié)議處理部件。l WAP GW對WAP瀏覽請求的進行內(nèi)部處理和適配，并將請求發(fā)送到目的 Web Serve

13、r。3) 接收和顯示l Web Server返回響應(yīng)消息（包含了WAP請求內(nèi)容結(jié)果）。l WAP GW完成響應(yīng)消息的內(nèi)部處理和轉(zhuǎn)換，并轉(zhuǎn)發(fā)給 PDSN。l PDSN將瀏覽內(nèi)容經(jīng)無線網(wǎng)絡(luò)轉(zhuǎn)發(fā)給移動終端，由移動終端處理顯示。4.4 KQI分解并確定算法本環(huán)節(jié)根據(jù)網(wǎng)絡(luò)拓撲以及相關(guān)網(wǎng)元在打開網(wǎng)絡(luò)連接、發(fā)送網(wǎng)頁瀏覽請求、接收和顯示各個階段的關(guān)鍵操作和處理過程，對KQI進行分解。KQI(網(wǎng)絡(luò)）網(wǎng)元KPI算法網(wǎng)絡(luò)連接成功率無線PPP連接建立成功率網(wǎng)絡(luò)連接成功率為無線域、數(shù)據(jù)域、WAPGW成功率KPI的連乘數(shù)據(jù)PPP連接建立成功率WAPGW計費開始處理成功率網(wǎng)絡(luò)連接時延無線PPP連接平均時延無線網(wǎng)絡(luò)作為最接近

14、用戶的設(shè)備，其時延最能反映用戶感知，建議使用無線側(cè)的PPP平均時延作為網(wǎng)絡(luò)連接時延，數(shù)據(jù)-WAPGW-上網(wǎng)掉線率無線無線網(wǎng)絡(luò)掉線率掉線主要由無線側(cè)引起，因此上網(wǎng)掉線率取值參考無線網(wǎng)絡(luò)掉線率數(shù)據(jù)-WAPGW-平均下載速率無線平均轉(zhuǎn)發(fā)速率基于瓶頸效應(yīng)，平均下載速率應(yīng)為無線、數(shù)據(jù)、WAPGW、SP的速率最小值。數(shù)據(jù)平均轉(zhuǎn)發(fā)速率WAPGW平均轉(zhuǎn)發(fā)速率SP平均下載速率端到端訪問成功率無線轉(zhuǎn)發(fā)成功率端到端的訪問包括用戶到WEB Server的訪問請求發(fā)送以及WEB Server到用戶的請求結(jié)果返回，因此端到端訪問成功率=(無線側(cè)轉(zhuǎn)發(fā)成功率)2*(數(shù)據(jù)側(cè)轉(zhuǎn)發(fā)成功率)2*WAPGW請求轉(zhuǎn)發(fā)成功率*WAPGW響

15、應(yīng)轉(zhuǎn)發(fā)成功率*SP響應(yīng)成功率數(shù)據(jù)轉(zhuǎn)發(fā)成功率WAPGWWAPGW請求轉(zhuǎn)發(fā)成功率WAPGW響應(yīng)轉(zhuǎn)發(fā)成功率SPSP響應(yīng)成功率端到端訪問時延無線無線轉(zhuǎn)發(fā)平均時延端到端的訪問包括用戶到WEB Server的訪問請求發(fā)送以及WEB Server到用戶的請求結(jié)果返回，因此端到端訪問時延=(無線轉(zhuǎn)發(fā)平均時延)*2+(數(shù)據(jù)轉(zhuǎn)發(fā)平均時延)*2+WAPGW請求轉(zhuǎn)發(fā)時延+WAPGW響應(yīng)轉(zhuǎn)發(fā)時延+SP響應(yīng)平均時延數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)發(fā)平均時延WAPGWWAPGW請求轉(zhuǎn)發(fā)時延WAPGW響應(yīng)轉(zhuǎn)發(fā)時延SPSP響應(yīng)平均時延終端業(yè)務(wù)支持度無無通過終端測評以及業(yè)務(wù)撥測獲取表2 WAP產(chǎn)品的KQI分解4.5產(chǎn)品健康度開發(fā)本環(huán)節(jié)確定各個KPI指

16、標(biāo)的量化評分方法以及權(quán)重，建立網(wǎng)絡(luò)運營健康度的評估方法。為了使評估結(jié)果更準(zhǔn)確反映用戶感知，不同的KQI需分配合理的權(quán)重，權(quán)重的設(shè)置可以來自業(yè)務(wù)邏輯的分析以及產(chǎn)品質(zhì)量分析的經(jīng)驗，也可以參考問卷調(diào)查的用戶反饋。序號KQI參考值指標(biāo)權(quán)重評分規(guī)則評分值1網(wǎng)絡(luò)連接成功率（KQI1）99%20%正相關(guān)，達到參考值為100分，最低分為0分，每降一個百分點扣10分，計算公式：100-（參考值-測試值）×100×10VAL12端到端訪問成功率（KQI2）99%20%正相關(guān)，達到參考值為100分，最低分為0分，每降一個百分點扣10分，計算公式：100-（參考值-測試值）×100

17、15;10VAL23網(wǎng)絡(luò)連接建立時延（KQI3）400ms15%負相關(guān)，達到參考值為100分，不達標(biāo)時，取值公式為：100×（參考值/測試值）VAL34端到端訪問時延（KQI4）1200ms15%負相關(guān)，達到參考值為100分，不達標(biāo)時，取值公式為：100×（參考值/測試值）VAL45終端支持度(KQI5)-20%為具體業(yè)務(wù)制定終端測評表格，并根據(jù)測試項目進行測試打分VAL56平均下載速率（KQI6）60kbps10%負相關(guān)，達到參考值為100分，不達標(biāo)時，取值公式為：100×（參考值/測試值）VAL6產(chǎn)品健康度PHD=VAL1*20%+VAL2*20%+VAL3*15%+VAL4*15%+VAL5*20%+VAL6*10%表3 WAP產(chǎn)品的健康度開發(fā)4.6 健康度評估結(jié)果舉例以下為WAP產(chǎn)品健康度評估結(jié)果的舉例，盡管每月產(chǎn)品KQI有所波動，但是產(chǎn)品健康度穩(wěn)中有升，反映了產(chǎn)品的總體運行質(zhì)量正在逐步提高。5. 結(jié)束語產(chǎn)品質(zhì)量評估模型具有廣泛的適應(yīng)性，可以靈活應(yīng)用到彩信、定位、視訊等各類主流移動業(yè)務(wù)產(chǎn)品。同時，產(chǎn)品質(zhì)量分析工作的實施是一項系統(tǒng)的工程，需前端市場業(yè)務(wù)部門、網(wǎng)發(fā)部門和后端運營維護部門通力配合，把產(chǎn)品質(zhì)量分析的成果應(yīng)用到指導(dǎo)網(wǎng)絡(luò)優(yōu)化建設(shè)、業(yè)務(wù)開展，提升客戶的業(yè)務(wù)體驗，從而促進中國電信移動業(yè)務(wù)的健康發(fā)展。【參考