4G大會戰(zhàn)網(wǎng)頁時延異常原因分析

4G大會戰(zhàn)網(wǎng)頁時延異常原因分析一、概述1、問題描述8月以來，無線網(wǎng)絡(luò)中心利用重慶電信睿利手機(jī)測試主動版，進(jìn)行了多輪頁面打開時延優(yōu)良比｛同無線環(huán)境下貝面打開時延優(yōu)良比5總總竄監(jiān)歳8gaaggsag沁2gal1CQT測試，并對集團(tuán)公司頁面打開時延優(yōu)良比｛同無線環(huán)境下貝面打開時延優(yōu)良比5總總竄監(jiān)歳8gaaggsag沁2gal110000*90WH80CO%70COMgemsa心4QCO%wew2000%iaco*OXCH由上圖可知：對于這三個網(wǎng)站，無線環(huán)境有一定的影響，但是新浪和搜狐無論無線環(huán)境的好壞，其頁面打開時延優(yōu)質(zhì)率均低于70%。為此11月10H-11月11日，測試人員分別在大坪英利（4G場景）和新牌坊16樓機(jī)房（WLAN場景）各自對新浪、搜狐和騰訊三個網(wǎng)站進(jìn)行了100次抓包測試，發(fā)現(xiàn)根據(jù)不同計算標(biāo)準(zhǔn)得出不同優(yōu)良率結(jié)論，如下：不同標(biāo)準(zhǔn)頁面打開時延優(yōu)良率對比96%98%99%98%96%98%120%100%80%60%40%20%0%2%96%98%99%98%96%98%120%100%80%60%40%20%0%2%4G大會戰(zhàn)標(biāo)準(zhǔn) 移動業(yè)務(wù)感知APP標(biāo)準(zhǔn) 睿利APP標(biāo)準(zhǔn)QQSINASOHU4G大會戰(zhàn)標(biāo)準(zhǔn)移動業(yè)務(wù)感知APP標(biāo)準(zhǔn)睿利APP標(biāo)準(zhǔn)QQ2%2%98%SINA96%99%96%SOHU98%2%98%由此可見，統(tǒng)計計算的方式對優(yōu)良率造成了直接影響。通過對100個抓包分析發(fā)現(xiàn)各類網(wǎng)站時延超長的包共計4個（睿利標(biāo)準(zhǔn)），并得出以下分析結(jié)論。2、分析結(jié)論（1） 時延波動性：不同的網(wǎng)頁設(shè)計造成了頁面時延產(chǎn)生原因的差異，SOHU、QQ多數(shù)會話加載的站內(nèi)資源，因此圖片、腳本等資源目標(biāo)屬性對時延的影響相對較低，時延整體波動不大；而SINA多數(shù)會話加載的站外資源，因此資源目標(biāo)屬性對時延影響較大，整體時延波動較大。（2） 高時延原因：服務(wù)器側(cè)/無線側(cè)響應(yīng)造成的真實(shí)時延對整體時延影響較小,長連接模式造成的FIN,ACK消息遲遲不能發(fā)送屬于各類網(wǎng)站時延偏高的主要原因，該模式的設(shè)置對頁面打開時延存在較大影響，且該類問題涉及頁面加載資源內(nèi)容、連接模式、終端應(yīng)用程序處理機(jī)制等多方面因素，目前暫無法排除。二、原因分析仁統(tǒng)計標(biāo)準(zhǔn)問題分析ServicePDP—③廠7DNSI 21IPServicez-ServicePDP—③廠7DNSI 21IPServicez-PDPContextActivationAcceptDNSQueryDNSResponse2867>80[SYN]80>2867[SYN,ACKJ2867>80[ACK]2867>80HTTP:GETYHTTP/1.180>2867[ACK]80>2867HTTPDataFIRSTDATA2867>80HTTP:GETYHTTP/1.180>2867[ACK]80>2867HTTPDataFIRSTDATADataTransfer80>2867HTTP:HTTP/1.1200OKMainpageOKData

Transfer2867>Data

Transfer2867>80HTTP:GETZHTTP/1.1Childresource

RequestDataTransferLASTDATA80>2867HTTP:HTTP/1.1200OKLASTDATA80>2867[FIN,ACK]2867>80[ACK]交互流程節(jié)點(diǎn)圖（D集團(tuán)4G大會戰(zhàn)標(biāo)準(zhǔn)定義：節(jié)點(diǎn)32時間點(diǎn)?節(jié)點(diǎn)9時間點(diǎn)解釋：該統(tǒng)計標(biāo)準(zhǔn)為終端發(fā)起DNS請求開始至最遲一個會話返回的FIN,ACK消息之間的時間，即加載完畢首頁+頁面相關(guān)鏈接、圖片后的總時間。（注：圖示中端口號一直為2867,與最遲一個會話描述有偏差，之后電話與鼎利溝通后確認(rèn)，其按照最遲一個會話描述進(jìn)行實(shí)際開發(fā)）集團(tuán)移動業(yè)務(wù)感知APP標(biāo)準(zhǔn)定義:節(jié)點(diǎn)26-27之間FIN,ACK時間點(diǎn)?節(jié)點(diǎn)9時間點(diǎn)解釋：該統(tǒng)計標(biāo)準(zhǔn)為終端發(fā)起DNS請求開始至第一個會話返回的FIN,ACK消息之間的時間，即加載完畢首頁的總時間。睿利APP標(biāo)準(zhǔn)定義：節(jié)點(diǎn)30-32之間真實(shí)數(shù)據(jù)傳輸結(jié)束時間點(diǎn)?節(jié)點(diǎn)13時間點(diǎn)解釋：該統(tǒng)計方式是按照真實(shí)數(shù)據(jù)傳輸結(jié)束的時間點(diǎn)進(jìn)行統(tǒng)計而非FIN,ACK消息,且其實(shí)時間點(diǎn)為SYN消息而非DNS請求消息。結(jié)論由此上3種方式對比可知，目前進(jìn)行的驗(yàn)證測試存在統(tǒng)計方式上差異，均不能模擬集團(tuán)4G大會戰(zhàn)標(biāo)準(zhǔn)評估結(jié)果。因此本次分析不參考前期測試系統(tǒng)統(tǒng)計出的時延結(jié)果，以真實(shí)的抓包數(shù)據(jù)分析為準(zhǔn)。按照4G大會戰(zhàn)標(biāo)準(zhǔn)評估頁面打開時延三個網(wǎng)站頁面打開時延優(yōu)良率QQ為2%、SINA為96%、SOHU為98%：按照集團(tuán)移動業(yè)務(wù)感知APP標(biāo)準(zhǔn)：三個網(wǎng)站頁面打開時延優(yōu)良率QQ為2%、SINA為99%、SOHU為2%；按照睿利APP標(biāo)準(zhǔn)三個網(wǎng)站頁面打開時延優(yōu)良率QQ為98%、SINA為96%、SOHU為98%；2、網(wǎng)站加載項(xiàng)分析(1)各網(wǎng)站加載項(xiàng)整體情況■站內(nèi)服務(wù)器連接■站外上圖反映了各網(wǎng)站的加載項(xiàng)會話數(shù)的歸屬分布情況，可見SOHU主要加載項(xiàng)屬于站內(nèi)資源，SINA與其相反，QQ則相對平均。詳細(xì)分析如下:(2)SOHU會話歸屬詳情億03_55SOHUIP地址類型FIN,ACK時延(ms)487371首頁2520346281首頁2248524995加載項(xiàng)1536525005加載項(xiàng)1528525015加載項(xiàng)1528525025加載項(xiàng)1512525035加載項(xiàng)1512525045加載項(xiàng)1504481518加載項(xiàng)1312481528加載項(xiàng)1288481538加載項(xiàng)1128481548加載項(xiàng)1112471206加載項(xiàng)1112471216加載項(xiàng)1096481578加載項(xiàng)1096481588加載項(xiàng)1088

4007603加載項(xiàng)1088471266加載項(xiàng)1080481608加載項(xiàng)1080481628加載項(xiàng)10325428830加載項(xiàng)9525428930加載項(xiàng)9043888761加載項(xiàng)2083888861加載項(xiàng)160507861加裁項(xiàng)5040上表為SOHU的首頁與加載項(xiàng)地址表，可見SOHU網(wǎng)站在首頁加載完畢后，其他加載的圖片、鏈接等主要保存在本地服務(wù)器，即（220.181.90網(wǎng)段），因此整體時延分布較為平均，不存在個別圖片時延過高的情況（最后一個固定POST方式除外）。（3）SINA會話歸屬詳情億0558SINAIP地址時延（ms）4873449首頁1845363849首頁184580613加載項(xiàng)（代碼）1683903661加載項(xiàng)（代碼）1763903761加載項(xiàng)（代碼）192332505&63.23&228加載項(xiàng)（代碼）1925452354加載項(xiàng)（代碼）1605496254加載項(xiàng)（代碼）1125502454加載項(xiàng)（代碼）192338205&63.234.206加載項(xiàng)（代碼）1043368948加載項(xiàng)（代碼）176492490加載項(xiàng)（圖片）4704506691加載項(xiàng)（代碼）1923904661加載項(xiàng)（代碼）1444388762加載項(xiàng)（代碼）3203904861加載項(xiàng)（代碼）15255153加載項(xiàng)（圖片）4512457095加載項(xiàng)（代碼）16055187加載項(xiàng)（圖片）42805336438加載項(xiàng)（圖片）42405336538加載項(xiàng)（圖片）42404389562加載項(xiàng)（代碼）16043896219.142.7&162加載項(xiàng)（代碼）168

4389762加載項(xiàng)（代碼）1604389962加載項(xiàng)（代碼）1764390062加載項(xiàng)（代碼）1684389862加載項(xiàng)（代碼）168580819加載項(xiàng)（代碼）152409050加載項(xiàng)（代碼）1534390362加載項(xiàng)（代碼）5204390462加載項(xiàng)（代碼）5044390562加載項(xiàng)（代碼）5124390662加載項(xiàng)（代碼）5604390762加載項(xiàng)（代碼）5684390862加載項(xiàng)（代碼）5524390962加載項(xiàng)（代碼）1764391062加載項(xiàng)（代碼）1924391162加載項(xiàng)（代碼）1924391262加載項(xiàng)（代碼）1524391362加載項(xiàng)（代碼）1604391462加載項(xiàng)（代碼）1524391562加載項(xiàng)（代碼）160上表為SINA的加載情況，可見多數(shù)鏈接均來源于其他站外連接（如219.142.78網(wǎng)段），因此存在部分圖片加載時延高的情況。（4）QQ會話歸屬詳情17_11_42QQIP地址類型時延（ms）5634214.17.1&181首頁8632526281首頁7936542707加載項(xiàng)5376579120加載項(xiàng)5376上表為QQ的加載情況，可見會話數(shù)較少，且多數(shù)加載項(xiàng)來源于站內(nèi)（14.17.18-19網(wǎng)段），因此時延波動幅度較小，整體時延呈現(xiàn)平均趨勢。（5）結(jié)論通過以上三網(wǎng)站對比分析，可知不同的網(wǎng)頁設(shè)計造成了頁面時延產(chǎn)生原因的差異，SOHU、QQ多數(shù)會話加載的站內(nèi)資源，因此圖片、腳本等資源目標(biāo)屬性對時延的影響相對較低，時延整體波動不大；而SINA多數(shù)會話加載的站外資源，因此資源目標(biāo)屬性對時延影響較大，整體時延波動較大。

此外SOHU的網(wǎng)頁設(shè)計中最后一個會話存在POST方式交互，其超長的時延對整個網(wǎng)頁時延造成了嚴(yán)重影響，導(dǎo)致其他加載項(xiàng)時延雖較低但最時延偏高；同樣在SINA的網(wǎng)頁設(shè)計中超長的站外圖片連接成為其時延過長的主要原因；而QQ則因網(wǎng)頁設(shè)計中存在較多鏈接重定向問題使其整體時延偏高。3、連接方式影響分析連接類型的定義如下：短連接是指通訊雙方有數(shù)據(jù)交互時，就建立一個連接，數(shù)據(jù)發(fā)送完成后，則斷開此連接，即每次連接只完成一項(xiàng)業(yè)務(wù)的發(fā)送oConnection類型以close表示。長連接多用于操作頻繁，每個操作完后都不斷開，下次處理時直接發(fā)送數(shù)據(jù)包就0K了，不用建立TCP連接，保持時間較長。Connection類型以keep-alive表示。經(jīng)分析發(fā)現(xiàn)頁面的不同連接方式帶來了不同的時延，如下：(1)SOHU連接模式分析▲Follow▲FollowTCPStream(tepstreameq51)StreamContentGET/HTTP/1?1Host:m?sohu?comconnecrlon:keep-aliveAccept:text/htnil?application/xhtml-t-xml.application/xnl;q=0?9,image/^ebp,*/*;c?=0?8User-Agent:MO2illa/5.0(Linux;Android5.0.2;NX510JBui1d/LRX22G)AppleWGbK-it/527.26(khii^l,likeGecko)version/^?0chrome/37?0.0.0MobileSafar1/537.36Accept-Encoding:gzip.deflateAccept-Language:zh-CN,cn-US；q-0?8x-Requesreo-wirh:com.rum?droid?chinaTQlecomIf-None-Match:Mc77363aea5df4576292106993a709f9817ab65f2MHTTP/1.1200OKServer:F55于上遷harset=utf-8Connection:keep-aliveDate：U'Gd,11NOV20150!:04:08GMTvdiy?ALLepL-tncuuinyEtag:吁0a808b59f74731f6e487ff8561e682i:9c52830cr'Cacne-Control:private,no-cache,must-revalidateset-cookie:adapior_vers1on=3;Domaln=?sohu?com;exp1res=pr1.11Dec201509:04:06ar；Path-/Set-CookiG:posifion=8;Domain=.;expires^Thu,12Nov201509:04:06GN*T;Path=/set-cookie:1p_c1ly=%e9%87%8d%e5%ba^86:exp1res=Thu.12NOV201509:04:063T；PaLh=/Set-Cookie:s-id-BGFlHRDlRKH87AfDQqfylP；Domain??sohu?com;expires-wed,11Nov201509:34:06GMT；Path=/set-cookie:page_vers1on=3;Donaln=?sohu?com;exp1res=Fr1.11Dec201509:04:06st;Path-/Set-Cookie:_xsrf=91al875d02b841f38611dS8a357f8717;Path=/U—■ fj——c99%?v4r*r%r- r41O 3C4UCC?C/4?CV ?CJ/<I— 川 」 ?Entireconversation(35381bytes)EBCDICHexDumpCArrays0RawHelpFind|[Snve少]Erint[0ASCIIEBCDICHexDumpCArrays0RawHelpFind|[Snve少]Erint[0ASCIIFilterOutThisStreamClose總會話數(shù)（次）長連接會話數(shù)（次）短連接會話數(shù)（次）頁而打開時延（ms）SOHU252507672如上圖表所示，訪問SOHU頁面單次共計約25次會話交互，均為長連接（即ke即-alive,短連接為close）,導(dǎo)致會話SYN建立請求發(fā)起后，F(xiàn)IN,ACKTCP拆除時間較大；按照集團(tuán)4G大會戰(zhàn)算法以最后遲收到的會話FIN,ACK消息為統(tǒng)計節(jié)點(diǎn)計算，則該頁面打開時延較大，如下圖紅圈時延所示:I?I 225^oauuom?a&u./zu.10.ll/.Zll.HTTP虧?OKgxt/ntmij通過以上分析可知道，SOHU頁面打開時延主要存在兩方面因素影響：頁面加載會話均為長連接，造成每次會話FIN,ACK響應(yīng)時延較大（均值約1190ms）；最后一次會話節(jié)點(diǎn)計算，則該頁面打開時延較大，如下圖紅圈時延所示:I?I 225^oauuom?a&u./zu.10.ll/.Zll.HTTP虧?OKgxt/ntmij通過以上分析可知道，SOHU頁面打開時延主要存在兩方面因素影響：頁面（2）SINA連接模式分析經(jīng)統(tǒng)計分析，新浪總會話次數(shù)為42次，其中長連接為經(jīng)統(tǒng)計分析，新浪總會話次數(shù)為42次，其中長連接為4次，其余均為短連接，因此整體頁面加載時延均值較?。ǖ陀?00ms）o但部分長連接的圖片加載影響了最終頁面打開時延。如下圖所示:時延（ms）■時延（■時延（ms）（3）QQ連接模式分析■FollowTCPStream(tcpstrmmcq2)■FollowTCPStream(tcpstrmmcq2)StreamContentGET/HTTP/1?1Host:info.qqGET/HTTP/1?1Host:info.qq?comconnection:keep-aliveAccept:text/btnnlsapplTcafion/xhtml-t-xml,appluser-Agent:Mozilla/S.O(Linux;Android5.0.(KHIKL,likeGecko)Version/4.0Chrome/37.0.Acccpt-Cncoding:gzip.deflateAccept-Lanquage:zh-CN,en-US;q=0.8X-Requesteo-With:com.「uGli?android?chinatelcation/x*nl;q-O?9,1mage/v-ebp；MX51OJBuild/LRX22G)Appl?0Mobil已Safari/537.36o/782?5?36HTTP/1.1302FoundServer:HTTPLoad6alancer/2?0Location:http://info.2g?qq?com/g/s?aid=index&fron^ap3g&s_it=l&sid=00set-cookie:g_ui=3:dona1n=.3;paih=/：exp1res=Ttxj.iO-Mar-2O1609:03:24Content-Type:text/htral;charset-utf-8Corrterrt-Length:98Date;Wed,11Nov201509:03:24GNTCache-Control:no-cachePragma:no-cacheTheURLhasmoved<ahref-http://info?2g?qqa1d=1ndex&from=u'ap3g*s_lT=l&sid=oo°>here</a>GET/g/s?aid=index&from=wap3g&5_it=l&TheURLhasmoved<ahref-http://info?2g?qqa1d=1ndex&from=u'ap3g*s_lT=l&sid=oo°>here</a>GET/g/s?aid=index&from=wap3g&5_it=l&5id=00Host:info.qq?comconnection:keep-aliveAccept:text/btnnlsapplTcafion/xhtml-t-xml,appluser-Agent:Mozilla/S.O(Linux;Android5.0.(KHIKL,likeGecko)Version/4.0Chrome/37.0.Acccpt-Cncoding:gzip.deflateAccepr-Language:Nh?cn,en?us；q=o.8Cookie;a_ut=3?con/g/s?HTTP/1.1cation/x*nl;q-O?9,1mage/v-ebp；MX51OJBuild/LRX22G)Appl?0Mobil已Safari/537.36o/782?5?36Entireconversation(33780bytes)Find SaveAs Printf)ASCII EBCDIC HexDump CArraysaRawHelp FilterOutThisStream Close1總會話數(shù)（次）長連接會話數(shù)（次）短連接會話數(shù)（次）頁面打開時延（ms）QQ4409688QQ頁面較為特殊未返回具體keep-alive值，但根據(jù)GET次數(shù)分析屬于長連接，且首頁經(jīng)過重定向。其時延與SOHU分析結(jié)果類似，每次會話FIN,ACK反饋時延均超長（＞5000ms）。時延（ms）

（4）結(jié)論綜述所示，按照4G大會戰(zhàn)標(biāo)準(zhǔn)計算，因長連接造成的FIN,ACK消息遲遲不能發(fā)送屬于各類網(wǎng)站時延偏高的主要原因，該模式的設(shè)置對頁面打開時延存在較大影響。且該類問題涉及網(wǎng)站設(shè)計、終端應(yīng)用程序調(diào)度等方面，因此目前暫無法排除。4、無線側(cè)、服務(wù)器側(cè)分段分析就前期“用戶終端一一PGW、PGW一一服務(wù)器”的分析結(jié)論進(jìn)行進(jìn)一步分析，發(fā)現(xiàn)此類時延與網(wǎng)站本身設(shè)計也緊密相關(guān)。如下:標(biāo)示IP地址SYNFIM.ACKDNS時延（ms）DNS35.624487344935.64035.824184536384935.82436.008184580613【鏈接*園片等）36.07236.2401683903661（無按*圖片等）36.28036.4561763903761（無接、圖片等）36.57636.76819233Z5058.63.258.228（槌接*囹片等）36.79236.9841925452354（辯櫬*圖片等）36.80036.960ifin5496254（冊接*圖片等）36.80036.9121125502454（學(xué)接*囹片諄）36.80036.992iyz3382006（串環(huán)囹片等）36.80836.912104336894瞅鏈接*囹片等〉36.80836.98417649249113.1108.216.20*宙接*圉片等〉36.82441.528470450669140^.05.33.81/鏈接x囹片等）36.88837.08019239046106/39.169.160（胡接.囹片等）36.90437.04814443887213142.78.16/〈鋌接囹片等〉36.92837.2483203904810J.39.169.呻（無接.囹片等）36.93637.08815255153\4f.205.174./C鏈接.圖片等）37.00841.52