云質(zhì)量報(bào)告2016.2線上

1、1. 線上質(zhì)量概述a)春節(jié)期間整體質(zhì)量：春節(jié)期間整體質(zhì)量平穩(wěn)，春節(jié)當(dāng)天流量和上傳流量都達(dá)到了最低值，年后上傳流量以 8%的速度持續(xù)上漲，直到元宵節(jié)，帶寬起伏不定增長(zhǎng)率在 1%到 8%之間。16 年春節(jié)較 15 年春節(jié)相比沒有出現(xiàn)驟增的情況，應(yīng)急預(yù)案也沒有啟用。b)穩(wěn)定性相關(guān)：1）Netdisk:99.9718%服務(wù) SLA 達(dá)標(biāo) 2)Petdisk-mongo:99.8678%|xcloud-mongo:99.9559%）2 月份持續(xù)不達(dá)標(biāo)，經(jīng)過業(yè)務(wù)方調(diào)整以及 RD 同學(xué)的不斷優(yōu)化，在 3 月份 SLA到了 99.97%以上。3)POMS（SLA：99.9054%）&PCS(SLA:99.93

2、38%)2 月份不達(dá)標(biāo)；PCS 由于異步的重試導(dǎo)致 PCS 的25 號(hào)夜間出現(xiàn)了內(nèi)網(wǎng)帶寬資源緊張導(dǎo)致部分的 5xx 出現(xiàn)； POMS 在導(dǎo)致?lián)砣?，異步入?kù)壓力過大導(dǎo)致的雪崩。POMS&PCS 整個(gè) 2 月份除 25 號(hào)之外都達(dá)標(biāo)，從另一個(gè)方面反映出底層服務(wù)的故障期間的止損能力比較差，一次故障將拉低整個(gè)月的服務(wù)SLA。 4）object：經(jīng)過一個(gè)月的排查優(yōu)化Object 的部分集群由長(zhǎng)期不達(dá)標(biāo)改善為讀寫均達(dá)標(biāo)（主機(jī)群讀 99.977%/寫 99.9882%，副集群讀 99.9888%/寫 99.9968%），整個(gè)集群的讀寫服務(wù)能力大大提高。另外還遺留部分集群的機(jī)器故障問題導(dǎo)致的服務(wù)波動(dòng)，還希望O

3、bject RD &OP 繼續(xù)跟進(jìn)。c)優(yōu)化相關(guān)：2 月份成立優(yōu)化虛擬小組從質(zhì)量數(shù)據(jù)分析入手，通過數(shù)據(jù)驅(qū)動(dòng) CDN 質(zhì)量?jī)?yōu)化、優(yōu)化流量調(diào)度、改善客戶端的連接方式和緩沖。2 月份主要進(jìn)展：1）細(xì)化省份、運(yùn)營(yíng)商等卡頓數(shù)據(jù)分析。2）優(yōu)化CDN 回源跨運(yùn)營(yíng)商問題，回源速度得到（大于 100K 的比例期從70%優(yōu)化 406到 95%，低峰期由 95%到 99%）；無法問題優(yōu)化，率下降 5 個(gè)百分點(diǎn)，同時(shí)帶來 60G 帶錯(cuò)誤，無法寬的上漲，目前該優(yōu)化已經(jīng)下線。3）CDN 優(yōu)化緩存機(jī)制提高（命中率1%），優(yōu)化邊緣節(jié)點(diǎn) DNS 緩存機(jī)制降低 DNS 耗時(shí)，全面支持HTTP 長(zhǎng)連接為客戶端的連接復(fù)用做支撐。4）

4、客戶端目前支持長(zhǎng)連接復(fù)用以及分片緩沖的功能已經(jīng)完成開發(fā)。d)企業(yè)云：2 月份企業(yè)云處于公測(cè)階段，公測(cè)階段用戶的使用活躍度不高，企業(yè)用戶的認(rèn)知度有待提高。目前存在大文件上傳失敗、文檔預(yù)覽失敗等問題。QA 進(jìn)行了競(jìng)品：上傳速度優(yōu)于聯(lián)想、非限速優(yōu)于聯(lián)想。全文檢索查全率為 41%，達(dá)到 94%。整體服務(wù)結(jié)果：聯(lián)想金山 整體使用體驗(yàn)結(jié)果：聯(lián)想金山2. 線上數(shù)據(jù)詳情 標(biāo)紅處為長(zhǎng)期性問題，標(biāo)黃為本月突漲維度質(zhì)量項(xiàng)2 月數(shù)據(jù)數(shù)據(jù)解讀用戶輿情用戶口 碑AppStore 春節(jié)期間比較低跌至 51 名，假期結(jié)束后上升到 20 名以內(nèi)，由于上癮的下架，把云的推升到前十名。評(píng)分為 4.5突漲反 饋春節(jié)期間的反饋比較平穩(wěn)

5、，反饋較多的兩個(gè)問題是云管家已經(jīng)點(diǎn)對(duì)點(diǎn)慢以及失敗，數(shù)據(jù)安全相關(guān)為第 CDN 同學(xué)進(jìn)行的反饋：【】云管家失敗，由于云管家調(diào)用 IE 的內(nèi)核進(jìn)行播放，出現(xiàn)無法加載的情況，目前通過人工的重裝 IE 來解決。【點(diǎn)對(duì)點(diǎn)】點(diǎn)對(duì)點(diǎn)變慢，目前可能是 PCS 的 meta 獲取速度變慢導(dǎo)致。需要 PCS & Netdisk 持續(xù)關(guān)注接口的性能問題。【數(shù)據(jù)安全】1）的 Badcase 清除邏輯出問題導(dǎo)致 389 個(gè)的被刪除但是用戶卻能請(qǐng)求，表現(xiàn)為 CDN 回源數(shù)據(jù)是出現(xiàn)一定量級(jí)的 404 的情況。2）失?。簆omsmeta 引入 bug 導(dǎo)致用戶網(wǎng)盤數(shù)據(jù)時(shí)需要 CDN 回源的請(qǐng)求，flowserver 通過buc

6、ket/object 來 pomsmeta獲取 region 信息時(shí) meta 返回文件被標(biāo)記為已經(jīng)被 md5dedup，最終用戶失敗。會(huì)員特權(quán)提速特 權(quán)會(huì)員上傳失敗率1.3%會(huì)員失敗率2.2%慢速比3.695%大文件 大文件上傳失敗率【長(zhǎng)期】54%客戶端串行并增加重試次數(shù)的臨時(shí)解決方案預(yù)計(jì) 2 月超級(jí)會(huì)員下一版本上線，服務(wù)器通過 superfile3 長(zhǎng)期方案預(yù)計(jì) Q2 予以支持云解壓 云解壓預(yù)覽失敗率0.25%特權(quán)卡頓率6.1%會(huì)員的無法 率遠(yuǎn)低于非會(huì)員是由于會(huì)員走的 不會(huì)進(jìn)行流量限制，不會(huì)出現(xiàn) 406 的問題無法率2.94%用戶體驗(yàn)上傳上傳失敗率1.534%上傳失敗率比上個(gè)月略有增加，需

7、要長(zhǎng)期重點(diǎn)關(guān)注失敗率3.612%卡頓率7.39%無法率6.13%客戶端 Android crash0.084%IOS Crash0.03%云筆記慢、打不開Bae 老集群無人導(dǎo)致性能變差。遷移新集群過程中，域名無法導(dǎo)致服務(wù)不可用服務(wù)器穩(wěn)定性Netdisk SLA99.9718%轉(zhuǎn)碼失敗率2.2%PCS SLA99.9338%2 月份除了 2 月 25 號(hào) SLA 降低到 98.63%，其他時(shí)間均達(dá)標(biāo)。2月 25 號(hào)：a)PCS 由于異步化的大量重試導(dǎo)致 pcs 的 cgi 不夠用，出現(xiàn)大量 5xx。25 號(hào)導(dǎo)致整個(gè) 2 月份的SLA 不達(dá)標(biāo)。POMS SLA99.9054%2 月份除了 2 月

8、25 號(hào) SLA 降低到 97.6121%，其他時(shí)間均達(dá)標(biāo)。 2 月 25 號(hào)：a)nj02 的大搜的帶寬使用量驟增導(dǎo)致 nj02 的 bgw，PCS 業(yè)務(wù)通過打標(biāo)提高優(yōu)先級(jí)解決網(wǎng)絡(luò)擁塞。b)凌晨 POMS 啟動(dòng)異步化入庫(kù)導(dǎo)致雪崩，拖累 pcs 的業(yè)務(wù)導(dǎo)致 pcs 的cgi 也出現(xiàn)問題。25 號(hào)導(dǎo)致 2 月份的 SLA 不達(dá)標(biāo)。PSS SLAnetdisk_mongo【長(zhǎng)期】99.8678%mongodb壓力過大，數(shù)據(jù)遷移過程中服務(wù)穩(wěn)定性下降。3月份業(yè)務(wù)方優(yōu)化后降低壓力，到 3 月份目前SLA 基本達(dá)標(biāo)xcloud_mongo【長(zhǎng)期】99.9559%Mola 集群 sla主集群讀/寫99.9770%|99.9982%年前 Object SLA 單獨(dú)統(tǒng)計(jì)發(fā)現(xiàn) SLA 長(zhǎng)期不達(dá)標(biāo)，從 1 月份開始 Object RD & OP 跟進(jìn)處理各個(gè)集群不達(dá)標(biāo) ：網(wǎng)線故障、鏈路故障、日志夯住、熱點(diǎn) key、混布導(dǎo)致 IO 資源緊張、故障機(jī)器等問題，SLA得到解決。為 Object 的同學(xué)點(diǎn)贊。同時(shí)在 2 月底 3 月份由于更換交換機(jī)頻繁導(dǎo)致 nj 集群的SLA 有所下降。副集群讀/寫9