mars 系列-網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)與思考

1、網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì)與思考 Mars 是微信使用c編寫的業(yè)務(wù)性無關(guān)、平臺(tái)性無關(guān)的終端開源基礎(chǔ)組件，目前已接入微信android、ios、mac等客戶端。簡(jiǎn)介模塊1、COMM：基礎(chǔ)庫,包括socket,線程,消息隊(duì)列等基礎(chǔ)工具。2、XLOG：日志模塊,提供高可用、安全性的日志功能。3、SDT：網(wǎng)絡(luò)診斷模塊。4、STN：信令傳輸網(wǎng)絡(luò)模塊，負(fù)責(zé)終端與服務(wù)器的小數(shù)據(jù) 信令通道維護(hù)。TCP協(xié)議以太網(wǎng)協(xié)議鏈路層 幀結(jié)構(gòu)類型0800 表示ip數(shù)據(jù)0806 表示ARP請(qǐng)求0835 表示RARP請(qǐng)求鏈路層超時(shí)與重傳 在鏈路層，一般使用混合自動(dòng)重傳請(qǐng)求（即 HARQ）。HARQ 是一種結(jié)合FEC（前饋式錯(cuò)誤修正）與 A

2、RQ（自動(dòng)重傳請(qǐng)求）的技術(shù)。1、停等式ARQ優(yōu)點(diǎn) 發(fā)送和接收的窗口都為1，所需要的緩沖存儲(chǔ)空間最小缺點(diǎn) 信道效率很低2、回退n幀的ARQ優(yōu)點(diǎn)并行發(fā)送，提升了信道的利用率缺點(diǎn)一旦某一幀出現(xiàn)錯(cuò)誤，將重傳后續(xù)的幀，增加了正常幀的重傳率3、選擇性重傳ARQ優(yōu)點(diǎn)：1.提升了信道利用率2.減少了正常幀的重傳率缺點(diǎn)：對(duì)于接收段的緩沖存儲(chǔ)空間，消耗比較大。3、混合ARQ滑動(dòng)窗口特點(diǎn)：1.動(dòng)態(tài)調(diào)整2.解決傳輸效率和流量控制窗口調(diào)整的三個(gè)動(dòng)作：展開（右向右）合攏（左向右）收縮（右向左）滑動(dòng)窗口的慢啟動(dòng)/快恢復(fù)過程TCP 報(bào)文格式序列號(hào)：發(fā)送端的序列號(hào)確認(rèn)號(hào)：接收端的期望收到的下一個(gè)字節(jié)選項(xiàng)（最長(zhǎng)40個(gè)字節(jié)）：窗口

3、擴(kuò)大窗口擴(kuò)大選項(xiàng)、選項(xiàng)、 SACK選擇確認(rèn)選擇確認(rèn)項(xiàng)項(xiàng)、時(shí)間戳選項(xiàng)時(shí)間戳選項(xiàng)傳輸層（Tcp）的超時(shí)與重傳 超時(shí)重傳是TCP協(xié)議保證數(shù)據(jù)可靠性的另一個(gè)重要機(jī)制，其原理是在發(fā)送某一個(gè)數(shù)據(jù)以后就開啟一個(gè)計(jì)時(shí)器，在一定時(shí)間內(nèi)如果沒有得到發(fā)送的數(shù)據(jù)報(bào)的ACK報(bào)文，那么就重新發(fā)送數(shù)據(jù)，直到發(fā)送成功為止。RTT傳播時(shí)間接收端處理時(shí)間路由器的排隊(duì)和處理時(shí)間RTT(Round Trip Time)：報(bào)文往返時(shí)時(shí)間變化較大，反應(yīng)當(dāng)前網(wǎng)絡(luò)擁塞，情況RTO(Retransmission TimeOut):重傳超時(shí)時(shí)間1.RTT的測(cè)量2.退避指數(shù)平滑算法、Karn 算法、Jacbson 算法當(dāng)某個(gè)報(bào)文，超過指定的RTO

4、時(shí)間，未收到ack，后續(xù)的重傳等待時(shí)間，將會(huì)呈現(xiàn)指數(shù)上升。 Eg：t=t*2OPPO手機(jī)TCP超時(shí)重傳的間隔，依次為0.5s，1s，2s，4s，8s，16s，32s，64s，64s，64s SamSung 中 TCP 超時(shí)重傳的間隔依次為0.42s, 0.9s, 1.8s, 3.7s, 7.5s, 15s, 30s, 60s, 120s, 120s iphone6 中 TCP 超時(shí)重傳的間隔依次為 1s，1s，1s，2s，4.5s，9s，13.5s，26s，26s 快速重傳（ Fast Retransmit ）SACK 方法方法D-SACK重復(fù)收到數(shù)據(jù)的問題重復(fù)收到數(shù)據(jù)的問題1.D-SACK使

5、用了SACK的第一個(gè)段來做標(biāo)志2.如果SACK的第一個(gè)段的范圍被ACK所覆蓋，那么就是D-SACKTransmittedReceivedACKSentSegmentSegment(IncludingSACKBlocks)3000-34993000-34993500(ACKdropped)3500-39993500-39994000(ACKdropped)3000-34993000-34994000,SACK=3000-3500-3.如果SACK的第一個(gè)段的范圍被SACK的第二個(gè)段覆蓋，那么就是D-SACK12345678910113000-3499 3000-3499 3500 (ACK dr

6、opped) 3500-3999 3500-3999 4000 (ACK dropped) 4000-4499 (data packet dropped) 4500-4999 4500-4999 4000, SACK=4500-5000 (ACK dropped) 3000-3499 3000-3499 4000, SACK=3000-3500, 4500-50001.Tcp都已經(jīng)右超時(shí)和重傳機(jī)制，應(yīng)用層是否還需要超時(shí)和重傳？2.應(yīng)用層的超時(shí)重傳機(jī)制應(yīng)該提供怎樣的服務(wù)呢？問題1.Tcp都已經(jīng)有超時(shí)和重傳機(jī)制，應(yīng)用層是否還需要超時(shí)和重傳？1.1在鏈路層，HARQ 提供的是節(jié)點(diǎn)之間每一數(shù)據(jù)幀的可靠

7、傳輸。1.2在傳輸層，TCP 超時(shí)重傳機(jī)制提供的是端與端之間每個(gè) TCP 數(shù)據(jù)包的可靠傳輸。BUT! TCP 層面，發(fā)生超時(shí)時(shí)，重傳的間隔以“指數(shù)退避”的規(guī)律，進(jìn)行急劇上升，而且伴隨著不可控的最大重試次數(shù)，所有最終等到成功活著失敗的結(jié)果，需要幾分鐘甚至十幾分鐘2.應(yīng)用層的超時(shí)重傳機(jī)制應(yīng)該提供怎樣的服務(wù)呢？2.保障弱網(wǎng)絡(luò)下的可用性。3.具有網(wǎng)絡(luò)敏感性，快速的發(fā)現(xiàn)新的鏈路。1.在用戶體驗(yàn)的接受范圍內(nèi)，盡可能地提高成功率。Mars 的讀寫超時(shí)1.總讀寫超時(shí)2.分步的讀寫超時(shí)（首包超時(shí)）3.分步的讀寫超時(shí)（包包超時(shí)）1.包包超時(shí)發(fā)生在首包超時(shí)之后。 2.使用了不同網(wǎng)絡(luò)下的固定RTT。超時(shí)隊(duì)列大小*常量發(fā)包大小/最低網(wǎng)速服務(wù)器約定最大耗時(shí)包傳輸時(shí)間4.動(dòng)態(tài)的讀寫超時(shí)1.進(jìn)入Exc狀態(tài)后，就縮短信令收發(fā)的預(yù)期，即減小首包超時(shí)時(shí)間2.進(jìn)入Eva,增加超時(shí)時(shí)間，減少發(fā)送頻率移動(dòng)網(wǎng)絡(luò)優(yōu)化的思考1）慢啟動(dòng) 2）擁塞避免 3）擁塞發(fā)生 4）快速恢復(fù)2.保障弱網(wǎng)絡(luò)下的可用性。3.具有網(wǎng)絡(luò)敏感性，快速的發(fā)現(xiàn)新的鏈路。1.在用戶體驗(yàn)的接受范圍內(nèi)，盡可能地提高成功率。1.滑動(dòng)窗口網(wǎng)絡(luò)傳輸，大文件上傳過程中（音頻，圖片），采用分片+網(wǎng)絡(luò)探測(cè)2.不同網(wǎng)絡(luò)下的流量控制2G，3G，4G網(wǎng)絡(luò)下，傳輸數(shù)據(jù)的控制3.超時(shí)4. Nag