飛信開(kāi)放平臺(tái)的資源分配與控制策略

1、飛信開(kāi)放平臺(tái)的資源分配與控制策略開(kāi)放、動(dòng)態(tài)網(wǎng)絡(luò)分享、綜合性網(wǎng)絡(luò)服務(wù)目 錄飛信開(kāi)放平臺(tái)的業(yè)務(wù)特點(diǎn)飛信開(kāi)放平臺(tái)對(duì)合作伙伴OPEN API的資源 控制飛信開(kāi)放平臺(tái)用戶的服務(wù)資源分配飛信開(kāi)放平臺(tái)緩存資源分配策略O(shè)ctober 112飛信開(kāi)放平臺(tái)的業(yè)務(wù)特點(diǎn)飛信開(kāi)放平臺(tái)是一個(gè)內(nèi)容合 作型的服務(wù)平臺(tái)，將各種內(nèi) 容源聚合到飛信的Web， PC，手機(jī)，短信全客戶端渠 道合作服務(wù)類型微博類SNS類視頻、文學(xué)、咨 詢等內(nèi)容類電子商務(wù)類October 113飛信開(kāi)放平臺(tái)合作伙伴的數(shù)據(jù)通信方式October 114飛信主動(dòng)同步類型飛信利用第三方服務(wù)開(kāi)放平臺(tái)功能拉取TimeLine，并發(fā)布Feed（如新浪、騰訊微博）飛信

2、被動(dòng)同步類型第三方服務(wù)調(diào)用飛信開(kāi)放平臺(tái)API將動(dòng)態(tài)主動(dòng)推送 到飛信開(kāi)放平臺(tái)上（多數(shù)互聯(lián)網(wǎng)合作伙伴）雙方相互同步類型雙方相互向?qū)Ψ酵扑蛣?dòng)態(tài)（如移動(dòng)微博，開(kāi)心網(wǎng)）客戶端類型飛信以及第三方開(kāi)發(fā)的PC，手機(jī)客戶端，收發(fā)AP I據(jù)需要飛信開(kāi)放平臺(tái)對(duì)OPEN API的 資源分配策略O(shè)ctober 115飛信開(kāi)放平臺(tái)對(duì)OPEN API的整體分配策略O(shè)ctober 117飛信開(kāi)放平臺(tái)通過(guò)基于RESTFUL的OPENAPI 提供 數(shù)據(jù)通信接口，根據(jù)不同的限制區(qū)域和服務(wù)級(jí)別，分 成不同的服務(wù)器群集七層交換集群客戶端 服務(wù)群試驗(yàn)服 務(wù)群普通服 務(wù)群高級(jí)服 服務(wù)群主動(dòng)同步 抓取服務(wù) 群動(dòng)態(tài)中心服務(wù)平臺(tái)Push服務(wù)群飛

3、信開(kāi)放平臺(tái)對(duì)API訪問(wèn)頻次控制方法October 117訪問(wèn)頻次限流+按應(yīng)用、IP、和用戶ID的組合 限流策略請(qǐng)求頻次限流，限制同一IP的并發(fā)連接數(shù)， 防止過(guò)多的并發(fā)采用Nginx limit trafficrate modulelimit_zone one $binary_remote_addr 10m;針對(duì)不同應(yīng)用類型的制定組合資源限制策略飛信開(kāi)放平臺(tái)對(duì)API訪問(wèn)頻次控制方法October 118限流策略試驗(yàn)區(qū)應(yīng)用全部采用每應(yīng)用、每小時(shí)單一頻次限 制策略客戶端服務(wù)器集群全部采用每用戶ID，每小時(shí)單一頻次限制策略對(duì)于中等規(guī)模應(yīng)用（主要針對(duì)普通服務(wù)集群的We b應(yīng)用），采用每IP （Serve

4、r IP）頻次限制，同 時(shí)每應(yīng)用訪問(wèn)總頻度設(shè)置上限對(duì)于大規(guī)模應(yīng)用（主要針對(duì)VIP服務(wù)區(qū)的Web應(yīng)用），采用用戶頻次限制，同時(shí)每Server IP設(shè) 置上限正在開(kāi)發(fā)當(dāng)中有每Server IP + Client IP頻次限制，（主要應(yīng)對(duì)匿名訪問(wèn)需求）飛信開(kāi)放平臺(tái)對(duì)OPEN API頻度控制的技術(shù)策略O(shè)ctober 119總體策略：控制精確度讓位于服務(wù)響應(yīng)時(shí)間和服務(wù)器資源開(kāi)銷不同區(qū)域根據(jù)訪問(wèn)量和控制要求設(shè)計(jì)不同的控制方 法試驗(yàn)區(qū)：控制精度優(yōu)先同步控制：先檢查修改計(jì)數(shù)，然后響應(yīng)請(qǐng)求在Redis中采用INCRBY進(jìn)行修改，定期刷新DB普通區(qū)異步控制：首先檢查，返回響應(yīng)，同時(shí)異步修改計(jì) 數(shù)對(duì)于VIP 區(qū)域的

5、完整異步頻度控制體系飛信開(kāi)放平臺(tái)對(duì)OPEN API頻度控制的技術(shù)策略Web ServerAPI Server客戶端1： 請(qǐng)求 API頻度技術(shù) 狀態(tài)2： 檢 查3：響應(yīng)頻次計(jì)數(shù)服務(wù)4：增加技術(shù)進(jìn)程內(nèi)計(jì)數(shù)緩 沖5：更新頻度狀 態(tài)持久化7：定期 刷新DB 記錄日志Redis緩存6：批量 用戶訪問(wèn) 計(jì)數(shù)October 1110飛信開(kāi)放平臺(tái)對(duì)應(yīng)用服務(wù)器資源 分配策略O(shè)ctober 1111飛信開(kāi)放平臺(tái)對(duì)于Feed處理計(jì)算資源分配用戶通過(guò)Web或 者OPEN API發(fā)布發(fā)布 隊(duì)列發(fā)布處理進(jìn)程（Feed內(nèi)容寫(xiě)入）本站 分發(fā) 隊(duì)列抓取進(jìn) 程外站 發(fā)布 隊(duì)列外站發(fā) 布處理 進(jìn)程動(dòng)態(tài)分發(fā)October 1112P

6、ush隊(duì)列對(duì)外站 Push進(jìn) 程外站 分發(fā) 隊(duì)列進(jìn)程動(dòng)進(jìn)動(dòng)態(tài)程態(tài)分分發(fā)發(fā)飛信開(kāi)放平臺(tái)對(duì)于Feed處理計(jì)算資源分配October 1113Feed的發(fā)布與好友Timeline的分發(fā)，通過(guò)多 隊(duì)列計(jì)算進(jìn)程進(jìn)行處理，隊(duì)列按處理優(yōu)先級(jí) 分布為本站發(fā)布隊(duì)列（本站用戶的發(fā)布內(nèi)容記錄以及寫(xiě)入Timeline）本站分發(fā)隊(duì)列（向本站好友分發(fā)Feed）外站Push隊(duì)列（將Feed發(fā)布到綁定的服務(wù)）外站Feed發(fā)布與分發(fā)隊(duì)列（每服務(wù)一個(gè)或者多個(gè) 任務(wù)處理隊(duì)列，用于來(lái)自合作伙伴的Feed轉(zhuǎn)換 分發(fā)）飛信開(kāi)放平臺(tái)對(duì)于Feed處理計(jì)算資源分配October 1114Feed發(fā)布與分發(fā)進(jìn)程發(fā)布進(jìn)程優(yōu)先，優(yōu)先完成內(nèi)容寫(xiě)入分發(fā)

7、只處理Timeline，Timeline索引存儲(chǔ)按照時(shí)間分 片優(yōu)先本站內(nèi)容分發(fā)與合作伙伴同步的進(jìn)程進(jìn)程的資源分配Push進(jìn)程與Fetch進(jìn)程分離，Push進(jìn)程無(wú)頻度控 制策略，優(yōu)先發(fā)送Fetch進(jìn)程每服務(wù)對(duì)應(yīng)1個(gè)或者多個(gè)，根據(jù)不同的 用戶抓取的優(yōu)先級(jí)進(jìn)行分級(jí)處理，F(xiàn)eed發(fā)布頻度 越高，分配進(jìn)程數(shù)越多飛信開(kāi)放平臺(tái)內(nèi)容抓取資源分配策略O(shè)ctober 1115按照合作伙伴業(yè)務(wù)類型分配微博類優(yōu)先，對(duì)應(yīng)在線用戶隊(duì)列執(zhí)行頻度比非微博 高根據(jù)用戶屬性制定不同的抓取頻度策略在線隊(duì)列（微博類3分鐘，非微博類10分鐘）低活躍用戶隊(duì)列高活躍用戶隊(duì)列用戶活躍度定期計(jì)算，非在線隊(duì)列2小時(shí)進(jìn)行重 新劃分與裝載飛信開(kāi)放平

8、臺(tái)用戶存儲(chǔ)資源分配October 1116用戶最新動(dòng)態(tài)緩存容量分配除了固定的用戶資料存儲(chǔ)，為在線用戶分配一定 數(shù)量的最新Feed 存儲(chǔ)Slot，減少DB讀寫(xiě)Slot數(shù)量分成3個(gè)等級(jí)，微博用戶，多綁定多好友 用戶，低綁定用戶DB數(shù)據(jù)存儲(chǔ)策略：微博類Feed與其他類分開(kāi)微博類Feed按照時(shí)間老化非微博類Feed按照固定配額分配存儲(chǔ)資源飛信開(kāi)放平臺(tái)緩存資源 分配策略O(shè)ctober 1117飛信開(kāi)放平臺(tái)的緩存分配體系資源緩存體系瀏覽器緩存CDN7層交換前部緩存圖片服務(wù)器的Web應(yīng)用 緩存數(shù)據(jù)緩存體系October 1118瀏覽器本地緩存Web Server 數(shù)據(jù)緩存Redis緩存服務(wù)器中間件服務(wù)器本地

9、緩存數(shù)據(jù)庫(kù)服務(wù)器的BuerPool減少數(shù)據(jù)流量，提高Web 加載速度，提升使用體驗(yàn)減少數(shù)據(jù)庫(kù)直接讀取，減少 重復(fù)計(jì)算，降低計(jì)算負(fù)荷Web服務(wù)器輸出緩存數(shù)據(jù)類緩存體系的總體技術(shù)架構(gòu)Web服務(wù)器Redis全局緩存區(qū)瀏覽器本地?cái)?shù)據(jù)緩存輸出緩存ESI局部 輸出緩存APC ， Session 數(shù)據(jù)緩存無(wú)緩存的7層交換全局緩存 區(qū)域弱Session 區(qū)強(qiáng)Session 區(qū)中間件服務(wù)器 緩存區(qū) LRU Pool數(shù)據(jù)庫(kù)的InnoDB Buer PoolOctober 1119Web服務(wù)器數(shù)據(jù)緩存October 1120APC存儲(chǔ)基于Shmop代碼緩存典型應(yīng)用場(chǎng)景：全局統(tǒng)一的不易變內(nèi)容例如：全局配置（頻度限制等

10、）Session本地Session僅用于保存短聲明周期過(guò)程數(shù)據(jù)存儲(chǔ)基于文件典型場(chǎng)景：OAuth認(rèn)證過(guò)程中間TokenRedis緩存體系October 1121Redis緩存與數(shù)據(jù)區(qū)域?qū)?yīng)，隔離影響范圍， 防止全面雪崩Redis分成了三個(gè)區(qū)域全局區(qū)域特點(diǎn)：全局共用，對(duì)各Web，中間件Server等價(jià)，重建成本低典型應(yīng)用：短連接的地址映射緩存構(gòu)建方法：多Server多進(jìn)程一致性Hash，無(wú)Persist，無(wú)復(fù)制Redis緩存體系October 1122弱Session區(qū)特點(diǎn)：與用戶相關(guān)，要求一致性低，重建成本低典型應(yīng)用：每用戶的Session典型對(duì)象：好友列表、隱私設(shè)置，50條最新動(dòng) 態(tài)（滿足Ajax