手機(jī)紅包后臺應(yīng)用架構(gòu)

1、紅包狂歡背后的秘密手機(jī)紅包后臺應(yīng)用架構(gòu)紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)紅包產(chǎn)品發(fā)展歷程刷一刷紅包參與用戶數(shù)3.08億 派發(fā)22.34億個(gè)紅包LBS+ AR& 刷一刷紅包參與用戶數(shù)3.42億派發(fā)2.5億現(xiàn)金紅包和價(jià)值30億卡券紅包企業(yè)& 明星紅包參與用戶數(shù)1.54億 派發(fā)價(jià)值30億紅包201720162015紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)紅包后臺架構(gòu)及設(shè)計(jì)原則n 預(yù)處理充分應(yīng)用靜態(tài)資源閑時(shí)下載現(xiàn)金

2、發(fā)放預(yù)處理，提前分拆 訂單靜態(tài)地圖數(shù)據(jù)預(yù)處理構(gòu)建n 前端保護(hù)后端盡量縮減往后端透傳的流量， 每一層優(yōu)先做預(yù)判和檢測邏 輯接入層保護(hù)紅包系統(tǒng)，限定客戶端請求紅包系統(tǒng)保護(hù)CFT、禮包系 統(tǒng)，實(shí)時(shí)控制發(fā)放速度n 架構(gòu)簡單可靠、異步化主邏輯靈活伸縮現(xiàn)金紅包禮品紅包變更 通 知搶/領(lǐng)/查投票搶紅包SSO投票互動后臺下載資源拉取配置下發(fā)通知紅包 系統(tǒng)消息系統(tǒng)安全審計(jì)現(xiàn)金支付系統(tǒng)禮包發(fā)貨系統(tǒng)騰訊內(nèi)部業(yè)務(wù)黃鉆 綠鉆京東 攜程重試模塊異步保證可靠請求游戲挖財(cái)?shù)谌綐I(yè)務(wù)TDW入庫公眾 號報(bào)表終端配置系統(tǒng)CDN資料關(guān)系鏈架構(gòu)演進(jìn)|企業(yè)&明星紅包架構(gòu)演進(jìn)|2015-企業(yè)&明星紅包n 無經(jīng)驗(yàn),時(shí)間緊立項(xiàng)到上線不足2個(gè)月

3、20種虛擬禮包接入n 多部門協(xié)作跨4個(gè)BG,涉及9個(gè)部門n 突發(fā)異常應(yīng)對后端業(yè)務(wù)容量參差不齊部分業(yè)務(wù)缺乏海量運(yùn)營經(jīng)驗(yàn)n 獎(jiǎng)品有效發(fā)放如何保證不多發(fā)少發(fā)如何保證高中獎(jiǎng)率如何保證整場活動持續(xù)派發(fā)n 安全防刷Uin頻率限制每種獎(jiǎng)品個(gè)數(shù)限制安全打擊和流水審計(jì)投票 互動 后臺禮包發(fā)放現(xiàn)金 發(fā)放訂單(本地)SSO接入服務(wù)無狀態(tài)尋址日志 監(jiān)控資料 關(guān)系鏈消息 系統(tǒng)CDN安全 審計(jì)抽獎(jiǎng)邏輯流水系統(tǒng)配額管理安全策略KV存儲組件禮包 發(fā)放公眾號架構(gòu)演進(jìn)|2016-刷一刷紅包靜態(tài)資源閑時(shí)下載現(xiàn)金發(fā)放預(yù)處理，提前分拆訂單靜態(tài)地圖數(shù)據(jù)預(yù)處理構(gòu)建前端保護(hù)后端接入層保護(hù)紅包系統(tǒng)，紅包系統(tǒng)保護(hù)CFT、禮包系統(tǒng)制發(fā)放速度架構(gòu)簡

4、單可靠、主邏輯靈活伸縮架構(gòu)演進(jìn)|2016-刷一刷紅包n 海量高并發(fā)預(yù)估抽獎(jiǎng)峰值800w/sn 快速擴(kuò)容支持約20G訂單數(shù)據(jù)n 突發(fā)異常應(yīng)對后端業(yè)務(wù)性能及容量參差不 齊部分業(yè)務(wù)缺乏海量運(yùn)營經(jīng)驗(yàn)n 好友間刷次數(shù)實(shí)時(shí)排行讀擴(kuò)散or寫擴(kuò)散存儲如何設(shè)計(jì)堆排禮包發(fā)放現(xiàn)金 發(fā)放KV存儲組件訂單SSO接入服務(wù)一致性尋址+預(yù)處理+頻率控制公眾號禮包 發(fā)放全量緩存合并+拷貝排行榜 服務(wù)排行榜 代理日志 監(jiān)控資料 關(guān)系鏈消息 系統(tǒng)CDN安全 審計(jì)頻限管理抽獎(jiǎng)緩存抽獎(jiǎng)邏輯安全策略流水系統(tǒng)配額管理架構(gòu)演進(jìn)|2017-LBS+AR天降紅包架構(gòu)演進(jìn)|2017-LBS+AR天降紅包n 地圖任務(wù)數(shù)據(jù)管理千萬級POI數(shù)據(jù)Set化

5、管理，投放靈活預(yù)構(gòu)建緩存,雙Buffer設(shè)計(jì), 免網(wǎng)絡(luò)流量高速讀取地區(qū)紅包拆分規(guī)則n 實(shí)時(shí)余量統(tǒng)計(jì)地區(qū)任務(wù)獎(jiǎng)品多維度統(tǒng) 計(jì)無狀態(tài)，余量展示問題n 歷史記錄割接數(shù)據(jù)庫分表，批量割接 ， 快速入庫,主服務(wù)無阻塞禮包發(fā)放現(xiàn)金 發(fā)放流水系統(tǒng)KV存儲 組件配額管理安全策略訂單頻限管理CDBProxy配置 中心抽獎(jiǎng)邏輯POI管理配置 客戶端SSO接入服務(wù)一致性尋址+預(yù)處理+頻率控制共享內(nèi)存預(yù)告 服務(wù)采集余量 服務(wù)CDB全量緩存合并+拷貝排行榜 服務(wù)排行榜 代理CDN地圖 定位安全 審計(jì)投放 系統(tǒng)日志 監(jiān)控資料 關(guān)系鏈消息 系統(tǒng)公眾號禮包 發(fā)放緩存紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略

6、設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)紅包系統(tǒng)業(yè)務(wù)模型n 派發(fā)策略瞬間峰值大，后端頂不住 錯(cuò)峰有可能導(dǎo)致后來用戶搶不到 快速響應(yīng)業(yè)務(wù)故障的能力結(jié)合預(yù)演數(shù)據(jù)提取業(yè)務(wù)模型，評估請求量，準(zhǔn)備資源評估合理的錯(cuò)峰時(shí)間，保持高中獎(jiǎng)率n 抽獎(jiǎng)算法獎(jiǎng)品發(fā)放速率控制獎(jiǎng)品發(fā)放比例實(shí)時(shí)可調(diào)盡量保證獎(jiǎng)品都派發(fā)出去開始獎(jiǎng)池為空？按桐率隨機(jī)挑選一個(gè)獎(jiǎng)品該獎(jiǎng)品是否 還有發(fā)放配額？派發(fā)該獎(jiǎng)品去掉該獎(jiǎng)品結(jié)束否是否是是限時(shí)結(jié)束？否是中獎(jiǎng)次數(shù)限制？否挑選獎(jiǎng)品放入獎(jiǎng)池靈活可靠的獎(jiǎng)品派發(fā)策略n Grocery分布式計(jì)數(shù)器靈活拆分和配置，支持不同 數(shù)目和限制的物品，快速響 應(yīng)產(chǎn)品物品變更需求n 靈活的配

7、額策略獎(jiǎng)品發(fā)送速度精確到秒10s快速全量更新獎(jiǎng)品全局 配置，保護(hù)后端服務(wù)n 毫秒級限速控制本地緩存配置，根據(jù)機(jī)器數(shù) 預(yù)先分配上限物品id+時(shí)間戳為key在本地 拆分配額，確保往后端請求均勻秒級配比：5%10%.配額： 30計(jì)數(shù)：7節(jié)點(diǎn)：1.1秒級配比：5%10%.配額： 30計(jì)數(shù)：2節(jié)點(diǎn)：1.2秒級配比：3%7%.配額： 100計(jì)數(shù)： 26節(jié)點(diǎn)：2.113.當(dāng)前配額寸司(少)5%10.t 1t 2.共享緩存WR紅包服務(wù)配額Agent服務(wù)A共享緩存WR紅包服務(wù)配額Agent服務(wù)B同步同步計(jì)數(shù)計(jì)數(shù)紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)通用地圖任務(wù)方案設(shè)

8、計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)通用地圖任務(wù)方案設(shè)計(jì)n 簡化為平面的靜態(tài)緩存設(shè) 計(jì)默 認(rèn) 地 圖 標(biāo) 尺 用戶坐標(biāo)到格子的簡單計(jì)算 格子-POI點(diǎn)-任務(wù)的存儲主邏輯全量緩存，加速查找n 基于任務(wù)的通用投放策略POI隨人口熱力圖/區(qū)域切分抽象任務(wù)和POI的對應(yīng)關(guān)系不同任務(wù)的投放策略，獎(jiǎng)品 數(shù)目自由配置紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)配置系統(tǒng)設(shè)計(jì)n 配置緩存預(yù)先構(gòu)建配置的讀量遠(yuǎn)高于寫量地圖及任務(wù)投放數(shù)據(jù)全量有 序緩存，加速訪問配置數(shù)據(jù)存在關(guān)聯(lián)，采用雙Buffer設(shè)計(jì)，配置可無鎖更 新和使用統(tǒng)一

9、配置操作接口DoubleBufferVariabledataFixedindexFixedset_0set_1poi_0poi_1task_0task_1 item_0item_1CDB配置中心WR共享緩存緩存 構(gòu)建 配置 同步共享緩存R配置同步AgentW業(yè)務(wù) 進(jìn)程紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)實(shí)時(shí)采集方案設(shè)計(jì)n 采用讀寫分離，共享緩存解耦n 讀服務(wù)可平行擴(kuò)展，不受存儲層限制n 多維度統(tǒng)計(jì)，聚合采集，減少包擴(kuò)散n 預(yù)構(gòu)建本地緩存，提升檢索性能n 海量查詢不會影響抽獎(jiǎng)系統(tǒng)發(fā)獎(jiǎng)計(jì)數(shù)器采集構(gòu)建共享

10、緩存余量&預(yù)告服務(wù)并發(fā)讀聚合余量&預(yù)告服務(wù)余量&預(yù)告服務(wù)紅包產(chǎn)品簡介紅包系統(tǒng)架構(gòu)設(shè)計(jì)演進(jìn)紅包核心功能設(shè)計(jì)介紹派獎(jiǎng)策略設(shè)計(jì)通用地圖任務(wù)方案設(shè)計(jì)配置系統(tǒng)設(shè)計(jì)實(shí)時(shí)采集方案設(shè)計(jì)紅包架構(gòu)設(shè)計(jì)策略總結(jié)過載保護(hù)及柔性策略重點(diǎn)：要提前做好預(yù)案！部門模塊柔性策略當(dāng)前狀態(tài)影響即通平臺部SSO后臺調(diào)整客戶端抽獎(jiǎng)/隨機(jī)上報(bào)間隔支持降低刷紅包請求ptlogin調(diào)整中獎(jiǎng)比例，減少領(lǐng)用請求支持可能部分獎(jiǎng)品派發(fā)不出去GrocerySSO調(diào)整中空紅包比例支持可能部分獎(jiǎng)品派發(fā)不出去應(yīng)用綜合部公眾號關(guān)閉或調(diào)整中獎(jiǎng)比例支持用戶收不到中獎(jiǎng)通知增值渠道部異步發(fā)貨調(diào)整中獎(jiǎng)比例支持延遲發(fā)貨MP財(cái)付通財(cái)付通調(diào)整中獎(jiǎng)比例支持可能部分現(xiàn)金紅包派發(fā)

11、不出去支付平臺部H5立即領(lǐng)用（裝扮類）調(diào)整中獎(jiǎng)比例支持可能部分個(gè)性禮包派發(fā)不出去第三方H5立即領(lǐng)用調(diào)整中獎(jiǎng)比例或禁用第三方跳轉(zhuǎn)支持可能部分卡券禮包派發(fā)不出去有效發(fā)放及安全策略IP訪問權(quán)限限制機(jī)器環(huán)境操作日志紅包生效后校驗(yàn)現(xiàn)金預(yù)處理以防 多發(fā)訂單去重機(jī)制防止 重復(fù)請求訂單服務(wù)多機(jī)部署事前檢查獎(jiǎng)品發(fā)放業(yè)務(wù)安全實(shí)時(shí)保障事后校驗(yàn)系統(tǒng)內(nèi)日志流水 對賬系統(tǒng)外日志流水 對賬（財(cái)付通和 增值）白名單用戶參與每次活動之前按 照之前安全邏輯 動態(tài)刷新定位器識別信令側(cè)SSO通道保證用戶號碼，設(shè)備imei號頻率和領(lǐng)取上限 限制號碼戶口/IP所在地/LBS所在地幾者的 跳變的檢測中獎(jiǎng)記錄審計(jì)和 封號處理大型活動通用架構(gòu)

12、設(shè)計(jì)原則活動資源預(yù)加載前端請求間隔/次數(shù)可配置有合理的錯(cuò)峰邏輯和產(chǎn)品展 現(xiàn)形式活動結(jié)果預(yù)處理容量和柔性策略考慮充分， 保護(hù)后端靜態(tài)數(shù)據(jù)提前構(gòu)建高效緩存讀寫分離，讀不要求強(qiáng)一致性熱點(diǎn)數(shù)據(jù)預(yù)處理 業(yè)務(wù)流程異步化 通用任務(wù)配置機(jī)制配置系統(tǒng)快速處理異常問題寫數(shù)據(jù)保證最終一致性完善的日志，對賬功能活動存儲活動邏輯接入系統(tǒng)前端架構(gòu)用戶頻率，數(shù)目限制惡意用戶打擊策略安全完善的日志，對賬功能用戶惡意攻擊應(yīng)對用戶檢測和上報(bào)如何確保大型活動成功監(jiān)控后臺代碼各部分交叉 Review協(xié)議響應(yīng)時(shí)間測試模擬真實(shí)請求全鏈路壓測質(zhì)量工具各種突發(fā)事件的正交完備性預(yù)案 討論，明確各個(gè)角色職責(zé)預(yù)案手冊打印出來，人手一份運(yùn)維和值班同學(xué)架構(gòu)/預(yù)案培訓(xùn)周邊系統(tǒng)梳理應(yīng)急預(yù)案演練和復(fù)盤核心視圖和關(guān)鍵屬性整 理定制秒級監(jiān)控告警告警標(biāo)準(zhǔn)和負(fù)責(zé)人梳理內(nèi)存dump/秒起檢測完備關(guān)鍵操作腳本/頁面化活動前需要做的check工 具腳本化安排紅包相關(guān)的各個(gè)參與 部門聯(lián)合架構(gòu)ReviewQQ后臺系統(tǒng)