拍拍后臺(tái)架構(gòu)介紹

2024/4/8廣州斗魚(yú)網(wǎng)絡(luò)科技有限公司拍拍后臺(tái)架構(gòu)介紹陳志軍2015-9-181拍拍后臺(tái)架構(gòu)介紹-大綱縱向-技術(shù)架構(gòu)AppPlatform中間件模型負(fù)載均衡/容災(zāi)方案MsgQ監(jiān)控體系發(fā)布流程橫向-SOA案例-多客服系統(tǒng)介紹對(duì)斗魚(yú)服務(wù)器模型的思考縱向-技術(shù)架構(gòu)nginx（+前端頁(yè)面緩存）DBapache/TwsAO可復(fù)用的業(yè)務(wù)、聚合服務(wù)AO+DAO數(shù)據(jù)服務(wù)同步/異步同步/異步DALDB分布式數(shù)據(jù)緩存讀/寫(xiě)寫(xiě)分布式文件系統(tǒng)配置中心索引服務(wù)DBAppPlatform中間件表現(xiàn)層：cgiwebservice：基于webplatform的cgi，運(yùn)行于多進(jìn)程模式的tws平臺(tái)上template：符合googletemplate的頁(yè)面模板，供cgi或webservice用來(lái)渲染頁(yè)面PO:業(yè)務(wù)邏輯層和cgi或webservice之間進(jìn)行數(shù)據(jù)傳遞的類，該類由AO組織，由cgi或webservice渲染頁(yè)面時(shí)使用應(yīng)用層：AO：業(yè)務(wù)邏輯實(shí)現(xiàn)，運(yùn)行于進(jìn)程模式的Appplatform上（異步能力）IDL：業(yè)務(wù)對(duì)外提供的接口描述文件，可以通過(guò)autogen生成C++,java以及PHP的代碼領(lǐng)域?qū)?、持久層BO：領(lǐng)域?qū)ο驞AO：數(shù)據(jù)訪問(wèn)層實(shí)現(xiàn)，處理和事務(wù)相關(guān)的相關(guān)邏輯;，運(yùn)行于進(jìn)程模式的Appplatform上數(shù)據(jù)層：索引：基于sphinx構(gòu)建的通用索引系統(tǒng)，提供高性能的復(fù)雜查詢服務(wù)TTC,TMEM,TDB：公司級(jí)的云設(shè)施DAOCAO數(shù)據(jù)庫(kù)索引AOBOBOcgiIDLwebservicePOPOwebplatformappplatformTMEMtemplateMVC展現(xiàn)層應(yīng)用層領(lǐng)域?qū)映志脤訑?shù)據(jù)層多進(jìn)程的運(yùn)行模式AppPlatform中間件NetioAO0x????AO0x????AO0x????DAO0x????DAO0x????BackNetioContainerFrontKeyBackKeypth用戶級(jí)線程，調(diào)度配置中心請(qǐng)求回應(yīng)AppPlatform中間件職責(zé)單一、明晰快慢分離代碼、模塊、組件復(fù)用平行擴(kuò)展集中監(jiān)控使用接口描述語(yǔ)言，方便系統(tǒng)間集成重復(fù)代碼使用工具自動(dòng)生成業(yè)務(wù)代碼與平臺(tái)代碼分離，簡(jiǎn)化業(yè)務(wù)邏輯使用協(xié)程方式，簡(jiǎn)化業(yè)務(wù)邏輯和代碼編寫(xiě)AppPlatform中間件

IDL文件系統(tǒng)間的集成IDL提供了充足的元數(shù)據(jù)信息autogen，業(yè)務(wù)協(xié)議的自動(dòng)生成C++phpjavaC#delphipython…通過(guò)tcp/udp進(jìn)行通訊負(fù)載均衡與容災(zāi)服務(wù)請(qǐng)求路由方式/usr/local/c2csvc/global_conf/ServiceConfig.xml配置：Route=Mod（按路由key取模）Route=Mod+L5（按路由key取模+L5負(fù)載均衡）負(fù)載均衡與容災(zāi)-L5負(fù)載均衡與容災(zāi)-L5負(fù)載均衡與容災(zāi)-L5MsgQ應(yīng)用程序或組件之間的一種通訊方式分布式的

是“可靠”的MsgQ-系統(tǒng)拓?fù)浼軜?gòu)Agents和Servers集群構(gòu)成了MsgQ的消息服務(wù)總線.接入CGIAODAOidmakerDAL頻率限制分布式cacheWebPlatformnginx插件配置中心統(tǒng)計(jì)Server權(quán)限系統(tǒng)敏感詞LogServer/模調(diào)proxyAppPlatform錯(cuò)誤碼MsgQ其他組件監(jiān)控體系監(jiān)控一切可監(jiān)控的發(fā)布流程EOS發(fā)布系統(tǒng)：cgi,html,js,picrpm打包系統(tǒng)：ao,dao配置中心：路由切換，配置變更、DB管理等由系統(tǒng)來(lái)保證：（保證環(huán)境一致性） dev->beta->gamma->idc灰度發(fā)布橫向-SOA 面向服務(wù)的體系結(jié)構(gòu)是一個(gè)組件模型，它將應(yīng)用程序的不同功能單元（稱為服務(wù)）通過(guò)這些服務(wù)之間定義良好的接口和契約聯(lián)系起來(lái)。接口是采用中立的方式進(jìn)行定義的，它應(yīng)該獨(dú)立于實(shí)現(xiàn)服務(wù)的硬件平臺(tái)、操作系統(tǒng)和編程語(yǔ)言。這使得構(gòu)建在各種各樣的系統(tǒng)中的服務(wù)可以使用一種統(tǒng)一和通用的方式進(jìn)行交互?？蓮耐獠吭L問(wèn)隨時(shí)可用粗粒度的服務(wù)接口分級(jí)松散耦合可重用的服務(wù)服務(wù)接口設(shè)計(jì)管理標(biāo)準(zhǔn)化的服務(wù)接口支持各種消息模式精確定義的服務(wù)契約案例-多客服后臺(tái)架構(gòu)智能的、復(fù)雜的、大QQ案例-多客服后臺(tái)架構(gòu)案例-多客服后臺(tái)架構(gòu)模塊功能服務(wù)器數(shù)量Proxy實(shí)現(xiàn)Sconn、Oidb、Paipai代理>=2，B2跨機(jī)房容災(zāi)多機(jī)負(fù)載均衡，可平衡擴(kuò)展Web接入實(shí)現(xiàn)客戶端請(qǐng)求接入代理>=4，C1網(wǎng)通和電信環(huán)境跨機(jī)房容災(zāi)Nginx負(fù)載均衡Ao/DaoC2CPlatform平臺(tái)架構(gòu)>=4，B1跨機(jī)房容災(zāi)多機(jī)負(fù)載均衡，可平衡擴(kuò)展L5技術(shù)應(yīng)用，自動(dòng)摘除僵死機(jī)器，進(jìn)行過(guò)載保護(hù)DB數(shù)據(jù)存儲(chǔ)>=6，A1數(shù)據(jù)跨機(jī)房雙備份統(tǒng)計(jì)數(shù)據(jù)總開(kāi)通賣(mài)家數(shù)：3W+

總開(kāi)通工號(hào)數(shù)：12W+活躍賣(mài)家數(shù)：2W+

活躍工號(hào)數(shù)：10W+聊天客戶數(shù)：60W+/日接收消息數(shù)：400W+/日 發(fā)送消息數(shù)：450W+/日

不同類型的服務(wù)部署在不同類型的機(jī)器上，以節(jié)省硬件成本。服務(wù)器類型介紹對(duì)斗魚(yú)服務(wù)器模型的思考性能、擴(kuò)展、容災(zāi)等方面的思考代碼維護(hù)方面的思考現(xiàn)有模型其它服務(wù)器MsgServer其它服務(wù)器netmsgnetmsgrpcrpc性能、擴(kuò)展、容災(zāi)等方面的思考服務(wù)間通信鏈條長(zhǎng)，影響性能；且MsgServer容易成為瓶頸數(shù)據(jù)都緩存在本地，無(wú)法做到平行擴(kuò)展、無(wú)法容災(zāi)服務(wù)無(wú)法做快慢分離，慢速服務(wù)會(huì)拖累整體系統(tǒng)無(wú)法按業(yè)務(wù)邏輯劃分模塊，導(dǎo)致ChatRoom過(guò)于龐大，引起諸多問(wèn)題消息隊(duì)列（RPC請(qǐng)求）放在內(nèi)存中，服務(wù)重啟時(shí)，必然導(dǎo)致信息丟失服務(wù)器信息同步?jīng)]有確認(rèn)機(jī)制，不能保證一致性代碼維護(hù)方面的思考存在的問(wèn)題（引自拍拍）每個(gè)AppServer都有大量的重復(fù)代碼，增加了應(yīng)用開(kāi)發(fā)人員的負(fù)擔(dān)；開(kāi)發(fā)人員不可避免地需要編寫(xiě)調(diào)試協(xié)議打解包代碼，花費(fèi)大量的時(shí)間和精力；底層代碼一旦有調(diào)整，需要重編各個(gè)AppServer；每個(gè)AppSe