大用戶量下的系統(tǒng)架構(gòu)

無(wú)限擴(kuò)展大用戶量下的系統(tǒng)架構(gòu)問(wèn)題一個(gè)高并發(fā)的系統(tǒng)一個(gè)穩(wěn)定的系統(tǒng)一個(gè)高擴(kuò)展性的架構(gòu)一個(gè)簡(jiǎn)潔的方案我們需要的是2解析系統(tǒng)架構(gòu)中的底層元素穩(wěn)定性和擴(kuò)展性后臺(tái)數(shù)據(jù)處理前臺(tái)用戶請(qǐng)求實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)要做到這一點(diǎn)必須要考慮....3簡(jiǎn)潔簡(jiǎn)潔是最重要的設(shè)計(jì)依據(jù)將復(fù)雜的系統(tǒng)拆分成簡(jiǎn)潔的模塊減少系統(tǒng)維護(hù)的代價(jià)限制使用復(fù)雜的功能4簡(jiǎn)潔的Sql必須對(duì)Sql的使用做限制絕對(duì)不允許出現(xiàn)跨表的查詢DB的設(shè)計(jì)更大程度上取決于緩存的設(shè)計(jì)防止穿透緩存直接到達(dá)DB的訪問(wèn)將業(yè)務(wù)邏輯放到代碼中實(shí)現(xiàn),不要忘了DB的主要作用畢竟是存儲(chǔ)5簡(jiǎn)潔的緩存必須限制使用緩存的方法本地緩存/集群緩存維護(hù)緩存的數(shù)據(jù)拒絕維護(hù)多個(gè)緩存之間的同步6簡(jiǎn)潔的服務(wù)什么才是服務(wù)沒(méi)有業(yè)務(wù)邏輯的基礎(chǔ)服務(wù)包含業(yè)務(wù)邏輯的復(fù)雜服務(wù)獨(dú)立折分和部署數(shù)據(jù)讀寫(xiě)部分只交給服務(wù)處理盡量減少服務(wù)之間的相互依賴Controll負(fù)責(zé)服務(wù)之間的調(diào)度7簡(jiǎn)潔的擴(kuò)展因?yàn)楹?jiǎn)潔,所以容易Mysql的讀寫(xiě)分離和分庫(kù)分布式的Memcache多個(gè)Service的布署多個(gè)Controller的布署8強(qiáng)大工欲善其事,必先利其器盡可能多的做設(shè)計(jì)盡可能少的寫(xiě)實(shí)現(xiàn)盡可能多的測(cè)試盡可能多的分析9強(qiáng)大的DALDAL應(yīng)該做到的事情控制Sql的使用一個(gè)黑盒子詳細(xì)的日志記錄10強(qiáng)大的ScallopScallop又該做什么零代碼,非侵入和SCA的完美融合如何控制Service的加入和移除保留多種負(fù)載均衡模式的擴(kuò)展性11強(qiáng)大的SCA你做什么都可以告訴SCA輕代碼非侵入性RMI/WebService/JMS簡(jiǎn)單的服務(wù)和復(fù)雜的服務(wù)12強(qiáng)大的代碼生成工具什么才是工程師必須做的你來(lái)做數(shù)據(jù)庫(kù)/Service/復(fù)雜業(yè)務(wù)邏輯我來(lái)做底層代碼/Service/配置文件的實(shí)現(xiàn)不把時(shí)間花費(fèi)在重復(fù)執(zhí)行的環(huán)節(jié)上13核心系統(tǒng)設(shè)計(jì)中考慮的核心拆解模塊模塊之間如何交互計(jì)算的部分存儲(chǔ)的部分交互的部分變化的部分14將系統(tǒng)拆解成Service為什么選擇Service復(fù)用高內(nèi)聚調(diào)試部署15RMI是系統(tǒng)調(diào)用的核心最常使用的調(diào)用方式高效很低的學(xué)習(xí)曲線16JMS是系統(tǒng)解耦的核心什么時(shí)候使用JMS解決長(zhǎng)尾邏輯更輕松的方式穩(wěn)定的消息系統(tǒng)17ETL是計(jì)算部分的核心如何使用ETLETL用來(lái)做數(shù)據(jù)轉(zhuǎn)換ETL不應(yīng)該直接讀寫(xiě)自己的DBETL一般情況下只允許部署一臺(tái)ETL的日志監(jiān)控和統(tǒng)計(jì)郵件ETL的部署18緩存架構(gòu)是系統(tǒng)性能的核心緩存,還是緩存緩存是用來(lái)解決并發(fā)問(wèn)題的緩存不是內(nèi)存數(shù)據(jù)庫(kù)緩存是分級(jí)別的19存儲(chǔ)系統(tǒng)的擴(kuò)展性雖然我們擁有緩存,但是Mysql依然做好了大數(shù)據(jù)量的準(zhǔn)備讀寫(xiě)分離是需要的雖然單表的性能支持千萬(wàn)級(jí)別的記錄,還是需要使用分庫(kù)的功能分庫(kù)對(duì)Sql的使用要求更嚴(yán)格20Comet是用戶交互的核心已經(jīng)相當(dāng)成熟的技術(shù)框架Erlang對(duì)大規(guī)模用戶量的支持Comet技術(shù)對(duì)用戶交互的體難21Drools和Groovy是動(dòng)態(tài)計(jì)算的核心總有些非實(shí)時(shí)的計(jì)算那些變動(dòng)比較大的業(yè)務(wù)邏輯工程師和業(yè)務(wù)人員的協(xié)作22核心回顧系統(tǒng)設(shè)計(jì)中考慮的核心拆解模塊(Service)模塊之間如何交互(RMI/JMS)計(jì)算的部分(ETL)存儲(chǔ)的部分(Mysql/讀寫(xiě)分離/分庫(kù))交互的部分(Comet)變化的部分(Drools/Groovy)23系統(tǒng)架構(gòu)圖ServiceServiceServiceServiceServiceService