威發(fā)辦公平臺(tái)服務(wù)器集成部署方案

1、威發(fā)云辦公平臺(tái)服務(wù)器集成部署方案V1.0威發(fā)（西安）軟件有限公司二一四年十一月五日11 / 11文檔可自由編輯打印目錄一、需求分析31.需求說(shuō)明32.技術(shù)指標(biāo)3二、部署方案31.主要技術(shù)點(diǎn)說(shuō)明31.1負(fù)載均衡與集群31.2熱備策略31.3靜態(tài)資源分離及CDN加速31.4邏輯節(jié)點(diǎn)劃分41.5冷備份策略41.6安全數(shù)據(jù)通道42.部署架構(gòu)42.1部署架構(gòu)示意圖42.2運(yùn)維管理服務(wù)器組52.3統(tǒng)一認(rèn)證服務(wù)器組52.4平臺(tái)節(jié)點(diǎn)服務(wù)器組63.容量設(shè)計(jì)73.1統(tǒng)一認(rèn)證服務(wù)器73.2平臺(tái)節(jié)點(diǎn)服務(wù)器容量8三、風(fēng)險(xiǎn)應(yīng)對(duì)101.故障匯總10四、反饋與總結(jié)11一、 需求分析1. 需求說(shuō)明為滿足威發(fā)云辦公平臺(tái)的部署及運(yùn)

2、維支撐，實(shí)現(xiàn)穩(wěn)定的，安全的，經(jīng)濟(jì)的可運(yùn)營(yíng)環(huán)境，需設(shè)計(jì)可行的服務(wù)器運(yùn)營(yíng)環(huán)境及可行的擴(kuò)展支撐方案。2. 技術(shù)指標(biāo)ü 最低可行運(yùn)行環(huán)境配置及并發(fā)容量、可穩(wěn)定運(yùn)行時(shí)間、冗余方式。ü 穩(wěn)定安全的單節(jié)點(diǎn)可行運(yùn)行環(huán)境配置及并發(fā)容量、可穩(wěn)定運(yùn)行時(shí)間、冗余方式。ü 可擴(kuò)展的可行運(yùn)行環(huán)境配置及并發(fā)容量、可穩(wěn)定運(yùn)行時(shí)間、冗余方式。二、 部署方案1. 主要技術(shù)點(diǎn)說(shuō)明1.1 負(fù)載均衡與集群Ø 應(yīng)用服務(wù)器集群與負(fù)載均衡Ø Memcache緩存服務(wù)集群Ø Mysql數(shù)據(jù)庫(kù)集群與負(fù)載均衡Ø Ldap服務(wù)負(fù)載均衡Ø 租用阿里云SLB負(fù)載均衡服務(wù)1.

3、2 熱備策略Ø Mysql數(shù)據(jù)庫(kù)主從熱備策略Ø Memcache雙寫(xiě)熱備策略Ø LDAP Master/Consumer Replication備份策略Ø 靜態(tài)資源準(zhǔn)實(shí)時(shí)熱備策略1.3 靜態(tài)資源分離及CDN加速Ø 靜態(tài)資源獨(dú)立發(fā)布（Nginx）Ø 靜態(tài)資源按分類(lèi)劃分，分服務(wù)器發(fā)布Ø 活躍資源做CDN加速1.4 邏輯節(jié)點(diǎn)劃分單節(jié)點(diǎn)為一組服務(wù)器，對(duì)外映射統(tǒng)一的域名，協(xié)同完成所有功能。單節(jié)點(diǎn)內(nèi)可發(fā)布和支持多個(gè)企業(yè)，一定的硬件配置可支持一定量的企業(yè)容量、用戶容量，當(dāng)硬件開(kāi)銷(xiāo)/企業(yè)數(shù)量(用戶數(shù)量)之比值達(dá)到最優(yōu)時(shí)，需開(kāi)啟新節(jié)點(diǎn)應(yīng)對(duì)更多

4、的企業(yè)、用戶。假定單節(jié)點(diǎn)可支撐10萬(wàn)用戶，50萬(wàn)用戶需開(kāi)啟5個(gè)節(jié)點(diǎn)。1.5 冷備份策略Ø 虛擬機(jī)快照鏡像備份Ø 數(shù)據(jù)庫(kù)數(shù)據(jù)定期導(dǎo)出到本地Ø 靜態(tài)資源數(shù)據(jù)定期導(dǎo)出本地Ø LDAP組織架構(gòu)數(shù)據(jù)定期導(dǎo)出本地1.6 安全數(shù)據(jù)通道Ø 基于https的安全加密數(shù)據(jù)傳輸通道Ø 核心數(shù)據(jù)加密傳輸2. 部署架構(gòu)22.1 部署架構(gòu)示意圖服務(wù)器部署分三部分：運(yùn)維管理服務(wù)器組，主要負(fù)責(zé)運(yùn)營(yíng)管理，系統(tǒng)監(jiān)控，報(bào)表管理統(tǒng)一認(rèn)證服務(wù)器組，主要用于集中認(rèn)證管理，組織架構(gòu)共享平臺(tái)節(jié)點(diǎn)服務(wù)器組，主要用于企業(yè)管理，即時(shí)消息，應(yīng)用市場(chǎng)2.2 運(yùn)維管理服務(wù)器組運(yùn)維服務(wù)器組核心工

5、作是日常運(yùn)營(yíng)管理與維護(hù)，包括企業(yè)注冊(cè)開(kāi)通授權(quán)，應(yīng)用市場(chǎng)管理，系統(tǒng)監(jiān)控，報(bào)表管理。性能并發(fā)要求不高，數(shù)據(jù)安全要求比較高。Ø 適合以下策略：ü Mysql數(shù)據(jù)庫(kù)主從熱備策略ü 靜態(tài)資源準(zhǔn)實(shí)時(shí)熱備策略ü Nginx服務(wù)獨(dú)立發(fā)布應(yīng)用市場(chǎng)資源ü 活躍資源做CDN加速ü 虛擬機(jī)定期快照鏡像備份ü 數(shù)據(jù)庫(kù)數(shù)據(jù)定期導(dǎo)出到本地ü 應(yīng)用市場(chǎng)數(shù)據(jù)定期導(dǎo)出本地Ø 推薦服務(wù)器部署方案：ü 數(shù)據(jù)庫(kù)服務(wù)器x2ü 應(yīng)用服務(wù)器x1ü 監(jiān)控服務(wù)器x1ü 報(bào)表服務(wù)器x1ü 應(yīng)用市場(chǎng)資源服務(wù)器x

6、1ü 數(shù)據(jù)備份服務(wù)器x1Ø 服務(wù)器基本組成如下：2.3 統(tǒng)一認(rèn)證服務(wù)器組認(rèn)證服務(wù)器組核心任務(wù)是組織架構(gòu)共享及提供統(tǒng)一認(rèn)證服務(wù)。寫(xiě)入性能要求不高，讀取性能要求高，認(rèn)證并發(fā)要求高，數(shù)據(jù)安全要求高。這里組織架構(gòu)采用sun ldap構(gòu)建，用于存儲(chǔ)和認(rèn)證。Ø 適合以下策略ü LDAP服務(wù)負(fù)載均衡ü LDAP Master/Consumer Replication備份策略ü 認(rèn)證服務(wù)器集群與負(fù)載均衡ü LDAP組織架構(gòu)數(shù)據(jù)定期導(dǎo)出本地Ø 推薦服務(wù)器部署：ü LDAP服務(wù)器x Nü 認(rèn)證服務(wù)器x Nü

7、; 數(shù)據(jù)備份服務(wù)器x1Ø 服務(wù)器基本組成如下：2.4 平臺(tái)節(jié)點(diǎn)服務(wù)器組平臺(tái)服務(wù)器組的核心任務(wù)是提供企業(yè)管理、即時(shí)消息服務(wù)、基礎(chǔ)應(yīng)用支撐、第三方平臺(tái)服務(wù)，作為統(tǒng)一認(rèn)證中心，統(tǒng)一消息中心，統(tǒng)一應(yīng)用中心，對(duì)數(shù)據(jù)的讀寫(xiě)及并發(fā)要求都很高，數(shù)據(jù)安全要求高，通信安全要求高。Ø 適合以下策略ü 應(yīng)用服務(wù)器集群與負(fù)載均衡ü Memcache緩存服務(wù)集群ü Mysql數(shù)據(jù)庫(kù)集群與負(fù)載均衡ü 租用阿里云SLB負(fù)載均衡服務(wù)ü Mysql數(shù)據(jù)庫(kù)主從熱備策略ü Memcache雙寫(xiě)熱備策略ü 靜態(tài)資源準(zhǔn)實(shí)時(shí)熱備策略ü 消息

8、，應(yīng)用模塊，應(yīng)用市場(chǎng)，頭像等靜態(tài)資源獨(dú)立發(fā)布（Nginx）ü 靜態(tài)資源按分類(lèi)劃分，分服務(wù)器發(fā)布ü 活躍資源做CDN加速（如頭像）ü 虛擬機(jī)快照鏡像備份ü 數(shù)據(jù)庫(kù)數(shù)據(jù)定期導(dǎo)出到本地ü 靜態(tài)資源數(shù)據(jù)定期導(dǎo)出本地ü 基于https的安全加密數(shù)據(jù)傳輸通道ü 核心數(shù)據(jù)加密傳輸Ø 推薦服務(wù)器部署ü 應(yīng)用服務(wù)器x Nü 數(shù)據(jù)庫(kù)服務(wù)器x Nü 緩存服務(wù)器x Nü 資源服務(wù)器x Nü 備份服務(wù)器x 1Ø 服務(wù)器基本組成如下：3. 容量設(shè)計(jì)針對(duì)對(duì)當(dāng)前系統(tǒng)現(xiàn)狀的分析，以及結(jié)合項(xiàng)

9、目發(fā)展的進(jìn)度規(guī)劃，初步評(píng)測(cè)認(rèn)為系統(tǒng)的主要瓶頸在平臺(tái)節(jié)點(diǎn)服務(wù)器和統(tǒng)一認(rèn)證服務(wù)器環(huán)節(jié)。這里主要對(duì)這兩組服務(wù)器的存儲(chǔ)，并發(fā)等容量進(jìn)行理論設(shè)計(jì)評(píng)估。1233.1 統(tǒng)一認(rèn)證服務(wù)器單臺(tái)ldap服務(wù)器理論設(shè)計(jì)用戶容量為100萬(wàn)，并發(fā)訪問(wèn)量為5萬(wàn)?？梢酝ㄟ^(guò)以下方法擴(kuò)充用戶容量：Ø 通過(guò)Directory Proxy Server部署方案實(shí)現(xiàn)負(fù)載均衡。Ø 通過(guò)認(rèn)證服務(wù)器實(shí)現(xiàn)分布存儲(chǔ)和認(rèn)證。3.2 平臺(tái)節(jié)點(diǎn)服務(wù)器容量這里主要針對(duì)平臺(tái)服務(wù)器單節(jié)點(diǎn)的容量進(jìn)行理論設(shè)計(jì)和確定方案。設(shè)計(jì)目標(biāo)為單節(jié)點(diǎn)10萬(wàn)用戶，1000企業(yè)。這里針對(duì)內(nèi)存、磁盤(pán)、網(wǎng)絡(luò)等資源的容量進(jìn)行理論設(shè)計(jì)。內(nèi)存開(kāi)銷(xiāo)主要在于消息緩存、并發(fā)

10、服務(wù)、數(shù)據(jù)庫(kù)開(kāi)銷(xiāo)，消息統(tǒng)一緩存于Memcache緩存服務(wù)器，并實(shí)現(xiàn)分布式共享，并發(fā)開(kāi)銷(xiāo)通過(guò)增加每一個(gè)web容器的配置內(nèi)存和設(shè)置多個(gè)并發(fā)容器來(lái)實(shí)現(xiàn)。Memcache內(nèi)存開(kāi)銷(xiāo)計(jì)算公式：V = M * L * N / nV：內(nèi)存總開(kāi)銷(xiāo)，可分配于多個(gè)Memcache中M：?jiǎn)螚l消息開(kāi)銷(xiāo)，目前計(jì)算值為約0.5KBL：設(shè)置單人消息隊(duì)列長(zhǎng)度，這里設(shè)置為1000條消息，為最大值。N：系統(tǒng)計(jì)劃容納人數(shù)，這里計(jì)劃為100000人n：消息分?jǐn)傁禂?shù)，系統(tǒng)內(nèi)很多消息內(nèi)容為多人共享，實(shí)際僅開(kāi)銷(xiāo)一份，這里為3按以上設(shè)計(jì)，實(shí)際最大開(kāi)銷(xiāo)可以計(jì)算出為0.5*1000*100000/3/1024/102416GB按2個(gè)Memcach

11、e服務(wù)器做負(fù)載均衡，每臺(tái)服務(wù)器承擔(dān)8GB緩存數(shù)據(jù)。如果考慮緩存熱備，需要額外增加2臺(tái)服務(wù)器用于Memcache的故障熱備。Tomcat容器并發(fā)線程開(kāi)銷(xiāo)，按慣例及考慮Java GC對(duì)性能的影響，這里預(yù)估設(shè)計(jì)為16G/臺(tái)?？紤]并發(fā)設(shè)計(jì)單臺(tái)同時(shí)開(kāi)啟多個(gè)tomcat資源。最低需開(kāi)啟2臺(tái)應(yīng)用服務(wù)器，實(shí)現(xiàn)高可用。數(shù)據(jù)庫(kù)預(yù)估8G/臺(tái)，最低需開(kāi)啟2臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，實(shí)現(xiàn)熱備磁盤(pán)容量開(kāi)銷(xiāo)主要包含數(shù)據(jù)庫(kù)文件開(kāi)銷(xiāo)，靜態(tài)資源文件開(kāi)銷(xiāo)，日志文件開(kāi)銷(xiāo)。每日數(shù)據(jù)開(kāi)銷(xiāo)計(jì)算方式，按照每企業(yè)100人，每日活躍用戶（占比20%）平均發(fā)送消息100條，不活躍用戶（占比80%）發(fā)送消息10條,每條消息占0.5KB資源，分?jǐn)傁禂?shù)3，總計(jì)1

12、000個(gè)企業(yè)，發(fā)送消息中有5%為圖片消息，圖片消息資源文件平均占用空間為500KB，5%為語(yǔ)音消息，語(yǔ)音消息平均占用空間為20KB，則可以計(jì)算，每日數(shù)據(jù)庫(kù)消息開(kāi)銷(xiāo)為 (100*20%*100+100*80%*10)*1000*0.5/1024/1024/3=0.45G，每日?qǐng)D片消息開(kāi)銷(xiāo)為(100*20%*100+100*80%*10)*1000*5%*500/1024/1024/3=22G，每日語(yǔ)音消息開(kāi)銷(xiāo)為(100*20%*100+100*80%*10)*1000*5%*20/1024/1024/3=0.9G。日志文件開(kāi)銷(xiāo)預(yù)估為0.1G。綜上可以計(jì)算單日總開(kāi)銷(xiāo)如下：數(shù)據(jù)庫(kù)服務(wù)器0.45GB/

13、日，按存儲(chǔ)一年計(jì)算，需約163GB活動(dòng)空間。應(yīng)用服務(wù)器開(kāi)銷(xiāo)0.1GB/日，按存儲(chǔ)6月計(jì)算，需約20GB活動(dòng)空間。資源服務(wù)器開(kāi)銷(xiāo)(45+1.8)GB/日，按存儲(chǔ)一年計(jì)算，需約8840GB活動(dòng)空間網(wǎng)絡(luò)開(kāi)銷(xiāo)按需進(jìn)行分?jǐn)?，消息主體流量來(lái)自應(yīng)用服務(wù)器，圖片，語(yǔ)音消息流量來(lái)自資源服務(wù)器。按照磁盤(pán)開(kāi)銷(xiāo)計(jì)算公式，單日消息量為(100*20%*100+100*80%*10)*1000=2800000條。消息流量是消息體的n（如一條50人群組消息的流量是51次消息體的傳輸，一條對(duì)話消息的流量是2次消息體的傳輸，按照10條會(huì)話消息1條群組消息的比例配置，這里的n=(10*2+51)/(10+2)=6）倍，單條為0.

14、5KB，流量平均分布在12個(gè)小時(shí)內(nèi)，則計(jì)算流量為2800000*0.5*6/(12*60*60)=195KB/s=1560Kb/s，另考慮其他業(yè)務(wù)數(shù)據(jù)流量通道（按業(yè)務(wù)隨機(jī)觸發(fā)）預(yù)留1Mb/s，合計(jì)2.52Mb/s?？紤]峰值并發(fā)度高，這里x2，最后為約5Mb/s同理，資源服務(wù)器消息數(shù)量計(jì)算為2800000*5%=140000條。其中圖片資源平均500KB，預(yù)覽圖片平均為5KB，語(yǔ)音消息平均20KB。預(yù)覽圖片是自動(dòng)加載，故其所有命中圖片全部會(huì)執(zhí)行下載的流量為140000*5*6/(12*60*60)=100KB/s；圖片和語(yǔ)音消息按50%的概率會(huì)打開(kāi)，其流量為140000*50%*(20+500)

15、*6/(12*60*60)=5056KB/s，合計(jì)為5156KB/s，合計(jì)約40Mb/s綜上所述，支持1000企業(yè)，每企業(yè)100用戶，總計(jì)10萬(wàn)用戶的的平臺(tái)節(jié)點(diǎn)服務(wù)器可能配置列表如下：服務(wù)器名稱服務(wù)器配置服務(wù)器說(shuō)明門(mén)戶負(fù)載均衡服務(wù)器CPU：4核心2.4GHz內(nèi)存：8GB磁盤(pán)：100GB網(wǎng)絡(luò)：5Mb/s安裝HA負(fù)載均衡服務(wù)需1臺(tái)Tomcat集群服務(wù)器CPU：8核心2.4GHz內(nèi)存：16GB磁盤(pán)：200GB安裝門(mén)戶主服務(wù)2臺(tái)，每臺(tái)安裝24個(gè)Tomcat實(shí)例數(shù)據(jù)庫(kù)集群服務(wù)器CPU：4核心2.4GHz內(nèi)存：8GB磁盤(pán)：500GB安裝Mysql數(shù)據(jù)庫(kù)服務(wù)2臺(tái)，一主一從，熱備+負(fù)載均衡緩存服務(wù)器CPU：4核心2.4GHz內(nèi)存：8GB磁盤(pán)：100GB安裝Memcache緩存服務(wù)2臺(tái)，2臺(tái)做負(fù)載均衡2臺(tái)做熱備（可選）LDAP服務(wù)器CPU：4核心2.4GHz內(nèi)存：8GB磁盤(pán)：500GB安裝Ldap目錄服務(wù)Master/Consumer Replication需2