系統(tǒng)部署方案與優(yōu)化

1、系統(tǒng)部署方案與優(yōu)化方案背景：目前部署在阿里云上的系統(tǒng)存在內(nèi)存不夠用，不定期的應(yīng)用假死問(wèn)題。為了解決這些問(wèn)題并能夠很好的對(duì)系統(tǒng)的擴(kuò)展性和可用性進(jìn)行配置。系統(tǒng)需要進(jìn)行部署改造。為此提出改造方案。目前的通訊過(guò)程主要有2中構(gòu)成，分別如下表：序號(hào)通訊路徑備注1 生成訂單、主動(dòng)查詢、退款、取消訂單2 付款通知詳細(xì)的通訊過(guò)程如下圖：圖：通訊過(guò)程其中通訊虛線標(biāo)識(shí)是一次連接，但該連接為用完即關(guān)閉，特點(diǎn)為連接時(shí)間比較短。圖中實(shí)線標(biāo)識(shí)該為一個(gè)連接，但該連接具有連接時(shí)間長(zhǎng)的特點(diǎn)，一般是系統(tǒng)起來(lái)后進(jìn)行連接，系統(tǒng)主要注銷后關(guān)閉。其中步驟6采用的連接池技術(shù)。從圖中可以看出目前主要的瓶頸分別內(nèi)存、硬盤速度和大小、帶寬（目前較

2、好）。分別討論如下：目前的內(nèi)存的主要消耗對(duì)象為：內(nèi)存消耗對(duì)象分析序號(hào)系統(tǒng)主要對(duì)象建議內(nèi)存1Tomcat應(yīng)用服務(wù)器目前沒(méi)有使用緩存技術(shù)，主要是線程占用數(shù)和連接數(shù)占用相關(guān)的內(nèi)存4G2ActiveX消息服務(wù)器主要是連接數(shù)和消息的存儲(chǔ)（自帶數(shù)據(jù)庫(kù)存儲(chǔ)引擎）4G3Mysql查詢緩存4G4操作系統(tǒng)進(jìn)程管理、調(diào)度10%4預(yù)留應(yīng)急和升級(jí)20%結(jié)論：建議采用16G內(nèi)存。因虛擬機(jī)內(nèi)存可以調(diào)整，在開始階段可以采用8G的內(nèi)存（節(jié)省開支），支撐的數(shù)量高了調(diào)整為16G.關(guān)于CPU,建議4核心CPU及以上。主要用來(lái)給Mysql、java使用。數(shù)據(jù)量來(lái)后，可以將mysql單獨(dú)部署到獨(dú)立的虛機(jī)上。如果部署mysql，建議硬盤1

3、00G。不部署mysql50G即可。本部署方案為遷移的方案，為計(jì)算優(yōu)化需要的各個(gè)參數(shù)。優(yōu)化方案系統(tǒng)的特點(diǎn)：數(shù)據(jù)增長(zhǎng)量非常快，并且有在一定時(shí)間段比較集中的特點(diǎn)。但是查詢的量是比較少的，所有的操作基本上是以32位的訂單編號(hào)進(jìn)行查詢和修改。下圖為系統(tǒng)運(yùn)行一段時(shí)間的后數(shù)據(jù)的冷熱程度，橫軸為總量。系統(tǒng)中經(jīng)常操作的數(shù)據(jù)往往最新添加的數(shù)據(jù)從比例上可以看出占到的數(shù)據(jù)量是比較小的。不建議采用分庫(kù)分表的方案，建議采用noSql中的redis技術(shù)和mysql共同處理。其中Redis采用redis-storage技術(shù)，可以實(shí)現(xiàn)數(shù)據(jù)的快速訪問(wèn)。redis-storage采用google的Leveldb存儲(chǔ)引擎，以下為L(zhǎng)

4、eveldb的相關(guān)情況： Leveldb是一個(gè)google實(shí)現(xiàn)的非常高效的kv數(shù)據(jù)庫(kù)，目前的版本1.2能夠支持十億級(jí)別的數(shù)據(jù)量了。 在這個(gè)數(shù)量級(jí)別下還有著非常高的性能，主要?dú)w功于它的良好的設(shè)計(jì)。特別是LSM算法。LevelDB 是單進(jìn)程的服務(wù)，性能非常之高，在一臺(tái)4個(gè)Q6600的CPU機(jī)器上，每秒鐘寫數(shù)據(jù)超過(guò)40w，而隨機(jī)讀的性能每秒鐘超過(guò)10w。實(shí)際使用情況：目前了解到國(guó)內(nèi)某快遞公司的核心骨干系統(tǒng)采用redis-storage進(jìn)行查詢和存儲(chǔ)，日均處理單量大于500萬(wàn)（均為不同的單號(hào)，平均600萬(wàn)），自上線后，運(yùn)行較為穩(wěn)定（1年左右，總單量超過(guò)20億條）。建議采用Redis-storage技術(shù)，同時(shí)結(jié)合mysql做支付數(shù)據(jù)的離線分析和備份。更改的結(jié)果為如下圖，即增加一個(gè)Redis-stroage的nosql數(shù)據(jù)庫(kù)。利用內(nèi)存來(lái)進(jìn)行加速。本方案的優(yōu)點(diǎn)：性能上非常高，Redis-storage非常適合該系統(tǒng)的特征，系統(tǒng)在單量超高10億單后，依然能夠具有較好的性能。工程上的好處