中國移動ERP域系統(tǒng)一期工程（ERP核心）交流 - 專題應(yīng)答-stepye-20151110

6

系統(tǒng)部署及云化架構(gòu)方案——移動ERP核心的應(yīng)用規(guī)模應(yīng)用規(guī)模：項目供應(yīng)商物料采購訂單應(yīng)付發(fā)票總賬憑證資產(chǎn)卡片庫存事務(wù)24萬+31萬+138萬+474萬+2947萬+2131萬+4348萬+1.8億+數(shù)據(jù)量：過半單位硬件內(nèi)存利用率峰值超過70%超過80%單位數(shù)據(jù)庫空閑空間過小過半單位忙時業(yè)務(wù)響應(yīng)緩慢，普遍出現(xiàn)月結(jié)過賬、折舊運行、PA轉(zhuǎn)資等功能非常慢，運行資產(chǎn)折舊甚至需20小時以上

當(dāng)前運行狀況應(yīng)用范圍：集團總部、31省上市公司、TD分公司、鐵通合建、全資子公司、各專業(yè)公司、各直屬單位用戶數(shù)：注冊用戶數(shù)活躍用戶數(shù)并發(fā)用戶數(shù)約30萬近10萬5000+全集團大省30T700G存儲空間：賬套業(yè)務(wù)實體188845設(shè)計中國移動未來ERP核心系統(tǒng)部署方案時，需要充分考慮中國移動ERP核心系統(tǒng)的應(yīng)用規(guī)模和運行現(xiàn)狀采購訂單應(yīng)付發(fā)票總賬憑證資產(chǎn)卡片庫存事務(wù)12萬+65萬+20萬+71萬+215萬+月均業(yè)務(wù)量：6

系統(tǒng)部署及云化架構(gòu)方案——部署架構(gòu)的設(shè)計要求可擴展海量數(shù)據(jù)高可用數(shù)據(jù)有效冗余，并避免服務(wù)器單點故障，保證系統(tǒng)的高可用性保證大數(shù)據(jù)量操作下的系統(tǒng)整體響應(yīng)速度在數(shù)據(jù)規(guī)模進一步增大時，有有效的方式進行能力擴展支撐海量數(shù)據(jù)與高并發(fā)ERP核心系統(tǒng)由分省部署改為集中式部署之后，能帶來數(shù)據(jù)共享程度高、實現(xiàn)全局統(tǒng)一管理等好處，但也將面對數(shù)十T的海量數(shù)據(jù)及超過5000的高并發(fā)訪問的挑戰(zhàn)。高并發(fā)保證高并發(fā)操作下的系統(tǒng)整體響應(yīng)速度6

系統(tǒng)部署及云化架構(gòu)方案——部署架構(gòu)的可選方案單實例部署多實例部署全集團一個Instance數(shù)據(jù)庫集群應(yīng)用集群根據(jù)各省公司的用戶數(shù)和數(shù)據(jù)量劃分Instance數(shù)據(jù)庫集群應(yīng)用集群方案一方案二多實例方案是確定可行的，但是單實例方案是否可行？6

系統(tǒng)部署及云化架構(gòu)方案——單實例POC驗證設(shè)計中國移動未來ERP核心系統(tǒng)部署方案時，應(yīng)參考Oracle針對中國移動數(shù)據(jù)規(guī)模所進行的POC結(jié)果6系統(tǒng)部署及云化架構(gòu)方案——單實例應(yīng)用案例設(shè)計中國移動未來ERP核心系統(tǒng)部署方案時，還可參照全球范圍內(nèi)規(guī)模接近的OracleEBS應(yīng)用案例案例案例國內(nèi)某大型通信設(shè)備制造商韓國某大型制造業(yè)企業(yè)國外某大型制造業(yè)企業(yè)應(yīng)用規(guī)模數(shù)據(jù)總量50T120T42T每月增量1T1T帳套數(shù)180+OU數(shù)220+庫存組織數(shù)2100部署方案部署實例單實例單實例單實例應(yīng)用服務(wù)器數(shù)量8臺8臺7臺并發(fā)服務(wù)器數(shù)量4臺8臺2臺數(shù)據(jù)庫服務(wù)器數(shù)量3臺RAC8臺RAC2臺RAC數(shù)據(jù)庫服務(wù)器型號IBMP780IBMP795IBMP7506系統(tǒng)部署及云化架構(gòu)方案——單實例的可行性分析海量數(shù)據(jù)

高并發(fā)可擴展設(shè)計目標(biāo)POC結(jié)果現(xiàn)有案例模擬180萬張資產(chǎn)卡片創(chuàng)建，2小時內(nèi)完成模擬3780萬張資產(chǎn)卡片運行折舊，約2.5小時完成模擬520萬行日記賬過賬，約0.5小時完成現(xiàn)有OracleEBS單實例部署案例中，支撐的最大數(shù)據(jù)量達(dá)到120T使用2-3臺高端小型機搭建數(shù)據(jù)庫集群，可支撐40-50T的海量數(shù)據(jù)單節(jié)點應(yīng)用服務(wù)器在600用戶并發(fā)時性能尚可，800用戶并發(fā)時變差多節(jié)點應(yīng)用服務(wù)器200/400/600用戶并發(fā)時，用戶體驗相同5臺應(yīng)用服務(wù)器共運行34個FormServer，可支撐3000用戶并發(fā)現(xiàn)有OracleEBS單實例部署案例中，已知的有用8臺應(yīng)用服務(wù)器支撐4000+的并發(fā)用戶并發(fā)服務(wù)器獨立部署，分擔(dān)應(yīng)用服務(wù)器的并發(fā)壓力隨著FormServer數(shù)量增加，支持的并發(fā)用戶數(shù)基本保持線性擴展隨著應(yīng)用服務(wù)器節(jié)點數(shù)量增加，支持的并發(fā)用戶數(shù)保持良好線性擴展可以通過增加服務(wù)器節(jié)點的數(shù)量，支持更多的并發(fā)用戶數(shù)現(xiàn)有OracleEBS單實例部署案例中，應(yīng)用服務(wù)器和并發(fā)服務(wù)器都采用了多節(jié)點集群部署的方式，可靈活擴展數(shù)據(jù)庫采用高端小型機RAC的架構(gòu)，控制節(jié)點數(shù)量，預(yù)留擴展的空間POC結(jié)果和現(xiàn)有案例均證明，采用適當(dāng)?shù)牟渴鸺軜?gòu)與硬件配置，單實例部署方式可以達(dá)到支撐海量數(shù)據(jù)、高并發(fā)及可擴展的設(shè)計目標(biāo)6系統(tǒng)部署及云化架構(gòu)方案—單實例與多實例方案比較對比項單實例部署多實例部署實施難度只需部署一套環(huán)境，不存在多實例可能存在的程序及版本差異問題，實施難度低需部署多套環(huán)境，環(huán)境安裝、補丁應(yīng)用和客戶化程序移植均需執(zhí)行多遍，且需保證各實例的移植內(nèi)容與版本完全一致，實施難度高系統(tǒng)對接難度集團一級集中系統(tǒng)和各省公司系統(tǒng)只需要與單實例集成，系統(tǒng)對接難度低集團一級集中系統(tǒng)和各省公司系統(tǒng)需要與多個實例集成，需要部署多套接口且由ESB實現(xiàn)自動路由，系統(tǒng)對接難度高系統(tǒng)性能在硬件配置、網(wǎng)絡(luò)條件相同的情況下，單實例部署因數(shù)據(jù)量大、并發(fā)高，系統(tǒng)性能較多實例低在硬件配置、網(wǎng)絡(luò)條件相同的情況下，多實例部署因數(shù)據(jù)量小、并發(fā)少，系統(tǒng)性能較單實例高維護風(fēng)險單實例出現(xiàn)故障將影響所有省份業(yè)務(wù)，維護風(fēng)險高某個實例出現(xiàn)故障只影響部分省份業(yè)務(wù)，維護風(fēng)險低運維成本實例數(shù)少，補丁應(yīng)用、程序移植、環(huán)境備份等工作無需重復(fù)多次，工作量小，運維成本低實例數(shù)多，補丁應(yīng)用、程序移植、環(huán)境備份等工作需重復(fù)進行多次，工作量大，運維成本高注2：單實例的維護風(fēng)險，可通過合理設(shè)計部署架構(gòu)，避免單點故障，以及完善的備份機制，確保數(shù)據(jù)的安全、完整和可恢復(fù)性來降低注1：單實例系統(tǒng)性能低的問題，可通過提高單臺服務(wù)器配置、增加服務(wù)器數(shù)量、使用高速存儲、提高網(wǎng)絡(luò)帶寬等方法解決推薦6系統(tǒng)部署及云化架構(gòu)方案——單實例配置估算每16核CPU運行5個FormServer，每個FormServer支持100個Form并發(fā)用戶每16核CPU運行5個OACORE，每個OACORE支持100個Web并發(fā)用戶應(yīng)用并發(fā)用戶數(shù)約5000，需運行5000/100=50個FormServer和OACORECPU核數(shù)為：50/5*16+50/5*16=320Core內(nèi)存：CPU核數(shù)的4倍，320*4=1280G應(yīng)用服務(wù)器每核CPU可支持同時運行10個并發(fā)請求高峰時保證每OU可同時運行2個并發(fā)請求，845個OU共1690個并發(fā)請求CPU核數(shù)為：1690/10=169Core內(nèi)存：CPU核數(shù)的4倍，169*4=676G并發(fā)服務(wù)器每核CPU可支持同時處理10個數(shù)據(jù)庫并發(fā)高峰時數(shù)據(jù)庫并發(fā)數(shù)約為50%應(yīng)用并發(fā)用戶數(shù)+并發(fā)請求數(shù)+接口并發(fā)數(shù)（按每OU運行1個接口計算），即2500+1690+845=5035CPU核數(shù)為：5035/10=504Core內(nèi)存：CPU核數(shù)的8倍，504*8=4032G數(shù)據(jù)庫服務(wù)器6系統(tǒng)部署及云化架構(gòu)方案——單實例數(shù)據(jù)庫機型選擇對比項小型機X86系列服務(wù)器處理器架構(gòu)采用RISC（精簡指令集）或EPIC（顯性并行指令計算）架構(gòu)：多線程能力采用CISC（復(fù)雜指令集）架構(gòu)：不支持多線程性能使用的UNIX操作系統(tǒng)可以更好地協(xié)調(diào)多用戶、多進程之間的調(diào)度，充分發(fā)揮并在各個進程之間合理分配CPU處理能力；IO吞吐能力強，有效支持CPU強大的計算能力IO能力不如小型機，高并發(fā)、大數(shù)據(jù)量處理時，IO可能先于CPU的計算能力成為性能瓶頸可靠性專用、封閉的計算機系統(tǒng)，特有體系結(jié)構(gòu)，主要部件由廠商自行生產(chǎn)，經(jīng)過整體長時間測試后出廠，特點為安全、穩(wěn)定通用、開放的計算機系統(tǒng)，強調(diào)兼容性，部件可由多個廠商遵守同一標(biāo)準(zhǔn)設(shè)計、生產(chǎn)，安全性和穩(wěn)定性相對稍差服務(wù)性具有強大的自治愈功能，能夠自動預(yù)測錯誤、避免錯誤、修復(fù)錯誤、替換失效部件具有一定的故障預(yù)測、錯誤檢測和錯誤修復(fù)功能可用性以多冗余體系結(jié)構(gòu)設(shè)計為主要特征，如冗余電源系統(tǒng)、冗余I/O系統(tǒng)、散熱系統(tǒng)等對關(guān)鍵部件提供冗余支持1單臺頂配高端小型機的配置高于高性能x86服務(wù)器；而因處理器架構(gòu)、操作系統(tǒng)及IO能力的差別，即使在相同配置（CPU核數(shù)和內(nèi)存）的情況下，單臺x86服務(wù)器的處理能力也不及小型機2OracleRAC不宜部署過多的數(shù)據(jù)庫節(jié)點，以避免節(jié)點間的通信和同步成為性能瓶頸。因此單個節(jié)點數(shù)據(jù)庫服務(wù)器的處理能力成為影響系統(tǒng)性能的關(guān)鍵因素3考慮到中國移動的數(shù)據(jù)量及并發(fā)量，單個節(jié)點數(shù)據(jù)庫服務(wù)器需要具有極強的處理能力以提升TPS、降低響應(yīng)時間，從而保證系統(tǒng)整體的性能推薦6系統(tǒng)部署及云化架構(gòu)方案——單實例部署方案應(yīng)用服務(wù)器10臺數(shù)據(jù)庫服務(wù)器2臺并發(fā)服務(wù)器6臺高性能X86系列服務(wù)器高端小型機高速存儲1、采用硬件負(fù)載均衡器以取得更好的性能2、應(yīng)用服務(wù)器、并發(fā)服務(wù)器與數(shù)據(jù)庫服務(wù)器間，需要高速通道3、數(shù)據(jù)庫節(jié)點間需要極高速互聯(lián)，以提高數(shù)據(jù)爭用效率4、使用高速存儲以提升IO效率存儲不能成為瓶頸！1、并發(fā)服務(wù)器獨立部署，分擔(dān)應(yīng)用服務(wù)器的并發(fā)壓力2、采用高性能x86系列服務(wù)器搭建應(yīng)用服務(wù)器和并發(fā)服務(wù)器集群，實現(xiàn)系統(tǒng)的高可用和可擴展3、采用高端小型機搭建數(shù)據(jù)庫服務(wù)器集群，提高單臺配置、減少節(jié)點數(shù)量，實現(xiàn)系統(tǒng)高可用的同時預(yù)留擴展空間RAC6系統(tǒng)部署及云化架構(gòu)方案——單實例部署配置建議ERP核心系統(tǒng)部署方案單實例部署應(yīng)用服務(wù)器服務(wù)器個數(shù)10臺服務(wù)器操作系統(tǒng)Linux服務(wù)器型號現(xiàn)有X86系列統(tǒng)一資源池服務(wù)器配置（單臺）CPU：32核內(nèi)存：128GB并發(fā)服務(wù)器服務(wù)器個數(shù)6臺服務(wù)器操作系統(tǒng)Linux服務(wù)器型號現(xiàn)有X86系列統(tǒng)一資源池服務(wù)器配置（單臺）CPU：32核內(nèi)存：128GB數(shù)據(jù)庫服務(wù)器服務(wù)器個數(shù)2臺服務(wù)器操作系統(tǒng)AIX服務(wù)器型號IBMP795服務(wù)器配置（單臺）CPU：256核內(nèi)存：2TB磁盤陣列可用容量ASM普通冗余后80TB8.2備份及容災(zāi)—容災(zāi)所需基礎(chǔ)準(zhǔn)備ERP容災(zāi)方式ERP容災(zāi)所需主要基礎(chǔ)設(shè)施同城應(yīng)用級容災(zāi)中心（實時同步級）場地選址需要同城容災(zāi)中心場地等配套基礎(chǔ)設(shè)施需要空調(diào)、電源、監(jiān)控、機架等配備網(wǎng)絡(luò)及安全設(shè)備需要光纖專線、防火墻等配備服務(wù)器與存儲需要與ERP生產(chǎn)環(huán)境同等級別和配置的服務(wù)器、存儲、備份設(shè)備等應(yīng)用軟件實時同步的ERP生產(chǎn)環(huán)境配置同步軟件或設(shè)備實時同步ERP數(shù)據(jù)庫、ERP應(yīng)用的軟件和設(shè)備異地數(shù)據(jù)級容災(zāi)中心（異步同步級）場地選址異地容災(zāi)中心場地，非數(shù)據(jù)中心城市或區(qū)域配套基礎(chǔ)設(shè)施需要空調(diào)、電源、監(jiān)控、機架等配備網(wǎng)絡(luò)及安全設(shè)備需要光纖專線、防火墻等配備服務(wù)器與存儲一套ERP數(shù)據(jù)庫服務(wù)器、存儲、備份設(shè)備等配置同步軟件或設(shè)備實時同步ERP數(shù)據(jù)庫、異步同步ERP應(yīng)用的軟件和設(shè)備8.2備份及容災(zāi)—容災(zāi)設(shè)備及軟件建議備份及容災(zāi)設(shè)備及軟件建議數(shù)量備份設(shè)備及軟件建議備份軟件如：EMCNetworkBackup1套(16臺應(yīng)用+2臺數(shù)據(jù)庫服務(wù)器)備份虛擬帶庫建議如：EMCDataDomainDD2500，最少200T容量（6天*30Tb+冗余20TB=180TB)1套備份物理帶庫建議如：IBMTS3200磁帶庫，最少200T容量（6天*30Tb+冗余20T=200TB)1套同城應(yīng)用級容災(zāi)（實時同步級）軟件建議實時應(yīng)用同步軟件如：SymantecSF或VCS