基于云計(jì)算的集中綜合結(jié)算系統(tǒng)

基于云計(jì)算的集中綜合結(jié)算系統(tǒng)

1基于云計(jì)算的系統(tǒng)架構(gòu)方案在系統(tǒng)轉(zhuǎn)型之前，通信運(yùn)營(yíng)商根據(jù)業(yè)務(wù)和區(qū)域劃分了一系列費(fèi)用，并在各省公司開展。另一方面，他們擁有大量的人力資源、主機(jī)和其他資源。另一方面，交易數(shù)據(jù)分散，無法執(zhí)行統(tǒng)一的業(yè)務(wù)界面。隨著融合業(yè)務(wù)發(fā)展，需要融合現(xiàn)有結(jié)算系統(tǒng)、在統(tǒng)一的系統(tǒng)上實(shí)現(xiàn)結(jié)算業(yè)務(wù)界面；同時(shí)根據(jù)信息化系統(tǒng)建設(shè)規(guī)劃，信息系統(tǒng)建設(shè)應(yīng)逐步集中化。經(jīng)多方論證，集團(tuán)決定建設(shè)集中綜合結(jié)算系統(tǒng)。對(duì)于結(jié)算系統(tǒng)建設(shè)來說，傳統(tǒng)的小型機(jī)+高端磁盤陣列+商業(yè)化數(shù)據(jù)庫的建設(shè)模式盡管可以較好地滿足需求，但投資和維護(hù)成本居高不下。隨著云計(jì)算技術(shù)的逐步成熟，低端服務(wù)器和磁盤陣列可以有效滿足結(jié)算系統(tǒng)建設(shè)需要。本文基于結(jié)算業(yè)務(wù)的特點(diǎn)，提出了基于云計(jì)算技術(shù)的刀片服務(wù)器+低端磁盤陣列+開源數(shù)據(jù)庫的創(chuàng)新系統(tǒng)架構(gòu)方案，系統(tǒng)功能、降低投資和維護(hù)成本得到較好平衡，為其他相關(guān)系統(tǒng)的集中化架構(gòu)設(shè)計(jì)提供了借鑒。方案實(shí)施后，系統(tǒng)運(yùn)行良好，驗(yàn)證了方案的可行性。2綜合集成管理系統(tǒng)的結(jié)構(gòu)2.1能力需求分析集中綜合結(jié)算系統(tǒng)是電信企業(yè)重要的業(yè)務(wù)支撐系統(tǒng)之一，承擔(dān)著運(yùn)營(yíng)商之間、運(yùn)營(yíng)商與合作伙伴之間在使用對(duì)方服務(wù)之后進(jìn)行費(fèi)用核算的任務(wù)，具有如下特點(diǎn)：(1）海量數(shù)據(jù)系統(tǒng)每月需要處理運(yùn)營(yíng)商全國(guó)數(shù)百億條的結(jié)算話單處理工作，并且隨著業(yè)務(wù)的逐步增長(zhǎng)，數(shù)據(jù)量逐步增長(zhǎng)。(2）計(jì)算能力需求分布不均勻計(jì)算能力的需求在時(shí)間軸上分布不均勻。在每個(gè)自然月中可分為兩個(gè)階段：每月中旬至月底為日常處理階段，實(shí)時(shí)處理交換機(jī)采集下的話單文件，該時(shí)間段內(nèi)計(jì)算能力需求分布較為均勻；每月上旬為集中出賬期，該階段一方面要進(jìn)行全集團(tuán)的結(jié)算賬務(wù)工作，同時(shí)還要實(shí)時(shí)處理采集下來的話單文件，該時(shí)間段內(nèi)對(duì)計(jì)算能力的需求會(huì)出現(xiàn)暴漲情況。另外，極端情況下，會(huì)要求系統(tǒng)在24小時(shí)內(nèi)完成一個(gè)月全國(guó)結(jié)算話單的重處理，這對(duì)計(jì)算能力的需求又是進(jìn)一步的增加。(3）對(duì)大計(jì)算量的運(yùn)算需求快速響應(yīng)：在全國(guó)集中的系統(tǒng)中存在一些計(jì)算量較大的需求。例如，臨時(shí)統(tǒng)計(jì)全國(guó)范圍內(nèi)通話時(shí)間排名前1000用戶的需求。系統(tǒng)首先需要對(duì)全國(guó)通話用戶的通話時(shí)間進(jìn)行匯總，然后排序，最后取出前1000名。結(jié)果雖然僅有1000條記錄，但計(jì)算量卻是巨大的，而且對(duì)該類需求的響應(yīng)時(shí)間一般還有上限要求。2.2集中綜合結(jié)算系統(tǒng)業(yè)務(wù)特點(diǎn)如圖1所示，基于分布式技術(shù)的云計(jì)算系統(tǒng)主要包括用于存儲(chǔ)、管理文件與數(shù)據(jù)的分布式文件系統(tǒng)和分布式數(shù)據(jù)庫，用于高效執(zhí)行分布式并行計(jì)算應(yīng)用的程序庫及編程接口，用于實(shí)現(xiàn)分布式數(shù)據(jù)讀寫一致性的分布式同步管理，用于實(shí)現(xiàn)自動(dòng)部署和監(jiān)控大規(guī)模分布式資源的分布式集群管理等，通常架構(gòu)在服務(wù)器資源池上，以獲得較好的投資效益和較低的維護(hù)成本?；诜植际郊夹g(shù)的云計(jì)算系統(tǒng)，可以在低端服務(wù)器資源池和價(jià)格低廉的數(shù)據(jù)庫上獲得強(qiáng)大的數(shù)據(jù)存儲(chǔ)和計(jì)算能力，是云計(jì)算發(fā)展的重要分支，特別是在海量數(shù)據(jù)處理領(lǐng)域顯示了特有的優(yōu)勢(shì)。通過對(duì)集中綜合結(jié)算系統(tǒng)業(yè)務(wù)特點(diǎn)的分析，集中綜合結(jié)算系統(tǒng)應(yīng)用場(chǎng)景具有海量數(shù)據(jù)和數(shù)據(jù)增長(zhǎng)快速性、需求突增性、間斷性應(yīng)用等特征，云計(jì)算均可通過動(dòng)態(tài)分配資源的方式來滿足這些特征。本文提出的集中綜合結(jié)算系統(tǒng)方案，采用基于云計(jì)算的刀片服務(wù)器和低端磁盤陣列構(gòu)建的資源池、開源數(shù)據(jù)庫，并研發(fā)了適用于結(jié)算系統(tǒng)的任務(wù)調(diào)度算法，通過主機(jī)資源自適應(yīng)管理、作業(yè)調(diào)度、數(shù)據(jù)庫網(wǎng)關(guān)等體現(xiàn)，實(shí)現(xiàn)了系統(tǒng)自動(dòng)平滑伸縮功能，提升了系統(tǒng)的可擴(kuò)展性、低成本、負(fù)載均衡、高可用性及分布式、高性能計(jì)算。2.3數(shù)據(jù)庫設(shè)計(jì)和管理如圖2所示，構(gòu)建服務(wù)器資源池并采用分級(jí)存儲(chǔ)技術(shù)；通過資源池管理，實(shí)現(xiàn)資源的動(dòng)態(tài)監(jiān)控和彈性擴(kuò)充；通過任務(wù)調(diào)度，實(shí)現(xiàn)動(dòng)態(tài)的作業(yè)處理和分布式計(jì)算，并能對(duì)軟件升級(jí)、應(yīng)用部署進(jìn)行管理，對(duì)數(shù)據(jù)庫拆分進(jìn)行管理；提供可定制的業(yè)務(wù)原語，可供任務(wù)調(diào)度模塊進(jìn)行調(diào)用，并通過RIA的前臺(tái)交互界面豐富用戶體驗(yàn)。3云計(jì)算的集中綜合處理系統(tǒng)的關(guān)鍵3.1基于主機(jī)資源自適應(yīng)管理的實(shí)時(shí)監(jiān)控根據(jù)結(jié)算業(yè)務(wù)特性，數(shù)據(jù)庫劃分為話單數(shù)據(jù)庫和賬務(wù)數(shù)據(jù)庫。話單數(shù)據(jù)庫軟件功能要求相對(duì)簡(jiǎn)單、穩(wěn)定性要求較低、短時(shí)間中斷不影響業(yè)務(wù)，采用開源數(shù)據(jù)庫軟件并安裝在服務(wù)器上以降低成本；賬務(wù)數(shù)據(jù)庫則面向用戶服務(wù)，安全穩(wěn)定性要求高，采用中高檔小型機(jī)。因此，資源池構(gòu)建于200臺(tái)基于X86架構(gòu)的刀片服務(wù)器和2臺(tái)小型機(jī)上，刀片服務(wù)器用作應(yīng)用服務(wù)器和話單數(shù)據(jù)庫服務(wù)器，賬務(wù)數(shù)據(jù)庫安裝在小型機(jī)上。資源池的彈性調(diào)整，是資源池的重要特征。對(duì)于結(jié)算系統(tǒng)而言，處理流程中任務(wù)之間存在依賴和關(guān)聯(lián)關(guān)系的操作是排重處理，排重處理需要對(duì)當(dāng)前話單與歷史數(shù)據(jù)進(jìn)行比對(duì)。根據(jù)分析，排重處理主要基于單個(gè)本地網(wǎng)元的話單進(jìn)行排重，不存在多個(gè)本地網(wǎng)元之間的排重。而結(jié)算話單庫采用單臺(tái)主機(jī)處理，單個(gè)本地網(wǎng)只會(huì)對(duì)應(yīng)1臺(tái)主機(jī)。所以，對(duì)結(jié)算流程進(jìn)行改造，將排重流程改為入庫前排重，以保證排重所需數(shù)據(jù)在同一個(gè)話單數(shù)據(jù)庫中保存。而前端應(yīng)用主機(jī)數(shù)據(jù)處理之間不存在任何依賴和關(guān)聯(lián)關(guān)系，從而保證了資源池節(jié)點(diǎn)的無限擴(kuò)充。在同樣處理能力下，X86刀片服務(wù)器約為小型機(jī)價(jià)格的10%，采用服務(wù)器可以有效降低投資，但由于X86平臺(tái)采用了開放操作系統(tǒng)、復(fù)雜指令集、總線式架構(gòu)設(shè)計(jì)等，導(dǎo)致在安全性、設(shè)備性能、穩(wěn)定性和擴(kuò)展性方面較小型機(jī)有一定的差距。為彌補(bǔ)穩(wěn)定性、擴(kuò)展性方面存在的不足，通過主機(jī)資源自適應(yīng)管理等技術(shù)加以完善。根據(jù)系統(tǒng)監(jiān)控對(duì)系統(tǒng)中的主機(jī)資源所收集的數(shù)據(jù)和事件，對(duì)主機(jī)資源進(jìn)行統(tǒng)一透明管理，實(shí)現(xiàn)資源動(dòng)態(tài)加入、移除和容錯(cuò)。通過自動(dòng)管理主機(jī)資源的申請(qǐng)和回收，以及在主機(jī)資源上進(jìn)行的應(yīng)用伸縮、應(yīng)用遷移和容量告警等功能，來提高系統(tǒng)的可擴(kuò)展性、高可用性和主機(jī)資源的利用率。系統(tǒng)通過智能監(jiān)控實(shí)現(xiàn)對(duì)每臺(tái)加入系統(tǒng)設(shè)備和系統(tǒng)軟件的監(jiān)控，可以提供刀片機(jī)的內(nèi)存、cpu忙閑、I/O忙閑的實(shí)時(shí)監(jiān)控，提供對(duì)于中間件的連接數(shù)、數(shù)據(jù)庫連接數(shù)等的實(shí)時(shí)監(jiān)控，其監(jiān)控的內(nèi)容及告警的閥值均可通過規(guī)則設(shè)置實(shí)現(xiàn)，在規(guī)則設(shè)置完畢后即可實(shí)現(xiàn)系統(tǒng)自服務(wù)。其監(jiān)控示意如圖3所示3.2數(shù)據(jù)庫存儲(chǔ)主體如圖4所示，本文方案通過數(shù)據(jù)庫網(wǎng)關(guān)來實(shí)現(xiàn)分布式數(shù)據(jù)庫，數(shù)據(jù)庫性能可以隨著新的數(shù)據(jù)庫主機(jī)節(jié)點(diǎn)的增加而線性增長(zhǎng)。充分利用分布式計(jì)算，以實(shí)現(xiàn)大計(jì)算量且需快速響應(yīng)的需求。主要功能特點(diǎn)如下：(1）統(tǒng)一管理：提供統(tǒng)一的表模式管理、數(shù)據(jù)分布及系統(tǒng)資源的監(jiān)控管理。(2）統(tǒng)一訪問：將現(xiàn)在不同數(shù)據(jù)的存儲(chǔ)方式整合在一起，實(shí)現(xiàn)在線數(shù)據(jù)、歷史數(shù)據(jù)的統(tǒng)一訪問。(3）自動(dòng)平滑擴(kuò)展：負(fù)載出現(xiàn)瓶頸時(shí)，通過二級(jí)分發(fā)策略實(shí)現(xiàn)數(shù)據(jù)庫的自動(dòng)平滑擴(kuò)展，隨著節(jié)點(diǎn)的增加性能呈線性增長(zhǎng)。(4）自動(dòng)化轉(zhuǎn)存：實(shí)現(xiàn)在線數(shù)據(jù)、歷史數(shù)據(jù)的自動(dòng)轉(zhuǎn)存，并實(shí)現(xiàn)多級(jí)存儲(chǔ)設(shè)備自動(dòng)遷移。(5）高度透明：用戶可以通過數(shù)據(jù)庫網(wǎng)關(guān)使用自己的數(shù)據(jù)庫用戶，查詢各自的數(shù)據(jù)，無需關(guān)心數(shù)據(jù)的具體位置。3.3基于作業(yè)調(diào)度的作業(yè)優(yōu)化實(shí)現(xiàn)分布式調(diào)度算法是本文方案的核心。系統(tǒng)處理核心為“作業(yè)調(diào)度+業(yè)務(wù)原語”，將綜合結(jié)算后臺(tái)應(yīng)用拆解抽象為若干個(gè)相互獨(dú)立的原語操作，原語實(shí)例化為作業(yè)。作業(yè)生成負(fù)責(zé)將作業(yè)生成到作業(yè)池，作業(yè)調(diào)度按照預(yù)定的路由策略實(shí)現(xiàn)對(duì)作業(yè)的調(diào)度，各應(yīng)用節(jié)點(diǎn)則通過管理節(jié)點(diǎn)的作業(yè)調(diào)度來進(jìn)行負(fù)載均衡。目前設(shè)計(jì)的調(diào)度策略有：計(jì)算能力算法（CapacityScheduler）、計(jì)數(shù)法、輪詢法（RoundRobin）。作業(yè)生成過程如圖5所示，作業(yè)調(diào)度過程如圖6所示。其中，作業(yè)池主要負(fù)責(zé)作業(yè)的注冊(cè)、后備、運(yùn)行、釋放全生命周期管理；資源池負(fù)責(zé)資源統(tǒng)一透明管理，實(shí)現(xiàn)資源動(dòng)態(tài)加入、移除和容錯(cuò)；作業(yè)路由通過各種算法決定處理作業(yè)的資源。在系統(tǒng)前端部署作業(yè)調(diào)度主機(jī)，建立結(jié)算作業(yè)資源池和結(jié)算業(yè)務(wù)資源池（在應(yīng)用主機(jī)上部署AGENT，獲取資源信息），通過作業(yè)調(diào)度對(duì)采集到的結(jié)算話單在資源池中尋找匹配的主機(jī)資源進(jìn)行處理。當(dāng)出現(xiàn)主機(jī)故障時(shí)，由作業(yè)調(diào)度主機(jī)根據(jù)AGENT返回狀態(tài)進(jìn)行識(shí)別，并停止對(duì)故障主機(jī)的任務(wù)分配。這樣保證了系統(tǒng)的安全穩(wěn)定性，單臺(tái)或多臺(tái)主機(jī)故障并不影響業(yè)務(wù)的正常運(yùn)行。同時(shí)，通過資源池對(duì)應(yīng)用主機(jī)資