MongoDB及Spark在金融保險行業(yè)技術實踐

1、運用MongoDB及Spark 實現(xiàn)保險行業(yè)開門紅秒殺大屏MongoDB及Spark在金融保險行業(yè)技術實踐公司介紹中國太平保險集團有限責任公司于1929年在上海創(chuàng)立，1956年根據(jù)國家統(tǒng) 一部署，中國保險、太平保險停辦國內業(yè)務，專營港澳和海外保險業(yè)務。1999 年所有境外國有保險機構劃歸中國保險股份有限公司管理。2000年在港交所上 市，是我國首家在境外上市的保險企業(yè)。2001年以太平品牌在境內復業(yè)。2011 年底列入中央管理，升格為副部級金融央企。2013年完成重組改制和整體上市。2018年7月19日，首次進入世界500強。目前，中國太平總保費超過1600億 元，總資產(chǎn)突破6000億元，管理

2、資產(chǎn)規(guī)模突破1萬億元，已經(jīng)成為一家擁有60余 萬名內外勤員工、24家子公司和2000余家各級營業(yè)機構的大型跨國金融保險集團，經(jīng)營范圍涉及中國內地、中國香港、中國澳門、北美、歐洲、大洋洲、東 亞及東南亞等國家和地區(qū)，業(yè)務范圍涵蓋壽險、財險、養(yǎng)老保險、再保險、再 保險經(jīng)紀及保險代理、互聯(lián)網(wǎng)保險、資產(chǎn)管理、證券經(jīng)紀、金融租賃、不動產(chǎn) 投資、養(yǎng)老醫(yī)療健康產(chǎn)業(yè)投資等領域。太平保險開門紅開門紅特點：統(tǒng)計緯度多秒殺并發(fā)大實時要求高存在的痛點實現(xiàn)思路不足使用觸發(fā)器對原始數(shù)據(jù)進行裁剪寫入小表延遲大，無法滿足實時要求，當前聚合計算和ETL的時 間延遲4m對寫入到小表的數(shù)據(jù)利用存儲過程進行聚合分析，結果 寫入到聚合

3、表存儲過程中的聚合分析無法進行并發(fā)計算，性能空間有 限聚合表數(shù)據(jù)通過shareplex的cdc機制將數(shù)據(jù)同步到讀庫統(tǒng)缺乏水平可擴展性Spark + MongoDB應用app消息隊列Spark StreamingMongoDB指標大屏實現(xiàn)思路優(yōu)點不足業(yè)務APP將數(shù)據(jù)寫入到消息隊列（建議 采用kafka）統(tǒng)計實時性強，延遲5s對業(yè)務系統(tǒng)有一定的改造，業(yè)務系統(tǒng)的數(shù)據(jù) 持久化邏輯受影響，需要將數(shù)據(jù)直接寫入消 息隊列通過Spark Streaming消費消息隊列中 的數(shù)據(jù)，進行總金額的實時累加，實時 反應統(tǒng)計排名系統(tǒng)水平可擴展性高原始數(shù)據(jù)快速寫入MongoDB 聚合結果實時寫入MongoDB系統(tǒng)高可用(

4、high availablitity)分片擴展能力Spark高速比hadoop快100倍易用Java, Scala, Python, R, and SQL.通用流式運算、機器學習、圖計算、SQLSpark Streaming數(shù)據(jù)采集：用戶使用流式數(shù)據(jù)采集工具將數(shù)據(jù)流式且實時地采集并傳輸?shù)酱髷?shù)據(jù)消息Pub/Sub系統(tǒng)，該系 統(tǒng)將為下游流計算提供源源不斷的事件源去觸發(fā)流式計算任務的運行。流式計算：流數(shù)據(jù)作為流計算的觸發(fā)源驅動流計算運行。因此，一個流計算任務必須至少使用一個流數(shù)據(jù) 作為數(shù)據(jù)源。一批進入的數(shù)據(jù)流將直接觸發(fā)下游流計算的一次流式計算處理，并針對但批次流式數(shù)據(jù)得出計算 結果。數(shù)據(jù)集成：流計算

5、將計算的結果數(shù)據(jù)直接寫入目的數(shù)據(jù)源，這其中包括多種數(shù)據(jù)源，包括數(shù)據(jù)存儲系統(tǒng)、 消息投遞系統(tǒng)，甚至直接對接業(yè)務規(guī)則告警系統(tǒng)發(fā)出告警信息。不同于批量計算，流計算天生自帶數(shù)據(jù)集成模 塊，可以將結果數(shù)據(jù)直接寫入到目的數(shù)據(jù)源。數(shù)據(jù)消費：流計算一旦將結果數(shù)據(jù)投遞到目的數(shù)據(jù)源后，后續(xù)的數(shù)據(jù)消費從系統(tǒng)劃分來說，和流計算已經(jīng) 完全解耦。用戶可以使用數(shù)據(jù)存儲系統(tǒng)訪問數(shù)據(jù)，使用消息投遞系統(tǒng)進行信息接收，或者直接使用告警系統(tǒng)進 行告警。數(shù)據(jù)庫選型關鍵能力描述RDBMSHDFSMongoDB性能與擴展海量數(shù)據(jù)處理能力否是是高效查詢效率是否是性能擴展有限（垂直）水平擴展水平擴展模型靈活度數(shù)據(jù)模型變更是否靈 活否N/A是支

6、持結構化、半結構、非機構化數(shù)據(jù)有限支持支持支持企業(yè)級支撐完整的企業(yè)級運維標 準及工具是否是Why MongoDB？原始交易數(shù)據(jù)（高峰10w消息/秒），有重復，要求能夠快速寫入數(shù)據(jù)庫并去重（唯一索引），之后Spark Streaming快速讀出數(shù)據(jù)處理展示指標緯度多，單一基于key-value的內存數(shù)據(jù)庫無法支撐多條件查詢MongoDB Spark connector，支持雙向讀寫；查詢條件下推，利用MongoDB索引過濾無用數(shù)據(jù)， 減少數(shù)據(jù)傳輸量MongoDB查詢功能強大（Aggregation/范圍/地理位置/JOIN/Key-value/Graph），可以應付今 后的更多場景實際性能功能虛擬機配置數(shù)量Spark集群CPU 4core RAM 16GB5MongoDB集群CPU 4core RAM 16GB3處理數(shù)據(jù)量 batch 4s處理時間（秒）是否有延遲25000.2N/A50000.5N/A200003N/A300004N/A400005延遲1s數(shù)據(jù)準確度100%注意