MongoDB高級應(yīng)用場景及技術(shù)特點分析

1、MongoDB技術(shù)特點及典型應(yīng)場景分析RDBMS,MongoDB?NoSQL,MongoDB?哪些場景適合MongoDB？核特點Document Model最佳的數(shù)據(jù)管理式Distributed System智能得將數(shù)據(jù)放在需要的地Run Anywhere由得運于任意平臺檔模型模型易_id : 123456 ,first_name : Mark , last_name : Smith, city : San Francisco , phones: number : 1-212-777-1212,dnc : true,type : home,number : “1-212-777-1213”,t

2、ype : cell舉例金融業(yè)資產(chǎn)管理案例1. 基礎(chǔ)客戶信息 客戶名稱客戶地址組織機構(gòu)代碼 營業(yè)執(zhí)照號社會統(tǒng)一信用代碼2. 客戶行業(yè)信息礦業(yè)行業(yè)：煤炭生產(chǎn)許可證礦井儲量（萬噸）礦井位置（經(jīng)緯度）百萬噸死亡率（）地產(chǎn)行業(yè)：房地產(chǎn)資質(zhì)證書年開工面積（平米） 年銷售面積（平米）電力行業(yè)：裝機容量（兆瓦） 年發(fā)電量（兆瓦）關(guān)系模型傳統(tǒng)關(guān)系型設(shè)計模式客戶ID名稱地址組織機構(gòu)代碼營業(yè)執(zhí)照礦井儲量開積.發(fā)電量100001多多的電xxxxxxxxxxxxxxxx100002的地產(chǎn)xxxxxxxxxxxxxxxx傳統(tǒng)案1：寬表傳統(tǒng)案2：主從表客戶ID名稱地址客戶IDMETRIC_NAMEMETRIC_VALUE

3、100001深深的煤業(yè)xxxx100001產(chǎn)許可證mtsc017100001礦井儲量2000000100001礦井位置138.2031-124.4904100002百萬噸死亡率2%檔模型檔類型設(shè)計模式檔1name: “深深的礦業(yè)”, orgId: “70107890X”,industryInfo: type: “ 采 礦 ” coalCertificate: “mtsc017”,location: 38.2031, -120.4904 ,mineReserves：2000000, deathsByMT: 0.02檔2name: “的地產(chǎn)”, orgId: “565425429”,industr

4、yInfo: type: “地產(chǎn)”,estateCertificate: “fdczz0000001”, areaPerYear ：897600.00， salesAreaPerYear : 300000.00儲量小于2000萬噸：db.collection.find( industryInfo. mineReserves : $lt: 20000000 )檔模型/mercury/M320/事務(wù)持4.2版本持分布式多檔事務(wù)with client.start_session() as s:s.start_transaction()try:collection.insert_one(doc1, s

5、ession=s) collection.insert_one(doc2, session=s) mit_transaction()except Exception:s.abort_transaction()和關(guān)系數(shù)據(jù)庫的事務(wù)操作樣語法基本樣任何應(yīng)都可以使個表或多個表中的多個檔都適ACID 保證要么全成功，要么全失敗版本要求MongoDB 4.0, 持復(fù)制集MongoDB 4.2: 持分檔模型性能強、功能豐富性能強功能豐富檔模型、動分PB級數(shù)據(jù)庫持地理位置查詢圖查詢列表查詢分布式擴展復(fù)制集 & 分復(fù)制集持2-50個節(jié)點動恢復(fù) 關(guān)鍵能：-可容災(zāi)維護升級任務(wù)隔離：聯(lián)機與分析作業(yè)隔離持不同存儲引擎（

6、WireTiger 、 In-memory）分布式擴展復(fù)制集 & 分分策略：范圍、哈希、標簽彈性擴展與收縮 數(shù)據(jù)動均衡 應(yīng)完全透明分布式擴展復(fù)制集 & 分資源最佳分配冷熱數(shù)據(jù)動歸檔地理分布彈性擴展按地域就近讀寫海量數(shù)據(jù)與并發(fā)庫多不同節(jié)點持不同應(yīng)任意部署本地、云端、移動端核特點最佳的數(shù)據(jù)管理式智能的將數(shù)據(jù)放在需要的地由的運于任意平臺檔模型易 模型變零代價 性能表現(xiàn)優(yōu)異 查詢功能豐富可復(fù)制集 分彈性擴展庫多 可插拔引擎就近數(shù)據(jù)讀寫服務(wù)器云（Atlas） 容器移動端統(tǒng)視圖Single View金融互聯(lián)零售分析戶資產(chǎn)、信、盈利、投 資數(shù)據(jù)，控制風(fēng)險，提供增值業(yè) 務(wù)。根據(jù)戶為與瀏覽內(nèi)容，實時 推薦感興趣

7、的商品、內(nèi)容。全渠道戶信息清洗合并，成 標簽信息，個性化活動推送與服 務(wù)。統(tǒng)視圖Single View05功能要求MongoDB數(shù)據(jù)模型數(shù)據(jù)來源于多個系統(tǒng)，數(shù)據(jù)格式差異隨著業(yè)務(wù)發(fā)展，需要動態(tài)調(diào)整數(shù)據(jù)模式數(shù)據(jù)模型檔模型持豐富的數(shù)據(jù)結(jié)構(gòu)（Attribute Pattern）靈活模式變成本查詢查詢條件、類型多變數(shù)據(jù)算法分析&快速可視化查詢豐富的查詢、索引、聚合數(shù)據(jù)可視化：MongoDB Charts & BI ConnectorAI: Spark connector、R & Python Drivers性能與安全新數(shù)據(jù)源持續(xù)集成，數(shù)據(jù)量增迅速敏感數(shù)據(jù)安全與保護性能與安全動擴展分架構(gòu)鑒權(quán)、權(quán)限、加密、

8、審計基于Zone的分區(qū)物聯(lián) & 時序數(shù)據(jù)IoT & Time-series DataIoT交易數(shù)據(jù)日志可穿戴設(shè)備、聯(lián)、等傳感器 數(shù)據(jù)，包含了量數(shù)據(jù)價值。情數(shù)據(jù)、交易為分析，提供 相似K線，智能投顧等增值業(yè)務(wù)。基礎(chǔ)架構(gòu)及應(yīng)系統(tǒng)產(chǎn)的日志 分析，提升運維效率降低故障 率。物聯(lián) & 時序數(shù)據(jù)IoT & Time-series Data功能要求MongoDB數(shù)據(jù)模型時序類數(shù)據(jù)，并發(fā)寫數(shù)據(jù)結(jié)構(gòu)隨著軟/硬件版本的新發(fā)變化數(shù)據(jù)模型檔模型持豐富的數(shù)據(jù)結(jié)構(gòu)（Bucket Pattern）靈活模式變成本擴展與性能數(shù)據(jù)量，隨設(shè)備全球分布持續(xù)在線讀寫實時性要求擴展性分布式架構(gòu)auto-shardingrang hash

9、 zone的分策略計算分析實時寫與實時分析數(shù)據(jù)量計算分析計算分析庫多豐富的查詢、索引、聚合數(shù)據(jù)可視化：MongoDB Charts & BI ConnectorAI: Spark connector、R & Python Drivers產(chǎn)品錄 & 內(nèi)容管理Product Catalog & Content Management產(chǎn)品錄內(nèi)容管理移動應(yīng)SKUs、F/X標的，設(shè)備等。屬性 和metadata頻繁新。組織管理任何形式的數(shù)據(jù)： 本、視頻、頻、圖等。移動/現(xiàn)代應(yīng)快速開發(fā)、快速上 線、快速迭代。產(chǎn)品錄 & 內(nèi)容管理Product Catalog & Content Management功能要求

10、MongoDB數(shù)據(jù)模型對象有復(fù)雜多變的屬性，元數(shù)據(jù)應(yīng)快速迭代，頻繁新數(shù)據(jù)模型數(shù)據(jù)模型檔模型持豐富的數(shù)據(jù)結(jié)構(gòu)靈活模式變成本，應(yīng)版本快速迭代上線GridFS持存儲二進制數(shù)據(jù)戶體驗戶查詢請求條件組合多變促銷、秒殺等活動期間數(shù)據(jù)庫性能不能降低-7*24在線戶體驗豐富的查詢、索引、聚合分布式架構(gòu)auto-sharding，戶就近訪問數(shù)據(jù)庫多：復(fù)制集同時滿在線交易與分析型需求實時分析戶個性化推薦實時統(tǒng)計銷售指標與內(nèi)容消費情況實時分析聚合Aggregation PiplineAI: Spark connector、R & Python Drivers數(shù)據(jù)可視化：MongoDB Charts & BI Con

11、nector主機下移 & 數(shù)據(jù)中臺Mainframe Offload & Operational Data Layer成本敏捷體驗量查詢壓轉(zhuǎn)移到ODL上， 好的性能與擴展性，降低成本。快速響應(yīng)業(yè)務(wù)變化，ODL數(shù)據(jù)平 臺提升開發(fā)效率3-5倍。7*24，滿不斷增的戶和數(shù) 據(jù)量增。主機下移 & 數(shù)據(jù)中臺Mainframe Offload正在使戶案例情況實時交易分析整合全分散交易數(shù)據(jù)，實現(xiàn)客戶層本帳收實時匯總交易金額，秒級響應(yīng)千億級別數(shù)據(jù)實時處理中臺系統(tǒng)&策略量化戶全局數(shù)據(jù)、共享數(shù)據(jù)、標簽、字典，處理三端微30000/s的并發(fā)請求產(chǎn)品資訊信息，模擬盤數(shù)據(jù)情數(shù)據(jù)存放與分析，量化交易旅客數(shù)據(jù)旅客多數(shù)據(jù)源的快速集成（航信、程、李、投訴、貴賓廳、站、App等）Spark和MongoDB集成，幅提升數(shù)據(jù)分析合處理速度旅客敏感數(shù)據(jù)集中到Mo