PG+mongo數(shù)據(jù)平臺助力企業(yè)去O

1、PG+mongo數(shù)據(jù)平臺助力企業(yè)去O目錄PG和mongo的淵源去O的大背景去O難點(diǎn)PG+mongo的優(yōu)勢參考資料每年發(fā)布大版本，1.5個(gè)月左右發(fā)布小版本，每個(gè)大版本維護(hù)56年。歷史版本特征矩陣:/about/featurematrix/PG的起源DeveloperWeek采訪數(shù)據(jù)SQL + NoSQL數(shù)據(jù)庫使用：75.6%SQL + SQL數(shù)據(jù)庫使用：14.6%NoSQL + NoSQL數(shù)據(jù)庫使用：9.8%DeveloperWeek采訪數(shù)據(jù)MySQL + MongoDB：34.15%MySQL + PostgreSQL：9.76%MongoDB + PostgreSQL：7.32%MongoD

2、B + Redis：7.32%MySQL + MongoDB + PostgreSQL：4.88%MySQL + MongoDB + PostgreSQL + Redis：4.88%DB-Engines 榜單好基友2013年度數(shù)據(jù)庫mongo2014年度數(shù)據(jù)庫mongo20172018年度數(shù)據(jù)庫年度數(shù)據(jù)庫PGPGPG、mongo 社區(qū)互動(dòng)2014 PG年度峰會(huì) 深圳TJ - MongoDB的特點(diǎn)及應(yīng)用2018 PG年度峰會(huì) 杭州TJ - MongoDB4.0 - 開創(chuàng) NoSQL + ACID 新紀(jì)元2019 沙龍MongoDB + PostgreSQL中文社區(qū) 南京技術(shù)大會(huì)2019 PG象行

3、中國（重慶站） 唐峰 - MongoDB技術(shù)特點(diǎn)及典型應(yīng)用場景2019 PG年度峰會(huì) 北京TJ - 數(shù)據(jù)中臺的技術(shù)實(shí)現(xiàn)方案開發(fā)者喜愛的特性JSONMongo: BSONPG: JSON、JSONB、SQL/json path language、plv8、GIN倒排索引GISMongo: GeoJSONPG: PostGIS(geometry、geography、2D|3D|4D)FDWPG: mongo_fdw目錄PG和mongo的淵源去O的大背景去O難點(diǎn)PG+mongo的優(yōu)勢參考資料48.6%O20.7%D18.1%MSS2007 全球數(shù)據(jù)庫軟件市場份額Gartner Worldwide R

4、DBMS Market Share Reports只手遮天NoSQLRDBMSMPP商業(yè)數(shù)據(jù)庫O D M貴!BigData2008分解、嘗試、拆分、開源框架開始流行英 雄 輩 出大事記加入SKY，負(fù)責(zé)數(shù)據(jù)庫、存儲(chǔ)。O:核心業(yè)務(wù)PG:社交業(yè)務(wù) mongo:日志2008200920102011大事記業(yè)務(wù)發(fā)展迅猛。 上市準(zhǔn)備。 O逐漸替換為PG。大事記PG9.0發(fā)布，支持物理復(fù)制 ADGO全部替換為PG， 同年nasdaq上市大事記PG中文社區(qū)成立，第一屆PG大會(huì)（暨南大學(xué)）2013大事記最后一臺小型機(jī)下線第一次提出去”IOE”2008 - 2013商業(yè)趨勢1、提高安全、合規(guī)、正版化意識是全球趨勢2

5、、PG是用戶去O開源數(shù)據(jù)庫首選語法、功能與O最接近3、PG是廠商首選與O最接近，避免重復(fù)造輪子，避免重復(fù)構(gòu)建生態(tài)渠道型廠商，包裝PG，快速布局線下市場開源協(xié)議友好目錄PG和mongo的淵源去O的大背景去O難點(diǎn)PG+mongo的優(yōu)勢參考資料核心訴求決策層訴求去O理由（貴、技術(shù)路線、業(yè)務(wù)發(fā)展、政策、）、額外動(dòng)機(jī)（變革價(jià)值？）、O2?：產(chǎn)品背書、人才、Support、產(chǎn)品生命力、法律風(fēng)險(xiǎn)、解決業(yè)務(wù)問題。開發(fā)者訴求使用習(xí)慣，學(xué)習(xí)成本開發(fā)工具、框架、語言支持DBA訴求使用習(xí)慣，學(xué)習(xí)成本管理能力穩(wěn)定性、性能多模Oracle兼容企業(yè)級混合 負(fù)載創(chuàng) 新 價(jià) 值商 用 價(jià) 值0丟失+高可用:quorum bas

6、ed sync repl安全:SSLSQL防火墻插件TDE(13)彈性:插件化 sharding(citus)模塊化擴(kuò)展 性能:32C TPCC 100萬+并行計(jì)算OLTP、OLAP、SMP并行計(jì)算、GPU并行計(jì)算、 列 存 儲(chǔ) 、 JIT 、向量計(jì)算開放接口：時(shí)空、GIS、圖像 文本、時(shí)序、向量相似、圖譜 流計(jì)算、異構(gòu)、 機(jī)器學(xué)習(xí)、多維計(jì)算、shard社區(qū)版：orafce阿里云：POLARDB 兼容Oracle版PG 定位-企業(yè)級P G 生 態(tài)用戶高校軟件開發(fā)商云、 數(shù)據(jù)庫 廠商硬件 廠商培訓(xùn) 機(jī)構(gòu)開源 社區(qū)服務(wù) 提供商乘數(shù)科技、 成都文武、 太陽塔科技、 磐極云數(shù)、 云和恩墨、 海量云圖、

7、PG中國社區(qū)、 開源聯(lián)盟PG分會(huì)、ToCB發(fā)力： 阿里云大學(xué)云和恩墨、晟數(shù) 社區(qū)、分會(huì)阿里云、 騰訊云、華為云、青云、金山云、 aws(bigsql, rds, aurora, redshift) 微軟:citusIbm:edb瀚高、優(yōu)炫、恒輝、云圖、Polardb, tbase, 高斯，亞信、pivotal gpdb、偶數(shù)、zilliz、南大富士通。超圖、odoo、SAP、用友、 金蝶、云堡壘機(jī).（地理信息、財(cái)務(wù)、辦公、ERP、安全）武漢大學(xué)、 人大、.Apple、lazada、redhat、平安、國家電網(wǎng)、郵儲(chǔ)銀行、阿里、騰訊、 高德、華為、gov、探探、去哪兒、亞信、海鼎、蘇寧、斗魚、

8、中興、國信、.PG 衍生數(shù)據(jù)庫、插件應(yīng)用Greenplum、redshift、asterdata大數(shù)據(jù)分析Agensgraphedgedb圖計(jì)算Citus、xcxl、antdb、阿里巴巴POLARDBHTAPtimescaledbIoT 時(shí)序數(shù)據(jù)(工業(yè)物聯(lián)網(wǎng))EDBPOLARDBorafce 兼容Oracle替換 商業(yè)數(shù)據(jù)庫Pipelinedb、imgsmlr流計(jì)算、圖像識別Yahoo everest搜索引擎阿里巴巴 Pase 插件高維向量相似搜索(人臉識別)Madlib、rdkit機(jī)器學(xué)習(xí)、化學(xué)計(jì)算PostGIS、阿里巴巴 Ganos 插件時(shí)空、地理信息教科書級代碼教學(xué)價(jià)值可插拔接口，前沿科

9、技快速集成科研價(jià)值帶動(dòng)數(shù)據(jù)庫產(chǎn)業(yè)避免重復(fù)造輪子Who use PG?OPostgreSQL品牌國內(nèi)外用戶：版本發(fā)布節(jié)奏穩(wěn)定(每年大版本、每月小版本，十年如一日)，產(chǎn)品穩(wěn)定。價(jià)格不要錢，類似bsd許可，風(fēng)險(xiǎn)低。允許云上、線下輸出，廠商可以基于PG分發(fā)。核心技術(shù)RAC - pg (polardb, xl,xc, antdb, 彎道超車)優(yōu)化器：動(dòng)態(tài)規(guī)劃(超復(fù)雜SQL)內(nèi)存表TBS(multi datafile-block devs) - pg(zfs, lvm)RAW 設(shè)備，Redo group - pg(zfs, storage)Block level compressACID，單機(jī)，集群（分布

10、式），多寫(pro)，進(jìn)程，線程池(13+)，bg process, 守護(hù)進(jìn)程,AM開放(heap,zheap,zedstore,btree,hash,gin,gist,spgist,brin,bloom,rum) Database，schema，tbs，redo，arch，stream，pitr， Compress(block level, openapi), ssl, auth(pwd,ldap,sspi,peer,md5,) quorum base(多副本),cbo, geqo( 圖 式 規(guī) 劃 ), aqo, cost const, hint, sr plan AWR, auto pa

11、rallel (sql, mainantence, idx, bak , restore) HA(shared store, stream rep)MPP, HTAP (citus, gpdb, antdb, polardb,)功耗ECS 單機(jī) 160萬+ tpmc total (1000Warehouse),能耗比104 core ，160萬+ tpmc total = .故障率穩(wěn)如狗 (前提：基本的部署系統(tǒng)、參數(shù)優(yōu)化)穩(wěn)定性CKPT動(dòng)態(tài)調(diào)度，波動(dòng)較小。自動(dòng)垃圾回收，vacuum freeze。帶調(diào)度，波動(dòng)小。 大查詢資源搶占，支持用戶級并行度配置，波動(dòng)小。鎖粒度細(xì)，讀寫不沖突，行鎖不耗費(fèi)內(nèi)

12、存，沒有鎖放大問題。advisory lock, ssi隔離級別安全性ACL，認(rèn)證過程加密，ssl，敏感信息掩碼，tde(13)，存儲(chǔ)級加密，權(quán)限控制粒度（sec label, column, table, object, schema, database）Barrier viewDBA核心訴求:O vs PG，空調(diào)OPostgreSQL核心功能Bitmap index - (pg: gin,rum)數(shù)據(jù)類型(普通類型，數(shù)組，json，kv，幾何，多維，range，comp,uuid,xml,text search,枚舉，字節(jié)流，大對象 圖像，擴(kuò)展(pase)，索引（btree,hash,gi

13、n,gist,spgist,bloom,brin,rum,排他，partial idx, express idx,虛擬索引, including index）， FDW(postgres, mysql, oracle,mongo, ms sql, jdbc, odbc, Hadoop, )數(shù)據(jù)存儲(chǔ)(heap, zheap, zedstore, 未來擴(kuò)展 )Sql語法兼容性，內(nèi)置函數(shù)、操作符，自定義函數(shù)，類型，操作符， 高可用，在線備份，增量備份，增量恢復(fù)，實(shí)時(shí)容災(zāi)，審計(jì)增值能力閃回，閃回query，- pg(pro snapfs)im-dbDatafile direct-ioInterval

14、partition自動(dòng)內(nèi)存管理，asm插件化：GIS，路由，圖，推薦，分布式，MM，流計(jì)算，多維向量， 外部訪問源，邏輯訂閱，資源隔離，HTAP，GPU加速，并行計(jì)算，傳輸表空間(pg pro)，塊級壓縮(zedstore) , pg_repack(在線重組垃圾回收)函數(shù)語言擴(kuò)展（plpgsql, c, plperl, pljava, pltcl, plpython, pllua, plgo,.)維護(hù)日常維護(hù)，性能監(jiān)控手段，優(yōu)化，診斷，上報(bào)BUG、與社區(qū)聯(lián)絡(luò)非常容易，可直接解讀源碼產(chǎn)品限制支持的芯片，操作系統(tǒng)，可以建不限個(gè)數(shù)db，user，schema，table，有限取決于block siz

15、e和編譯頭文件: column，index，記錄數(shù)，表大小，數(shù)據(jù)庫大小售前服務(wù)云、數(shù)據(jù)庫廠商、支持公司、培訓(xùn)公司、高校售后保障同上(代碼級服務(wù)除了社區(qū)提供，還有很多公司可以提供)使用便捷語法豐富程度（最接近SQL標(biāo)準(zhǔn)的數(shù)據(jù)庫），gui, cli，函數(shù)開發(fā)、調(diào)試，develop框架，isv 集成說明書手冊，源碼，書，搜索引擎，視頻，培訓(xùn)，認(rèn)證，blog，微信，qq，釘釘群，公眾號，5萬+社群DBA核心訴求:O vs PG空調(diào)OPostgreSQL外觀代碼可讀性（堪稱教科書級），引用各種論文，注釋說明豐富。模塊化設(shè)計(jì)。開放hook, api，可擴(kuò)展能力強(qiáng)。做工Psql 幫助，tab補(bǔ)齊，快捷命令，

16、快捷幫助、管理函數(shù)，框架自動(dòng)補(bǔ)全，手冊index，插件集中化管理。用料純C代碼。產(chǎn)能每年一個(gè)大版本，小版本平均1.5個(gè)月發(fā)布，每個(gè)大版本維護(hù)56年。上市時(shí)間追溯到1973（論文， ingres）,第一個(gè)開源版本始于1995企業(yè)股權(quán)分布 注冊資本NPO組織化運(yùn)作，社區(qū)組成：遍及全球，涉及眾多商業(yè)巨頭，民主化，不受國家、公司控制（aws, ms, ibm, google, apple, 。 Cloud: Alibaba, Tencent, Huawei, ）行業(yè)認(rèn)證(3C，ISO) 質(zhì)量控制。遵循SQL標(biāo)準(zhǔn)，同時(shí)擴(kuò)展SQL能力。 商業(yè)化公司（認(rèn)證）社區(qū)化運(yùn)作（管理體系完善）DBA核心訴求:O vs

17、 PG開發(fā)者核心訴求: O vs PG類目OPostgreSQLGUI管理工具Toad，PLSQL DeveloperPgadmin, navicat for PGCLI管理工具Sql*pluspsql函數(shù)、存儲(chǔ)過程語言PL/SQLPlpgsql,+ plpython, pltcl, plperl, pljava, plv8, pllua C嵌入式開發(fā)PRO*Cecpg數(shù)據(jù)類型數(shù)值、時(shí)間、字符串、二進(jìn)制、 大對象、枚舉、GIS、BIT、JSON、XML、復(fù)合全部包括。+數(shù)組、range、樹、網(wǎng)絡(luò)、UUID、全文檢索、貨 幣、域、向量、擴(kuò)展類型SQL語法增、刪、改、查、函數(shù)調(diào)用、聚合、窗口、分組、排序、子查詢、 關(guān)聯(lián)、遞歸、邏輯集合、觸發(fā)器、事件觸發(fā)器、HINT、索引、explain全部包括。+異步消息，+索引：Gin,gist,spgist,b