分布式圖數(shù)據(jù)庫的應(yīng)用實踐

1、技術(shù)創(chuàng)新，變革未來分布式圖數(shù)據(jù)庫的應(yīng)用實踐分布式圖數(shù)據(jù)庫在貝殼找房的應(yīng)用實踐分享提綱貝殼圖數(shù)據(jù)庫應(yīng)用場景圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫平臺建設(shè)原理&優(yōu)化&不足圖數(shù)據(jù)庫場景行業(yè)知識圖譜覆蓋房源、客戶、經(jīng)紀(jì)人、開發(fā)商、 小區(qū)、地鐵、醫(yī)院、學(xué)校、商場等 140多個類別，共計500多億三元組偏事實關(guān)系應(yīng)用場景：搜索推薦，智能問答例：查詢開發(fā)商是XXX，小區(qū)綠化率 大于20%，周邊200米有大型商場， 500米有地鐵，1000米有三甲醫(yī)院， 2000米有升學(xué)率超過60%的高中， 房價在800W以內(nèi)，最近被經(jīng)紀(jì)人帶 看次數(shù)最多的房子？?圖數(shù)據(jù)庫場景貝殼關(guān)系圖譜節(jié)點：經(jīng)紀(jì)人、房源、客戶關(guān)系：瀏覽、關(guān)注、帶看等偏行

2、為關(guān)系應(yīng)用場景：房源推薦、客源維護、影響力分級例：當(dāng)某個用戶經(jīng)常瀏覽關(guān)注或者咨 詢某個房源時，該房源的維護人A1會 邀請該用戶的維護人A2帶客戶來看房。圖數(shù)據(jù)庫場景風(fēng)控關(guān)系圖譜事實圖譜、行為圖譜、 社交圖譜、作業(yè)圖譜、 工商圖譜風(fēng)控場景：虛假房源、 虛假客源、虛假帶看、 私單飛單貝殼圖數(shù)據(jù)庫應(yīng)用場景行業(yè)知識圖譜貝殼關(guān)系圖譜風(fēng)控關(guān)系圖譜分別使用不同圖數(shù)據(jù)庫，各自為戰(zhàn)：分享提綱圖數(shù)據(jù)庫在貝殼的應(yīng)用場景圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫平臺建設(shè)原理&優(yōu)化&不足圖數(shù)據(jù)庫技術(shù)選型開源成熟擴展文檔性能穩(wěn)定運維易用圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫技術(shù)選型主流圖數(shù)據(jù)庫對比圖數(shù)據(jù)庫Neo4jOrientDBArangoDBJan

3、usGraphDGraph初次release20072010201220172016是否開源社區(qū)版開源開源開源開源開源是否收費企業(yè)版收費webUI管理模塊收費企業(yè)版收費免費免費數(shù)據(jù)模型graphdoc、graph、 KVdoc、graph、 KVgraphgraphSQL不支持類SQL不支持不支持不支持存儲系統(tǒng)原生原生RockDB依賴其他存儲原生分布式企業(yè)版支持后期支持后期支持原生支持原生支持相關(guān)文檔非常多多多少少圖數(shù)據(jù)庫技術(shù)選型JanusGraph架構(gòu)圖數(shù)據(jù)庫技術(shù)選型Dgraph架構(gòu)Zero：集群大腦，用于控制集群，將服務(wù)器 分配到一個組，并均衡數(shù)據(jù)。通過raft選主Alpha：存儲數(shù)據(jù)并處

4、理查詢，托管謂詞和索引Group：多個alpha組成一個group，數(shù)據(jù) 分片存儲到不同group，每個group內(nèi)數(shù)據(jù) 通過raft保證強一致性Ratel：可視化界面，用戶可通過界面來執(zhí)行查詢，更新或修改schema圖數(shù)據(jù)庫技術(shù)選型性能對比類型JanusGraphDgraph寫入性能實時寫入點15000/s35000/s邊9000/s10000/s初始化寫入三元組24W/s查詢性能（隨機1W次平均）查詢結(jié)點的所有屬性1.63 ms2.24 ms查詢結(jié)點的一度關(guān)系1.25 ms2.30 ms查詢和當(dāng)前結(jié)點關(guān)聯(lián)的所有一度結(jié)點11.84 ms3.18 ms查詢兩節(jié)點間小于6度的所有最短路徑4.37

5、 ms1.03 ms查詢一度以內(nèi)所有頂點及屬性36.36 ms3.26 ms查詢二度以內(nèi)所有頂點及屬性307.07 ms3.58 ms查詢?nèi)纫詢?nèi)所有頂點及屬性763.21 ms3.76 ms測試機器：3臺物理機，48核，128G內(nèi)存，SATA硬盤測試數(shù)據(jù)集：4800w點，6300w邊，4.5億三元組，大小30G圖數(shù)據(jù)庫技術(shù)選型Dgraph VS JansGraph特性DgraphJanusGraph架構(gòu)分布式構(gòu)建于其他分布式數(shù)據(jù)庫之上副本強一致性依賴底層DB數(shù)據(jù)均衡自動依賴底層DB語言GraphQL+-Gremlin全文檢索原生支持依賴外部檢索系統(tǒng)正則表達式原生支持依賴外部檢索系統(tǒng)地理位置檢

6、索原生支持依賴外部檢索系統(tǒng)可視化原生支持依賴外部系統(tǒng)維護成本低很高寫入性能高較高查詢性能簡單和復(fù)雜查詢都很快復(fù)雜查詢較慢分享提綱貝殼圖數(shù)據(jù)庫應(yīng)用場景圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫平臺建設(shè)原理&優(yōu)化&不足圖數(shù)據(jù)庫平臺建設(shè)集群搭建dgraph zero -replicas 3dgraph alpha -zero localhost:5080圖數(shù)據(jù)庫平臺建設(shè)數(shù)據(jù)寫入圖數(shù)據(jù)庫平臺建設(shè)數(shù)據(jù)查詢查詢名字包含“秀園”，綠化率大于30%的小區(qū)附近1km的幼兒園圖數(shù)據(jù)庫平臺建設(shè)GraphSQL查詢名字包含“秀園”，綠化率大于30%的小區(qū)附近1km的幼兒園圖數(shù)據(jù)庫平臺建設(shè)GraphSQL圖數(shù)據(jù)庫平臺建設(shè)GraphSQL

7、/LianjiaTech/dgraph-sql圖數(shù)據(jù)庫平臺建設(shè)GraphSQL分享提綱圖數(shù)據(jù)庫在貝殼的應(yīng)用場景圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫平臺建設(shè)原理&優(yōu)化&不足原理&優(yōu)化Dgraph原理存儲引擎Badger：一個高效和持久化的，基于 LSM的鍵值數(shù)據(jù)庫，純Go語言編寫隨機讀比RocksDB快3.5倍存儲結(jié)構(gòu)(Predicate, Subject) - sorted list of ValueId(friend, me) - person1,person2,person3,person4,person5數(shù)據(jù)分片根據(jù)謂詞分片，相同謂詞的數(shù)據(jù)按序存儲在同一個節(jié)點，減少RPC定期數(shù)據(jù)均衡（rebalan

8、ce_interval）group根據(jù)replicas和alpha啟動順序確定高可用每個group至少3個alpha，互為副本，raft協(xié)議保證強一致性write-ahead logs，預(yù)寫日志原理&優(yōu)化Dgraph原理例：查詢我所有朋友的朋友中就職于貝殼的人。Dgraph：避免廣播，一次網(wǎng)絡(luò)調(diào)用 執(zhí)行一次連接，低延遲，可預(yù)測原理&優(yōu)化Dgraph優(yōu)化Bulkloader導(dǎo)入優(yōu)化，解決內(nèi)存溢出問題，分布式導(dǎo)入改造行業(yè)圖譜500億三元組導(dǎo)入時間：48h - 15h 提升 3 倍（9物理機）增加數(shù)據(jù)均衡開關(guān)，業(yè)務(wù)高峰期禁止均衡，避免影響實時寫入原理&優(yōu)化&不足Dgraph不足不支持多重邊任意一對頂

9、點，相同標(biāo)簽類型的邊只允許存在一條一個集群只支持一個圖企業(yè)版支持多圖大數(shù)據(jù)生態(tài)兼容不夠Spark寫入容易overload容易出現(xiàn)超級“邊”不是很成熟分享提綱貝殼圖數(shù)據(jù)庫應(yīng)用場景圖數(shù)據(jù)庫技術(shù)選型圖數(shù)據(jù)庫平臺建設(shè)原理&優(yōu)化&不足新的選型Nebula GraphNebula Graph VS Dgraph查詢Dgraph最大QPS/avg/p99Nebula Graph最大QPS/avg/p99查詢指定節(jié)點7個屬性10475/18ms/71ms99053/6ms/11ms查詢一度節(jié)點3個屬性5995/32ms/145ms5403/36ms/78ms查詢二度節(jié)點3個屬性1899/48ms/344ms2526/39ms/156ms查詢?nèi)裙?jié)點3個屬性1315/51ms/368ms698/56ms/640ms查詢四度節(jié)點3個屬性1134/60ms/529ms655/60ms/764ms測試場景：帶過濾條件多度查詢，結(jié)果集在1000以內(nèi)，返回部分屬性，壓測最大QPS測試數(shù)據(jù)：小區(qū)子圖，200w點，8000W邊，1億RDF測試機器：3臺物理機，48核，128G內(nèi)