圖數(shù)據(jù)庫白皮書 -中國信通院

2版權(quán)聲明本白皮書版權(quán)屬于中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所，并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本白皮書文字或者觀點(diǎn)的，應(yīng)注明“來源：中國信息通信研究院云計(jì)算與大數(shù)據(jù)研究所”。違反上述聲明者，聯(lián)盟將追究其相關(guān)法律責(zé)任。杭州歐若數(shù)網(wǎng)科技有限公司：Sherman34 6 7 5 6一、圖數(shù)據(jù)庫概述業(yè)中，廣州市僅一個(gè)月內(nèi)由電話呼叫方和被呼叫方組成的圖就超過年公布的數(shù)據(jù)集已經(jīng)達(dá)到10億個(gè)頂點(diǎn)、425億條邊，僅是存儲(chǔ)邊的ClueWeb12數(shù)據(jù)集，/clueweb12/sp7成性能成指數(shù)級(jí)下降；而NoSQL數(shù)據(jù)庫（圖數(shù)據(jù)庫以外2019年初Gartner2數(shù)據(jù)與分析峰會(huì)上將圖列為201和分析趨勢之一，并認(rèn)為到2022年，全球圖處理及圖數(shù)據(jù)為頂點(diǎn)（vertex）存儲(chǔ)，關(guān)系作為邊（edge）存儲(chǔ)，解決了數(shù)據(jù)復(fù)雜Gartner2019年十大數(shù)據(jù)和分析技術(shù)/en/newsroom/press-releases/2019-02-18-gartner-identifies-t8（record）或行（row或文檔數(shù)據(jù)庫（documentdatabase）里的文2)頂點(diǎn)的屬性。頂點(diǎn)的屬性是對(duì)事物的具體描述，根據(jù)頂點(diǎn)代3)邊。邊是兩個(gè)頂點(diǎn)間的關(guān)聯(lián)關(guān)系，有向或無向。比如兩個(gè)頂4)邊的屬性。和頂點(diǎn)的屬性類似，每條邊上也有屬性。比如連9屬性可以通過頂點(diǎn)與屬性值（literal）之間的邊來表示，邊的屬性則圖數(shù)據(jù)庫根據(jù)底層存儲(chǔ)實(shí)現(xiàn)的不同，可分為原生(Native)和非原采用KV存儲(chǔ)非圖模型。（二）圖數(shù)據(jù)庫發(fā)展情況5000萬點(diǎn)和邊的數(shù)據(jù)規(guī)模下，對(duì)比了Neo4j與關(guān)系型數(shù)據(jù)庫在關(guān)聯(lián)2~~3~~4~~5~~圖的語義。通過支持在通用硬件上進(jìn)行水平擴(kuò)展（ScaleOut分布式圖數(shù)據(jù)庫具備了在海量關(guān)聯(lián)關(guān)系數(shù)據(jù)的存儲(chǔ)與實(shí)時(shí)深度查詢上絕理引擎（如GraphX，參見第三章）進(jìn)行離線計(jì)算與分析。態(tài)豐富，經(jīng)詳細(xì)調(diào)研及初步估計(jì)，當(dāng)前國內(nèi)的圖數(shù)據(jù)庫已（1）各大高校實(shí)驗(yàn)室、研究所在圖數(shù)據(jù)庫發(fā)展初期研究開發(fā)的（2）大型互聯(lián)網(wǎng)企業(yè)由于自身積累的海量數(shù)據(jù)以及業(yè)務(wù)需求，（3）新興創(chuàng)業(yè)公司，他們的產(chǎn)品的最大特點(diǎn)是完全自主研發(fā)的關(guān)系型數(shù)據(jù)庫的優(yōu)點(diǎn)在于實(shí)現(xiàn)了快速的逐行訪問和保持?jǐn)?shù)據(jù)一致性（ACID事務(wù)為此，關(guān)系型數(shù)據(jù)庫對(duì)數(shù)據(jù)模式和數(shù)據(jù)規(guī)范化模變大,且數(shù)據(jù)間關(guān)系隨之變得復(fù)雜時(shí)，使用關(guān)系模型檢索時(shí)需要多圖表二、圖數(shù)據(jù)庫應(yīng)用場景（一）知識(shí)圖譜知識(shí)圖譜本質(zhì)上是一種基于圖的數(shù)據(jù)結(jié)構(gòu)語義網(wǎng)絡(luò)知識(shí)圖譜將定義，后續(xù)改動(dòng)代價(jià)高昂。而圖模型中，只需要重新增加模式定義，（二）行業(yè)應(yīng)用傳統(tǒng)關(guān)系型數(shù)據(jù)庫在海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和復(fù)雜關(guān)系挖掘方物聯(lián)網(wǎng)（InternetofThings，IoT）近年來發(fā)展迅猛，“萬物互聯(lián)”三、圖數(shù)據(jù)庫技術(shù)詳解（一）技術(shù)架構(gòu)查詢語言接口：提供除該圖數(shù)據(jù)庫原有查詢語言之外例如（2）計(jì)算層：提供對(duì)操作的處理和計(jì)算，包括語法解析、查詢（3）存儲(chǔ)層：圖數(shù)據(jù)庫有原生和非原生存儲(chǔ)兩種存儲(chǔ)方式，圖（二）主流的圖查詢語言據(jù)庫優(yōu)化執(zhí)行，對(duì)用戶負(fù)擔(dān)較小。例如SQL是典型的聲明式語言，SPARQL是一種用于資源描述框架(RDF)義的查詢語言。在圖數(shù)據(jù)庫查詢語言不一的情況下，2019年6月隸圖遍歷常見算法包括：廣度優(yōu)先搜索（BreadthFirstSearch,BFS）和間某些條件下的最短路徑。路徑發(fā)現(xiàn)常見算法包括：最短路徑Databrick公司，屬于GraphLab是基于圖像處理模型的開源圖計(jì)由雅虎開發(fā)，捐贈(zèng)給四、圖數(shù)據(jù)庫選型要素（一）基本能力為了方便用戶的使用，圖數(shù)據(jù)庫還應(yīng)當(dāng)提供事務(wù)、索引、查詢語言、1)常用數(shù)據(jù)類型，字符集，數(shù)據(jù)模型，（二）分布式能力1)分布式計(jì)算與存儲(chǔ)能力，提供容量和性能的3)分布式事務(wù)能力，保證系統(tǒng)支持一定隔離級(jí)別下的ACID特4)在線擴(kuò)容能力，能夠盡量在不影響已有任務(wù)正常運(yùn)行的前提（三）兼容能力（四）管理能力完備且友好的管理能力可以為用戶更好地進(jìn)行數(shù)據(jù)庫運(yùn)維工作（五）安全能力1)支持面向數(shù)據(jù)的權(quán)限管理，例如：從多個(gè)級(jí)別例如圖/標(biāo)簽/（六）高可用能力1)多機(jī)熱備，即主服務(wù)器故障時(shí)，3)存儲(chǔ)多備，即一個(gè)存儲(chǔ)故障時(shí)，主服務(wù)能夠獲取其它存儲(chǔ)2)測試的數(shù)據(jù)情況，包括圖的數(shù)據(jù)規(guī)模（通常以點(diǎn)和邊的數(shù)量4)測試的性能數(shù)據(jù)，包括可支持的關(guān)聯(lián)查詢深度、對(duì)應(yīng)延遲與五、圖數(shù)據(jù)庫實(shí)施建議（一）業(yè)務(wù)理解（二）圖Schema設(shè)計(jì)由于Schema設(shè)計(jì)是業(yè)務(wù)數(shù)據(jù)和圖數(shù)據(jù)庫之間重要的橋梁，此步驟與務(wù)人員都確認(rèn)為止。具體設(shè)計(jì)內(nèi)容包括：需要用來進(jìn)行檢索和可視化展示的，都需要作為屬性。有些作為查詢條件的屬性設(shè)置成點(diǎn)（比如“人”這個(gè)點(diǎn)所擁有的否則會(huì)極大影響查詢性能。2)哪些類型的頂點(diǎn)之間需要建立何種類型的邊，邊上帶有哪些既可以設(shè)計(jì)成頂點(diǎn)、也可以設(shè)計(jì)成邊，根據(jù)業(yè)務(wù)需求以及所（三）業(yè)務(wù)數(shù)據(jù)加工業(yè)務(wù)數(shù)據(jù)加工可以由業(yè)務(wù)方ETL人員或者圖數(shù)據(jù)庫實(shí)施工程師的頂點(diǎn)和邊，并調(diào)用圖數(shù)據(jù)庫提供的API，進(jìn)行數(shù)據(jù)的2)離線處理：業(yè)務(wù)數(shù)據(jù)離線保存成文件，如寬表形式，通過離一般圖數(shù)據(jù)庫會(huì)提供批量加載數(shù)據(jù)的工具，如加載csv格式初始化時(shí)，可以采用該批量加載數(shù)據(jù)的工具，以獲得較高的可以用增量更新的方式，或者將離線文件解析成頂點(diǎn)和和邊（四）驗(yàn)證和測試屬性值是否正常，邊的方向是否正確，預(yù)期的路徑是否存在2)業(yè)務(wù)場景的驗(yàn)證：將業(yè)務(wù)常用的查詢表達(dá)成圖數(shù)據(jù)庫的查詢語言，執(zhí)行查詢，檢查返回的結(jié)果的正確性，同時(shí)確保時(shí)效（五）監(jiān)控運(yùn)維2)擴(kuò)容：在數(shù)據(jù)量和計(jì)算能力不足時(shí)，對(duì)圖數(shù)據(jù)庫進(jìn)行擴(kuò)容，保證數(shù)據(jù)有序擴(kuò)容，實(shí)現(xiàn)在線擴(kuò)容或者對(duì)業(yè)務(wù)的影響降到最3)數(shù)據(jù)平衡：對(duì)于分布式圖數(shù)據(jù)庫，在數(shù)據(jù)分布不均時(shí)，對(duì)數(shù)據(jù)在圖數(shù)據(jù)庫節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)平衡，將部分?jǐn)?shù)據(jù)從負(fù)載重的節(jié)點(diǎn)遷移到負(fù)載輕的節(jié)點(diǎn)，并保證數(shù)據(jù)有序遷移，實(shí)現(xiàn)在5)存儲(chǔ)備份和恢復(fù)：如果圖數(shù)據(jù)庫存儲(chǔ)是重要的業(yè)務(wù)數(shù)據(jù)，或者數(shù)據(jù)的生產(chǎn)成本較高，或者是業(yè)務(wù)允許的故障恢復(fù)時(shí)間要求較高，則需要周期性地對(duì)圖數(shù)據(jù)庫數(shù)據(jù)進(jìn)行備份，并保證6)災(zāi)備方案：根據(jù)不同業(yè)務(wù)對(duì)數(shù)據(jù)安全的重要性、數(shù)據(jù)更新的實(shí)時(shí)性要求等，可以考慮設(shè)置不同的災(zāi)備策略。一般建議至少做兩副本，保證數(shù)據(jù)安全可靠。主備方案由于涉及到主備保證數(shù)據(jù)的實(shí)時(shí)更新的同步，確保數(shù)據(jù)一致（允許強(qiáng)一致性造成一定資源的閑置。多活方案可以提升一定的并發(fā)能力，但查詢路由需要就近選擇，以免選到遠(yuǎn)端的副本，導(dǎo)致時(shí)延（六）從關(guān)系型數(shù)據(jù)庫遷移到圖數(shù)據(jù)庫當(dāng)于關(guān)系型數(shù)據(jù)庫中連接兩張表的中間表，或者一張表通過外鍵關(guān)聯(lián)另一張表，那么這兩張表對(duì)應(yīng)到圖上的兩個(gè)頂點(diǎn)和2)頂點(diǎn)和邊上的屬性可以參考關(guān)系型數(shù)據(jù)庫中對(duì)應(yīng)表的字段名3)關(guān)系型數(shù)據(jù)庫中表的某字段在該表中可以保證唯一性，那么該字段滿足被設(shè)置成主鍵的條件。該這個(gè)字段可以做為圖數(shù)4)通過對(duì)業(yè)務(wù)分析，在創(chuàng)建圖模型時(shí)可以根據(jù)需求對(duì)頂點(diǎn)和邊進(jìn)行調(diào)整。必要時(shí)徹底拋棄現(xiàn)有的表結(jié)構(gòu)，根據(jù)業(yè)務(wù)現(xiàn)狀重六、總結(jié)和展望大數(shù)據(jù)時(shí)代業(yè)務(wù)的增長帶來了數(shù)據(jù)量的劇增和數(shù)據(jù)關(guān)聯(lián)的復(fù)雜圖模型對(duì)異構(gòu)數(shù)據(jù)天然的包容力帶來了在深度關(guān)聯(lián)查詢上比其它數(shù)1.