現(xiàn)代機(jī)器學(xué)習(xí) 課件 第15章 圖卷積神經(jīng)網(wǎng)絡(luò)

第15章圖卷積神經(jīng)網(wǎng)絡(luò)15.1符號的定義15.2圖卷積和圖池化的構(gòu)建15.3圖卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練15.4圖卷積神經(jīng)網(wǎng)絡(luò)的典型算法15.5圖卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用15.6圖卷積神經(jīng)網(wǎng)絡(luò)的未來發(fā)展方向本章小結(jié)

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只能處理具有平移不變性的歐氏空間數(shù)據(jù)(如圖像、文本、語音等)。一種非歐氏空間數(shù)據(jù)——圖數(shù)據(jù),受到了越來越多的關(guān)注。圖數(shù)據(jù)可以自然地表達(dá)現(xiàn)

實(shí)生活中的數(shù)據(jù)結(jié)構(gòu),如交通網(wǎng)絡(luò)、萬維網(wǎng)、社交網(wǎng)絡(luò)等。如圖15.1所示,與圖像和文本這種歐氏空間數(shù)據(jù)不同,非歐氏空間數(shù)據(jù)的圖數(shù)據(jù)中每個節(jié)點(diǎn)的局部結(jié)構(gòu)不同,使得其不再滿足平移不變性。因此,缺乏平移不變性對基于歐氏空間數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)提出了挑戰(zhàn)。圖15.1歐氏空間數(shù)據(jù)與非歐氏空間數(shù)據(jù)

構(gòu)建圖卷積神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)主要有如下幾個:

(1)圖數(shù)據(jù)中每個節(jié)點(diǎn)的局部結(jié)構(gòu)不同,不滿足平移不變性。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的基本卷積操作和池化依賴于數(shù)據(jù)的平移不變性。因此,如何在圖數(shù)據(jù)上定義卷積和池化成為

一個具有挑戰(zhàn)性的任務(wù)。

(2)圖數(shù)據(jù)的特性多樣。現(xiàn)實(shí)生活中的許多應(yīng)用都可以用圖數(shù)據(jù)來表示,如社交網(wǎng)絡(luò)中用戶的定向連接、引文網(wǎng)絡(luò)中作者與引文之間的異質(zhì)連接、政治網(wǎng)絡(luò)中正負(fù)趨勢符號的連接等,這使得圖數(shù)據(jù)的特性多樣。圖的特性給圖卷積神經(jīng)網(wǎng)絡(luò)的構(gòu)建帶來了更多的信息,但多特性的建模也要求圖卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)更加復(fù)雜和精確。

(3)圖數(shù)據(jù)具有大規(guī)模性質(zhì)。在大數(shù)據(jù)時代,實(shí)際應(yīng)用中的圖可能包含數(shù)百萬甚至上千萬個節(jié)點(diǎn),如推薦系統(tǒng)中的用戶商品網(wǎng)絡(luò)和社交網(wǎng)絡(luò)中的用戶網(wǎng)絡(luò)。在可接受的時間和

空間范圍內(nèi),如何在大規(guī)模圖上構(gòu)造圖卷積神經(jīng)網(wǎng)絡(luò)也是一個巨大的挑戰(zhàn)。

15.1符號的定義

本節(jié)首先給出圖卷積神經(jīng)網(wǎng)絡(luò)中常見符號的定義,如表15.1所示。

15.2圖卷積和圖池化的構(gòu)建

15.2.1圖卷積的構(gòu)建現(xiàn)有的圖卷積神經(jīng)網(wǎng)絡(luò)可分為譜方法和空間方法。譜方法利用圖卷積定理在譜域定義圖的卷積,而空間方法則在節(jié)點(diǎn)域通過定義聚合函數(shù)來聚合每個中心節(jié)點(diǎn)及其相鄰節(jié)點(diǎn)。

1.譜方法構(gòu)建圖卷積

譜卷積神經(jīng)網(wǎng)絡(luò)(spectrumCNN)是第一種在圖上構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)的方法。該方法利用卷積定理在每一層定義圖卷積。在損失函數(shù)的指導(dǎo)下,通過梯度反向傳播學(xué)習(xí)卷積核參

數(shù),構(gòu)成多層神經(jīng)網(wǎng)絡(luò)。譜卷積神經(jīng)網(wǎng)絡(luò)的m層結(jié)構(gòu)如下:

2.空間方法構(gòu)建圖卷積

以上方法都是基于卷積定理定義譜域中的圖卷積,而空間方法是在節(jié)點(diǎn)域定義聚合函數(shù),對每個中心節(jié)點(diǎn)及其相鄰節(jié)點(diǎn)進(jìn)行聚合。目前,已有一些方法通過注意機(jī)制或遞歸神

經(jīng)網(wǎng)絡(luò)直接從節(jié)點(diǎn)域?qū)W習(xí)聚合函數(shù),另有一些方法從空間角度定義了圖卷積神經(jīng)網(wǎng)絡(luò)的一般框架,并解釋了圖卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)在機(jī)制。

平移不變性的缺失給圖神經(jīng)網(wǎng)絡(luò)的定義帶來了困難,混合卷積網(wǎng)絡(luò)在圖上定義坐標(biāo)系,并將節(jié)點(diǎn)之間的關(guān)系表示為新坐標(biāo)系下的一個低維向量,同時,混合卷積網(wǎng)絡(luò)定義一簇權(quán)重函數(shù),權(quán)重函數(shù)作用在以一個節(jié)點(diǎn)為中心的所有鄰近節(jié)點(diǎn)上,其輸入為節(jié)點(diǎn)間的關(guān)系表示(一個低維向量),輸出為一個標(biāo)量值。通過這簇權(quán)重函數(shù),混合卷積網(wǎng)絡(luò)對每個節(jié)點(diǎn)給出了相同尺寸的向量表示:

其中,N(x)是x的相鄰節(jié)點(diǎn)集;f(y)是信號f下節(jié)點(diǎn)y的值;u(x,y)是坐標(biāo)系u下的節(jié)點(diǎn),表示關(guān)系的低維向量;wj表示第j個權(quán)重函數(shù);J是權(quán)重函數(shù)的個數(shù)。該操作使每個節(jié)點(diǎn)得到一個J維的表示,該表示綜合了節(jié)點(diǎn)的局部結(jié)構(gòu)信息。混合卷積模型在這個J維表示上定義了共享卷積核:

式中,{g(j)}Jj=1表示卷積核。

與混合卷積網(wǎng)絡(luò)不同,消息傳播網(wǎng)絡(luò)指出圖卷積的核心是定義節(jié)點(diǎn)間的聚合函數(shù)?；诰酆虾瘮?shù),每個節(jié)點(diǎn)可以表示為周圍節(jié)點(diǎn)和自身信息的疊加。因此,該模型通過定義一

個通用的聚合函數(shù),提出了圖卷積網(wǎng)絡(luò)的一般框架。消息傳播網(wǎng)絡(luò)進(jìn)行兩個步驟。首先將聚合函數(shù)應(yīng)用于每個節(jié)點(diǎn)及其相鄰節(jié)點(diǎn),得到節(jié)點(diǎn)的局部結(jié)構(gòu)表達(dá)式;其次,將更新函數(shù)應(yīng)用于自身和局部結(jié)構(gòu)表達(dá)式,得到當(dāng)前節(jié)點(diǎn)的新的表達(dá)式:

在上述空間框架下,研究人員采用一些現(xiàn)有的方法設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)聚合函數(shù),而不再依賴?yán)绽咕仃?。這些方法學(xué)習(xí)的聚合函數(shù)使其能夠適應(yīng)任務(wù)和特定的圖結(jié)構(gòu),具

有較大的靈活性。例如,圖神經(jīng)網(wǎng)絡(luò)是第一個在圖上建立神經(jīng)網(wǎng)絡(luò)的模型。在圖神經(jīng)網(wǎng)絡(luò)中,聚集函數(shù)被定義為循環(huán)遞歸函數(shù)。每個節(jié)點(diǎn)以周圍的節(jié)點(diǎn)和連接的邊作為源信息,更

新自己的表達(dá)式。

圖注意力網(wǎng)絡(luò)(GAT)通過注意機(jī)制定義聚合函數(shù)。然而,與以往的關(guān)注邊信息的模型不同的是,在圖注意力網(wǎng)絡(luò)中,鄰接矩陣僅用于定義相關(guān)節(jié)點(diǎn),而關(guān)聯(lián)權(quán)重的計(jì)算依賴于

節(jié)點(diǎn)的特征表達(dá)式。圖15.2所示為圖注意力網(wǎng)絡(luò)的結(jié)構(gòu)。圖15.2(a)以節(jié)點(diǎn)i和節(jié)點(diǎn)j的特征表達(dá)式為輸入,計(jì)算i和j之間的注意力權(quán)重并將其歸一化;圖15.2(b)使用注意力權(quán)重,以加權(quán)和的形式將周圍節(jié)點(diǎn)的表達(dá)式聚合為自身。關(guān)于圖注意力網(wǎng)絡(luò)的詳細(xì)內(nèi)容將在第15.4.3節(jié)中介紹。圖15.2圖注意力網(wǎng)絡(luò)的結(jié)構(gòu)

從圖注意力網(wǎng)絡(luò)出發(fā),節(jié)點(diǎn)間的權(quán)值計(jì)算開始從依賴于網(wǎng)絡(luò)的結(jié)構(gòu)信息轉(zhuǎn)向依賴于節(jié)點(diǎn)的特征表達(dá)。然而,上述模型在處理時需要加載整個網(wǎng)絡(luò)的節(jié)點(diǎn)特性,給模型在大規(guī)模

網(wǎng)絡(luò)中的應(yīng)用帶來了困難。基于此,GraphSAGE提出了圖采樣聚合網(wǎng)絡(luò)。與以往模型考慮所有鄰近節(jié)點(diǎn)不同,圖采樣聚合網(wǎng)絡(luò)對相鄰節(jié)點(diǎn)進(jìn)行隨機(jī)抽樣,使得每個節(jié)點(diǎn)的相鄰節(jié)點(diǎn)數(shù)小于給定的樣本數(shù)。圖15.3展示了圖采樣聚合網(wǎng)絡(luò)的結(jié)構(gòu)。圖15.3圖采樣聚合網(wǎng)絡(luò)的結(jié)構(gòu)

以上基于聚集函數(shù)的空間方法主要研究了空間方法的根本問題,即聚合函數(shù)的構(gòu)建。隨著圖卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,研究人員開始考慮更復(fù)雜的場景,提出了一類具有更豐富的建模信息的空間方法,包括如何在具有邊緣信息的網(wǎng)絡(luò)上建立圖卷積神經(jīng)網(wǎng)絡(luò)以及如何對高階信息建模。

15.2.2圖池化的構(gòu)建

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中,卷積和池化通常結(jié)合在一起。池化可以減少學(xué)習(xí)參數(shù),反映輸入數(shù)據(jù)的層次結(jié)構(gòu)。然而,在圖卷積神經(jīng)網(wǎng)絡(luò)中,池化算子在求解節(jié)點(diǎn)級任務(wù)(如節(jié)點(diǎn)分類和鏈路預(yù)測)時是不必要的。因此,在圖卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域,池化受到的關(guān)注較少。近年來,為了更好地描述網(wǎng)絡(luò)的層次結(jié)構(gòu),一些研究者開始投身于池化的研究。

圖上的池化通常對應(yīng)于圖分類任務(wù)。假設(shè)A是鄰接矩陣,X是節(jié)點(diǎn)的特征矩陣,對于圖G=(A,X),給定一些標(biāo)記的圖數(shù)據(jù)集D={(G1,y1),(G2,y2),…}和與圖相對應(yīng)的標(biāo)簽集Y={y1,y2,…},用映射函數(shù)f:G→Y將圖結(jié)構(gòu)映射到相應(yīng)的標(biāo)簽上。

切比雪夫網(wǎng)絡(luò)(Chebynet)使用完全二叉樹來實(shí)現(xiàn)池化運(yùn)算,提出基于Graclus貪心準(zhǔn)則計(jì)算每個節(jié)點(diǎn)的最匹配節(jié)點(diǎn),并將此節(jié)點(diǎn)對池化成一個節(jié)點(diǎn)。同時,切比雪夫網(wǎng)絡(luò)通過添加虛假節(jié)點(diǎn)來保證整個池化過程是一個完整的二叉樹。圖15.4顯示了切比雪夫網(wǎng)絡(luò)將八個節(jié)點(diǎn)的圖池化為三個節(jié)點(diǎn)的過程。圖15.4切比雪夫網(wǎng)絡(luò)利用完全二叉樹進(jìn)行池化操作

在池化過程中,為了充分利用節(jié)點(diǎn)的特性和局部結(jié)構(gòu),譜池化(EigenPooling)采用譜聚類的方法將整個圖分成若干不重疊的子圖,每個子圖合并后作為一個新節(jié)點(diǎn),根據(jù)原子

圖的邊連接生成新節(jié)點(diǎn)之間的邊。譜池化可以控制每次劃分后子圖的數(shù)目,進(jìn)而控制每層的池比例。圖15.5顯示了將譜池化與一階圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖分類框架。圖15.5中,每種顏色表示一個子圖,在池化后成為一個新的節(jié)點(diǎn)。圖15.5將譜池化和一階圖卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖分類框架

池化算子的目的是學(xué)習(xí)圖的層次結(jié)構(gòu),從而完成圖級的任務(wù)。首先,基于圖的拓?fù)浣Y(jié)構(gòu),啟發(fā)式地定義了一些節(jié)點(diǎn)的舍棄方式和融合方式。隨著技術(shù)的發(fā)展,池化算子不僅依

賴于節(jié)點(diǎn)的拓?fù)浣Y(jié)構(gòu),而且依賴于節(jié)點(diǎn)的屬性信息。同時,注意機(jī)制和數(shù)學(xué)研究也開始為該模型的參數(shù)學(xué)習(xí)做指導(dǎo)。

15.3圖卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

15.3.1深層圖卷積神經(jīng)網(wǎng)絡(luò)殘差網(wǎng)絡(luò)解決了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)在增加層數(shù)時擬合能力下降的問題,而多層圖卷積層疊加后,節(jié)點(diǎn)之間的特性變得過于平滑,缺乏區(qū)分性,從而導(dǎo)致網(wǎng)絡(luò)性能較差。簡單地應(yīng)用殘差連接并不能解決這一問題,因?yàn)樵趫D卷積神經(jīng)網(wǎng)絡(luò)中,每個節(jié)點(diǎn)只向其直接相鄰節(jié)點(diǎn)發(fā)送特征,而不同的節(jié)點(diǎn)具有不同的傳播速度,即中心節(jié)點(diǎn)可能可以通過一層或兩層圖卷積將特征傳輸?shù)秸麄€網(wǎng)絡(luò)中的大多數(shù)節(jié)點(diǎn),而網(wǎng)絡(luò)中的邊緣節(jié)點(diǎn)需要多次傳播才能影響到網(wǎng)絡(luò)中的一些節(jié)點(diǎn)。

跳躍知識網(wǎng)絡(luò)利用跳躍連接和注意機(jī)制為每個節(jié)點(diǎn)選擇合適的傳播范圍。跳躍知識網(wǎng)絡(luò)的模型結(jié)構(gòu)如圖15.6所示。圖15.64層跳躍知識網(wǎng)絡(luò)的示意圖(N.A.表示從鄰居節(jié)點(diǎn)聚合特征的操作)

15.3.2大規(guī)模網(wǎng)絡(luò)圖卷積技術(shù)

傳統(tǒng)的機(jī)器學(xué)習(xí)方法(如多層感知器)認(rèn)為樣本是獨(dú)立的,因此可以采用批量處理的方法來處理大規(guī)模的訓(xùn)練數(shù)據(jù)。由于圖卷積神經(jīng)網(wǎng)絡(luò)中,卷積運(yùn)算依賴于相鄰節(jié)點(diǎn),因此需要引入大量相關(guān)節(jié)點(diǎn)來使用批訓(xùn)練方法。也就是說,對于中心節(jié)點(diǎn),更新其表達(dá)式所需的鄰居節(jié)點(diǎn)數(shù)隨著網(wǎng)絡(luò)層的增加呈指數(shù)級增加。同時在大規(guī)模網(wǎng)絡(luò)中,某些度數(shù)過大的節(jié)點(diǎn)即使只考慮二階鄰居其計(jì)算量也過于龐大。這兩個結(jié)果導(dǎo)致直接批量訓(xùn)練方法不適用于解決圖卷積神經(jīng)網(wǎng)絡(luò)中難以在大規(guī)模網(wǎng)絡(luò)中應(yīng)用的問題。

GraphSAGE隨機(jī)抽樣相鄰節(jié)點(diǎn),以減少每次卷積中要計(jì)算的節(jié)點(diǎn)數(shù),但是這種估計(jì)法是有偏方的,不能保證收斂。在采樣鄰居節(jié)點(diǎn)的基礎(chǔ)上,基于方差控制的算法利用未采樣節(jié)點(diǎn)的歷史表達(dá)來控制方差。該方法認(rèn)為,當(dāng)參數(shù)變化不大時,節(jié)點(diǎn)的表達(dá)式與其歷史表達(dá)式很接近。因此,未采樣的節(jié)點(diǎn)通過其歷史表示進(jìn)行近似擬合。

15.3.3半監(jiān)督節(jié)點(diǎn)分類問題的訓(xùn)練技術(shù)

圖卷積神經(jīng)網(wǎng)絡(luò)在半監(jiān)督節(jié)點(diǎn)分類問題中取得了有效的結(jié)果,但是由于卷積算子認(rèn)為所有一階鄰居節(jié)點(diǎn)都同等重要,因此導(dǎo)致圖卷積神經(jīng)網(wǎng)絡(luò)對網(wǎng)絡(luò)數(shù)據(jù)中心節(jié)點(diǎn)的分類效果

較差。DGCN指出,去除這類節(jié)點(diǎn)中的一些邊后,圖卷積神經(jīng)網(wǎng)絡(luò)的效果可以得到改善,這說明僅利用一階鄰居節(jié)點(diǎn)的鄰近性有一定的局限性,需要引入額外的信息來區(qū)分一階鄰居

節(jié)點(diǎn)。DGCN通過引入PPMI矩陣降低了一階鄰居關(guān)系對節(jié)點(diǎn)的影響,并引入了比一階鄰居節(jié)點(diǎn)更豐富的關(guān)系。

使用PPMI進(jìn)行卷積可以糾正圖卷積神經(jīng)網(wǎng)絡(luò)中的一些錯分點(diǎn),但也會引入新的錯誤。因此,DGCN采用集成學(xué)習(xí)的方法,結(jié)合兩種不同卷積的優(yōu)點(diǎn)來提高分類效果。

15.4圖卷積神經(jīng)網(wǎng)絡(luò)的典型算法

15.4.1半監(jiān)督圖卷積網(wǎng)絡(luò)曾經(jīng)有研究人員通過帶有圖拉普拉斯正則化項(xiàng)的損失函數(shù)進(jìn)行優(yōu)化:

此模型使用神經(jīng)網(wǎng)絡(luò)模型f(X,A)對圖結(jié)構(gòu)進(jìn)行編碼,并對所有有標(biāo)簽節(jié)點(diǎn)用監(jiān)督損失L0進(jìn)行訓(xùn)練,從而避免了損失函數(shù)中基于圖的正則化。在圖的鄰接矩陣上調(diào)節(jié)f(·)將使模型從有監(jiān)督損失L0中分散梯度信息,并使帶標(biāo)簽和不帶標(biāo)簽節(jié)點(diǎn)的表示形式均能被模型學(xué)習(xí)。

1.加速版本的GCN

2.線性模型

可以通過堆疊多個式(158)形式的卷積層來建立基于圖卷積的神經(jīng)網(wǎng)絡(luò)模型,每層之后是逐點(diǎn)非線性函數(shù)?，F(xiàn)在假設(shè)將分層卷積運(yùn)算限制為K=1(參見式(158)),此時模型

是線性的,因此在拉普拉斯譜圖上具有線性函數(shù)。

通過使用這種形式的GCN,可以緩解模型在圖的局部結(jié)構(gòu)上的過擬合,且在很大程度上減小了計(jì)算開銷,使得我們可以堆疊多個GCN來獲得一個更深的模型并提取特征。

進(jìn)一步近似地認(rèn)為λmax≈2,式(158)可以簡化為

3.半監(jiān)督節(jié)點(diǎn)分類

前面介紹了優(yōu)化后的圖卷積結(jié)構(gòu)。在現(xiàn)在的半監(jiān)督任務(wù)中,研究人員希望通過已知的數(shù)據(jù)X和鄰接矩陣A來訓(xùn)練圖卷積網(wǎng)絡(luò)f(X,A)。有專家認(rèn)為,在鄰接矩陣中包含了一些X中沒有的隱含的圖的結(jié)構(gòu)信息,我們可以利用這些信息進(jìn)行推理。

圖15.7(a)所示是一個多層GCN網(wǎng)絡(luò)示意圖,輸入有C維特征,輸出有F維特征,中間有若干隱藏層,X是訓(xùn)練數(shù)據(jù),Y是標(biāo)簽。圖15.7(b)是使用一個兩層GCN在Cora數(shù)據(jù)集(只用了5%的標(biāo)簽)上得到的可視化結(jié)果。圖15.7多層GCN及可視化

15.4.2HA-GCN

1.k階卷積算子

假設(shè)A是圖G的鄰接矩陣,則其第k個乘積Ak

的(i,j)項(xiàng)是從i到j(luò)的k跳路徑的數(shù)量。有了這個命題,我們可以定義一個k階卷積算子如下:

其中:

2.自適應(yīng)濾波模塊

自適應(yīng)濾波的思想來源于注意力機(jī)制,該機(jī)制自適應(yīng)地選擇關(guān)注的像素。從技術(shù)上講,我們的自適應(yīng)濾波器是權(quán)重矩陣Wk上的非線性算子g,即

15.4.3GAT

15.5圖卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用

15.5.1網(wǎng)絡(luò)分析引文網(wǎng)絡(luò)是社會網(wǎng)絡(luò)分析領(lǐng)域最常見的數(shù)據(jù),論文作為節(jié)點(diǎn),引用關(guān)系作為邊。分類的一個典型任務(wù)是通過給出文章之間的內(nèi)容信息和引用關(guān)系,將每一篇文章劃分到相應(yīng)的領(lǐng)域。

15.5.2社區(qū)發(fā)現(xiàn)

在社區(qū)發(fā)現(xiàn)問題中,以往的算法主要是對其進(jìn)行明確的定義,并對圖的劃分最小割問題進(jìn)行優(yōu)化。線性圖神經(jīng)網(wǎng)絡(luò)(LineGraphNeuralNetworks,LGNN)提出了一種新的用于社區(qū)發(fā)現(xiàn)的圖神經(jīng)網(wǎng)絡(luò)模型。該方法采用純數(shù)據(jù)驅(qū)動,無須基本的生成模型,在社區(qū)發(fā)現(xiàn)任務(wù)中取得了良好的效果。在其他網(wǎng)絡(luò)分析(如信息傳播、社會網(wǎng)絡(luò)地理信息預(yù)測)中,研究人員均引入了圖卷積神經(jīng)網(wǎng)絡(luò)來有效地建模網(wǎng)絡(luò)結(jié)構(gòu)信息和節(jié)點(diǎn)屬性信息。

15.5.3推薦系統(tǒng)

如圖15.8所示,將產(chǎn)品與用戶之間的關(guān)系看作矩陣補(bǔ)全或鏈接預(yù)測,可以有效地對產(chǎn)品與用戶之間的關(guān)系進(jìn)行建模。MGCNN(Multi-GraphCNN)結(jié)合多圖卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò),分別利用多圖卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)來提取局部靜止的特征和補(bǔ)全矩陣。GC-C(GraphConvolutionalMatrixCompletion)將推薦系統(tǒng)建模為一個基于圖的鏈接預(yù)測問題,提出了一種基于不同消息傳播的圖自編碼框架來對推薦系統(tǒng)的二部圖(又稱二分圖,是圖論中的一種特殊模型)建模,在包含社交網(wǎng)絡(luò)的數(shù)據(jù)上取得了最佳效果。圖15.8推薦系統(tǒng)中的矩陣補(bǔ)全和鏈接預(yù)測建模示意圖

15.5.4交通預(yù)測

交通預(yù)測也是圖卷積神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用之一。它的目的是在給定歷史交通速度和路線圖的情況下預(yù)測未來的交通速度。在交通預(yù)測問題中,節(jié)點(diǎn)表示放置在道路上的傳感器,

而邊緣表示節(jié)點(diǎn)對的物理距離,每個節(jié)點(diǎn)都包含一個時序特征。

15.5.5生物化學(xué)

除了傳統(tǒng)的圖形數(shù)據(jù)建模外,圖卷積神經(jīng)網(wǎng)絡(luò)在生物化學(xué)領(lǐng)域也引起了研究人員的廣泛關(guān)注。與傳統(tǒng)的圖形數(shù)據(jù)研究相比,在生物化學(xué)領(lǐng)域,人們通常把一個化學(xué)結(jié)構(gòu)或一個蛋白質(zhì)看作一個圖形。圖中的節(jié)點(diǎn)是較小的分子,邊表示鍵或相互作用。圖15.9是布洛芬的分子圖,節(jié)點(diǎn)是碳、氫和氧原子,邊是化學(xué)鍵。圖15.10是FAA4蛋白質(zhì)交互網(wǎng)絡(luò),節(jié)點(diǎn)代表蛋白質(zhì),邊緣代表相互作用。研究人員關(guān)注的是圖的化學(xué)功能,即研究對象不再是圖中的節(jié)點(diǎn),而是整個圖本身。圖15.9布洛芬分子示意圖圖15.10FAA4蛋白交互網(wǎng)絡(luò)

15.5.6計(jì)算機(jī)視覺

在計(jì)算機(jī)視覺中,圖卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用主要集中在小樣本學(xué)習(xí)、點(diǎn)云、零樣本學(xué)習(xí)、場景圖等方面。

小樣本學(xué)習(xí)的目的是用較少的樣本來訓(xùn)練和識別新樣本。它通常包括兩個階段:元訓(xùn)練和元測試。在這個任務(wù)中,數(shù)據(jù)集包括訓(xùn)練集、支持集和測試集。支持集和測試集共享相

同的標(biāo)簽空間,但是訓(xùn)練集有一個單獨(dú)的標(biāo)簽空間,并且不與支持集或測試集相交。如果支持集在每個類中包含k個標(biāo)簽樣本和C個類別,則稱該問題為C-wayk-shot問題。

點(diǎn)云圖像是由三維掃描儀在一定的坐標(biāo)系中生成的一組點(diǎn),它比二維圖像包含更多的三維坐標(biāo)信息、顏色等幾何信息。3DGNN利用圖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了RGBD圖像的語義分割

任務(wù)。DGCNN在點(diǎn)云上使用圖卷積神經(jīng)網(wǎng)絡(luò),提出用邊卷積來采集邊的特征,它不僅包含局部域信息,而且通過疊加或循環(huán)學(xué)習(xí)全局幾何屬性。該模型在形狀分類和局部分割任務(wù)

中取得了良好的效果。SuperPoint_Graph使用消息傳播機(jī)制對點(diǎn)云圖像進(jìn)行建模。

場景圖是計(jì)算機(jī)視覺領(lǐng)域比較常見的另一種圖形結(jié)構(gòu)數(shù)據(jù)。它的節(jié)點(diǎn)是對象,邊特征表示它們的空間關(guān)系。與傳統(tǒng)的線性結(jié)構(gòu)相比,圖結(jié)構(gòu)包含了更多有價值的語義信息。如

何利用圖卷積神經(jīng)網(wǎng)絡(luò)對場景圖進(jìn)行建模,引起了人們的廣泛關(guān)注。GraphVQA通過對場景圖和句法依賴圖的建模,有效地應(yīng)用于可視問答。Iterative-Visual-Reasoning提出了知識

圖譜、圖像區(qū)域空間關(guān)聯(lián)圖和區(qū)域類別分布圖三個圖形模塊,有效地模擬了可視化回答。

15.5.7自然語言處理

圖卷積神經(jīng)網(wǎng)絡(luò)在自然語言處理中有著廣泛的應(yīng)用。在這一領(lǐng)域,常用的圖形數(shù)據(jù)有知識圖譜、依存句法圖、抽象意義表示圖、詞共現(xiàn)圖等。其抽象意義是一種將句子的意義編碼為有根有向圖的方法。Syntax-awared-NMT將圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于依存句法樹,并將其應(yīng)用于英語、捷克語、英語和德語的機(jī)器翻譯任務(wù)。Graph2seq利用閾值圖神經(jīng)網(wǎng)絡(luò)對抽象意義圖進(jìn)行基于語法的機(jī)器翻譯任務(wù)。

除上述圖譜外,詞共現(xiàn)網(wǎng)絡(luò)還應(yīng)用于文本分類任務(wù)。節(jié)點(diǎn)是非停用詞,邊是給定窗口中單詞的共現(xiàn)關(guān)系。CNN_Graph提出了一種用圖譜理論定義的卷積神經(jīng)網(wǎng)絡(luò),為快速設(shè)計(jì)圖的局部卷積濾波器提供了必要的數(shù)學(xué)背景和有效的數(shù)值方案。

大量的研究表明,使用圖卷積神經(jīng)網(wǎng)絡(luò)模型可以提高各種自然語言處理任務(wù)的效果。圖結(jié)構(gòu)的使用使得對象之間復(fù)雜的語義關(guān)系得到有效挖掘。與傳統(tǒng)的用于自然語言處理的

串行化建模相比,圖卷積神經(jīng)網(wǎng)絡(luò)可以用來挖掘復(fù)雜的非線性語義關(guān)系。

15.6圖卷積神經(jīng)網(wǎng)絡(luò)的未來發(fā)展方向

15.6.1深層的網(wǎng)絡(luò)結(jié)構(gòu)傳統(tǒng)的深度學(xué)習(xí)模型在堆疊了大量網(wǎng)絡(luò)層后,由于其強(qiáng)大的表示能力,在很多問題上了取得了顯著的效果。但是圖卷積神經(jīng)網(wǎng)絡(luò)模型在堆疊了較少層數(shù)后,網(wǎng)絡(luò)就達(dá)到了最好的效果,再增加圖卷積層反而會使得結(jié)果變差。這是因?yàn)閳D卷積包含了聚合鄰居節(jié)點(diǎn)特征的操作,當(dāng)網(wǎng)絡(luò)堆疊多層后會使得節(jié)點(diǎn)之間的特征過于平滑,缺乏區(qū)分性。

15.6.2大規(guī)模數(shù)據(jù)

在實(shí)際場景中,網(wǎng)絡(luò)的規(guī)模往往非常大。比如新浪微博、Twitter等社交關(guān)系網(wǎng)絡(luò)往往包含了數(shù)億計(jì)的節(jié)點(diǎn)和邊。而目前絕大部分圖卷積神經(jīng)網(wǎng)絡(luò)模型不適用于這種大規(guī)模的網(wǎng)絡(luò)。

比如,基于譜方法的圖卷積神經(jīng)網(wǎng)絡(luò)需要計(jì)算圖拉普拉斯矩陣的特征向量矩陣,而這個操作的計(jì)算復(fù)雜度和空間復(fù)雜度都很高,難以用于大規(guī)模網(wǎng)絡(luò)?？臻g方法在更新節(jié)點(diǎn)表達(dá)時依賴于大量的鄰居節(jié)點(diǎn),使得計(jì)算代價過大,不適用于大規(guī)模網(wǎng)絡(luò)。雖然近些年已經(jīng)有一些基于采樣的方法來處理大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)的問題,但是這一問題仍然沒有得到有效解決。

15.6.3多尺度的圖上任務(wù)

圖挖掘任務(wù)根據(jù)主體對象的不同可以分成節(jié)點(diǎn)級任務(wù)、圖以及子圖級任務(wù)和信號級任務(wù)。節(jié)點(diǎn)級任務(wù)的關(guān)鍵點(diǎn)在于為每個節(jié)點(diǎn)學(xué)習(xí)有效的表達(dá),而為圖學(xué)習(xí)表達(dá)是圖級任務(wù)的

關(guān)鍵。信號級任務(wù)的關(guān)鍵點(diǎn)在于在網(wǎng)絡(luò)結(jié)構(gòu)不變的情況下