GNN部分原理

2021-10-10 23:24:23 字數 2777 閱讀 3628

***摘要:我們提出了一種對圖結構資料進行半監督學習的可擴充套件方法,該方法是基於直接在圖上操作的卷積神經網路的乙個有效變體。基於譜圖卷積的一階區域性逼近,激勵我們的卷積結構的選擇。我們的模型線性地縮放圖的邊數,並學習隱層表示,該表示既編碼區域性圖結構,又編碼節點的特徵。

***介紹:1、度矩陣與鄰接矩陣的概念:

度矩陣d:

度矩陣是對角陣,對角上的元素為各個頂點的度。頂點vi的度表示和該頂點相關聯的邊的數量。無向圖中頂點vi的度d(vi)=n(i)。(環的話,關聯兩次)

注意:有向圖中,頂點vi的度分為頂點vi的出度和入度,即從頂點vi出去的有向邊的數量和進入頂點vi的有向邊的數量。

鄰接矩陣a:

鄰接矩陣表示頂點間關係,是n階方陣(n為頂點數量)。

鄰接矩陣分為有向圖鄰接矩陣和無向圖鄰接矩陣。無向圖鄰接矩陣是對稱矩陣,而有向圖的鄰接矩陣不一定對稱。

注意,對於有向圖,vivj是有方向的,即vi -> vj 。

!!!注意:

(環的話可能不成立)

2、在這個工作中,我們直接用神經網路模型f(x,a)對圖結構進行編碼,並對所有有標籤的節點在乙個有監督的目標l0上進行訓練,從而避免了損失函式中基於圖的顯式正則化。將f(.)條件設定在圖的鄰接矩陣上,使模型能夠從監督損失l0中分配梯度資訊,並使其能夠學習帶標籤和不帶標籤的節點的表示。

為什麼拋棄以前的做法?

因為原來的公式依賴於這樣的假設,即圖中相互連線的節點可能共享相同的標籤。但是這個假設可能限制模型的能力,因為圖邊不一定需要編碼節點相似性,但可能包含更多的資訊。原來的公式除l0外,存在顯式的基於圖的正則化項(項例如,圖拉布拉斯正則化項),我們的方法就是要避免損失函式中的這一項,同時模型效能更好。

3、我們的貢獻是雙重。首先,我們引進了乙個簡單且行為良好的神經網路模型的分層傳播規則,這些模型直接在圖上工作,並且展示了它如何從譜圖卷積的一階逼近從發。第二,我們證明了這種基於圖的神經網路模型形式可以用來對圖中的節點進行快速且·可擴充套件的半監督分類。在大量資料集上的實驗表明,與目前最先進的半監督學習方法相比,我們的模型在分類精度和效率(以掛鐘時間衡量)上都有很好的表現。

***圖上的快速近似卷積

1、擁有以下分層傳播規則的多層圖卷積網路:

這裡,是增加了自連線的無向圖·的鄰接矩陣。in是單位矩陣。

理解:傳統的圖卷積,可以看做對於每乙個節點,都加上其鄰居節點的資訊

不難看出,乘以鄰接矩陣a就相當於對於每個節點,都加上了其鄰居節點的feature,但是沒有加自身的feature,除非該節點有自環。

對於每乙個節點,都強行加上自環,即:

a矩陣是沒有正則化的,我們需要對其進行正則化,使得每一行的和都為1,比如

**中採取的方式()是:

最終形式為:

對稱歸一化的拉普拉斯矩陣(symmetric normalized laplacian)

隨機遊走歸一化拉普拉斯矩陣(random walk normalized laplacian)

拉普拉斯矩陣的性質:

拉普拉斯矩陣譜分解:

由性質(2)知道拉普拉斯矩陣是實對稱矩陣,所以可以對角化,也就是找到一堆正交基:

且其中是u是單位矩陣(也是正交矩陣,由特徵向量變換組合而成,u的列向量構成一組標準正交基),

卷積定理:

時域卷積,頻域乘積

我們希望能將拉普拉斯運算元用到graph中(即l),希望能衡量乙個結點變化之後,對其他相鄰結點(也可以說是整個graph)的干擾總收益。在graph上的拉普拉斯運算元就是 l,即拉普拉斯矩陣。總之:δ作用於graph===》等於 l·f,其中f就是graph,l是拉普拉斯矩陣。這是gcn中使用拉布拉斯矩陣的原因。

參閱資料:

1、從cnn到gcn的聯絡與區別——gcn從入門到精(fang)通(qi)

2、《semi-supervised classification with graph convolutional networks》**閱讀(一)

3、【gcn】圖卷積網路初探——基於圖(graph)的傅利葉變換和卷積

4、圖卷積網路(graph convolutional network)

5、圖卷積網路 gcn graph convolutional network(譜域gcn)的理解

GNN學習筆記一

根據訓練資料是否有標籤,機器學習可以分為監督學習 半監督學習和無監督學習 從演算法輸出形式上分,可以分為分類問題和回歸問題,這兩類都屬於監督學習的範疇 分類問題 指的是模型的輸出值為離散值 回歸問題 指的是模型的輸出值為連續值 平方損失函式 衡量模型 結果與標籤之間的平方差,常用於回歸類問題 交叉熵...

GNN 百度GNN7日打卡營心得

本次打卡營收穫許多,了解到圖更深層次的應用。許多演算法的機理是簡單的,卻能有巨大的應用。第一次課是對圖論的複習以及圖學習的乙個初步介紹,我的學習筆記可見 第二次課是對圖遊走類模型中的deepwalk node2vec methpath2vec進行介紹。因為如果一幅圖很大 節點 邊數太多 則在訓練時若...

地質雷達 原理部分

地質雷達系統 對地下雷達探測目標的解釋,離不開必要的地質理論和地質工程知識,探測地下目標的雷達系統稱為 地質雷達系統 geologic radar system 地質雷達由發射部分和接收部分組成。發射部分由高頻脈衝波的發射機和向外輻射電磁波的天線 tx 組成。通過發射天線電磁波以60 90 的波束角...