小樣本點雲深度學習庫 域自適應小樣本學習

2021-10-14 06:28:08 字數 1630 閱讀 8477

**題目:domain-adaptive few-shot learning

6

小樣本學習(few shot learning, fsl)在深度學習領域具有重要意義,在本文中小樣本學習被當作乙個遷移學習(源域和目標域之間進行遷移)問題。通常來說目標域的訓練樣本數量較少,而且與源域的領域不同。域自適應小樣本學習(domain-adaptive few-shot learning (da-fsl),這意味著在目標類的樣本很少的情況下,從源類訓練的模型要適應新域和新的類別。

傳統的域自適應問題是使用對抗學習策略讓源域和目標域對齊(這裡的對齊指的是全域性資料層面的對齊),其全域性分布會間接實現源域和目標域中類別層面的對齊。但是本文的域自適應問題來說,這是乙個不必要的方面,因為目標類與源類不同。

因此,除了使用傳統的域自適應方法,本文在嵌入特徵之前引入新的損,以增強源/目標類的區分能力:

①通過對源域和目標域進行對齊,降低域之間的差異;

②每個類的分布沒有對齊,但是源類和目標類仍然可以很好地分離。

本文首先使用resnet18及進行源域和目標域的特徵提取,從而得到

(embedding module)來消除任何領域的特別資訊(對齊源域和目標域)。

然後,為了進一步對齊文中使用域自適應損失(domain adaptive loss)。domain adaptive loss如下,其中

分類結果

但是上述domain adaptive loss容易導致類別層次的過度對齊。為了解決這個問題,文中引入了乙個域區分損失(domain discriminative loss),使得每個域內的每個類的分布是不同的。domain discriminative loss如下:

文中使用原型網路作為小樣本學習模型的主要元件。(以源域為例,目標域同理)首先,作者從源域中選取支援集

類別分布,通過計算樣本嵌入

和類別

的歐式距離:

最後,通過通過隨機梯度下降法最小化目標函式,其中

為真實標籤:

原型網路的詳細解釋:小樣本學習(few-shot learning)之--原形網路(prototypical networks)

dingmyu/dapn​github.com

小樣本點雲深度學習庫 小樣本學習 二

我對小樣本學習的誤解與困惑 我們的 小樣本 真的很小嗎?我們似乎習慣性的拿深度學習的大量資料集訓練,與人類嬰兒做對比。並藉此來嘲諷ai you are not as good as me,you are loser.但,最近的一些不連貫的思考,使我開始反思,我們人類小樣本真的比機器學習與深度學習小嗎...

小樣本點雲深度學習庫 小樣本學習 資料層面的方法

網際網路大資料處理技術與應用 的相關教學資源 網路爬蟲的完整技術體系 我的資料誰做主?充足的標註樣本是保證分類器成功的主要因素,然而現實中由於隱私 代價等許多問題,樣本不足是經常遇到的問題。而人類可以從很少的中抽象出乙個新的概念,甚至可以不看就可以得到新的概念,比如告訴小孩帶條紋的馬叫做斑馬,當他今...

點雲深度學習

參考部落格 研究背景 我們周圍的世界是三維,三維研究可以讓機器更好地感知周圍環境。有效的三維特徵表示是實現點雲配準 三維模型重建 三維形狀檢索 場景語義分割等視覺任務的基礎。三維資料表示 point cloud polygonal meshes volumetric multi view image...