生成模型 綜述1

2021-08-29 22:48:22 字數 821 閱讀 5241

em 演算法、vae、gan、aae、ali (bigan) 都可以作為變分推斷的某個特例。標準的 gan 的優化目標是不完備的,這可以解釋為什麼 gan 的訓練需要謹慎地選擇各個超引數,當然改善這種不完備性並增強 gan 訓練的穩定性的一種常用方法就是增加乙個正則項。

對抗自編碼器(adversarial autoencoders,aae)和對抗推斷學習(adversarially learned inference,ali)這兩個模型是 gan 的變種之一,也可以被納入到變分推斷中。

主要有glow、gan(以及gan的變種模型)、vae 和 autoregressive model(自回歸模型)。

1)生成模型通常要引入假設,在假設符合實際的情況下,這種模型是最優的,可以提公升學習效率和泛化效能。

2)因為假設,如果假設不符合實際,這種模型可能帶來偏差。實際應用中,還需要對模型進行檢驗。

變分自編碼器(vae)

vae 是在 autoencoder 的基礎上讓影象編碼的潛在向量服從高斯分布從而實現影象的生成,優化了資料對數似然的下界,vae 在影象生成上是可並行的, 但是 vae 存在著生成影象模糊的問題,glow 文中稱之為優化相對具有挑戰性。

生成對抗網路(gan)

gan 的思想就是利用博弈不斷的優化生成器和判別器從而使得生成的影象與真實影象在分布上越來越相近。gan 生成的影象比較清晰, 在很多 gan 的拓展工作中也取得了很大的提高。但是 gan 生成中的多樣性不足以及訓練過程不穩定是 gan 一直以來的問題,同時 gan 沒有潛在空間編碼器,從而缺乏對資料的全面支援。

自回歸模型和 vae 是基於似然的方法,gan 則是通過縮小樣本和生成之間的分布實現資料的生成。

本體綜述(1)

1 第乙個時期,亞里斯多德定義了本體 將本體分為物質和物質的屬性兩類 2 根據亞里斯多德,後來人們把本體分為如下 3 1970s,本體含義發生變化,指的是用於機械人的規範化的常識知識,為了讓機械人能夠像人類一樣有知識,將人類的知識規範化,這些規範化的知識就是本體。這也是今天的本體的含義 4 1990...

深度網路模型壓縮綜述

文獻 雷傑,高鑫,宋杰,王興路,宋明黎.深度網路模型壓縮綜述 j 軟體學報,2018,29 02 251 266.摘要 深度網路近年來在計算機視覺任務上不斷重新整理傳統模型的效能,已逐漸成為研究熱點.深度模型儘管效能強大,然而由於引數數量龐大 儲存和計算代價高,依然難以部署在受限的硬體平台上 如移動...

判別模型,生成模型

父親有兩個孩子,孩子a和孩子b。孩子a具有特殊的能力,他可以深入學習所有東西。小孩子b也具有特殊的能力他只能學習所見事物之間的差異。晴天,父親將兩個孩子 孩子a和孩子b 帶到動物園。這個動物園很小,只有獅子和大象兩種動物。他們從動物園出來後,父親給他們看了乙隻動物,問他們 這只動物是獅子還是大象?孩...