一階Lipschitz連續性對GAN的幫助

2022-09-09 14:06:23 字數 1948 閱讀 4758

若\(x\)屬於有界空間\(\mathbb^n\),則定義在實數域上的函式\(f(x)\)有界的充分條件是函式\(f\)滿足lipschitz(一般指的是一階的)連續性。

但卻不是必要條件,因為反過來論述是不對的。

證明非常簡單:

充分性是成立的

若函式\(f\)滿足lipschitz連續性,則必定滿足,對任意\(a, b \in \mathbb^n\), 存在常數k滿足

\[|f(b) - f(a)| \leq k\cdot|b-a|

\]接下來,先證明\(f(x)\)中必定存在乙個非無窮大值\(f(x_0)\)。

採用反證法:

若\(f(x)\)中所有值都是無窮大,那麼對任意\(a, b \in \mathbb^n\),都有\(|f(b) - f(a)| = +\infty\) .

然而,由於\(\mathbb^n\)是有界的,因此必定存在非無窮大值常數\(c\)滿足\(|b-a|\leq c, c\geq 0\),

那麼,必然可得:

\[|f(b) - f(a)| = +\infty > k\cdot c \geq k\cdot |b-a|

\]該結論顯然和lipschitz連續性的假設衝突,因此,\(f(x)\)中不都是無窮大。

也即,至少存在乙個非無窮大值\(f(x_0)\)。

回到主線,繼續證明充分性:

假設\(f(x_0)\)是乙個非無窮大值,對任意\(x\in \mathbb^n\),由於\(f(x)\)滿足lipschitz連續性,因此必然存在

\[|f(x) - f(x_0)| \leq k\cdot|x - x_0| \leq k\cdot c

\]從而,

\[k\cdot c - f(x_0) \leq f(x)\leq k\cdot c + f(x_0)

\]因此,\(f(x)\)是有界的,命題的充分性得證。

必要性是不成立的

當\(f(x)\)有界時,不存在常數\(k\)使得任意\(a, b\in\mathbb^n\)滿足\(|f(b)-f(a)|\leq k\cdot|b-a|\)。

換言之,對於任意給定的常數\(k\),總能找到\(a, b\in\mathbb^n\)使得\(|f(b)-f(a)|>k\cdot|b-a|\)。

可以舉個非常特殊的例子,這個例子可以打破你的一切幻想(不管你設想的條件多麼苛刻,這個例子都能滿足,但卻始終不滿足lip****z連續性:

\[\begin

f(x)=\left\

\sqrt & , & x >= 0 \\

-\sqrt & , & x < 0

\end

\right.

\end

\]畫出其曲線為下圖

從圖上來看\(f(x)\)在定義域上是連續的,但在\(x=0\)處不可微,對於該函式分段求一階導數,發現此處的一階微分是\(+\infty\),

因此根據無窮大的定義,如果在\(x=0\)附近的鄰域\(\omega_\)內取點,對於任意給定的\(k\),我們總能找到\(a,b\in \omega_\),

使得\(\frac > k\),也即對任意給定的\(k\),都能在0附近找到\(a, b\),使得\(|f(b)-f(a)| > k\cdot|b-a|\)。顯然必要性是不成立的。

在gan的訓練過程中,為了避免gan發生模式崩潰,通常會採用梯度裁剪的方式來穩定gan的訓練過程,事實上,其他歸一化手段也有類似的效果。

梯度裁剪中採用的是梯度l1歸一化,起到的效果就是使得由梯度塑造的生成器模型(generator),在各點的區域性具有lip****z連續性,

這種超出本願(只想穩定gan,約束輸出的值域)的過強假設,將損害生成器模型的構造能力,(類似於限制乙個人的思考組合空間,

而強行讓乙個人的思維具備連續性,違背了思維的可跳躍性的基本假設。)生成器生成的樣本的多樣性將大打折扣。

最高連續性

問題描述 給定陣列a,a是元素為0或者1的陣列,我們可以更改k個陣列中的0,求陣列中最大連續子陣列的長度。例子 演算法思路 從0開始依次遍歷陣列,當某個元素為0的時候將其轉換為1,由於我們最終只要求解這個最大連續子陣列的長度,因此這裡 可以用k 1來表示元素從0轉換為1。如果為1,則k不變化。接著要...

概率的性質 連續性

概率的連續性如下定義 我們可以用韋恩圖把他們表示出來,便於理解 圖1 對應性質 1 圖2 對應性質 2 從圖1中我們可以看出,集合單調不增,打個比方,此集合會越來越小,那麼稱集合上連續 從上方逼近 極限為集合的交集。簡單的說,其實就是求多個事件都同時發生的概率為多少。圖2集合單調不減,此集合存在極限...

opencv mat連續性判斷 tcy

1.1.iscontinuous 如矩陣元素連續儲存且每行末尾沒有間隙,則該方法返回true。否則,它返回false。1.2.連續矩陣 說明 1x1或1xn矩陣始終是連續 建立新矩陣 create imread clone 或建構函式mat mat 始終是連續 矩陣借用資料 借一行或借用多行但具有完...