n
r^nrn
在維基百科上的解釋如下：
在人工神經網路(ann)的數學理論當中，假設啟用函式足夠柔和的情況下，通用相似定理是指在神經元個數足夠的情況下和通過單層的前饋神經網路能夠近似逼近任意乙個在緊子集r
nr^n
rn上的連續函式。
在這裡under mlid assumptions on the activation function裡面的mlid assumptions具體的含義不是很清楚。
此外，compact subsets of r
nr^n
rn表示在r
nr^n
rn上的緊子集。
數學理論就是這個樣子，為了解釋乙個專業術語，要用兩個其他的專業術語，然後依次類推術語**。為了解釋通用近似定理。需要去了解
compact subsets和mlid assumptions
當然，我們大概了解一下通用近似定理表示的含義是什麼就可以了。孤豈欲卿治經為數學博士邪？但當涉獵，能敲搬磚爾。
還好後面另外加了一句解釋：
通用近似定理表明，當給定通用的引數的時候，簡單的神經網路可以表示各種各樣的有意思的函式。
通用近似定理告訴我們：採用簡單的神經網路可以擬合任意連續函式(因為不理解緊子集的意義，這裡我把緊子集去掉了。)
通用，表示神經網路對於所有連續函式的通用性。
近似，表示神經網路採用高度逼近的學習方法擬合得到連續函式的表示。
遺留問題：
通用近似定理為什麼在理論上具有通用性？
竟然通用近似定理是在理論上具有通用性，那實際上肯定是不具備通用性的，為什麼在實際情況中不具備通用性？
在人工神經網路之上所做出的其他的優化所解決的問題是什麼？比如卷積神經網路，再比如attention。
萬能近似定力 通用近似定理
這一定理表明，只要給予了適當的引數，我們便可以通過簡單的神經網路架構去擬合一些現實中非常有趣 複雜的函式。這一擬合能力也是神經網路架構能夠完成現實世界中複雜任務的原因。儘管如此，此定理並沒有涉及到這些引數的演算法可學性 algorithmic learnablity 通用近似定理用數學語言描述如下 ...
萬能近似定理
前饋網路的導數也可以以任意好地程度近似函式的導數。任意定義在r n mathbb n rn有界集上的連續函式都是borel可測的，因此可以用神經網路來近似。神經網路也可以近似從任何有限離散空間對映到另乙個有限離散空間的函式。在原始的定理中，要求啟用函式在變數取非常大的正值或者非常大的負值時飽和。實際...
pytorch近似運算
floor 往下取整數 ceil 網上取整數 round 四捨五入 0.5向上取整，0.5向下取整 trunc 裁剪，只取整數部分 frac 只取小數部分 如何檢視梯度的模 w.grad.norm 2 梯度的二範數，可以用於觀測梯度是否 一般都比較小，10左右，100都算比較大了 梯度裁剪時，會用到...