矩陣的 Frobenius 範數及其求偏導法則

2021-09-01 00:00:08 字數 2472 閱讀 3623

原文:

矩陣的跡求導法則

1. 複雜矩陣問題求導方法:可以從小到大,從scalar到vector再到matrix

4. 矩陣求導計算法則

求導公式(撇號為轉置):

y = a * x –> dy/dx = a』

y = x * a –> dy/dx = a

y = a』 * x * b –> dy/dx = a * b』

y = a』 * x』 * b –> dy/dx = b * a』

乘積的導數:

d(f*g)/dx=(df』/dx)g+(dg/dx)f』

矩陣y對標量x求導:

相當於每個元素求導數後轉置一下,注意m×n矩陣求導後變成n×m了

y = [y(ij)]–> dy/dx = [dy(ji)/dx]

標量y對列向量x求導:

注意與上面不同,這次括號內是求偏導,不轉置,對n×1向量求導後還是n×1向量

y = f(x1,x2,..,xn) –> dy/dx= (dy/dx1,dy/dx2,..,dy/dxn)』

行向量y』對列向量x求導:

注意1×m向量對n×1向量求導後是n×m矩陣。

將y的每一列對x求偏導,將各列構成乙個矩陣。

重要結論:

dx』/dx =i

d(ax)』/dx =a』

列向量y對行向量x』求導:

轉化為行向量y』對列向量x的導數,然後轉置。

注意m×1向量對1×n向量求導結果為m×n矩陣。

dy/dx』 =(dy』/dx)』

向量積對列向量x求導運算法則:

注意與標量求導有點不同。

d(uv』)/dx =(du/dx)v』 + u(dv』/dx)

d(u』v)/dx =(du』/dx)v + (dv』/dx)u』

重要結論:

d(x』a)/dx =(dx』/dx)a + (da/dx)x』 = ia + 0x』 = a

d(ax)/dx』 =(d(x』a』)/dx)』 = (a』)』 = a

d(x』ax)/dx =(dx』/dx)ax + (d(ax)』/dx)x = ax + a』x

矩陣y對列向量x求導:

將y對x的每乙個分量求偏導,構成乙個超向量。

注意該向量的每乙個元素都是乙個矩陣。

矩陣積對列向量求導法則:

d(uv)/dx =(du/dx)v + u(dv/dx)

d(uv)/dx =(du/dx)v + u(dv/dx)

重要結論:

d(x』a)/dx =(dx』/dx)a + x』(da/dx) = ia + x』0 = a

標量y對矩陣x的導數:

類似標量y對列向量x的導數,

把y對每個x的元素求偏導,不用轉置。

dy/dx = [dy/dx(ij) ]

重要結論:

y = u』xv= σσu(i)x(ij)v(j) 於是 dy/dx = [u(i)v(j)] =uv』

y = u』x』xu 則dy/dx = 2xuu』

y =(xu-v)』(xu-v) 則 dy/dx = d(u』x』xu - 2v』xu + v』v)/dx = 2xuu』 - 2vu』 +0 = 2(xu-v)u』

矩陣y對矩陣x的導數:

將y的每個元素對x求導,然後排在一起形成超級矩陣。

10.乘積的導數

d(f*g)/dx=(df』/dx)g+(dg/dx)f』

結論 d(x』ax)=(d(x」)/dx)ax+(d(ax)/dx)(x」)=ax+a』x (注意:」是表示兩次轉置)

矩陣求導 屬於 矩陣計算,應該查詢 matrix calculus 的文獻:

frobenius範數 第九課 矩陣的範數

在所有的數學思想中,歸納和演繹永遠都是站在舞台中最光鮮的位置。我們上一節介紹了向量 的範數之後,這一節就來介紹矩陣的範數。我們可以看成向量是特殊的矩陣,矩陣是推廣了的 向量。矩陣滿足線性空間的8條性質,所以我們可以說矩陣是線性空間。同樣的我們可以驗證向量也 滿足線性空間的要求,這是矩陣和向量的共性。...

矩陣的 Frobenius 範數及其求偏導法則

前言 由於在sparse coding模型中求系統代價函式偏導數時需要用到矩陣的範數求導,這在其它模型中應該也很常見,比如說對乙個矩陣內的元素值進行懲罰,使其值不能過大,則可以使用f範數 下面將介紹 約束,查閱了下矩陣範數求導的相關資料,本節就簡單介紹下。首先,網路上有大把的人把2範數和f 2時的範...

矩陣的 Frobenius 範數及其求偏導法則

矩陣的 frobenius 範數及其求偏導法則 2015年06月06日 22 53 58 閱讀數 14391 1.複雜矩陣問題求導方法 可以從小到大,從scalar到vector再到matrix 4.矩陣求導計算法則 求導公式 撇號為轉置 y a x dy dx a y x a dy dx a y ...