在學習數值優化的過程中,遇到了這麼乙個函式:
是乙個n維向量,
分別是另乙個函式的函式值,梯度和黑塞矩陣.
很容易知道這個函式的輸入是乙個n維向量,輸出的是乙個實數.
那麼如果對這個函式進行求導,又會變成什麼樣?
向量與常數向量相乘後的求導:
設求導變數
, ,
.是常數向量.
那麼有
.所以有
.由里奇微積分,可得
由於黑塞矩陣是對稱矩陣,所以
這也只是在照貓畫虎,待之後詳細了解再重新補充.
列向量對列向量求導:
若: 那麼其中
.求出來是乙個超越矩陣,即矩陣的元素還是乙個矩陣.
這樣不利於之後操作,因此,在相同種類向量求導(即行對行,列對列)時,通常先令其中乙個向量轉置,然後再進行求導.其中又分為分子布局與分母布局,無論是哪乙個向量轉置,最終求導的結果都是乙個矩陣,按實際情況選擇要用的矩陣即可.
因此 其餘的用到了再補充~
向量轉置的怎麼求導 向量求導
1.矩陣y對標量x求導 相當於每個元素求導數後轉置一下，注意m n矩陣求導後變成n m了 y y ij dy dx dy ji dx 2.標量y對列向量x求導 注意與上面不同，這次括號內是求偏導，不轉置，對n 1向量求導後還是n 1向量 y f x1,x2,xn dy dx dy dx1,dy dx...
向量轉置的怎麼求導 順序理解向量和矩陣求導
最首先需要明確，f a 對a求導，是將a視作了自變數，將f a 視作因變數。自變數的描述形式一般為n行1列的列向量或矩陣，因變數的描述形式一般為1行m列的行向量或矩陣！向量和矩陣求導的關鍵在於，找到自變數和因變數，並確定其維度！向量部分 所有推理的基礎，0 4節。矩陣部分 一句話，結果是超向量，完事...
向量轉置的怎麼求導 機器學習中的向量求導和矩陣求導
首發於 首先，在機器學習中，對於研究經常需要用到的標量 向量 矩陣的求導，我們約定分子使用 根據上面的約定，我們研究一下五個分類 標號1 標號5對應後續標題 如下 上面的 表示我們主要討論的6個種類，對於矩陣對向量的求導 向量對矩陣的求導 矩陣對矩陣的求導 不予考慮。在機器學習中，我們預設向量用列向...