本篇主要參考了張賢達的《矩陣分析與應用》和長軀鬼俠的矩陣求導術
假設我們有乙個p×qp×q的矩陣ff要對m×nm×n的矩陣xx求導，那麼根據我們第一篇求導的定義，矩陣ff中的pqpq個值要對矩陣xx中的mnmn個值分別求導，那麼求導的結果一共會有mnpqmnpq個。那麼求導的結果如何排列呢？方法有很多種。
最直觀可以想到的求導定義有2種：
第一種是矩陣ff對矩陣xx中的每個值xijxij求導，這樣對於矩陣xx每乙個位置(i,j)求導得到的結果是乙個矩陣∂f∂xij∂f∂xij,可以理解為矩陣xx的每個位置都被替換成乙個p×qp×q的矩陣，最後我們得到了乙個mp×nqmp×nq的矩陣。
第二種和第一種類似，可以看做矩陣ff中的每個值fklfkl分別對矩陣xx求導，這樣矩陣ff每乙個位置(k,l)對矩陣xx求導得到的結果是乙個矩陣∂fkl∂x∂fkl∂x, 可以理解為矩陣ff的每個位置都被替換成乙個m×nm×n的矩陣，最後我們得到了乙個mp×nqmp×nq的矩陣。
這兩種定義雖然沒有什麼問題，但是很難用於實際的求導，比如類似我們在
機器學習中的矩陣向量求導 一 求導定義與求導布局
在之前寫的上百篇機器學習部落格中，不時會使用矩陣向量求導的方法來簡化公式推演，但是並沒有系統性的進行過講解，因此讓很多朋友迷惑矩陣向量求導的具體過程為什麼會是這樣的。這裡準備用幾篇博文來討論下機器學習中的矩陣向量求導，今天是第一篇。本系列主要參考文獻為維基百科的matrix caculas和張賢達的...
矩陣（向量）求導
在網上看到有人貼了如下求導公式 y a x dy dx a y x a dy dx a y a x b dy dx a b y a x b dy dx b a 1.矩陣y對標量x求導 相當於每個元素求導數後轉置一下，注意m n矩陣求導後變成n m了 y y ij dy dx dy ji dx 2.標...
矩陣（向量）求導
1.矩陣y對標量x求導 相當於每個元素求導數後轉置一下，注意m n矩陣求導後變成n m了 y y ij dy dx dy ji dx 2.標量y對列向量x求導 注意與上面不同，這次括號內是求偏導，不轉置，對n 1向量求導後還是n 1向量 y f x1,x2,xn dy dx dy dx1,dy dx...