看了多篇文章，覺得此篇標量、向量、矩陣求導（兩種布局方式）講解的最形象易理解。其他文章對兩種排布都只是照本宣科，讓人費解。
1.如果y是向量或者矩陣，先對y作「分解」，保持x不變，將分子y寫成按列的元素排布形式：即 dy1/dx；dy2/dx；dy3/dx；如果y本身是個標量，則跳過步驟1，直接進入步驟2。2.對列向量中的每個元素dyn/dx，做進一步"x做轉置後的元素分解"：固定dyn不變，將dyn/dx寫成 [dyn/dx1,dyn/dx2,dyn/dx3]行排列形式。矩陣也類似。
1.如果x是列向量或者矩陣，先維持x的形狀對其做「分解」，將x寫成子元素排布的形式：即dy/dx=[dy/dx1;dy/dx2;dy/dx3]的形式；如果x本身是個標量，則直接進入步驟2。2.對分解後的列向量中的每個子元素進行「y轉置後的分解」：固定dxn不變，改寫dy：dy/dxn=[dy1/dxn,dy2/dxn,…]行向量的形式。
矩陣論 向量求導 微分和矩陣微分
複雜的矩陣函式求導。著名的matrix cookbook為廣大的研究者們提供了一本大字典，裡面有著各種簡單到複雜矩陣和向量的求導法則。矩陣求導有兩種布局，分子布局 numerator layout 和分母布局 denominator layout 為了闡明這兩種布局的區別，我們先來看最簡單的求導規則...
求導，微分，積分的區別
導數和微分在書寫的形式有些區別，如y f x 則為導數，書寫成dy f x dx,則為微分。積分是求原函式，可以形象理解為是函式導數的逆運算。設f x 為函式f x 的乙個原函式，我們把函式f x 的所有原函式f x c c為任意常數 叫做函式f x 的不定積分，數學表示式為 若f x g x 則有...
矩陣求導公式 預備知識 矩陣求導
在優化中，面對的大都是多變數問題。針對多變數問題，為了表示公式和編寫 的方便，往往都用矩陣表示。而優化中，求導往往又是家常便飯，因此對於矩陣求導需要有熟練地掌握，不然很多時候會對一些演算法十分頭暈，編寫程式時也會不知所措。因為我就是這麼暈過來的 捂臉 好了，現在開始步入正文 1.矩陣對標量求導 如果...