矩陣求導 一些筆記和學習鏈結

2021-10-10 14:51:36 字數 574 閱讀 2494

在學習ml和dl的時候,常常需要求解多元變數函式的偏導。矩陣求導是矩陣比較重要的運算法則之一。在**實現的時候,採用矩陣形式要比for來得高效。下面是關於矩陣求導的一些筆記和鏈結,用於個人的學習與應用,若有幫助,不甚欣喜。

比較簡要,主要是記一些能很快上手去做的東西。

這一篇用比較通俗的語言間講了鏈式法則,如果不太理解可以直接用法則進行實際問題計算即可。

大神,是關於ai中矩陣計算的系列文章,對原理和例項都有涉獵。裡面通過hessian矩陣來證明最小二乘法的全域性最優讓人豁然開朗。

例項+**,研究的是邏輯蒂斯回歸cost function的矩陣偏導,他筆記裡面寫的不是很詳細,可以自己推下結果。

也是大神的隨筆,該篇上下章詳細講了標量對矩陣、矩陣對矩陣的求導過程,和矩陣微分相聯絡,通過大量例子進行計算和說明。大部分引用的是《矩陣分析與應用》一文,但更詳細也更具針對性。

向量轉置的怎麼求導 矩陣 向量求導的一些技巧

宣告 由於敲公式比較慢,主要歸納一些技巧,用於加深對矩陣 向量求導的技巧 矩陣 向量求導,本質上是多元函式求導 推導過程中萬能的驗證方法 即對矩陣 向量的每個分量逐元素求導,再合成矩陣 向量 但往往比較麻煩,故用於驗證推導的結果是否正確 變數為向量時,僅將其看作多個實數,無所謂行 列向量之分,有些地...

記錄學習的一些鏈結

python3的類 class 的使用 python指定概率獲取隨機元素 文章中提供了兩種方法,目前選用第一種來做 python plt 畫圖 python range 迴圈 python zipf distribution zipf分布 生成 import numpy as np a 2 para...

深度學習一些學習鏈結(補充)

機器學習庫 sklearn,scikit 乙份pytorch web ml notes ml assignments 班級學霸整理,照搬的。適合新手學習,比如我。都要看得懂,各種 原始碼基本兩種都有,有的用pytorch寫有的用tf.企業招聘的要求也是一般要求精通一門框架,熟悉一門其他框架。新手可以...