機器學習中那些必要又困惑的數學知識

2021-09-11 12:57:37 字數 880 閱讀 6912

現在很多想從事於機器學習的朋友都存在很多困惑,主要是很多相關的書看不懂,尤其是數學部分,機器學習的基礎是數學。數學並非是乙個可選可不選的理論方法,而是不可或缺的支柱。對於機器學習演算法工程師而言,微積分、線性代數、概率論毫無疑問是需要掌握的。

毫無疑問機器學習中數學是重要的,例如你需要:

1.選擇合適的演算法,包括考慮精度、訓練時間、模型的複雜性、引數和數量特徵;

2.選擇引數設定和驗證策略;

3.通過了解偏差方差權衡來識別擬合不足與過度擬合;

4.估計正確的置信區間和不確定性。

概率論

概率是機器學習演算法中頻繁用到的。不過基礎的概率知識在統計學中已經包括了,而比較深入的概率知識其實在機器學習演算法設計的時候並不經常用到。

線性代數

線性代數在深度學習領域有著舉足輕重的作用,它是深度學習各種演算法的基本數學工具。尤其是矩陣的各種變換,因為大量機器學習演算法都是在和矩陣打交道。

微積分比如,現在無比熱門的神經網路,優化方法幾乎全是基於梯度下降,而梯度下降,其實就是鏈式求導。不過,理工科應該都學過這方面的課程。

最好要掌握:

離散數學:畢竟離散數學是描述計算機問題的基礎。許多演算法的思想也是基於離散數學的。離散數學研究的一些問題對於描述計算機問題也有很大啟發。

隨機過程,實分析:機器學習往深里做肯定需要用這種,高階的數學語言去對問題進行描述。

泛函:泛函分析是一門非常抽象的課程。泛函的很多內容都是從數學分析,線性代數,實分析等抽象出來的,同時也是它們的推廣,泛函研究更廣泛更一般的空間,研究共性的問題。而數學分析,高等代數研究的是個性的問題,都很具體。

各種演算法和理論用到的數學知識 下面我們一張圖來看典型演算法和理論結論所用到的數學知識:

推薦書目

機器學習中的數學

從大學到現在,課堂上學的和自學的數學其實不算少了,可是在研究的過程中總是發現需要補充新的數學知識。learning和vision都是很多種數學的交匯場。看著不同的理論體系的交匯,對於乙個researcher來說,往往是非常exciting的enjoyable的事情。不過,這也代表著要充分了解這個領域...

機器學習中的數學

二 第二課時 1 極限 通俗語言 函式f在 x 0 處的極限是l 數學符號 lim f x l 無窮如何比較大小呢?如x趨近0的時候,sin x 和 tan x 同樣都趨近0,哪個趨近0的速度更快呢?我們可以採用求商的極限來求解 lim sin x tan x lim cos x 1 所以是同樣級別...

小白機器學習中的數學

從平面線性擬合談起 我們知道,線性回歸是最簡單的一種資料擬合,說的直白點,我們舉平面上的例子來看,平面上有若干個樣本點,我們的目標就是去畫一條直線去擬合這些樣本點。如果你對擬合這兩個字還不是吃得很透,我們下面慢慢來介紹。高斯雜訊是如何和最小二乘估計聯絡起來的?也就是換句話說,我們如何從概率的視角去審...