過去的幾個月中，有幾人聯絡我，訴說他們對嘗試進入資料科學的世界，以及用機器學習的技術去探索統計規律並構建無可挑剔的資料驅動型產品的熱忱。然而，我發現一些人實際上缺乏必要的數學直覺和知識框架去得到有用的結果。這便是我決定寫這篇博文的主要原因。最近湧現出了很多易於使用的機器學習和深度學習的軟體包，例如 scikit-learn, weka, tensorflow 等等。機器學習理論是統計學、概率學、電腦科學以及演算法的交叉領域，是通過從資料中的迭代學習去發現能夠被用來構建智慧型應用的隱藏知識。儘管機器學習和深度學習有著無限可能，然而為了更好地掌握演算法的內部工作機理和得到較好的結果，對大多數這些技術有乙個透徹的數學理解是必要的。
邏輯回歸和神經網路的代價函式的計算方法
機器學習中的數學是重要的，有很多原因，下面我將強調其中的一些：
選擇正確的演算法，包括考慮到精度、訓練時間、模型複雜度、引數的數量和特徵數量。
選擇引數的設定和驗證策略。
通過理解偏差和方差之間的 tradeoff 來識別欠擬合與過擬合。
估計正確的置信區間和不確定度。
當你嘗試著去理解乙個像機器學習（ml）一樣的交叉學科的時候，主要問題是理解這些技術所需要的數學知識的量以及必要的水平。這個問題的答案是多維的，也會因個人的水平和興趣而不同。關於機器學習的數學公式和理論進步正在研究之中，而且一些研究者正在研究更加先進的技術。下面我會說明我所認為的要成為乙個機器學習科學家/工程師所需要的最低的數學水平以及每個數學概念的重要性。
概率論和統計學：機器學習和統計學並不是迥然不同的領域。事實上，最近就有人將機器學習定義為「在機器上做統計」。機器學習需要的一些概率和統計理論分別是：組合、概率規則和公理、貝葉斯定理、隨機變數、方差和期望、條件和聯合分布、標準分布（伯努利、二項式、多項式、均勻和高斯）、時刻生成函式（moment generating functions）、最大似然估計（mle）、先驗和後驗、最大後驗估計（map）和抽樣方法。
多元微積分：一些必要的主題包括微分和積分、偏微分、向量值函式、方向梯度、海森、雅可比、拉普拉斯、拉格朗日分布。
演算法和複雜優化：這對理解我們的機器學習演算法的計算效率和可擴充套件性以及利用我們的資料集中稀疏性很重要。需要的知識有資料結構（二叉樹、雜湊、堆、棧等）、動態規劃、隨機和子線性演算法、圖論、梯度/隨機下降和原始對偶方法。
其他：這包括以上四個主要領域沒有涵蓋的數學主題。它們是實數和複數分析（集合和序列、拓撲學、度量空間、單值連續函式、極限）、資訊理論（熵和資訊增益）、函式空間和流形學習。
可汗學院的線性代數（概率與統計（多元微積分（和優化（
德克薩斯大學的 robert van de geijn 在 edx 上的 linear algebra – foundations to frontiers：
joseph blitzstein 的 harvard stat 110 lectures：
史丹福大學的 boyd 和 vandenberghe 的關於凸優化的課程：
udacity 的 introduction to statistics 課程：
吳恩達授課的 coursera/史丹福大學的機器學習課程：
這篇博文的主要目的是給出一些善意的關於數學在機器學中的重要性的建議，一些一些必需的數學主題以及掌握這些主題的一些有用的資源。然而，一些機器學習的痴迷者是數學新手，可能會發現這篇部落格令人傷心（認真地說，我不是故意的）。對於初學者而言，你並不需要很多的數學知識就能夠開始機器學習的研究。基本的吸納覺條件是這篇博文所描述的資料分析，你可以在掌握更多的技術和演算法的過程中學習數學。
機器之心——機器學習需要哪些數學基礎？
學好機器學習需要哪些數學知識？
機器學習課程 筆記
在alphago血虐人類 和 最強大腦小度精彩表現的刺激下，後知後覺的對人工智慧產生了濃厚的興趣。看了一些相關的介紹和 感覺還是要從基礎學起。出於對大名鼎鼎的andrew老師的膜拜，開始學習他講的機器學習課程。根據自己的理解和老師的講義整理一些筆記，方便自己鞏固和學習。文中會有很多不準確或不通順的理...
機器學習課程討論
機器學習 q 為什麼linearregression 的結果和基於梯度下降的結果差異很大？a 本次實驗的資料集過小，可能造成這樣的誤差，如果需要在大資料集上驗證，可以在kaggle上尋找更大的資料集，例如boston房價資料集，imdb影評資料集。q 實驗我們是需要做課上布置的，還是也能做犀牛學院的...
Google機器學習課程 機器學習術語
監督式 機器學習定義 機器學習系統通過學習如何組合輸入資訊來對從未見過的資料做出有用的 標籤是我們要 的事物，即簡單線性回歸中的 y 變數。特徵是輸入變數，即簡單線性回歸中的 x 變數。樣本是指資料的特定例項 x 模型定義了特徵與標籤之間的關係。訓練是指建立或學習模型。也就是說，向模型展示有標籤樣本...