通常輸入 x 具有多個屬性值，翻譯過來就是一條資料具有多個特徵值。當我們假定最簡單的一種情況，也就是說輸入只有乙個屬性值的時候，此時就是一元線性回歸。線性回歸試圖 f（x） = wx + b，使得 f（x）≈ 真實值 y，所以線性回歸的演算法，轉化為數學問題就是，尋找乙個恰當的引數，使得 f（x）盡可能的逼近 y 。
逼近用數學語言就是使得 f（x）與 y之間的差值（或者說距離）盡可能的小，常用的就是距離衡量函式就是均方誤差函式（也叫平方損失函式），如下所示：
此時 x 具有 d 個屬性值，把引數表示成
資料集相應的變成
這個1其實是為了 引數 b 準備的，w 的維度應該是 （d， 1），而偏置 b 前面也應該是有個引數，但由於 b 本身就是變數，所以實際操作時令 1 * b，前後維度 就保持了一致，才能繼續後面的矩陣運算；
最終的優化函式
求導，令導數為0可得
這裡假設
是滿秩或者正定，但現實中往往不是滿秩，即特徵數超過樣本數，此時存在多個解，至於選擇哪個解有演算法的歸納偏好決定，常見方法是引入正則化；
更一般的可以表示成
這樣的模型就稱為廣義線性模型，外層套的函式叫做聯絡函式。
手推公式見：
一元線性回歸公式推導，多元線性回歸公式推導
對於二分類任務，線性回歸模型的輸出是乙個連續值，但我們需要的真實值是，所以在我們要找乙個函式可以將輸出和真實值聯絡起來的函式，最理想的是單位階躍函式，但階躍函式並不連續，因此不能作為聯絡函式，對數機率函式就可以派上用場了。
雖然名字是回歸，但實際是分類學習方法。它的優點在於:
在對數機率回歸中，利用極大似然法進行最優化，loss函式如下：
這裡的
在牛頓法求最優解中，β的迭代公式
順便複習一下：
梯度下降法是一種一階優化方法，是通過利用函式的一階導數來使函式收斂到區域性極小點，如果目標函式是凸函式，那麼區域性極小就是全域性最小。
而牛頓法是利用函式的二階導數，雖然迭代次數小於梯度下降法，但計算複雜度相當高，涉及到海森矩陣的求逆，尤其在高維中幾乎不可行。由此還引申出了擬牛頓法。
射頻微波相關公式
自由空間是理想介質，是不會吸收電磁能量的。自由空間的傳輸損耗是指天線輻射的電磁波在傳播過程中，隨著傳播距離的增大，能量的自然擴散而引起的損耗，它反映了球面波的擴散損耗 球面波指等相面是球面，且在等相面上振幅處處相等的波 自由空間的傳輸損耗為 或其中，d為電波傳播距離，f為工作頻率，為工作波長。英雌在...
SVM 相關公式推導解釋
題記 寫這篇文章的背景是這樣的，近期在看 機器學習實戰 這本書，看過一段時間昨天打算大致的回顧下常用分類器的原理和特性，比如k盡量，決策樹，logistic regression，bayes 和svm，但當想到svm的時候，自己只知道他的作用及特性，對於其中的原理感覺很模糊，所以就決定仔細的把其中的...
資料結構相關公式
判斷棧空 s top 1 判斷棧滿 s top maxsize 1 棧的中綴轉字尾運算 9 3 1 3 10 2 中綴 9 3 1 3 10 2 字尾 規則 遇到數字直接輸出，左括號和小於棧頂元素優先順序的進棧，右括號匹配到左括號出棧，優先順序大於棧頂元素優先順序的入棧。字尾表示式計算 9 3 1 ...