回歸模型的最終目標是建立自變數x和y之間的關係。線性回歸採用乙個高維的線性函式來盡可能的擬合所有的資料點，最簡單的想法就是根據中心極限定理，最小化函式值與真實值誤差的平方（概率解釋-高斯分布加最大似然估計）
線性回歸假設誤差服從正太分布，**值y也服從正太分布。
對數似然函式求最大值即為即均方誤差，因此用這個值作為代價函式來優化模型在統計學的角度是合理的
中心極限定理實際上是揭示了任意乙個總體中樣本均值的分布規律。
極大似然估計求解 最大值，與最小二乘法求解最小值等價，損失函式在導數為0的點取得最小值。
損失函式、代價函式、目標函式、結構化風險
損失函式(loss function)：度量單樣本**的錯誤程度，損失函式值越小，模型就越好。
代價函式(cost function):度量全部樣本集的平均誤差。
目標函式(object function):代價函式和正則化函式，最終要優化的函式。
當模型複雜度增加時，有可能對訓練集可以模擬的很好，但是**測試集的效果不好，出現過擬合現象，這就出現了所謂的「結構化風險」。
常用的損失函式包括：0-1損失函式、平方損失函式、絕對損失函式、對數損失函式等；常用的代價函式包括均方誤差、均方根誤差、平均絕對誤差等。
批量梯度下降(bgd)、隨機梯度下降(sgd)以及小批量梯度下降(mbgd)的理解
線性回歸及l1、l2正則化區別與稀疏解
多項式線性回歸總結
這裡主要記錄多項式線性回歸，會附帶一部分簡單線性回歸的講解 線性回歸其實是典型的引數訓練的機器學習方法，而且專門解決回歸問題 首先先講下簡單線性回歸 y ax b 其中 實現 import numpy as np import matplotlib.pyplot as plt class linea...
Logistic 回歸總結
logistic regression 和 linear regression 的原理是相似的 1.找乙個合適的 函式 andrew ng 的公開課中稱為 hypothesis 一般表示為 h 函式，該函式就是我們需要找的分類函式，它用來 輸入資料的判斷結果。這個過程時非常關鍵的，需要對資料有一定的...
邏輯回歸 總結
a logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用於資料探勘，疾病自動診斷，經濟 等領域。b 例如，引發疾病的危險因素，並根據危險因素 疾病發生的概率等。以胃癌病情分析為例，選擇兩組人群，一組是胃癌組，一組是非胃癌組，兩組人群必定具有不同的體徵與生活方式等。c ...