（1）監督學習：根據訓練樣本（含有標籤）進行訓練得到乙個最優的模型，包括線性回歸、邏輯回歸、svm、支援向量機等演算法
（2）無監督學習：訓練樣本並沒有標籤，訓練之前也不清楚樣本的類別，通過樣本之間的特性進行自動分類，比如聚類演算法如
kmeans就是典型的無監督學習演算法 。
（3）泛化能力：是指訓練得到的模型對測試樣例的擬合程度。
（4）過擬合：指模型對訓練樣本有很好的擬合能力，但對測試樣本擬合效果很差。
（5）欠擬合：模型對訓練樣本與測試樣本的擬合效果都很差。
（6）交叉驗證：是將所有樣本分成訓練集、驗證集、測試集。比例一般為（6：3：1）
（1）原理：線性回歸是回歸演算法中最簡單最通俗易懂的一種，用線性函式去擬合訓練樣本得到最優回歸模型。
（2）損失函式與代價函式：是指經驗風險最小化，損失函式與代價函式一樣的，線性回歸採用的損失函式是真實值與**值之間的平方差函式。
（3）目標函式：指結構風險最小化，等價於在損失函式的基礎上再加上正則化項。
梯度下降法：是一種用來求解最小值的優化方法，通過迭代法來求解最優值。
包括隨機梯度下降法、批量梯度下降法、小批量梯度下降法。
牛頓法：同樣是一種求解最小值的優化方法，通過對目標函式的二階泰勒展開來逼近目標函式，求出目標函式的二階泰勒展開的零點，不斷迭代求解。不同於梯度下降法，牛頓法採用的是二階迭代，收斂速度快，但每次迭代都要計算海塞矩陣的逆矩陣，當訓練樣本數較多時，每次迭代計算量太多。
擬牛頓法：針對牛頓法每次迭代都要計算海塞矩陣的逆矩陣這一缺點，提出擬牛頓法。
線性回歸演算法梳理
機器學習的一些概念 有監督 有目標值y 無監督 無目標值y 泛化能力 在 集上的 能力 過擬合欠擬合 方差和偏差以及各自解決辦法 測試集 能力不好叫欠擬合，在測試集上ok，訓練集ng 方差能解決過你和問題，偏差能解決欠擬合問題 交叉驗證 將樣本分為n分，按照一定的劃分方式劃分訓練集和測試集，互相交叉...
線性回歸演算法梳理
有監督 資料做過標記 無監督 對原始資料進行處理，未做標記 泛化能力 由訓練資料建立的模型對同類問題的解決能力 過擬合 模型過於複雜導致解決問題能力差 欠擬合 模型過於簡單導致擬合資料的能力差 方差和偏差以及各自解決辦法 交叉驗證 當資料比較少時，將資料分成n份，取n 1份做訓練集，1份做驗證集，改...
線性回歸演算法梳理
監督學習 資料集中的每個樣本有相應的標籤，根據這些樣本做出 無監督學習 資料集中沒有標籤。無監督學習的任務是從給定的資料集中，找出可能具有的結構。泛化能力 指乙個機器學習演算法對於沒有見過的樣本的識別能力。過擬合欠擬合 方差和偏差以及各自解決辦法 欠擬合 模型沒有很好地捕捉到資料特徵，不能夠很好地擬...