偏差:
偏差是指所有取樣得到大小為m的訓練資料集訓練出的所有模型的輸出平均值和真實模型輸出之間的偏差
方差:方差是指所有取樣得到大小為m的訓練資料集訓練出的所有模型的輸出的方差
公式推導
見西瓜書p45
從boosting和bagging角度解釋偏差和方差
bagging 是從降低方差的角度，多個弱分類器的模型取平均。boosting是從降低偏差的角度入手，訓練好乙個弱分類器後，利用 這個分類器的誤差或者殘差去擬合下乙個分類器
過擬合和欠擬合角度解釋方差
過擬合：在訓練集上表現效果好，在測試集上表現差，說明模型過於複雜，方差過大
欠擬合，訓練集上都不能不能很好的表現，偏差過大。
每次隨機選擇固定大小的資料集用來計算梯度，代表整體的梯度。較準確，速度比batch快
每次隨機選乙個資料，代表整體的梯度進行梯度下降。速度下降很快，有可能找不到最小點
使用全部的資料集來計算梯度，最為準確
如果訓練樣本大小不大，使用batch梯度下降。如果訓練樣本過大，選擇mini-batch梯度下降。為了和計算機的資訊儲存方式相適應，一般選取2的冪次方
待補交叉驗證是將訓練集d劃分為k個大小相似的互斥子集。每個子集都要盡可能保持資料分布的一致性，用k-1個子集的並集作為訓練集，餘下的那個子集作為測試集，從而進行k次訓練。最終返回的是這k個測試結果的均值。
在超參選擇的時候來評估模型的好壞
基本上所有使用梯度下降來優化的演算法，都要進行歸一化。包括線性回歸，邏輯回歸、支援向量機、神經網路模型等。
為什麼要進行歸一化
消除資料特徵之間的量綱影響，數值範圍大的特徵要進行多次迭代才能找到最優解。使等值圖變為圓形(二維情況下)，更新速率變的更為一致，更容易快速地通過梯度下降找到最優解。
常用的歸一化方法：
1 min-max-scaling 將所有的特徵的範圍都統一到固定的區間。進行線性的對映
2.零均值歸一化
非線性的對映。它會將原始資料對映到均值為0，標準差為1的分布上
mean squared error 均方誤差，所有樣本誤差的平方和
root mean squared error 均方根誤差 在mse的基礎上取平方根
mean absolute error 平均絕對誤差 所有樣本誤差絕對值和再平均
r 2=
1−ms
e/va
rr^2=1-mse/var
r2=1−m
se/v
ar=1 −∑
im(y
i−y~
i)∑i
m(yi
−y‾i
)1-\frac^(y^i-\widetilde^i)}^(y^i-\overline^i)}
1−∑im
(yi−
yi)
∑im
(yi−
yi)
分母相當於baseline model 用平均值去代表取值。當r
2r^2
r2為1的時候分子為0，準確率100%。當r
2r^2
r2為0的時候，分子分母相同，模型沒有任何改進。當r
2r^2
r2小於0的時候此時可能模型沒有線性關係
李巨集毅機器學習 Introduction
人工智慧是我們想要達到的目標，即讓機器和人一樣智慧型。而機器學習是方法，讓機器從資料中學習，從而得到智慧型的方法。智慧型是什麼呢？對於人類智慧型而言，根據霍華德 加德納的多元智慧型理論，人類的智慧型分為以下七種智慧型 這不僅涵蓋了現在人工智慧的研究領域，計算機視覺 語音識別 自然語言處理等。而且也指...
李巨集毅機器學習attack model 學習筆記
loss函式及限制條件 無目標攻擊 l 負的 y 與y true 交叉熵 輸入的x 使y 與y true越遠越好 有目標攻擊 輸入的x 使y 與y true越遠越好且y 與y false越近越好 限制條件 x與x0距離需要小於乙個值，不被發現，否則攻擊就無意義 攻擊的目標是x在乙個小的變化內使模型失...
李巨集毅機器學習 學習筆記
function set就是model 機器學習3大步驟 1.定義模型 function 集合 2.指定模型 function 好壞的評價指標 3.通過演算法選擇到最佳的模型 function alphago下棋模型抽象為棋局向下一步的分類問題 減少擁有label的data用量的方法 1.semi ...