在機器學習中，我們經常會用到線性回歸：y = wx+b
我們也會用到損失函式，損失函式的公式如下圖：
通過觀察上面的式子我們發現，啟用函式 σ
\sigma
σ 包含著線性函式 wx+b，這個時候損失函式就和權值w和偏置值b聯絡起來了。
接著我們隊損失函式的w和b分別進行求導：
就像圖中所說的，w和b的梯度跟啟用函式的梯度成正比，啟用函式的梯度越大，則w和b的大小調整得越快，訓練收斂得越快。
所以我們選擇啟用函式應該選擇梯度較大的函式，這樣有利於訓練更快速的收斂。
結束線/
結束線/
機器學習（西瓜書）學習筆記2 假設空間和歸納偏好
首先，有兩個概念 歸納和演繹。簡言之，歸納就是特殊推一般，演繹就是一般推特殊。機器學習是從大量樣本訓練，再利用測試資料進行測試。很顯然，機器學習屬於歸納的過程，亦稱 歸納學習。以西瓜舉例，西瓜成熟與否和西瓜的色澤 根蒂 敲聲這三個屬性有關係，色澤的屬性值 烏黑 青綠。根蒂的屬性值 蜷縮 硬挺。敲聲的...
機器學習中缺失值的處理
做比賽過程中經常會有大量有缺失值的項，這時怎麼處理缺失值很關鍵了。平均值填充 mean mode completer 將初始資料集中的屬性分為數值屬性和非數值屬性來分別進行處理。如果空值是數值型的，就根據該屬性在其他所有物件的取值的平均值來填充該缺失的屬性值 如果空值是非數值型的，就根據統計學中的眾...
機器學習中樣本缺失值的處理方法
dropna scikit learn的imputer類提供了估算缺失值的基本策略，可以使用缺失值所在的行或列的均值，中位數或最頻繁值。這個類還允許不同的缺失值編碼。import numpy as np from sklearn.preprocessing import imputer imp im...