機器學習的過程總結

機器學習的過程總結

機器學習的過程總結：

提供樣本     d為標籤

建模：假設x與d的關係

y=ax+b    多元線性回歸

評價y與d的接近程度：loss

loss=(y-d)**2    

優化過程----迴圈迭代

獲取一批樣本xi , di

計算dloss(xi,di)/dw    #此時的xi和di只是placeholder

執行優化----w-負梯度： w - (dloss/dw) * eta -->  wnew

eta：學習率

實際計算中只需計算最後一步即可，因為計算dloss(xi,di)的過程中只需要提供xi,di，而xi,di定義為placeholder，我們只需要把樣本提供給模型(feed_dict),就可以完成優化的過程了。

過擬合問題：是由於可訓練引數過多而訓練樣本不足

loss函式觀察：

訓練集的loss大，測試集loss也大，欠擬合

訓練loss小，測試loss小---->模型選擇合適

訓練loss小，測試集loss大---->過擬合

訓練集loss大，測試集loss小----基本沒有（可能是遷移學習）

如果出現

說明學習率過大

增加可訓練引數數量

1.把隱藏層數量減少，把隱藏層的神經元多一些叫廣度神經網路

2.增加隱藏層數量叫深度神經網路

都可以達到增加可訓練引數的數量

現在都是在深度上做

隱藏層的神經元數量選幾個？

複雜問題可選多一些，簡單問題少選一些

與樣本複雜度有關

過擬合是由雜訊引起的

機器學習模型思路：

簡單資料+複雜模型->原始資料+多層神經網路

複雜資料+簡單模型---->特徵工程+線性回歸

第一條路弱化了特徵工程 ，深度神經網路成為通用機器學習模型

兩個弱勢：

比較難以訓練(有時加了很多層反而不能得到結果）

得法複雜度太高（時間和空間）

所以能用傳統機器學習做就不用深度神經網路

二範數指矩陣a的2範數，就是a的轉置共軛矩陣與矩陣a的積的最大特徵根的平方根值，是指空間上兩個向量矩陣的直線距離。類似於求棋盤上兩點間的直線距離。

含    義

：具有「長度」概念的函式

類似於：求棋盤上兩點間的直線距離 特徵

：範數，是具有「長度」概念的函式。在

線性代數

、泛函分析

及相關的數學領域，範數是乙個函式，其為

向量空間

內的所有向量賦予非零的正長度或大小。半範數反而可以為非零的向量賦予零長度。 分類

： 除了矩陣之外，向量和函式均有範數，其中：

矩陣範數：矩陣a的2範數就是 a的轉置乘以a矩陣特徵根 最大值的開根號；

向量範數：向量x的2範數是x中各個元素平方之和再開根號；

函式範數：函式f(x)的2範數是x在區間（a,b）上f(x)的平方的積分再開根號。

2-範數：║a║2 = a的最大奇異值 = ( max ) 1/2(歐幾里德範數,譜範數,即aha

特徵值λi中最大者λ1的平方根，其中ah為a的轉置

共軛矩陣

)。（參考「矩陣範數」的定義）

機器學習過程

機器學習過程 1.載入資料集 from sklearn import databases 載入sklearn的資料集 databases.load boston 載入波士頓房價的資料集 databases.load iris 載入鳶尾花資料集 databases.load digits 載入手寫識別...

我的機器學習過程

我的理論學習過程 我在學習機器學習演算法的時候，有乙個主線，就是文字分類，我從網上找到了很多文字的資料集，我在學習大部分演算法的時候都用了機器學習演算法進行文字分類，比如貝葉斯，決策樹，lr，整合學習，lsa knn，plsa knn乃至後面的深度學習方法。做實驗時，比較各中演算法。這樣在乙個主線的...

機器學習的總結

一 機器學習是什麼 機器學習就是資料探勘，找到乙個模型。二 機器的流程是什麼 第一步 把資料預處理，比如降維這些 第二步 找到人設計的模型f，比如線性 決策樹 貝葉斯 神經網路等等 第三步 把全部訓練樣本m，統計計算模型f和全部樣本m的均方誤差 也叫loss，e f 因為均方誤差要到達最小，就要引數...