1. 損失函式
期望，就是均值
極大似然估計（似然就是概率、可能性，所以也是極大可能性估計）
對數損失是用於最大似然估計的。
一組引數在一堆資料下的似然值，等於每一條資料的概率之積。
而損失函式一般是每條資料的損失之和，
為了把積變為和，就取了對數
。再加個負號是為了讓
最大似然值和
最小損失對應起來
||w||是w的l2範數，w是個向量，l2範數是每個子項的平方和再開方
感知機分類函式sign(x)，輸出是，wx+b>0時，y=1，wx+b<0 時，y=-1，所以所有分類正確的
wx+b=0 是 超平面s，x0到 超平面的距離是 |wx0+b|/ ||w||，（回憶下點到直線ax+by+c=0的距離，點到平面ax+by+cz+d=0的距離）
損失函式是分類錯誤的點到超平面的距離，而分類錯誤的 y(wx+b)<0，所以-y(wx+b)>0，而wx+b>0時，y=1，wx+b<0 時，y=-1，
帶入點到超平面距離公司，x0到 超平面的距離是 -y(wx+b)/ ||w||
後面的訓練是 對w、b求偏導數，得到梯度表示，再加入個步長，就可以訓練了
貝葉斯估計
截圖不見了
統計學習方法筆記1 統計學習方法概論
統計學習是關於計算機基於資料構建概率統計模型並運用模型對資料進行 與分析的一門學科。從資料出發，提取資料的特徵，抽象出資料的模型，發現資料中的知識，又回到對資料的分析與 中去。統計學習關於資料的基本假設是同類資料具有一定的統計規律性，這是統計學習的前提。這裡的同類資料是指具有某種共同性質的資料，例如...
《統計學習方法》筆記一 統計學習方法概論
好久沒有更新部落格了，這次主要想整理一下之前學習過的機器學習和深度學習有關的知識。我本身數學專業基礎比較薄弱，另外主要做計算機視覺應用所以這個系列的文章並不會涉及很多數學理論知識，學習這些機器學習方法也主要是為了找工作而用，主要了解其中的思想和非常基礎的推導過程。一 統計學習的分類 統計學習方法是基...
統計學習方法 1 統計學習方法概論
統計學習的主要特點是 1 統計學習以計算機及網路為平台，是建立在計算機及網路之上的 2 統計學習以資料為研究物件，是資料驅動的學科 3 統計學習的目的是對資料進行 與分析 4 統計學習以方法為中心，統計學習方法構建模型並應用模型進行 與分析 5 統計學習是概率論 統計學 資訊理論 計算理論 最優化理...