首先介紹一下logistic回歸演算法的思路：
1.首先構造或選取乙個**函式，比如sigmod，relu這種，用來進行最後的分類。（即下文中h函式）
2.構造乙個代價函式（或稱為損失函式）來表示輸出和真實值之間的損失值（即下文中l函式）
3.我們希望l值越小越好，根據這一優化需求來尋找最優的回歸係數θ（具體方法為l對θ求偏導，得到偏導數後使用梯度下降法來得到最優的回歸係數）
下圖是公式的手推過程，還有一些我的注釋：
至於為什麼h函式可以作為對y取值概率的**，其實質是將y這個**看做了類後驗概率估計，我的理解是大家可以看一下sigmod函式的影象，這就是它影象的幾何意義吧我感覺。
深度學習理論 AdaBoost演算法
整合學習分為boosting和bagging兩種，其中boosting演算法是使用同質的弱分類器集成為強分類其，bagging為使用異質的弱分類器集成為強分類器，而boosting的經典演算法就是adaboost演算法。adaboost演算法有使用迴圈迭代的方法更新兩個權重 乙個是每次迭代所訓練的濾...
深度學習理論學習 03
經過了理論上的熟悉和入門之後，接下來的內容主要就是進行環境的搭建和 的編寫測試上了。那麼這一篇文章的主要內容基本就是環境的搭建。目前網上和教材上很多環境都是ubuntu tensorflow，但是我在暑假裝機的時候已經安裝了win10的系統，而且經過學長們的指點，其實在win環境下也是能夠安裝ten...
學習理論 PAC理論
1 基本概念 2 pac理論 3 vc維 4 極大似然，最大後驗概率，貝葉斯估計 5 模型評估與評價指標 6 模型診斷調參 概率近似正確 pac 理論是從概率的角度來衡量模型的正確率，給出了pac可辨識，樣本複雜度界，誤差上界。偏差 方差 偏差和方差是機器學習中很重要的兩個概念，在分析模型時對應於欠...