整合學習分為boosting和bagging兩種，其中boosting演算法是使用同質的弱分類器集成為強分類其，bagging為使用異質的弱分類器集成為強分類器，而boosting的經典演算法就是adaboost演算法。
adaboost演算法有使用迴圈迭代的方法更新兩個權重：乙個是每次迭代所訓練的濾波器在最後的總結果中所佔重要性的權重，乙個是每次迭代後根據訓練結果對訓練資料的分布進行調整的權重（相當於對下一次迭代來說，訓練資料帶權學習，上一次分類錯誤的資料權重會高，讓下一次訓練時更加重視錯誤資料，因為每次不同迭代權重不同，資料的重要性也不一樣，因此我們說影響了資料分布。）
其大體流程如下：
感覺整合學習很難，後面有新的理解再補充，我們下期見！
深度學習理論學習 03
經過了理論上的熟悉和入門之後，接下來的內容主要就是進行環境的搭建和 的編寫測試上了。那麼這一篇文章的主要內容基本就是環境的搭建。目前網上和教材上很多環境都是ubuntu tensorflow，但是我在暑假裝機的時候已經安裝了win10的系統，而且經過學長們的指點，其實在win環境下也是能夠安裝ten...
深度學習理論 logistic回歸演算法
首先介紹一下logistic回歸演算法的思路 1.首先構造或選取乙個 函式，比如sigmod，relu這種，用來進行最後的分類。即下文中h函式 2.構造乙個代價函式 或稱為損失函式 來表示輸出和真實值之間的損失值 即下文中l函式 3.我們希望l值越小越好，根據這一優化需求來尋找最優的回歸係數 具體方...
學習理論 PAC理論
1 基本概念 2 pac理論 3 vc維 4 極大似然，最大後驗概率，貝葉斯估計 5 模型評估與評價指標 6 模型診斷調參 概率近似正確 pac 理論是從概率的角度來衡量模型的正確率，給出了pac可辨識，樣本複雜度界，誤差上界。偏差 方差 偏差和方差是機器學習中很重要的兩個概念，在分析模型時對應於欠...