機器學習第六章走起
接著上一章，對於break point 按照前面的規律來看，隨著n的增大，我們的effective(n) 與pow(2,n)的差距越來越大
bound function
就是成長函式的乙個上限，我們剛才分析的成長函式是對於不同的h給與不同的分析，那我們有個目標，就是我們知道我們的n，然後知道第乙個break point k
那麼，我們直接由n,k這兩個變數得到b(n,k)，就是乙個上限函式
那麼我們就專門對這個b（n，k）建立了乙個表，然後來舔值。
顯然當k = 1的時候，無論n是多少，b（n，k）都是1，
對於n <ｋ的時候，顯然結果就是pow(2,n)
那麼其他部分就是我們要填的重點。
首先我們來解決n 和 k相等的情況，b（1,1） = 1 b(2，2) =3 ,b（n,n） = pow(2,n) -1
剛才一直沒有明白為什麼是pow(n,n)是直接減1，糾結這個問題，還是說明沒有弄懂成長函式和bound function
成長函式 <= bound function 因為在這個點被break，說明至少有乙個不能有，所以減1就是最大可能值，也就是上限，依據我們目前的資訊，我們不能繼續縮小這個上限，但是我們的成長函式是小於或者等於這個bound function的，所以這個值是個上限，和具體的某個h的成長函式想不想等完全就不用考慮===不知道我的理解對不對。
那我們要接著填表的剩餘部分，比如b(4,3)我們要怎麼填呢？
我們應該想辦法和b(3,?)扯上關係吧。
對於b(4,3)我們通過**羅列我們可以求出是11
現在我們來分析b(4,3)的乙個解。
4個元素分別用x1，x2，x3，x4來表示，然後把b(4,3)的11中情況分為兩種
一種是成雙成對的，一種是形單影隻的。
所謂成雙成對是指x1，x2，x3都一樣，只有x4不一樣
而所謂形單影隻就是不是上述情況。
顯然對第一種情況數量設定為2α，而後面一種設定為β
這個時候，我們選擇遮住x4，那麼顯然此時解的數量變為了α+β，因為2α遮住了x4，數量減半。
由於在k=3 的地方發生shatter ，所以顯然有α+β ≤ b(3,3)
同時，對於成雙成對部分的α個x1，x2，x3組合情況，其實我們應該可以想到這裡面任意兩個不能shatter k = 2的情況。這個直接理解不太好理解，可以這樣想
如果x1，x2，x3的兩個值，就假設是x1，x3吧，能shatter k =2，那麼說明至少有4種吧，這個時候把x4加入進來，因為是成雙成對的，所以每一種都乘2，所以至少8種了，顯然shatter k=3了，而我們的前提是k =3 是第乙個break point
所以得到 α ≤ b(3,2)
而b(4,3) = 2α + β,所以b(4,3)≤b(3,3)+b(3,2)
所以b(n,k) ≤ b(n-1,k) +b(n-1,k-1)
所以我們現在可以求出上限了
接著我們就可以利用邊界值+數學歸納法去證明
b(n,k) ≤ (從i =0 到 k-1 求和)(組合從n個取i個)===我用公式編輯器貼上不上來，先這樣吧，等等我截圖試試===
顯然這個表示式的最高項就是pow(n,k-1)
所以說成長函式≤上限函式≤上限函式的上限≤某個多項式(pow(n,k-1))
===實際上我們所謂的上限函式和上限函式的上限是相等的，所以我們需要去證明不等式的另外一邊，如果既大於等於又小於等於，那麼就能說明等於。
那麼現在我們可以把ein 解決了，但是eout還是無限的呀。
這個時候作者做了一些數學證明，再次取了n個點來作為ein『來替代eout，這個地方作者也講得很不清楚，他說大家沒必要把數學看得這麼深===
大概我理解哈，因為就是取兩個資料d，那麼這兩個資料的結果差距可以來預估資料d和整體的差異，想想還是有點道理，如果整體和d差異很大的概率很小，那麼再取乙個d』，如果d『和d差異很小，就說明d』和整體差異很大，那麼d『和整體差異大概率為p，所以要再整體和d差異大，但是d和d』差異小，需要d和d『和整體都差異大，所以兩者概率都為p，p*p概率太小，顯然可以忽略，而且，和d與d'和整體差異大，可以往整體的正負兩個方向走，所以實際概率肯定還要小於p*p。這是我的理解哈===
至於後面，感覺也是說得很模糊，沒有理解得特別清楚，覺得作者本身也說得很牽強，但是作者都說，沒必要講得很清楚。===
後面再回頭看一看吧，反正我**了===
機器學習（5）
神經網路 基礎概念 神經網路 1.定義 神經網路也稱人工神經網路，是一種模仿生物上設神經網路的一種演算法。神經網路是機器學習諸多演算法中的一種，它既可以用來做有監督的任務，如分類 視覺識別等，也可以用作無監督的任務。同時它能夠處理複雜的非線性問題，它的基本結構是神經元。2.神經元 生物學的神經元啟發...
機器學習5
聚類問題是無監督學習，演算法的思想是 物以類聚，人以群分 聚類演算法感知樣本間的相似度，進行類別歸納，對新的輸入進行輸出 輸出變數取有限個離散值。k means 又稱k 均值或k 平均 聚類演算法。演算法思想就是隨機確定k個中心點作為聚類中心，然後把每個資料點分配給最鄰近的中心點，分配完成後形成k個...
機器學習第5周！
教輔說這週的作業是史上最難，果不其然，我花了好久好久才完成 好吧其實也沒有很難，就一開始的cost function卡了很久，後面倒是挺順利的，簡單地調了幾遍就過了，現在第五周完成了，還有1個小時第六周就過期了。路漫漫，是真的。機器學習的本質在於通過大量資料的訓練，使計算機能夠擁有人類的某種能力，比...