學習機器學習筆記 第一周

2021-09-29 02:14:44 字數 2306 閱讀 1897

1-2:什麼是機器學習

1.arthur samuel 對 機器學習的定義:在沒有明確設定的情況下,使計算機具有學習能力的研究領域。

2.tom mitchell對 機器學習的定義:乙個好的學習問題定義如下,他說,乙個程式被認為能從經驗e中學習,解決任務t,達到效能度量值p,當且僅當,有了經驗e後,經過p評判,程式在處理t時的效能有所提公升。

1-3:監督學習

1.監督學習指的就是我們給學習演算法乙個資料集。這個資料集由「正確答案」組成。

2.1判斷新房子的**:回歸問題。回歸這個詞的意思是,在試著推測出這一系列連續值屬性。

特徵增多,計算機可能無法處理。乙個演算法,叫支援向量機,裡面有乙個巧妙的數學技巧,能讓計算機處理無限多個特徵。

1-4:無監督學習

無監督學習:沒有給演算法正確答案來回應資料集中的資料,無監督演算法自行判斷處理。例:1.1聚類應用:谷歌新聞分類。1.2細分市場。

雞尾酒宴:[w,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x』);

將兩段同時的音訊分離。

2-1:模型表示

m代表訓練集中例項的數量

x代表特徵/輸入變數

y代表目標變數/輸出變數

(x,y)代表訓練集中的例項

(x(i),y(i))代表第i 個觀察例項

h代表學習演算法的解決方案或函式也稱為假設(hypothesis)

引數(parameters): , 。

建模誤差:模型所**的值與訓練集中實際值之間的差距。

代價函式:

2-3:代價函式的直觀理解

1.梯度下降背後的思想是:開始時我們隨機選擇乙個引數的組合

計算代價函式,然後我們尋找下乙個能讓代價函式值下降最多的引數組合。我們持續這麼做直到到到乙個區域性最小值(local minimum),因為我們並沒有嘗試完所有的引數組合,所以不能確定我們得到的區域性最小值是否便是全域性最小值(global minimum),選擇不同的初始引數組合,可能會找到不同的區域性最小值。

2.批量梯度下降(batch gradient descent)演算法的公式為:

3.是學習率(learning rate),它決定了我們沿著能讓代價函式下降程度最大的方向向下邁出的步子有多大,在批量梯度下降中,我們每一次都同時讓所有的引數減去學習速率乘以代價函式的導數。

4.需要同時更新 1和 0。

對賦值,使得按梯度下降最快方向進行,一直迭代下去,最終得到區域性最小值。其中a是學習率(learning rate),它決定了我們沿著能讓代價函式下降程度最大的方向向下邁出的步子有多大。

1 已經在乙個區域性的最優處或區域性最低點,結果是區域性最優點的導數將等於零,因為它是那條切線的斜率。這意味著你已經在區域性最優點,它使得 1不再改變,也就是新的1 等於原來的 1,因此,如果你的引數已經處於區域性最低點,那麼梯度下降法更新其實什麼都沒做,它不會改變引數的值。這也解釋了為什麼即使學習速率a保持不變時,梯度下降也可以收斂到區域性最低點。

2-7:梯度下降的線性回歸

1.梯度下降演算法和線性回歸演算法比較:

n代表特徵的數量。

x_i代表特徵的數量代表第 i個訓練例項,是特徵矩陣中的第i行,是乙個向量(vector)。

支援多變數的假設 h表示為:

這個公式中有個n+1引數和n個變數,為了使得公式能夠簡化一些,引入x_0=1,則公式轉化為:

此時模型中的引數是乙個n+1維的向量,任何乙個訓練例項也都是n+1維的向量,特徵矩陣x的維度是m*(n+1)。 因此公式可以簡化為:

其中上標代表t矩陣轉置。

第一周學習

msg dic for k,v in msg dic.items print f 商品名稱 商品 end while true shoppingcar input 請輸入你要購買的商品 strip if shoppingcar not in msg dic or shoppingcar is non...

第一周學習

1.根目錄,位於目錄的最頂端,是所有檔案和目錄的父目錄,其自身沒有父目錄。2.boot 引導檔案存放目錄,核心檔案 vmlinuz 引導載入器 bootloader,grub 都存放於此目錄。3.bin 存放使用者基本命令,不能關聯至獨立分割槽,os啟動就會用到的程式。4.sbin 存放管理類基本命...

Python 學習筆記(第一周)

usr bin env python 或者 usr bin python print hello world python 是解釋型語言,執行時需要讓系統了解是用哪種直譯器哪種格式解析檔案,所以要加 usr bin python 這兩種寫法都行,但是推薦第一種,優點是可以全域性搜尋python環境變...