全部筆記的彙總貼：統計學習方法讀書筆記彙總貼
概率潛在語義分析（plsa）是一種利用概率生成模型對文字集合進行話題分析的無監督學習方法。模型的最大特點是用隱變數表示話題；整個模型表示文字生成話題，話題生成單詞，從而得到單詞-文字共現資料的過程；假設每個文字由乙個話題分布決定，每個話題由乙個單詞分布決定。
概率潛在語義分析模型是含有隱變數的模型，其學習通常使用em演算法。em演算法是一種迭代演算法，每次迭代包括交替的兩步：e步，求期望；m步，求極大。e步是計算q函式，即完全資料的對數似然函式對不完全資料的條件分布的期望。 m步是對q函式極大化，更新模型引數。
下一章傳送門：統計學習方法讀書筆記（十九）-馬爾科夫鏈蒙特卡洛方法
統計學習方法讀書筆記
感知機 perceptron 沒啥說的，感知機就是尋找乙個將空間分為兩部分的超平面 前提可分 學習過程既是損失函式極小化的過程。模型 啟用函式 損失函式 推導 首先考慮任意一點x0到超平面的距離 對於誤分類點 xi,yi 來說 所以誤分類點到超平面的總距離 損失函式 損失函式極小化 簡單的梯度下降即...
統計學習方法讀書筆記 knn
看李航老師統計學習方法時的筆記。其實書上寫的已經非常易懂了，但是為了自己記憶，姑且寫個筆記，個別地方是自己的理解，可能有偏差。knn是由cover和hort在1967年提出的分類和回歸方法 監督學習的 它是乙個機遇距離的機器學習演算法，因此更多地適用於數值型的資料集 用jarccard相似度倒也可以...
統計學習方法讀書筆記（1）
1.監督學習 對任意給定輸入，對其相應的輸出做乙個好的 2.回歸問題 輸入變數與輸出變數都為連續變數的 問題。分類問題 輸入變數為有限個離散變數的 問題。標註問題 輸入輸出變數均為變數序列的 問題。3.概率模型 由條件概率分布p y x 表示 非概率模型 由決策函式y f x 表示 4.統計學習三要...