機器學習知識點查漏補缺(邏輯回歸)

2022-08-24 02:36:14 字數 991 閱讀 9551

一、模型概念

邏輯回歸將線性函式復合於邏輯斯蒂函式中,用其取值估計分類概率,從而在空間形成超平面對樣本點進行分類。

logistic回歸實質:發生概率除以沒有發生概率再取對數。就是這個不太繁瑣的變換改變了取值區間的矛盾和因變數自變數間的曲線關係。究其原因,是發生和未發生的概率成為了比值 ,這個比值就是乙個緩衝,將取值範圍擴大,再進行對數變換,整個因變數改變。不僅如此,這種變換往往使得因變數和自變數之間呈線性關係,這是根據大量實踐而總結。所以,logistic回歸從根本上解決因變數要不是連續變數怎麼辦的問題。還有,logistic應用廣泛的原因是許多現實問題跟它的模型吻合。例如一件事情是否發生跟其他數值型自變數的關係。

以上提到的都是二分類問題,在多分類問題中,講邏輯斯蒂函式替換成softmax函式,softmax函式如下

對softmax函式的理解:sigmoid將乙個實數值(邏輯回歸模型中就是線性函式計算結果)對映到(0,1)的區間(當然也可以是(-1,1)),這樣可以用來做二分類。 

而softmax把乙個k維(每個維度為每個類別的線性函式計算結果)的向量(a1,a2,a3,a4….)對映成乙個(b1,b2,b3,b4….)其中bi是乙個0-1的常數,然後可以根據bi的大小來進行多分類的任務,如取權重最大的一維。當然bi累計和為1。

二、目標優化函式

對於概率模型,採用對數最大似然函式作為目標優化函式:

js 查漏補缺知識點

1 和 得優先順序 let a let b a a a.x console.log a.x console.log b.x undefined 解 a a.x 優先執行.可以看作 a.x a 前面a.x 因為物件是引用型別 直接改變b 後面得a重新定義了物件記憶體位址已經改變,所以不影響b 二.變數...

dll知識點查遺補缺

1.匯入函式 1 如果程式靜態連線時,宣告函式採用了 declspec dllimport 呼叫foo時,被翻譯成call imp foo 其中 imp foo是idata節裡面的資料,dll的loader會修改這個位址裡的數值。imp foo是firsttrunk值。2 如果程式靜態連線時,沒有採...

作業系統 資料庫知識點查漏補缺二

簡述資料庫系統實現查詢優化的步驟,在集中式資料庫查詢中查詢代價主要考慮哪些開銷?1.將查詢轉化為某種內部表示,通常是語法樹.2.根據一定的等價變換規則把語法樹轉換成標準形式.3.選擇低層的操作演算法.對於語法樹中的每乙個操作需要根據訪問路徑,資料的儲存分布,儲存資料的聚簇資訊來選擇具體的執行演算法....