正定矩陣：設m是n階方陣，如果對任何非零向量z，都有
ztmz
> 0，其中
zt表示z的轉置，就稱m正定矩陣
對數機率函式(logistic function)，替代單位階躍函式，是一種sigmoid函式，對應的模型是對數機率回歸模型，但實際上是一種分類方法
極大似然估計的計算：（1）寫出似然函式。（2）求對數並整理。（3）求偏導。（4）求解方程
極大似然估計法求解引數值，
牛頓法或者梯度下降法求解似然估計的方程
牛頓法比梯度下降法更容易收斂
線性判別分析是設法將樣本投影到一條直線上。使得同一類的投影點足夠接近，不同類的投影點盡量遠離。lda也被視為一種經典的監督降維技術。
將多分類問題拆分成若干個二分類問題
一對一（ovo）：產生n*(n-1)/2個線性模型，最終結果可以通過投票產生
一對其餘（ovr）:產生n個模型，將其中一類設為正例，其他所有設為反例。若分類結果中只有乙個分類器將顯示為正，則該樣本屬於該類。若有多個分類器顯示為正，則選擇置信度最大的作為分類結果。
多對多（mvm）每次將若干個類作為正例，其他若干個類作為反類。最後通過糾錯輸出碼（ecoc）來計算歐氏距離或者漢明距離，從而確定樣本所屬的類。
解決辦法：
假設正樣本少，負樣本多
1.欠取樣，去除一些反例是正負樣本比例接近
2.過取樣，增加一些正例使得正反例數目接近
3.閾值移動。
y為樣本為正例的概率
m+為正樣本數量，m-是負樣本數量
y/(1-y)>(m+/m-)
機器學習筆記5 線性模型（二）
四 線性判別分析 線性判別分析 linear discriminant analysis，lda 的思想是 把全體美女集中到操場上，在操場上畫出一條白直線，設法將每位美女都投影到這條線上，使女神的投影點盡可能集中到一起，女漢子的投影點盡可能集中到一起，而且女神們投影點的中心和女漢子們投影點的中心盡可...
機器學習筆記 線性模型
寫在前面的一些廢話 伴隨課程以及自習，學得既算系統也算零散。學校多統計，演算法講解幾近寥寥。自古以來，統計系的教授多半樂於指摘機器學習與人工智慧，但學科總又不得不與之掛鉤密切，且多隨其發展潮起潮落。內部糾紛，不足為外人道已。只有深受其紛雜概念困擾的學習者，感觸頗深。不隨時總結，建立知識庫，實在容易迷...
Pytorch深度學習實踐（二） 線性模型
import numpy as np import matplotlib.pyplot as plt x data 1.0 2.0 3.0 y data 2.0 4.0 6.0 def forward x return x w defloss x,y y pred forward x return ...