lr基礎推導
lr前世今生
lr正則化
當模型的引數過多時，很容易遇到過擬合的問題。而正則化是結構風險最小化的一種實現方式，通過在經驗風險上加乙個正則化項，來懲罰過大的引數來防止過擬合。
奧卡姆剃刀原理：
能夠很好地解釋已知資料並且十分簡單的才是最好的模型。
l1正則化：
lasso，稀疏規則，引數稀疏，實現引數自動選擇
學習地去掉一些無用資訊的特徵，將他們權重置0
l2正則化：
ridge 嶺回歸 權值衰減
l1與l2不同：
l1:趨向使引數變為0，趨向使用少量特徵，其他特徵為0
l2:趨向選擇更多特徵，接近0
2
總結：l1趨向於產生少量的特徵，而其他的特徵都是0，而l2會選擇更多的特徵，這些特徵都會接近於0。 lr與線性回歸lr本質上也是線性回歸，在特徵到結果對映中加入一層sigmoid函式，先把特徵線性求和，再用sigmoid**
線性回歸在整個實數域敏感
lr將**限定為[0,1],只在0附近敏感，對z>>0和z<<0不敏感
lr與max
end（最大熵）
lr是最大熵模型對應分類數為2的特殊情況
二項式分布最大熵模型等價二項指數形式（sigmoid）最大似然
多項式分布最大熵模型等價多項指數形式（softmax）最大似然
lr並行化
深入理解C語言 深入理解指標
關於指標，其是c語言的重點，c語言學的好壞，其實就是指標學的好壞。其實指標並不複雜，學習指標，要正確的理解指標。指標也是一種變數，占有記憶體空間，用來儲存記憶體位址 指標就是告訴編譯器，開闢4個位元組的儲存空間 32位系統 無論是幾級指標都是一樣的 p操作記憶體 在指標宣告時，號表示所宣告的變數為指...
mysql 索引深入理解 深入理解MySql的索引
為什麼索引能提高查詢速度 先從 mysql的基本儲存結構說起 mysql的基本儲存結構是頁 記錄都存在頁裡邊 各個資料頁可以組成乙個雙向鍊錶每個資料頁中的記錄又可以組成乙個單向鍊錶 每個資料頁都會為儲存在它裡邊兒的記錄生成乙個頁目錄，在通過主鍵查詢某條記錄的時候可以在頁目錄中使用二分法快速定位到對應...
深入理解C語言 深入理解指標
關於指標，其是c語言的重點，c語言學的好壞，其實就是指標學的好壞。其實指標並不複雜，學習指標，要正確的理解指標。指標也是一種變數，占有記憶體空間，用來儲存記憶體位址 指標就是告訴編譯器，開闢4個位元組的儲存空間 32位系統 無論是幾級指標都是一樣的 p操作記憶體 在指標宣告時，號表示所宣告的變數為指...