過擬合原因
資料：資料不規範，資料量少，資料穿越，統計特徵用到了未來的資訊或者標籤資訊
演算法：演算法過於複雜
解決：
1、將資料規範化，處理缺失值，增加資料量，取樣，新增雜訊資料
2、正則化，控制模型複雜程度，
3、early stoping，減少迭代次數，減少樹的深度，
4、學習率調大/小點、
5、融合幾個模型
l1和l2的區別
1、l1是lasso regression，表示向量中每個元素絕對值的和：l1範數的解通常是稀疏性的，傾向於選擇數目較少的一些非常大的值或者數目較多的insignificant的小值。
2、l2是嶺回歸，ridge regression，是歐氏距離也就是平方和的平方根。l2範數越小，可以使得w的每個元素都很小，接近於0，但l1範數不同的是他不會讓它等於0而是接近於0。
3、l1正則化的w可取的值是轉置的方形，l2對應的是圓形。這樣損失函式l（w）的最小值更容易在l1對應的邊角上取得，從而這些維度變成0了。
從貝葉斯的角度來看，加入正則項相當於加入了一種先驗。即當訓練乙個模型時，僅依靠當前的訓練資料集是不夠的，為了實現更好的泛化能力，往往需要加入先驗項。
l1範數相當於加入了乙個laplacean先驗；
l2範數相當於加入了乙個gaussian先驗。
4、l2對大數的懲罰更大，但是解相對來說比較均勻。
生成模型和判別模型區別
對於輸入x，類別標籤y：
生成式模型估計它們的聯合概率分布p(x,y)
gaussians、***** bayes、mixtures of multinomials
mixtures of gaussians、mixtures of experts、hmms
sigmoidal belief networks, bayesian networks、markov random fields
latent dirichlet allocation
判別式模型估計條件概率分布p(y|x)
logistic regression、svm、traditional neural networks、nearest neighbor、
crf、boosting、linear regression
svm演算法的原理、如何組織訓練資料、如何調節懲罰因子、如何防止過擬合、svm的泛化能力、增量學習
1、svm是一種二類分類的模型，它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。
2、 3、懲罰因子c決定了你有多重視離群點帶來的損失，顯然當所有離群點的鬆弛變數的和一定時，你定的c越大，對目標函式的損失也越大，此時就暗示著你非常不願意放棄這些離群點，最極端的情況是你把c定為無限大，這樣只要稍有乙個點離群，目標函式的值馬上變成無限大，馬上讓問題變成無解，這就退化成了硬間隔問題。
懲罰因子c不是乙個變數，整個優化問題在解的時候，c是乙個你必須事先指定的值，指定這個值以後，解一下，得到乙個分類器，然後用測試資料看看結果怎麼樣，如果不夠好，換乙個c的值，再解一次優化問題，得到另乙個分類器，再看看效果，如此就是乙個引數尋優的過程，但這和優化問題本身決不是一回事，優化問題在解的過程中，c一直是定值，要記住。
4、解決過擬合的辦法是為svm引入了鬆弛變數ξ（slack variable），將svm公式的約束條件改為。因為鬆弛變數能夠容忍異常點的存在，我們的支援向量和超平面都不會受到它的影響。
我們加上鬆弛變數的平方和，並求最小值。這樣就達到乙個平衡：既希望鬆弛變數存在以解決異常點問題，又不希望鬆弛變數太大導致分類解決太差。
lr和svm的聯絡與區別：
聯絡：
1、lr和svm都可以處理分類問題，且一般都用於處理線性二分類問題（在改進的情況下可以處理多分類問題）
2、兩個方法都可以增加不同的正則化項，如l1、l2等等。所以在很多實驗中，兩種演算法的結果是很接近的。
區別：
1、lr是引數模型，svm是非引數模型。
2、從目標函式來看，區別在於邏輯回歸採用的是logistical loss，svm採用的是hinge loss.這兩個損失函式的目的都是增加對分類影響較大的資料點的權重，減少與分類關係較小的資料點的權重。
3、svm的處理方法是只考慮support vectors，也就是和分類最相關的少數點，去學習分類器。而邏輯回歸通過非線性對映，大大減小了離分類平面較遠的點的權重，相對提公升了與分類最相關的資料點的權重。
4、邏輯回歸相對來說模型更簡單，好理解，特別是大規模線性分類時比較方便。而svm的理解和優化相對來說複雜一些，svm轉化為對偶問題後,分類只需要計算與少數幾個支援向量的距離,這個在進行複雜核函式計算時優勢很明顯,能夠大大簡化模型和計算。
5、logic 能做的 svm能做，但可能在準確率上有問題，svm能做的logic有的做不了。
SVM常見面試問題
答 幾何間隔與樣本的誤分次數間存在關係 其中的分母就是樣本到分類間隔距離，分子中的r是所有樣本中的最長向量值 答 會，超平面會靠近樣本少的類別。因為使用的是軟間隔分類，而如果對所有類別都是使用同樣的懲罰係數，則由於優化目標裡面有最小化懲罰量，所以靠近少數樣本時，其懲罰量會少一些。比如 假設理想的分隔...
C 常見面試問題
一 抽象與介面的區別 1，抽象 abstract 1 抽象類中可以有抽象方法，也可沒有 2 抽象方法包含實現，也可以由子類實現 3 抽象類不能被sealed修飾，只能使用abstract關鍵字 4 抽象方法不能在抽象類外部宣告 5 抽象類只能單繼承 6 可以有虛方法 virtual 在不同的繼承中，...
SpringMVC 常見面試問題
springmvc流程 原理 流程圖 亂碼問題 重定向和 在返回值前面加 redirect 或 forward return forward 跳轉的頁面或路由 重定向和 的區別 全域性異常 自定義實現spring的全域性異常解析器handlerexceptionresolver springboot...