機器學習常見面試題

2021-07-15 10:28:02 字數 1519 閱讀 3926

判別方法:由資料直接學習決策函式 y = f(x),或者由條件分布概率 p(y|x)作為**模型,即判別模型。

生成方法:由資料學習聯合概率密度分布函式 p(x,y),然後求出條件概率分布p(y|x)作為**的模型,即生成模型。

由生成模型可以得到判別模型,但由判別模型得不到生成模型。

常見的判別模型有

k近鄰、svm、決策樹、感知機、線性判別分析(lda)、線性回歸、傳統的神經網路、邏輯斯蒂回歸、boosting、條件隨機場

常見的生成模型有

樸素貝葉斯、隱馬爾可夫模型、高斯混合模型、文件主題生成模型(lda)、限制玻爾茲曼機

資訊熵取得極大值時對應的一組概率分布出現的概率佔絕對優勢

(1).概念

,反映的是乙個系統混亂程度的度量(化學),比如乙個系統,最自然的狀態就是熵最大的狀態(也就是最無序、最混亂的狀態),能夠自然發生的變化都是熵增的。比如乙個系統內有多個分子,那麼最自然的狀態是分子排列雜亂無章,散布在系統各處,對應熵最大,而如果強行把所有分子聚集在乙個很密集的區域,那麼整個系統對應的熵

最小。也就是說,乙個系統熵最大的時候,是這個系統最自然的狀態

資訊熵,反映的是人們對客觀事件不確定性的度量,

與物理學中的熵表徵物質的混亂程度有相似之處,熵越大,事件的不確定性越大。

在這裡我們要定義資訊量的公式

資訊熵是表徵不確定事件所有狀態攜帶資訊量的期望值

資訊熵表徵了乙個不確定事件a的所有可能狀態所提供的

平均資訊量

,資訊熵越大,表明攜帶的平均資訊量越大,不確定性也就越大,那麼對這個事件a的模擬也就最接近自然狀態;反之攜帶的平均資訊量越少,不確定性越小。

最大熵原理指出,當我們需要對乙個隨機事件的概率分布進行**時,我們的**應當滿足全部已知的條件,而對未知的情況不要做任何主觀假設。(不做主觀假設這點很重要。)在這種情況下,概率分布最均勻,**的風險最小。因為這時概率分布的資訊熵最大,所以人們稱這種模型叫「最大熵模型」。

(2).求法

(1) k-means

優點:簡單,易於理解和實現;時間複雜度低,每輪迭代負載度為o(n*k)

缺點:需要對均值給出定義;需要指定聚類的數目;一些過大的異常值會帶來很大影響;需要指定初始聚類中心,演算法對初始值敏感;適合球形類簇。

(2) 層次聚類(試圖在不同層次對資料集進行劃分,從而形成樹形的聚類結構。agnes是一種採用自底向上聚合策略的層次聚類演算法)

優點:距離和規則的相似度容易定義,限制少;不需要預先指定聚類數目;可以發現類的層次關係;可以聚類成其他形狀

缺點:計算複雜度高;奇異值也能產生很大影響;演算法很可能聚類成鏈狀。

常見面試題 機器學習篇

傳統的機器學習演算法 svm,lr,softmax,決策樹,隨機森林,gbdt,xgboost,adaboost,bp神經網路 樸素貝葉斯這些都必須自己手推一次或者多次 深度學習方面 cnn rnn lstm 常用啟用函式 tanh relu等 adam優化函式 梯度消失原理或者結構應該能手畫出來。...

常見面試題

1.get和post的區別 1 本質區別 get是向伺服器請求資料,post是向伺服器傳送資料。2 伺服器獲取值的方式 get方式提交的資料,伺服器端使用request.querystring獲取變數的值。post方式提交的資料,伺服器端使用request.form獲取資料。3 安全性 get安全效...

常見面試題

1 一行 實現1 100之和 lst i for i in range 1,101 print sum lst 2 如何在乙個函式內部修改全域性變數?在函式內部新增 global 變數名 這樣就可以在本地作用域定義全域性作用域了 name 大明 def eat name1 global name n...