wide deep模型筆記

2021-10-22 13:14:44 字數 1425 閱讀 8965

線性模型無法學習到訓練集中未出現的組合特徵;

fm或dnn通過學習embedding vector雖然可以學習到訓練集中未出現的組合特徵,但是會過度泛化。

wide part其實是乙個廣義的線性模型

長處在於學習樣本中的高頻部分,優點是模型的記憶性好,對於樣本**現過的高頻低階特徵能夠用少量引數學習;缺點是模型的泛化能力差,例如對於沒有見過的id類特徵,模型學習能力較差。

使用特徵包括:

raw input 原始特徵

cross-product transformation 組合特徵

例子:你給model乙個query(你想吃的美食),model返回給你乙個美食,然後你購買/消費了這個推薦。 也就是說,推薦系統其實要學習的是這樣乙個條件概率: p(consumption | query, item)

wide part可以對一些特例進行memorization。

比如and(query=」fried chicken」, item=」chicken fried rice」)雖然從字元角度來看很接近,但是實際上完全不同的東西,那麼wide就可以記住這個組合是不好的,是乙個特例,下次當你再點炸雞的時候,就不會推薦給你雞肉炒公尺飯了。

**部分

# 如果是用於線性部分的embedding層,其維度為1,否則維度就是自己定義的embedding維度 (不是特別理解為什麼一定要是1維的)

非零元素對應的權重相加就等同於進行了全連線操作(非零元素部分乘的是1) 這裡提到的權重是否就是1維的embedding?

長處在於學習樣本中的長尾部分,優點是泛化能力強,對於少量出現過的樣本甚至沒有出現過的樣本都能做出**(非零的embedding向量);缺點是模型對於低階特徵的學習需要用較多參才能等同wide部分效果,而且泛化能力強某種程度上也可能導致過擬合出現bad case.

deep part通過學習乙個低緯度的dense representation(也叫做embedding vector)對於每乙個query和item,來泛化給你推薦一些字元上看起來不那麼相關,但是你可能也是需要的。比如說:你想要炸雞,embedding space中,炸雞和漢堡很接近,所以也會給你推薦漢堡。

待續:[wide&deep模型中如何確定哪些特徵適用於wide側哪些特徵適用於deep側]?(部分特徵如何衍生 具體實列待研究

參考

學習筆記 深度模型Wide Deep

來自16年的一篇google的 wide deep learning for recommender systems 文章將傳統的lr和dnn組合構成乙個wide deep模型 並行結構 既保留了lr的擬合能力,又具有dnn的泛化能力,並且不需要單獨訓練模型 join 可以方便模型的迭代。問題的提出...

wide deep模型的認知 未完結

wide deep模型 深度加寬度的模型正規化,本身並不是乙個具體的模型,wide和deep部分可以用任意結構框架,wide的baseline是lr模型,deep的baseline是mlp模型 mlp指多層感知器,是一種籤祥結構的人工沉靜網路,對映一組輸入向量到一組輸出向量 面試時會問這種不起眼的問...

css盒模型筆記

一 總述 網頁是由乙個多個矩形框組成的,每乙個框都可以看成是乙個盒子,而乙個盒子 乙個元素 又是由4個矩形巢狀而成。分別是content box 內容 padding box 填充或內邊距 border box 邊框 margin box 外邊距 和布局的區別 布局是指多個盒子 元素 在頁面上的定位...