深度學習 效果不好怎麼辦

2021-08-10 01:45:06 字數 596 閱讀 7751

1 在training set上就已經效果不佳

屬於模型就沒train好。

case 1:受到區域性最優影響,沒有收斂到全域性最優

solution:momentum(adam = rmsprop + momentum)

case 2:層數高時,靠近output的層率先快速收斂,靠近input的層則效果不明顯,導致train不好

solution:rbm,啟用函式選擇(relu)

boosting

2. 在testing set上效果不佳

over fitting

solution 1:early stopping

train到後面其實是對training set的over fitting了。由於testing set未知,可以分割出乙個validation set來充當testing set。

solution 2:regularization

修改lost function,加乙個正則項來限制weight的over fitting,常見的有l2 norm(weight decay),l1 norm

solution3:dropout

solution4:bagging

心情不好怎麼辦

國王有七個女兒,這七位美麗的公主是國王的驕傲。她們那一頭烏黑亮麗的長髮遠近皆知,所以國王送給她們每人一百個漂亮的髮夾。有一天早上,大公主醒來,一如往常地用髮夾整理她的秀髮,卻發現少了乙個髮夾,於是她偷偷地到了二公主的房裡,拿走了乙個髮夾。二公主發現少了乙個髮夾,便到三公主房裡拿走乙個髮夾 三公主發現...

心情不好怎麼辦

國王有七個女兒,這七位美麗的公主是國王的驕傲。她們那一頭烏黑亮麗的長髮遠近皆知,所以國王送給她們每人一百個漂亮的髮夾。有一天早上,大公主醒來,一如往常地用髮夾整理她的秀髮,卻發現少了乙個髮夾,於是她偷偷地到了二公主的房裡,拿走了乙個髮夾。二公主發現少了乙個髮夾,便到三公主房裡拿走乙個髮夾 三公主發現...

企業會議效果差怎麼辦?

管理例會是處理日常問題的主要手段。但是,80 的公司例會效果都不是很好。原因是 另外,會議中,情況匯報多,原因分析少 問題說明多,解決方案少 聽得多,說的少。那麼,如何解決上述問題呢?1.不要相信例會可以解決所有問題 例會可以解決協調性問題,計畫安排 任務分配問題。但是,問題的根源性分析最好不要涉及...