端到端指的是輸入是未經處理的原始資料，輸出是最後的結果。一開始，輸入端不是直接的原始資料，而是在原始資料中提取的特徵。由於影象畫素數多、資料維度高，因此通過手工提取影象的關鍵特徵實現降維。但在端到端中，特徵可以自己去學習，無需人為干預。
end-to-end的好處——通過縮減人工預處理和後續處理，盡可能使模型從原始輸入到最終輸入，給模型更多可以根據資料自動調節的空間，增加模型的整體契合度。
向模型新增額外的約束，如增加對引數的限制。這是對引數的硬約束。
是向目標函式增加額外項。這是對引數的軟約束。
雜訊注入也作為一種正則化方法。
在深度學習中，大多數正則化策略都是基於對引數進行正則化。正則化以偏差的增加來換取方差的減少，而乙個有效的正則化能顯著降低方差，並且不會過度增加偏差。
在深度學習的實際應用中，不要因為害怕過擬合而採用乙個小模型，推薦採用乙個大模型並使用正則化。簡單的模型不容易過擬合，但是可能欠擬合。
在神經網路中，啟用函式的作用通俗上講就是將多個線性輸入轉換為非線性的關係。如果不使用啟用函式的話，神經網路的每層都只是做線性變換，即使是多層輸入疊加後也還是線性變換。通過啟用函式引入非線性因素後，使神經網路的表示能力更強了。
幾個常見的啟用函式：
大話卷積神經網路cnn（乾貨滿滿）
ibatis一些使用小記
精選30 雲產品，助力企業輕鬆上雲！資料庫用mysql 1，首先區分下 和 的區別 自動型別匹配，常見型別int string 一般兩種用法，一種是匹配int型別的引數，一種是傳入sql語句部分 所以有sql注入風險 以下為幾種經典用法 in和or語句 如果建立索引，兩者效能差不多 否則or語句效能...
關於一些位運算的小記
對於位運算完全不熟悉，因此開個小記來陸續記錄一些遇到的常用位運算 按位與，對應的二進位制位均為1時返回1，否則返回0 按位或，對應的二進位制位有乙個為1時返回1，否則返回0 按位異或，對應的二進位制位不同時返回1，否則返回0 按位非，對每一位取反 左移 右移 位運算的一些技巧 i j 前者表示i的二...
jquery的一些select操作小記
新增option id option each function 移除option 取得下拉列表的選取值 testselect option selected text testselect find option selected text testselect val 根據option的值選中下...