深度學習中的End to End

2021-09-26 10:52:32 字數 1427 閱讀 9691

end to end:指的是輸入原始資料,輸出的是最後結果,應用在特徵學習融入演算法,無需單獨處理。

end-to-end(端對端)的方法,一端輸入我的原始資料,一端輸出我想得到的結果。只關心輸入和輸出,中間的步驟全部都不管。

端到端指的是輸入是原始資料,輸出是最後的結果,原來輸入端不是直接的原始資料,而是在原始資料中提取的特徵,這一點在影象問題上尤為突出,因為影象畫素數太多,資料維度高,會產生維度災難,所以原來乙個思路是手工提取影象的一些關鍵特徵,這實際就是就乙個降維的過程。

那麼問題來了,特徵怎麼提?

特徵提取的好壞異常關鍵,甚至比學習演算法還重要,舉個例子,對一系列人的資料分類,分類結果是性別,如果你提取的特徵是頭髮的顏色,無論分類演算法如何,分類效果都不會好,如果你提取的特徵是頭髮的長短,這個特徵就會好很多,但是還是會有錯誤,如果你提取了乙個超強特徵,比如染色體的資料,那你的分類基本就不會錯了。

這就意味著,特徵需要足夠的經驗去設計,這在資料量越來越大的情況下也越來越困難。

於是就出現了端到端網路,特徵可以自己去學習,所以特徵提取這一步也就融入到演算法當中,不需要人來干預了

簡單來說就是深度神經網路處理問題不需要像傳統模型那樣,如同生產線般一步步去處理輸入資料直至輸出最後的結果(其中每一步處理過程都是經過人為考量設定好的 (「hand-crafted」 function))。

與之相反,只需給出輸入資料以及輸出,神經網路就可以通過訓練自動「學得」之前那些一步接一步的 「hand-crafted」 functions。

1、傳統系統需要幾個模組序列分別設計,end2end把中間模組都去掉了。

以機器翻譯為例 要設計翻譯模型 語言模型 調序模型

端到端就是直接乙個模型搞定

2、cnn就是比較典型的end2end模型。在影象分類裡輸入image各通道畫素,輸出影象類別。 相比於非end2end,conv層的卷積核可以充當feature extractor部分而不需要額外的工作去做特徵工程的內容。儘管每一層需要自己設計,但如何得到feature並不需要額外的操作。

3、另一種理解:就是輸入一頭豬,輸出的是香腸

2. google的*****: learning hand-eye coordination for robotic grasping with deep learning and large-scale data collection,也可以算是end-end學習:輸入,輸出控制機械手移動的指令來抓取物品。這篇**很讚,推薦:

3. deepmind神作human-level control through deep reinforcement learning,其實也可以歸為end-end,深度增強學習開山之作,值得學習:

end-end不是什麼新東西,也不是什麼神奇的東西,僅僅是直接輸入原始資料,直接輸出最終目標的一種思想。

深度學習中的大牛

只怪自己太貪玩,知道的少,不小心發現大牛都是一起的,圈子是真的小。大牛總是自帶光環與神秘感。最近一直晃蕩在學術圈,真的是很想志輝哥哥的,哼,思想太容易開小差。牛1 geoffrey hinton 傑弗里 辛頓 geoffrey hinton,被稱為 神經網路之父 深度學習鼻祖 他曾獲得愛丁堡大學人工...

深度學習中的Batch Normalization

batch normalization 假設我們有兩組training data x1 1,2,3,x 1 1,2 3,x2 100,200,300,x2 100,200,300,當我們利用這組資料進行機器學習的時候,會發現對於第一筆資料x1 x 1,它的梯度會比第二筆資料x2 x 2的梯度要小得多...

深度學習中的Batch Normalization

batch normalization原理 為了減少深度神經網路中的internal covariate shift,中提出了batch normalization演算法,首先是對 每一層 的輸入做乙個batch normalization 變換 批標準化 bactch normalization,...