需要解決的都是一些演算法問題,比如
在輸入點中選擇盡可能少的點,使這些點的連線能包住其他所有點
因為輸入和輸出都是序列,符合s2s的情景
但是有乙個問題:s2s在輸出的時候是在乙個範圍內做多道選擇題,也就是必須給出答案的範圍
當輸入的數量發生變化,超出訓練時的最大範圍之後,模型就失效了
拋棄了seq2seq的encoder和decoder
採用類似attention的機制,根據label訓練key
每次將attention最大的作為輸出,並與label比較,輸出xo結束
這樣就規避了選擇範圍的問題,因為每詞都是從輸入裡選,輸入就是範圍
學習日誌 深度學習 李巨集毅 網路壓縮
網路中有很多神經元的輸出總是0,或者有某些權重非常接近0,那麼這些划水的就可以被去掉了.修剪過程 評估 去除 再訓練 為什麼要修剪?而不是直接訓小的網路呢.1.大的網路的區域性最優比較少,容易收斂 2.大樂透假設 大的網路設定了乙個隨機權重 通過訓練和修剪之後,得到了小的網路.如果用乙個和該小網路相...
李巨集毅《深度學習》 深度學習簡介
深度學習分為三部分 定義一系列方程，計算方程的loss，然後選出最好的方程 深度學習神經網路類似於人類的大腦的神經網路，每個方程可以看做乙個神經元，不同神經元連線會產生不同結果，在這裡我們介紹一下fully connect feedforward network 每個神經元都與下一層全部的神經元連線...
學習日誌 深度學習 李巨集毅 優化器介紹
記錄的從第0步優化到第n步優化的步子 最簡單的,走一步看一步 還是走一步看一步,但是在走的每一步會受到之前所走過的步子的影響 下圖中的v 且越近的步子對當前步子的影響會越大 的次數會越來愈高 重要的優點 當本次梯度為零 梯度消失 後,上一步會保證繼續移動 有點類似慣性和動量的概念 優點就是控制步長,...