deep mind第乙個正式提出dqn的概念並能夠做出比較有效果的實驗。
一直以來，強化學習都面臨對人工提取特徵的依賴的問題，深度神經網路的發展給問題的解決帶來了希望，卷積神經網路可以從畫素矩陣中直接提取出可以和人工提取值相媲美的特徵值。就是，把一張遊戲的傳進去，卷積神經網路就可以辨識出中任務所處的狀態，例如：在什麼地方、周圍是什麼環境。
deep mind在他們的dqn模型中使用了經驗回放機制，即把每乙個time_step中的狀態存起來，作為乙個經驗，在每乙個time_step的末尾，隨機從經驗集中選取出一條經驗進行學習。這樣，可以降低資料之間的關聯度，並且可以緩解資料格式（data distribution）經常變化的問題。
此外，deep mind使用帶權值的神經網路函式來估計q函式，對於強化學習來說，q函式是離散的，沒有固定的式子，而帶引數的q函式需要將s轉化為向量值作為輸入，這樣，可以使用類似隨機梯度下降的方式對引數進行更新。
dqn的關鍵**如下：
sgw ppt參見資源
深度強化學習
這是寫給自己看的，大佬請忽略 深度學習和其他機器學習演算法最大的不同在於如何找到特徵，而特徵的抽取過程就是乙個抽象的全過程。以往機器學習演算法的特徵抽取都是對一類問題有解，比如k means等聚類。深度學習抽象模擬了人類神經元傳遞和連線方式，理論上可以解決多種分類問題和 問題，甚至研究未知領域。深度...
深度強化學習
一 簡介 1 深度強化學習出現的原因 傳統的強化學習中當狀態和動作空間是離散且維數不高時可使用q table儲存每個狀態動作對的q值。然而比較複雜的 更加接近實際情況的任務則往往有著很大的狀態空間和連續的動作空間，這種情況下使用q table不現實。同時實現端到端的控制也是要求能處理高維的，如影象 ...
深度強化學習
強化學習 reinforcement learning 與深度學習同屬機器學習的範疇，是其中 一 個重要的分支，主要用來解決連續決策的問題。強化不像無監督學習那樣完全沒有學習目標,也不像監督學習那樣有非常明確的目標 如影象分類問題中的label 強化學習的目標是不明確的，模型只會向著能夠得到更多獎勵...