兩周深度學習計畫(一)

2022-09-18 22:21:12 字數 604 閱讀 5859

在這裡我將記錄讀書筆記和個人感想。對於我個人學習深度學習的經歷來說,深度學習的理論部分和實踐部分是同等重要的,對於理論部分,自然是要自己在紙上細細推導兩遍,對於實踐部分,僅靠著線上參照著jupyter打兩遍**是不夠的,更多的需要在比賽,或者實習中不斷精進。下面,我將主要記錄深度學習理論部分的重難點和掌握點。

話不多說,正式開始。

今天是task01,包含線性回歸,softmax與分類模型、多層感知機課程。

從線性回歸到邏輯回歸到深度網路,是乙個比較光滑和自然的學習曲線。在這裡,我們從機器學習的基礎出發,了解損失函式,交叉驗證,優化演算法等基本概念,思維導圖如下:

這裡列出了一些問題,如下:

softmax的由來及推導

softmax函式自然不是拍腦袋想出來,其身後有一套完整的推導與邏輯,簡單的說,softmax是在指數分布族的定義與廣義線性模型的假設推導出來的,具體可參考廣義線性模型與深度學習面試問題總結

深度神經網路的引數推導

其實,這主要考察的是對於深度學習反向推導的熟練度,掌握鏈式法則即可。

另外,可參考如下的學習資料:

學習參考資料

兩周深度學習計畫(二)

今天是task02,包含文字預處理 語言模型和迴圈神經網路基礎課程。這裡講述了一些文字預處理到普通rnn模型的解決方案,課程中講的分詞,建立字典的方案是較初步的處理,相較於比較複雜的非結構化的資料,特別是文字來說,預處理的步驟是及其繁瑣的,具體可參考針對於非結構化的資料 文字類 所述。思維導圖如下 ...

2020 10 12 10 25兩周學習目標

英語文獻閱讀能力,第一周達到快速閱讀文章,學習基本專業術語 第二週能掌握文章寫作邏輯,能快速提煉出文章的四點 研究背景 想要解決什麼問題 研究物件 是ct?是dt?是nonlinear?是unknown?是dynamic?研究方法 結論專業基礎能力 第一周,了解矩陣理論等數學工具,現代控制理論等系統...

兩周學習內容總結複習

以下內部命令源自bash,別名源自系統cenos7.1810,root使用者預設設定 a alias 內部命令 編輯別名,可檢視別名命令組成b c d e f g h j kl m n o p q r s t u v w 檢視使用者登陸,正在做什麼,登入時間,位址 x 軟連線 建立軟連線時,不僅要制...