史丹福大學深度學習與自然語言處理第一講 引言

2021-07-10 19:33:24 字數 1598 閱讀 5072

史丹福大學在三月份開設了一門「深度學習與自然語言處理」的課程:cs224d: deep learning for natural language processing,授課老師是青年才俊 richard socher,他本人是德國人,大學期間涉足自然語言處理,在德國讀研時又專攻計算機視覺,之後在史丹福大學攻讀博士學位,拜師nlp領域的巨牛 chris manning 和 deep learning 領域的巨牛andrew ng,其博士**是《recursive deep learning for natural language processing and computer vision》,也算是多年求學生涯的完美一擊。畢業後以聯合創始人及cto的身份創辦了metamind,作為ai領域的新星創業公司,metamind創辦之初就拿了800萬美元的風投,值得關注。

第一講:引言-自然語言處理與深度學習簡介(intro to nlp and deep learning)

推薦閱讀材料:

線性代數相關知識點回顧:[linear algebra review]

概率相關知識點回顧:[probability review]

凸優化相關知識點回顧: [convex optimization review]

優化相關的另一篇介紹(來自於斯坦福cs231課程資料),隨機梯度下降相關[more optimization (sgd) review]

語義向量空間模型的一篇綜述[from frequency to meaning: vector space models of semantics]

課程第一部分的notes,涉及第一講和第二講[lecture notes 1]

python及numpy簡介[python tutorial]

第一講slides[slides]

什麼是自然語言處理(nlp)

自然語言處理的層次

自然語言處理的應用

工業屆裡的nlp應用

nlp為什麼這麼難

什麼是深度學習(dl)

機器學習 vs 深度學習

什麼是深度學習(dl)續

深度學習的歷史

探索深度學習的原因

通過深度學習技術提公升效果首先發生在語音識別和機器視覺領域,然後開始過渡到nlp領域

面向語音識別的深度學習

面向計算機視覺的深度學習

deep learning + nlp = deep nlp

音位學層次的表示

形態學層次的表示

句法層次的表示

語義層次的表示

深度學習

nlp應用:情感分析

nlp應用:問答系統

nlp應用:機器翻譯

可以發現所有nlp層次的表示都涉及到向量(vectors), 下一講將講到如何來學習詞向量以及這些向量表示了什麼?

史丹福大學深度學習與自然語言處理第二講 詞向量

史丹福大學在三月份開設了一門 深度學習與自然語言處理 的課程 cs224d deep learning for natural language processing,授課老師是青年才俊 richard socher,以下為相關的課程筆記。第二講 簡單的詞向量表示 word2vec,glove wo...

史丹福大學Tensorflow與深度學習實戰課程

分享一套stanford university 在2017年1月份推出的一門tensorflow與深度學習實戰的一門課程。該課程講解了最新版本的tensorflow中各種概念 操作和使用方法,並且給出了豐富的深度學習模型實戰,涉及word2vec autoencoder rnn lstm,gru s...

史丹福大學深度學習開言

歡迎來到深度學習的教程!描述 本教程將教你關於無監督式學習和深度學習的主要思想。在學習它們的過程中,你也將需要實現幾個深度學校的演算法,看著它們為你工作,並且學習怎樣使用或者應用這些思想到新的問題中。本教程假定你有機器學習的基本知識 具體而言,便是熟悉監督學習的思想,邏輯回歸,梯度下降 如果你並不熟...