在nlp中深度學習模型何時需要樹形結構？
前段時間閱讀了jiwei li等人[1]在emnlp2015上發表的**《when are tree structures necessary for deep learning of representations?》,該文主要對比了基於樹形結構的遞迴神經網路(recursive neural network)和基於序列結構的迴圈神經網路(recurrent neural network)，在4類nlp任務上進行實驗，來討論深度學習模型何時需要樹形結構。下面我將通過分享這篇**以及檢視的一些相關資料來討論一下我們何時需要樹形結構知識。
根據不同的標註樹庫，句法分析樹主要有兩種形式：1) 短語結構樹(constituent tree) 和2) 依存結構樹(dependency tree)。下面舉個簡單的例子，"my dog likes eating sausage." 使用stanford parsing tool進行句法分析可以得到如下結果：
我們將其視覺化後，短語結構樹和依存樹分別為：
**[1]中指的樹形結構即為nlp中句法分析後得到的句法樹結構。
在**中，主要分了兩大組模型進行對比實驗，具體的是：
每組就是三個模型，樹模型，單向序列模型和雙向序列模型，具體的模型大家可以查閱文獻，下面我只給出標準模型的結構圖。
該文在nlp領域中4種型別5個任務進行了實驗，具體的實驗資料大家可以從**中查閱，這裡我主要分析一下每個任務的特點，以及最後實驗的結果：
通過上面的實驗，作者總結出下面的結論。
需要樹形結構：
需要長距離的語義依存資訊的任務（例如上面的語義關係分類任務）semantic relation extraction
輸入為長序列，即複雜任務，且在片段有足夠的標註資訊的任務（例如句子級別的stanford情感樹庫分類任務），此外，實驗中作者還將這個任務先通過標點符號進行了切分，每個子片段使用乙個雙向的序列模型，然後總的再使用乙個單向的序列模型得到的結果比樹形結構的效果更好一些。
不需要樹形結構：
長序列並且沒有足夠的片段標註任務（例如上面的二元情感分類，q-a matching任務）
簡單任務（例如短語級別的情感分類和discourse分析任務），每個輸入片段都很短，句法分析可能沒有改變輸入的順序。
通過這篇**和車老師的博文以及一些相關資料，句法樹形結構是否需要值得我們關注，我們應該根據自己做的任務以及句法分析的優缺點進行判斷，我自己總結如下：
句法分析能夠帶給我們什麼？
句法分析的缺點
主要參考文獻
[1] j. li, m.-t. luong, d. jurafsky, e. hovy, when are tree structures necessary for deep learning of representations?, emnlp. (2015) 2304–2314.
[2] k.s. tai, r. socher, c.d. manning, improved semantic representations from tree-structured long short-term memory networks, acl-2015. (2015) 1556–1566.
[3] 哈工大車萬翔：自然語言處理中的深度學習模型是否依賴於樹結構？
深度學習 NLP 各種模型應用
keras 3 embedding層詳解，看這篇更詳細 keras.layers.embeddings.embedding input dim,output dim,embeddings initializer uniform embeddings regularizer none,activity...
深度學習中模型的優化
準備 整理資料集 將各個標籤的資料放於不同的資料夾中，並統計各個標籤的數目 如 第一列是路徑，最後一列是數目。ps 可能會存在某些標籤樣本很少 多，記下來模型效果不好就怨它。樣本均衡，樣本不會絕對均衡，差不多就行了 如 控制最大類 最小類 切分樣本集 如 90 用於訓練，10 留著測試，比例自己定。...
深度學習在CTR中的應用
目前的很多資料均是基於張偉楠的fnn模型，但還沒有很大規模的應用。另一種是google提出的wide deep learning模型，主要用於推薦，美團的文章中也有介紹。product based neural networks for user response predictions wide ...