lu的主要任務是提取語義或者fillingslots，傳統的解決slu的方法包括生成模型（hmm/cfg）或者判別模型（crf），最近rnn也開始用於slu。
slu的語**析包括三個方面任務：domain detection, intent determination, and slot filling，例子如下：
對於slot filling來講，輸入是句子，輸出是slot序列。
詞向量：使用向量的形式表示詞典裡的詞。向量的產生可以使用nn、降維等手段實現。使用詞向量來作為語**析或者句法分析的輸入，可以提公升nlp的效果。
見參考文獻前兩個。
沒有時間反饋的神經網路稱為mlp（multi-layer perception），如果需要包含短時間反饋的資訊，可以使用word context window（一幀的輸入考慮到前後幀的輸入）。類似於：
神經網路的短時反饋可以使用時間窗加以體現，對於超過時間視窗的長時反饋，需要使用rnn這種網路結構。有兩種形式的rnn網路：elman-type rnn和jordan-type rnn。
對詞向量做fine-tune
梯度下降使用一句話作為乙個mini-batch
dropout
investigationof recurrent-neural-network architectures and learning methods for spokenlanguage understanding
RNN系列之三 RNN簡單應用
將以語言模型進行分析。建立語言模型所採用的訓練集是乙個大型的語料庫 corpus 建立過程中，需要先建立乙個字典，之後將語料庫中每個詞表示為對應的one hot向量。此外需要額外定義乙個標記eos end of sentence 表示乙個句子的結尾，也可以將其中的標點符號加入字典後也用one hot...
RNN應用 基於RNN的語言模型
rnn迴圈神經網路，具有處理序列資料的能力，也就是前面的資料跟後面的資料出現順序是有關係的。以下內容來自 我 昨天 上學 遲到 了 神經網路的輸出如下圖所示 其中，s和e是兩個特殊的詞，分別表示乙個序列的開始和結束。使用這種向量化方法，我們就得到了乙個高維 稀疏的向量 稀疏是指絕大部分元素的值都是0...
RNN的集中應用場景
完全 rnn rnn變體 seq2seq attention機制 n vs m 原始的n vs n rnn要求序列等長，然而我們遇到的大部分問題序列都是不等長的，如機器翻譯中，源語言和目標語言的句子往往並沒有相同的長度。為此，encoder decoder結構先將輸入資料編碼成乙個上下文向量c 得到...