NLP 2 語言模型

馬爾科夫假設（markov assumption）：乙個詞出現的概率僅依賴於它前面的乙個或幾個詞。

一元語言模型（unigram）：即樸素貝葉斯假設。

三元語言模型（trigram）：考慮乙個詞對前兩個詞的依賴關係。

關於給句子加開始符與結束符的問題（？）：加開始符應該相應地加上結束符，至於為什麼，現在還不是很理解。

傳統語言模型的兩大缺點：稀疏性和泛化能力差。

稀疏性問題：n-gram模型只能對文字**現的單詞或者單詞組進行建模，當新的文字**現意義相近但是沒有在訓練文字**現的單詞或者單詞組的時候，傳統離散模型無法正確計算這些訓練樣本中未出現的單詞的應有概率，他們都會被賦予0概率**值，雖然傳統方法會引入平滑來解決0概率問題，但整體上，效果並沒有預想的好。

泛化能力問題：(1) 離散模型還依賴於固定單詞組合，需要完全的模式匹配，否則也無法正確輸出單詞組出現的概率。

(2) 馬爾可夫假設太強。人在對文字進行處理的時候，是能夠將很長一段上下文納入考慮，但是n-gram的離散模型只考慮待**單詞前面的n-1個單詞。

(3) 離散模型在計算上還存在「維度詛咒」的困難。從上面的公式可以看出，當我們將更多單詞組合挑出來之後才能更精準地**特定單詞組出現的概率，但是這種組合的量是非常大的。

前饋神經網路模型（fflm）：主要用來解決稀疏性問題。先給每個詞在連續空間中賦予乙個向量(詞向量)，再通過神經網路去學習這種分布式表徵。利用神經網路去建模當前詞出現的概率與其前 n-1 個詞之間的約束關係。很顯然這種方式相比 n-gram 具有更好的泛化能力，只要詞表徵足夠好。從而很大程度地降低了資料稀疏帶來的問題。但是這個結構的明顯缺點是僅包含了有限的前文資訊。

迴圈神經網路模型（rnnlm）：主要用來解決泛化能力問題。

神經網路語言模型的優缺點：

優點：(1) 長距離依賴，具有更強的約束性；(2) 避免了資料稀疏所帶來的oov（out of vocabulary）問題；(3) 好的詞表徵能夠提高模型泛化能力。

缺點：(1) 模型訓練時間長；(2) 神經網路黑盒子，可解釋性較差。

語言模型評估指標（？）：迷惑度/困惑度/混亂度（perplexity）

（1）一種定義（以下定義不是很理解）：

p p=

∏t=1

t(1∑

j=1∣

v∣yj

ty^j

t)1/

tpp=\prod_^ (\frac^y_j^t \widehat_j^t})^

pp=t=1

∏t(

∑j=1

∣v∣

yjt

1/t（2）另一種定義（基於交叉熵）：

對於自然語言序列 w=w

1,w2

,…,w

nw=w_1,w_2,\dots,w_n

w=w1,

w2,

…,wn

，每個詞的平均交叉熵為：

h (w

)=−1

nlog

p(w1

,w2,

…,wn

)h(w)=-\fraclogp(w_1,w_2,\dots,w_n)

h(w)=−

n1l

ogp(

w1,

w2,

…,wn

)在此基礎上，定義困惑度(perplexity) :

p er

plex

ity=

2h(w

)=1p

(w1,

w2,…

,wn)

nperplexity=2^ =\sqrt[n]}

perple

xity

=2h(

w)=n

p(w1

,w2

,…,

wn)

1困惑度在語言模型中的物理意義可以描述為對於任意給定序列，下乙個候選詞的可選範圍大小。困惑度越小，說明所建模的語言模型越精確。

引用

NLP 2 語言模型

NLP 2 語言結構和傳統pipeline

NLP（四）語言模型

NLP01 NLP基礎語言模型

NLP 2 語言模型

NLP 2 語言結構和傳統pipeline

NLP（四） 語言模型

NLP01 NLP基礎 語言模型

相關推薦

NLP（四）語言模型

NLP01 NLP基礎語言模型