自然語言處理中的上下文無關文法(CFG)

2021-05-25 19:38:27 字數 427 閱讀 5424

一、引言

回憶一下hmm在自然語言處理中的應用,我們所採用的例子主要是詞性標註(pos tagging, part-of-speech tagging)。例如我們現在有乙個句子:

time flies like an arrow.

然後我們可以為每個標註詞性,則有「time/noun flies/verb like/prep an/art arrow/noun/」。顯然,當我們單獨來看單詞 flies,它可能是乙個noun,也可能是乙個verb,但是如果它前面那個詞是形容詞,那麼它顯然是名詞的概率更高,而如果它前面的那個詞是名詞,則它是動詞的可能性更高。所以我們就可以建立乙個hmm模型,來根據觀測到的狀態序列(及歷史)來**具體某個詞到底是什麼詞性。其中,單詞的詞性就是hmm中的隱狀態,而我們所看到的具體的每個詞就是觀測狀態。

hmm在做

上下文無關文法

1 上下文無關文法又稱cfg。許多cfg由幾個較簡單的cfg合併起來。可以先構造每個部分的cfg,比如 s1,s2,s3.sk。然後加入新的規則s s1 s2 sk 2 例如 構造語言 的cfg,1 構造 s1 0 s1 1 2 s2 1 s2 0 3 整合 s s1 s2 3 如果語言是正則的,可...

上下文無關文法

上下文無關文法 context free gammar 指文法的前後 上下 沒有關係,如文法 statement name is name s friend.是上下文無關文法,因為文中出現的兩個 name 可以不同 也可以相同,假設自己可以是自己的朋友 而文法 statement name like...

上下文無關文法

1 上下文無關文法又稱cfg。許多cfg由幾個較簡單的cfg合併起來。可以先構造每個部分的cfg,比如 s1,s2,s3.sk。然後加入新的規則s s1 s2 sk 2 例如 構造語言 的cfg,1 構造 s1 0 s1 1 2 s2 1 s2 0 3 整合 s s1 s2 3 如果語言是正則的,可...