句法結構分析 基於PCFG的基本分析方法

2022-05-07 01:51:07 字數 487 閱讀 2097

pcfg:是基於概率的上下文無關文法,pcfg的規則表示為a—>α    p,a為非終結符,p為a推導出α的概率,相同左部的產生式概率分布滿足歸一化條件。

基於pcfg的句法分析模型中,假設滿足以下三個條件:

1.位置不變性:子樹的概率不依賴子樹所管轄的單詞在句子中位置;

2.上下文無關性:子樹的概率不依賴子樹控制單詞以外的單詞;

3.祖先無關性:子樹的概率不依賴推導出子樹的祖先節點。

pcfg三個基本問題(與hmm類似):

a.給定乙個句子w = w1w2wn和文法g,如何快速計算p(w|g)?

b.給定乙個句子w = w1w2wn和文法g,選擇句法結構樹 t 使得在w的所有結構樹中有最大概率?

c.給定乙個句子w = w1w2wn和文法g,如何調節g的概率引數,使得句子的概率最大?即求解argmaxgp(w|g)。

為解決這三個問題,通常只考慮文法具有喬姆斯基正規化的情況,對於任意乙個cfg,都可以將其轉化為cnf文法。

中文依存句法結構分析

usr bin python3 coding utf 8 author heyw time 2020 1 14 10 34 software pycharm file stanford.py from stanfordcorenlp import stanfordcorenlp from nltk....

句法分析的學習

句法分析 sentence parsing 有二層含義,一是指根據文法對乙個句子進行分析,建立這個句子的語法樹,即文法分析 syntactic parsing 二是指對乙個句子中各成分的語義進行分析,得到對這個句子的語義的一種描述,也就是語義樹,即語義分析 semantic parsing 文法分析...

基於依存句法分析的開放式中文實體關係抽取

這一段時間一直在做知識圖譜,卡在實體關係抽取這裡幾個月了,在github上面看到有人使用卷積神經網路訓練模型進行抽取,自己也嘗試了一下,但是一直苦於沒有像樣資料去訓練,而標註訓練集又太費時間了,我不太願意幹體力活。所以採用了乙個低檔次的方法,基於依存句法分析的實體關係抽取,記錄一下心得,方便日後忘記...