NLP 基於機器學習角度談談CRF(三)

2021-09-08 12:02:17 字數 1598 閱讀 9764

2023年8月3日08:39:14

:基於機器學習角度談談crf。)

【自然語言處理:漫步條件隨機場系列文章(一)】:前戲:一起走進條件隨機場

【自然語言處理:漫步條件隨機場系列文章(二)】:基於自然語言處理角度談談crf

【自然語言處理:漫步條件隨機場系列文章(三)】:基於機器學習角度談談crf

【自然語言處理:漫步條件隨機場系列文章(四)】:基於統計學習角度談談crf

crf是一種判別式無向圖模型

crf試圖對多個變數在給定觀測值後的條件概率進行建模,具體來說,若令

注意:標記變數y是結構型變數,如在自然語言處理的句子標註任務中,觀測資料為句子,標記為相應的詞性序列,具有線性序列結構,在語法分析中,輸出標記是語法樹,具有樹形結構。

令g=表示結點與標記變數y中元素一一對應的無向圖,

上面形式化在第二章已經通過例項解析介紹過。

如上面句子標註,因為現象應用中,對標記序列建模時,常有鏈式結構(具體鏈式結構前面有介紹

與馬爾科夫隨機場定義聯合概率概率的方式類似,crf使用勢函式和圖結構上的團來定義條件概率p(y|x)給定觀察序列x,所謂團即單個標記變數{}以及相鄰標記變數

的條件概率定義,其中

在crf中,通過選用勢函式並引入特徵函式,條件概率定義如下:

如上引數在第二章有詳細講解。

特徵函式

句子標註為例的轉移特徵函式

表示第i個觀察值為「愛」時,相對的標記分別是b,i,其狀態特徵函式如下:

表示觀察值x為單字「愛」時,它對應的標註很可能為i

數學之美 吳軍 著

機器學習  周志華 著

統計自然語言處理 宗成慶 著(第二版)

統計學習方法(191---208) 李航

知乎 網路資源

【自然語言處理】:【nlp】揭秘馬爾可夫模型神秘面紗系列文章

【自然語言處理】:【nlp】大資料之行,始於足下:談談語料庫知多少

【自然語言處理】:【nlp】驀然回首:談談學習模型的評估系列文章

【自然語言處理】:【nlp】快速了解什麼是自然語言處理

【自然語言處理】:【nlp】自然語言處理在現實生活中運用

宣告:基於機器學習角度談談crf。

換個角度談談學習的過程

學東西這事絕對是件功夫活,也絕對是條漫長路,因為當你決定踏上一條求學之路時,你可能對其充滿了朦朧的嚮往,而當你已經上路一段日子後,你可能又會感到到處都是自己不知道的東東,頂著頭皮再走一段日子,你可能會感到稍微有了一點點自信的安慰,因為你已經對一些基本的東東有了理解,以前很多的高深的東東也開始慢慢褪去...

換個角度談談學習的過程

學東西這事絕對是件功夫活,也絕對是條漫長路,因為當你決定踏上一條求學之路時,你可能對其充滿了朦朧的嚮往,而當你已經上路一段日子後,你可能又會感到到處都是自己不知道的東東,頂著頭皮再走一段日子,你可能會感到稍微有了一點點自信的安慰,因為你已經對一些基本的東東有了理解,以前很多的高深的東東也開始慢慢褪去...

NLP學習筆記17 機器學習

本文屬於貪心nlp學習筆記系列。從本節課開始進入機器學習的章節。之前的兩個分支之一 基於概率的系統 probabilistic 主要是學習出資料與標籤之間的對映關係。定義 自動從已有的資料裡找出一規律,然後把學到的這些規律應用到對未來資料 future data 的 中,或者在不確定環境下自動地做一...