構造NLP標註集的幾個簡便方法 隨想

2021-06-22 04:30:00 字數 984 閱讀 5392

基於統計的nlp演算法或模型的效能關鍵在於語料庫,但帶標註的語料庫不容易獲得。這裡介紹幾個構造訓練集或測試集的簡便方法,在沒有足夠標註集的情況下可以採用。

1.詞義消歧

用固定字串替換多詞。如,用詞符串「8888」替換語料中出現的「屌絲」和「高富帥」,其中「8888」是歧義詞,其含義可能為「屌絲」或「高富帥」,以此類推構造其他詞彙,這樣就得到了乙個人工標註的歧義語料庫。該方法可用於構造訓練和測試集。

2.中文分詞

在沒有中文分詞語料的情況下,可以利用現成的英文語料,以句子為單位將單詞合併為字串,如:「a dog is barking」-->「adogisbarking」,這就得到了帶標註的分詞語料。可用於構造訓練集和測試集。

3.拼寫校正

在語料中人為加入錯誤。

4.詞性標註

可以把詞性標註看作乙個分類問題,詞w是分類器的輸入特徵,其標註c是分類器輸出的類別。給定乙個語料庫,把所有詞按一定規則劃分為n類,為了模擬詞性歧義,允許同乙個詞以一定的概率分布在多個類。可用於構造訓練集和測試集。其他標註任務也可用該方法。

5.未登入詞識別

這個比較簡單,用乙個字典中不存在的字串如「白富美」替換語料中的「郭美美」或「鳳姐」,就得到了未登入詞的標註集。

可以看出,以上方法的基本思想是:基於人工規則構造訓練集。而這裡的人工規則,是對語言現象和規律,或者是語法規則的模擬。這就意味著:1.用於構造標註集的人工規則,與真實的語言現象,規律或規則,是有差異的,同時也意味著語種無關;2.在上述方法得到的標註集上訓練的模型,實際上是在學習我們用於構造訓練集的人工規則。也就是說用以上方法訓練得到的模型並不能直接應用於真實語料。那麼是否上述方法是沒有意義的?當然不是,這裡的差異在於模型引數,而模型的選擇,訓練和應用,則是一樣的。

有沒有方法獲得盡量接近真實語言的規則?這實際上就是所有nlp任務,或以統計,或以規則的方法所追求或部分追求的目標。也就是說,一旦有能力以完全真實的規則構造訓練資料,那麼就不需要再構造訓練資料用於訓練模型了。構造人工資料,無論從哪方面看,本身也是個nlp任務。

構造NLP標註集的幾個簡便方法 隨想

基於統計的nlp演算法或模型的效能關鍵在於語料庫,但帶標註的語料庫不容易獲得。這裡介紹幾個構造訓練集或測試集的簡便方法,在沒有足夠標註集的情況下可以採用。1.詞義消歧 用固定字串替換多詞。如,用詞符串 8888 替換語料中出現的 屌絲 和 高富帥 其中 8888 是歧義詞,其含義可能為 屌絲 或 高...

synchronized this 的幾個簡單示例

一 當兩個併發執行緒訪問同乙個物件object中的這個synchronized this 同步 塊時,乙個時間內只能有乙個執行緒得到執行。另乙個執行緒必須等待當前執行緒執行完這個 塊以後才能執行該 塊。二 然而,當乙個執行緒訪問object的乙個synchronized this 同步 塊時,另乙個...

中文標準標註語料的標註中的幾個問題

想讓機器能夠跟人一些樣非常智慧型地處理自然語言,一直是我們的夢想。實現這個理想涉及到很多領域的技術,不管如何設計,自然語言處理 nlp 技術是必備的一環。而自然語言處理中,想要訓練乙個好的模型,語料是繞不過去的門檻。沒有語料,來的模型?而且語料標註規則是否統 一 自洽是訓練自動處理模型的關鍵。不管專...