NLP自然語言處理相關

2021-06-23 04:29:44 字數 534 閱讀 9821

近期需要學習一些命名實體識別的知識,記錄一下,以便以後複習

個人理解

目前的理解是,命名實體識別(ner),是自然語言處理(nlp)的乙個階段,可應用於機器翻譯、摘要形成、資訊檢索等等,個人認為,自然語言處理是一門很複雜的跨學科技術,其難點在於人類是富有思維的,人的語言寄託人的思想,因此很難準確處理。但其實轉念一想,人工智慧不正是模擬人的思維嗎,如果用神經網路的只是來看,完全分析出語言所富有的思維是不是完全可能呢? 

相對於複雜的語句,命名實體識別作用在於提煉句中實體,因此難度較低。但是語句的含義通常可由句中實體進行推導聯想而得到其含義。(表達較混亂,邏輯需進一步清理╮(╯▽╰)╭)

相關資料

主要參考了stanford nlp,以及fudannlp

其中stanford nlp中對於中文處理效果一般,特點應該是中文,但可參考其思想

在fudannlp中,簡單試了一下,效果還不錯,ner的實現是通過分析、詞性定義實現的命名實體識別。等待進一步深入研究

待續。。。

NLP自然語言處理

第1部分自然語言處理入門 1.1自然語言處理入門.mp4 第2部分hmm和crf 1.1crf模型簡介.mp4 1.1hmm模型介紹.mp4 1.2文字處理的基本方法 part1.mp4 2.1新聞主題分類任務 第4步 part2.mp4 第43部分rnn 1.1rnn模型小結.mp4 1.1rnn...

NLP自然語言處理

老實來講這課我一頭霧水滿腦袋問號 import numpy as np from collections import counter counttime 0 def seperate filename totalnum 0 郵件的總數 global counttime i 0 file open ...

自然語言處理 NLP(4)

文法用途 遞迴下降和左角落解析都存在一定的缺陷,因此可以才用動態規劃的方法進行解析 阿蘭 圖靈與1950年提出,測試在測試者和被測試者相互隔開的情況下,通過一些簡單的裝置向被測試者隨意提問。通過一些問題之後,若被測試者的答覆有超過30 的部分無法讓測試者確認出是人還是機器的回答,則此時這台機器通過測...