自然語言處理簡介及研究方向

2021-09-24 09:37:38 字數 1198 閱讀 8115

自然語言處理是電腦科學領域與人工智慧領域中的乙個重要方向。它研究能實現人與計算機之間用自然語言進行有效通訊的各種理論和方法。自然語言處理是一門融語言學、電腦科學、數學於一體的科學。因此,這一領域的研究將涉及自然語言,即人們日常使用的語言,所以它與語言學的研究有著密切的聯絡,但又有重要的區別。自然語言處理並不是一般地研究自然語言,而在於研製能有效地實現自然語言通訊的計算機系統,特別是其中的軟體系統。因而它是電腦科學的一部分。

自然語言處理(nlp)是電腦科學,人工智慧,語言學關注計算機和人類(自然)語言之間的相互作用的領域。

隨著深度學習的發展,lstm的應用取得的突破,極大地促進了nlp的發展。

自然語言處理的主要範疇有以下

給一句人類語言的問定,決定其答案。 典型問題有特定答案 (像是加拿大的首都叫什麼?),但也考慮些開放式問句(像是人生的意義是是什麼?)

將某種人類語言自動翻譯至另一種語言

產生一段文字的大意,通常用於提供已知領域的文章摘要,例如產生報紙上某篇文章之摘要

自然語言處理目前研究的難點

在口語中,詞與詞之間通常是連貫的,而界定字詞邊界通常使用的辦法是取用能讓給定的上下文最為通順且在文法上無誤的一種最佳組合。在書寫上,漢語也沒有詞與詞之間的邊界。

許多字詞不單只有乙個意思,因而我們必須選出使句意最為通順的解釋。

自然語言的文法通常是模稜兩可的,針對乙個句子通常可能會剖析(parse)出多棵剖析樹(parse tree),而我們必須要仰賴語意及前後文的資訊才能在其中選擇一棵最為適合的剖析樹。

例如語音處理時遇到外國口音或地方口音,或者在文字的處理中處理拼寫,語法或者光學字元識別(ocr)的錯誤。

句子常常並不只是字面的意思;例如,「你能把鹽遞過來嗎」,乙個好的回答應當是動手把鹽遞過去;在大多數上下文環境中,「能」將是糟糕的回答,雖說回答「不」或者「太遠了我拿不到」也是可以接受的。再者,如果一門課程去年沒開設,對於提問「這門課程去年有多少學生沒通過?」回答「去年沒開這門課」要比回答「沒人沒通過」好。 

當前自然語言處理研究的發展趨勢:

統計自然語言處理運用了推測學、機率、統計的方法來解決上述,尤其是針對容易高度模糊的長串句子,當套用實際文法進行分析產生出成千上萬筆可能性時所引發之難題。處理這些高度模糊句子所採用消歧的方法通常運用到語料庫以及馬可夫模型(markov models)。統計自然語言處理的技術主要由同樣自人工智慧下與學習行為相關的子領域:機器學習及資料採掘所演進而成。 ——**維基百科。

自然語言處理簡介

什麼是自然語言處理 natural language processing,nlp nlp是一項極具挑戰性的研究,因為詞語和語義具有高度複雜的非線性關係,而將這些資訊轉換為魯棒的數值表示非常困難。並且,每種語言都有自己的語法和詞彙。因此,處理文字資料涉及各種複雜的任務,例如文字解析 例如,標記化to...

自然語言處理NLP國內研究方向機構導師

自然語言處理nlp國內研究方向機構導師 文 中文資訊協會 中文資訊處理發展報告2016 資料簡化datasimp 文字語言vs數字資訊 數字 文字和自然語言一樣,都是資訊的載體,他們之間原本有著天然的聯絡。語言和數學的產生都是為了交流,從文字 數字和語言的發展歷史,可以了解到語言 文字和數字有著內在...

自然語言處理研究綜述

自然語言是指漢語 英語 俄語等人們日常使用的語言,區別於人工語言,如程式設計的語言。自然語言處理,是指用計算機對自然語言的形 音 義等資訊進行處理,即對字 詞 句 篇章的輸入 輸出 識別 分析 理解 生成等的操作和加工。實現人機間的資訊交流,是人工智慧界 電腦科學和語言學界所共同關注的重要問題。自然...