自然語言處理初步入門

2021-10-24 03:24:44 字數 1303 閱讀 7629

自然語言處理(nlp)如今發展得火熱,但其實它應用領域還存在著很多不成熟的技術。作為一塊剛剛挖掘不久的寶礦,自然語言處理還有著無限的前景等著我們去開發。本文礙於篇幅的限制,就不帶大家深入鑽研自然語言處理技術了,下面一起來初步入門自然語言處理的學習吧!

自然語言處理入門

1、初步認識自然語言處理

舉個生活中的例子,幫助大家入門自然語言處理。小時候語文課上,老師會教我們看圖說話,會教給我們閱讀理解,還會教給我們通過指定題目寫出一篇作文。後來我們長大了,還需要學習說話的藝術,例如怎樣從一天的會議中精準提取老闆布置的任務,如何有針對性回答客戶的問題等等。原來,我們這一生都需要通過「自然語言」進行理解、思考和表達。

所謂自然語言,呈現形式無非就是文字和語音。所謂處理,也就是思考的過程。就比如教給計算機如何看圖說話、閱讀理解、寫一篇高考作文,甚至像前段時間出現的作詩機械人。我們知道,在人類的交談過程中,總是往復迴圈著兩個過程。乙個過程是聽到並去理解對方說的話,另乙個過程是清晰地表達自己的想法給對方。同理,在廣義上,我們會把自然語言處理分成兩個類別,乙個叫自然語言理解,來讓機器理解人類在跟它說什麼;另一部分叫自然語言生成,讓機器懂得如何告訴人類它自己的想法。

2、自然語言處理的實際應用

(2)自然語言生成:就是希望機器可以將自己的想法轉化**類能看懂的語言。例如前段時間大熱的」作詩機械人「,就是乙個十分典型的自然語言生成應用。

3、自然語言處理的任務細分

現在我們理解了自然語言處理廣義上的兩大類。但是我們知道,類似一棟房子的搭建不僅由一類團隊的人完成。需要有設計團隊,有採購團隊,還得有建築工人。所以,我們這兩大類別的每個模組,也都是由很多子領域的人一起努力創造出來的。目前這個分類其實業內並不統一,分類標準也是五花八門。所以我們只需要巨集觀來感受一下,每乙個應用的背後都會有哪些團隊的人在努力著。

(1)詞級別的任務

a.分詞:例如,把「我愛自然語言處理」分成「我/愛/自然/語言/處理」

b.詞性標註:把分詞後的每個詞標註上詞性。

c.命名實體識別:識別出一句話中的實體,例如:「小明得了流感」中會識別出「小明」和「流感」。

(2)句級別的任務

b.問答系統。

c.機器翻譯。

(3)文本級別的任務

a.文字分類:例如,這本書是屬於驚悚呢還是都市愛情呢?

乙個簡簡單單的寫詩機械人,也許就會用到分詞、詞性標註、分類、下句話**等等各項模組。聽上去好像很複雜,不過那些研究怎麼分詞,怎麼標註都是科學家語言學家做的事情。如果我們只是想做乙個專案,目前世面上已經有了很多庫可以供我們直接使用~

自然語言處理入門

1 首先,將原文本拆分為句子,在每個句子中過濾掉停用詞 可以不選 並只保留指定詞性的單詞,由此可以得到句子和單詞的集合。2 每個單詞作為pagerank中的乙個節點。設視窗大小為k,假設乙個句子所組成的單詞可以表示為w1,w2,w3,wn.則w1,w2,wk w2,w3,wk 1 w3,w4,wk ...

如何入門自然語言處理

直接做文字分類這個專案,具體的思路很簡單。把原始文字變成向量,然後呼叫sklearn庫里的分類演算法,就可以實現文字分類了!如何把文字轉換為文字向量呢?看這篇文章即可,手把手地教你把中文文字變成向量 附 盡量地去理解 的實現思路,以後遇到類似問題能不能轉換成相應的資料格式,繼續用這些 操作。完整的實...

自然語言處理如何入門

ps 筆者會持續更新 俗話說得好 做research或者學習某個技能最重要的是要對自己的research要非常熟悉 3mins讓別人聽懂你做的這玩意兒是個啥,contribution在 讓別人覺得你做的東西有意義 自然語言包括許多分支,主要有 機器翻譯 自動文摘 資訊檢索 文件分類 問答系統 資訊過...