自然語言處理基礎技術工具篇之spaCy

2021-09-07 10:16:21 字數 1312 閱讀 7407

安裝:pip install spacy

國內源安裝:pip install spacy -i

import spacy

nlp = spacy.load(

'en'

)doc = nlp(u'this is a sentence.'

)

1.tokenize功能
for token in doc:

print

(token)

thisisa

sentence

.

2.詞幹化(lemmatize)
for token in doc:

print

(token, token.lemma_, token.lemma)

this this 1995909169258310477

is be 10382539506755952630

a a 11901859001352538922

sentence sentence 18108853898452662235

. . 12646065887601541794

3.詞性標註(pos tagging)
for token in doc:

print

(token, token.pos_, token.pos)

this det 89

is verb 99

a det 89

sentence noun 91

. punct 96

4.命名實體識別(ner)
for entity in doc.ents:

print

(entity, entity.label_, entity.label)

5.名詞短語提取
for nounc in doc.noun_chunks:

print

(nounc)

a sentence
歡迎關注【ai小白入門】,這裡分享python、機器學習、深度學習、自然語言處理、人工智慧等技術,關注前沿技術,求職經驗等,陪有夢想的你一起成長。

自然語言處理基礎技術工具篇之Jieba

沒想到堅持學習以及寫作總結已經超過半個月了,謝謝大家的關注 點讚 收藏 前面談了nlp的基礎技術,我始終覺得,入門學習一件事情最好的方式就是實踐,加之現在python如此好用,有越來越多的不錯nlp的python庫,所以接下來的一段時間裡,讓我們一起來感受一下這些不錯的工具。我均使用jupyter編...

自然語言處理基礎技術工具篇之TextBlob

安裝 pip install textblob 配置國內源安裝 pip install textblob i 參考 from textblob import textblobtext i love natural language processing i am not like fish blob...

自然語言處理基礎技術工具篇之Flair

flair簡介 flair是最近開源的乙個基於pytorch的nlp框架,據官方github介紹,它具有以下特點 乙個功能強大的nlp庫。flair允許您將最先進的自然語言處理 nlp 模型應用於您的文字,例如命名實體識別 ner 詞性標註 pos 意義消歧和分類。文字嵌入庫。flair具有簡單的介...