NLP自然語言處理基礎技術工具 彙總

2021-10-02 17:43:11 字數 776 閱讀 5764

目前,有很多開源或開放的自然語言處理工具可以供我們使用,可以方便地解決很多nlp的基礎任務,例如,分詞、詞性標註、詞幹化、命名實體識別、名詞短語提取等等。

彙總起來方便比較,擇優而用。

目錄

1. hanlp

2. spacy

3. fudannlp

4. jieba 結巴

5. snownlp

6. pkuseg

7. thulac

提供了中文依存句法分析功能。支援多種自然語言處理基本功能。

快速的工業級自然語言處理工具。 目前不支援中文。

支援多種自然語言處理基本功能。

官網:復旦大學自然語言處理實驗室開發的中文自然語言處理工具包。支援多種自然語言處理基本功能。

snownlp是乙個python寫的類庫,可以方便的處理中文文字內容,是受到了textblob的啟發而寫的,由於現在大部分的自然語言處理庫基本都是針對英文的,於是寫了乙個方便處理中文的類庫,並且和textblob不同的是,這裡沒有用nltk,所有的演算法都是自己實現的,並且自帶了一些訓練好的字典。注意本程式都是處理的unicode編碼,所以使用時請自行decode成unicode。

致力於為多領域的中文分詞。目前支援了新聞領域,網路領域,醫藥領域,旅遊領域,以及混合領域的分詞預訓練模型。

支援使用者自訓練模型。支援使用者使用全新的標註資料進行訓練。

支援詞性標註。

具有中文分詞和詞性標註功能。

————————————————

不斷補充中...

NLP自然語言處理

第1部分自然語言處理入門 1.1自然語言處理入門.mp4 第2部分hmm和crf 1.1crf模型簡介.mp4 1.1hmm模型介紹.mp4 1.2文字處理的基本方法 part1.mp4 2.1新聞主題分類任務 第4步 part2.mp4 第43部分rnn 1.1rnn模型小結.mp4 1.1rnn...

NLP自然語言處理

老實來講這課我一頭霧水滿腦袋問號 import numpy as np from collections import counter counttime 0 def seperate filename totalnum 0 郵件的總數 global counttime i 0 file open ...

Python自然語言處理(NLP)工具小結

python 的幾個自然語言處理工具 自然語言處理 natural language processing,簡稱nlp 是人工智慧的乙個子域。自然語言處理的應用包括機器翻譯 情感分析 智慧型問答 資訊提取 語言輸入 分析 知識圖譜等方面。也是深度學習的乙個分支。首先介紹一下python的自然語言處理...