字典特徵提取和文字特徵抽取

什麼叫字典特徵提取？

字典內容轉化成計算機可以處理的數值

data = [, ,

]

我們想提取出來這幾個人的特徵值，也就是給我用乙個向量，表示某個獨一無二的人的特徵

我們先給出**

#coding=utf-8

#特徵提取
#首先匯入轉換器類
from sklearn.feature_extraction import dictvectorizer
def dec_demo():
data = [ , , ]
# 1. 例項化乙個轉換模組，不使用稀疏矩陣
dt2= dictvectorizer( sparse=false )
# 2. 呼叫fit_transform()
result = dt.fit_transform(data)
print(result)
return none
if __name__=="__main__":
dec_demo()

[[ 11.   0.   1.   0. 100.]

[ 12. 1. 0. 0. 60.]
[ 13. 0. 0. 1. 20.]]

這就叫做字典特徵提取

那麼以此類推，文字特徵提取也是類似，依靠向量表示數

#coding=utf-8

from sklearn.feature_extraction.text import countvectorizer
def context_demo():
'''文字特徵抽取'''
context=["life is hard,we need to envisage ourselves, life is"]
# 例項化乙個內容轉換器
cv = countvectorizer()
# 呼叫fit_transform
result = cv.fit_transform(context)
print(result.toarray())
print("\n")
print(cv.get_feature_names()) 
if __name__ == "__main__":
context_demo()

[[1 1 2 2 1 1 1 1]]

['envisage', 'hard', 'is', 'life', 'need', 'ourselves', 'to', 'we']

不能設定sparse=false

反而使用 bunch (就是特徵抽取之後返回的結果) 的 toarray()方法

特徵提取 中文文字特徵抽取

jieba庫 ex 1 import jieba def cut word text text join list jieba.cut text return text def cut chinese demo2 data 每乙個公民的合法權利都值得守護 每乙個維權訴求都值得珍視。當且僅當舉報渠道暢...

機器學習 特徵工程和文字特徵提取

命令檢視是否可用 注意 安裝scikit learn需要numpy，pandas等庫 from sklearn.feature extraction import dictvectorizer defdictvec 對字典特徵值 return none dit dictvectorizer 例項化 ...

機器學習 特徵工程字典特徵和文字特徵抽取

mysql 效能瓶頸，讀取速度 pandas 讀取工具 numpy釋放gil cpython 協程 sklearn 特徵值 目標值 重複值 不需要進行去重 缺失值 特殊處理 將原始資料轉換為更好代表 模型的潛在問題的特徵的過程，從而提高對未知資料的 準確性 classification 分類 reg...