機器學習 模型儲存

目錄

pickle模組

sklearn joblib模組

hive分割槽表

在訓練模型後將模型儲存的方法，以免下次重複訓練。以及大資料裡直接將bi模型結果儲存在hive表裡。

from sklearn import svm

from sklearn import datasets
import pickle
clf = svm.svc()
iris = datasets.load_iris()
x,y = iris.data, iris.target
clf.fit(x,y)
s = pickle.dumps(clf) # 訓練模型儲存
with open('svm.txt','w') as f:
f.write(s)
with open('svm.txt','r') as f2:
s2 = f2.read()
clf2 = pickle.loads(s2) # 模型載入
clf2.score(x,y)
# 網上直接copy的，感覺這樣寫有點多此一舉的感覺，理解pickle就是了。

joblib更適合大資料量的模型，且只能往硬碟儲存，不能往字串儲存。

from sklearn.externals import joblib

joblib.dump(clf,'filename.pkl') # 模型儲存
clf = joblib.load('filename.pkl') # 模型載入

create

table if not exists yourtable
( key string,
value string comment '相應的說明'
) comment 'yourtable說明' partitioned by
( dt string
) row format delimited fields terminated by '\t' stored as orc tblproperties
( ) ;
insert
overwrite table yourtable
( dt
)select
id as key,
concat_ws('#', xvalue) as value,
sysdate( - 1) as dt
from
origin_hive_table -- 底表

機器學習模型儲存

在訓練完成機器學習模型後，經常將滿足需要的機器學習模型進行儲存，本文以svm演算法為例，講解模型儲存和呼叫的方法。joblib.dump 模型,模型命名 將訓練模型儲存起來如 from sklearn.svm import svc from sklearn.metrics import classi...

機器學習 儲存模型 載入模型 Joblib

joblib描述 joblib是一組用於在python中提供輕量級流水線的工具。特點 透明的磁碟快取功能和懶惰的重新評估 memoize模式 簡單的平行計算 joblib可以將模型儲存到磁碟並可在必要時重新執行 實現 載入模組 from sklearn.datasets import load ir...

機器學習之儲存訓練模型

話不多說，直接進入正題。1.首先匯入joblib包 import joblib2.訓練好模型之後，即可儲存模型到本地 joblib.dump 模型例項名稱,本地路徑 檔名稱 比如 joblib.dump lr,r g 學習檔案 機器學習 import learing predict card.pkl...