機器學習之異常檢測

2021-10-25 04:48:12 字數 1102 閱讀 4520

異常檢測(anomaly detection):根據輸入資料,對不符合預期模式的資料進行識別

概率密度:描述隨機變數在某個確定的取值點附近的可能性的函式

當資料維度高於一維時:

同理,根據資料點概率,進行判斷,如果p(x) < ε;該點為異常點

#資料分布統計

plt.hist(x1,bins =

100)

#計算資料均值、標準差

x1_mean = x1.mean(

)x1_sigma = x1.std(

)# 計算對應的高斯分布數值:

from scipy.stats import norm

x1_range = np.linspace(0,

20,300)

normal1 = norm.pdf(x1_range,x1_mean,x1_sigma)

# 視覺化高斯分布曲線:

plt.plot(x1_range,normal1)

# 模型訓練:

from sklearn.covariance import ellipticenvelope

clf = ellipticenvelope(

)clf.fit(data)

# 視覺化異常資料:

anamoly_points = plt.scatter(

data.loc[:,

'x1'

][y_predict ==-1

],data.loc[:,

'x2'

][y_predcit ==-1

],marker =

"o",

facecolor =

"none"

,edgecolor =

"red"

, s =

250)

機器學習之異常檢測演算法

下面來說下解釋下tp,fp,tn和fn tp true positive 真正例,即將乙個實際為正例的樣本正確的判斷為正例 fp false positive 假正例,即將乙個實際為負例的樣本錯誤的判斷為正例 tn true negtive 真負例,即將乙個實際為負例的樣本正確的判斷為負例 fn f...

機器學習(四) 異常檢測

機器學習中的異常檢測分為兩種,一種是無監督的異常檢測,另一種為有監督的異常檢測。無監督的異常檢測即在沒有標籤的情況下,演算法從一堆資料點中,挑選出其認為不正常的資料點。而有監督的異常檢測為在對訓練集提前設定好標籤的前提下,演算法對其進行劃分。異常檢測演算法可以應用於發動機的挑選中,假設乙個廠家生產了...

機器學習 異常值檢測

在生產生活中,由於裝置的誤差或者人為操作失當,產品難免會出現錯誤。然後檢查錯誤對人來說又是乙個十分瑣碎的事情。利用機器學習進行異常值檢測可以讓人類擺脫檢錯的煩惱。sum limits m sum limits m p x prod limits n sigma j 2 異常檢測演算法是乙個非監督學習...