異常檢測介紹

2021-10-14 15:25:19 字數 718 閱讀 4532

一、了解異常檢測基本概念

1、什麼是異常檢測

異常檢測是指識別出與主體分布資料的分布相差較大或者與**分布的資料相差較大的資料。

2、異常的類別

2.1 點異常

是指少數個體是異常的,大多數的個體是正常的。

2.2 上下文異常

是指在特定環境下,個體例項是正常的,但是在其它環境下是異常的。例如:在特定時間下溫度突然上公升或者下降。

2.3 群體異常

是指在某個群體**現異常個體,但是這個個體例項並不是真正異常的,真正異常的是這個群體。例如:社交網路中虛假賬號形成的異常子集,但這個子集中的個體與真實的賬號一樣正常。

3、異常檢測任務分類

有監督無監督

半監督二、什麼情況下使用異常檢測方法

1、對特徵資料的處理:在做特徵工程的時候,為了防止異常資料影響歸一化,需要把異常資料過濾掉;在做二分類的時候,訓練樣本資料非常少,樣本類別資料不均衡,使用無監督的異常點檢測。

2、日誌異常檢測、網路入侵異常檢測、信用卡異常檢測等。

三、異常檢測的方法

1、傳統方法

1.1 基於統計學的方法

假定正常資料物件由乙個統一的模型給出,不符合該模型的是異常資料。異常檢測的統計學方法是:學習乙個擬合給定資料集的生成模型,然後識別該模型低概率區域中的物件,把它們作為異常點。

1.2 線性模型

pca2、整合方法

3、異常檢測常用開源庫pyod

關於異常檢測的一些介紹

三種概念 異常檢測 有乙個和正常樣本不同的感興趣的點,比如網路攻擊。去噪 對資料的干擾,去除不想要的資料。新奇檢測 資料中的新模式,比如說乙個團體中出現的新的主題。乙個基本的想法 表示出正常樣本的樣子,不符合這個規律的就是異常。存在挑戰 完全表示正常樣本困難 異常偽裝為正常的樣子 正常樣本的進化,可...

異常細胞檢測

描述 拍攝的一張 ct 用乙個二維陣列來儲存,假設陣列中的每個點代表乙個細胞。每個細胞的顏色用0到 255之間 包括0和 255 的乙個整數表示。定義乙個細胞是異常細胞,如果這個細胞的顏色值比它上下左右 4個細胞的顏色值都小 50以上 包括 50 陣列邊緣上的細胞不檢測。現在的任務是,給定乙個儲存 ...

檢測異常細胞

陣列 第9題 描述 拍攝的一張ct 用乙個二維陣列來儲存,假設陣列中的每個點代表乙個細胞。每個細胞的顏色用0到255之間 包括0和255 的乙個整數表示。定義乙個細胞是異常細胞,如果這個細胞的顏色值比它上下左右4個細胞的顏色值都小50以上 包括50 陣列邊緣上的細胞不檢測。現在的任務是,給定乙個儲存...