一 資料探勘基礎

2021-08-16 10:43:07 字數 352 閱讀 6377

資料探勘的任務:

分類與**,聚類分析,關聯規則,時序模式,偏差檢測,智慧型排序

資料探勘的建模過程:

1.定義挖掘目標

2.資料採集,取樣(隨機抽樣,分層抽樣,等距抽樣,分類抽樣,起始順序抽樣)

3.資料探索:異常值分析、缺失值分析、相關性分析、週期性分析,有無明顯規律和趨勢

4.資料預處理:降維處理,缺失值處理,資料篩選,資料轉換,壞資料處理,資料標準化,主成分分析,屬性選擇,資料規約等。

5.挖掘建模:

5.1先確定是哪類問題(分類,聚類,關聯規則,時序模式,智慧型推薦,智慧型排序)

5.2選用哪個演算法建模

6.模型評價與發布

資料探勘 (一)資料獲取

1 資料倉儲 全部事實的記錄 必須是全面的 完備的 盡可能詳細的 可以方便的以不同維度抽取和整理資料 資料是拿來用的,一般乙個特定的場景不會使用全部的資料,資料倉儲非常豐富,必須根據不同的應用調取相應的資料,這些被抽取和整理的資料稱為資料集市 dw 1 資料庫 vs 倉庫 資料庫面向業務儲存,需要保...

資料探勘實戰(一) 資料分析

資料集準備 status表示標籤,但是它作為乙個特徵維度混入到特徵列表中,要先將它找出來賦給標籤,並按照約定規則將資料分為訓練集和測試集 import pandas as pd from sklearn.model selection import train test split data pd....

資料探勘 實驗一 資料探勘軟體環境搭建與使用

1 輸出 9 9 乘法口訣表。分析 分行與列考慮,共9行9列,i控制行,j控制列。for i in range 1,10 for j in range 1,i 1 print format i,j,i j end print 2 獲取 100 以內的質數。分析 質數 prime number 又稱素...