資料探勘流程

2021-07-04 09:42:50 字數 966 閱讀 2517

下面是資料探勘流程(

crisp-dm

跨行業資料探勘標準流程),這是目前業界主流的

資料探勘流

程,其實本人覺得這也是統計學 建

模方式的語言模式,大家都是這麼做的,只是用個專門的流程會方便一些 1、

業務理解

理解專案的目標和從業務的角度理解需求,同時將這個知識轉化為資料探勘問題的定義和完成目標的初步計畫

(1)確定業務目標

從業務角度全面理解挖掘的真正意圖和需求。除此之外還應包括乙個對資料探勘專案結果進行評價的標準以及整個專案預算和理性的解釋。輸出的結果包括:背景、業務目標、專案成功標準。

(2)評估環境

對所有的資源、約束、假設和其他應考慮的因素進行詳細的分析和評估,以便下一步確定資料分析目標和專案計畫。輸出結果:資源清單、需求,假設和約束、風險和所有費用、術語表、成本、收益。

(3)確定資料探勘的目標

與業務目標不同,資料探勘目標是從技術的角度描述專案的目的。輸出結果:資料探勘目標、資料探勘成功標準。

(4)產生專案計畫

計畫應列出將要執行的階段,以及每個階段的詳細計畫(包括每個階段的時間、所需資源、輸入、輸出和依賴)。輸出結果:專案計畫、工具和技術的初步評價。 2、

資料理解

3、資料準備

(1)資料選擇

(2)資料清洗

(3)資料構建(通過已有的資料生成新的有用的資料)

(4)資料整合(合併)

(5)資料格式化 4、

建立模型

(1)選擇建模技術

(2)產生測試設計(訓練集、測試集)

(3) 

建立模型

(4)評估模型 5、

評價(1)

評價挖掘結果

(2)回顧過程

(3)確定下一步 6、

實施(1)

實施計畫

(2)監測、維護

(3)產生最終報告

(4)回顧專案

資料探勘流程

crisp dm cross industry standard process for data mining 即為 跨行業資料探勘過程標準 此kdd knowledge discovery in database 過程模型於1999年歐盟機構聯合起草.通過近幾年的發展,crisp dm 模型在各...

資料探勘流程

一 業務理解 主要任務是深刻理解業務需求,在此基礎上制定資料探勘的目標和實現目標的初步計畫。二 資料理解 收集資料,熟悉資料,識別資料的質量問題和探索引起興趣的子集。三 資料準備 從收集來的資料集選擇必要的屬性 因素 並按關聯關係將它們連線成乙個資料集,然後進行資料清洗 即空值及異常值處理 離群值剔...

資料探勘的流程

資料探勘環境 資料探勘是指乙個完整的過程,該過程從大型資料庫中挖掘先前未知的,有效的,可實用的資訊,並使用這些資訊做出決策或豐富知識.資料探勘環境可示意如下圖 7.2資料探勘過程圖 下圖描述了資料探勘的基本過程和主要步驟 資料探勘的基本過程和主要步驟 7.3 資料探勘過程工作量 在資料探勘中被研究的...