大資料 《二》資料探勘之過程模型

2021-08-25 02:45:10 字數 559 閱讀 3439

確立業務目標、進行環境評估、確定dm目標、產生專案計畫

需要生產文件:

業務背景報告、業務目標報告、業務成功難則、資源清單、需求、假設、限制、風險和對策、成本和效益分析報告、資料探勘目標、術語表、專案成**則:專案計畫、工具和技術初步評價

收集初始資料、描述資料、探測資料、檢驗資料質量

需要生產文件:

初始資料收集報告、資料描述報告、資料探測報告、資料質量報告

資料提取、資料清洗、資料結構的構建、資料整合與格式化

需要生產文件:

資料提取的基本原則、資料清洗報告、資料屬性與報告、合併的資料、格式化的資料

選擇建模技術、進行測試設計、建立模型、評估模型

需要生產文件:

建模技術、建模前提、設定模式引數、模型及其描述、模型的評價、設定修改的引數

評價挖掘結果、複審過程、確定下階段計畫

需要生產文件:

結果評估報告、過程複審報告、確定下一步的方案和對策

計畫實施、計畫檢查和維護、回顧專案產生總結報告

需要生產文件:

實施計畫、檢查和維護計畫、總結報告、歸納文件

資料探勘 模型融合

在模型調參結束後,我我們就可以進行模型融合了 這是最後也是乙個相當重要的環節,方式大概有有以下幾種 模型融合是比賽後期乙個重要的環節,大體來說有如下的型別方式。簡單加權融合 stacking blending boosting bagging 在xgboost,adaboost,gbdt中已經用到 ...

資料探勘 模型融合

模型融合是比賽後期乙個重要的環節,大體來說有如下的型別方式。簡單加權融合 stacking blending boosting bagging 在xgboost,adaboost,gbdt中已經用到 1 平均融合 對於回歸問題,乙個簡單直接的思路是取平均。也可以採用加權平均,而權值可以用排序的方法確...

大資料 資料分析 資料探勘

在大資料領域裡,經常會看到例如資料探勘 olap 資料分析等等的專業詞彙。如果僅僅從字面上,我們很難說清楚每個詞彙的意義和差別。大講台老師通過一些大資料在高校應用的例子,來為大家說明白 資料探勘 大資料 olap 資料統計的區別。一 資料分析 資料分析是乙個大的概念,理論上任何對資料進行計算 處理從...