python機器學習的開發流程

2021-08-21 20:30:34 字數 769 閱讀 6214

標準機器學習的開發程式設計流程:

1、獲取資料(爬蟲、資料載入、業務部門獲取)

2、資料建模(摘選樣本資料(特徵、目標))

3、資料清洗(異常值檢測和過濾)

4、特徵工程(歸一化處理:提高演算法模型的精度)

​ 歸一化目的:使得每種特徵資料的量級(權重)保持大致一致

​ 歸一化方法(常用):1.普通歸一化處理 2. 區歸一化 處理 3.使用函式

5、模型選擇(分類、回歸)

6、模型評估(打分,分類邊界圖,殘差直方圖)

7、演算法調優(調整模型物件的引數值)

8、繪圖

注意:以下命令都是在瀏覽器中輸入。  

cmd命令視窗輸入:jupyter notebook

開啟瀏覽器輸入**http://localhost:8888/

需求:讀取adult.txt檔案,最後一列是年收入,並使用knn演算法訓練模型,然後使用模型**乙個人的年收入是否大於50 。

說明:獲取年齡、教育程度、職位、每週工作時間作為機器學習資料 獲取薪水作為對應結果 。

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

from pandas import dataframe,series

#建立k-近鄰演算法模型

from sklearn.neighbors import kneigh

03 機器學習開發流程

上一章 02 機器學習理性認識 讓大家對機器學習的相關演算法有了乙個初步的認識和了解。筆者的寫作思路是先把機器學習的每個大分類,以及大分類下的中小分類做乙個總體介紹。當後續對具體的演算法模型講解後,大家再回過頭對照今天講過的這些分類,你們會發現整個文集提供給你們的是乙個完整的知識體系。昨天的內容發布...

機器學習 演算法簡介以及開發流程

演算法以及開發流程 明確的幾點問題 1.演算法是核心,資料和計算是基礎 2.找準定位,知道演算法原理,學會運用。3.學會分析問題,使用機器學習演算法的目的,在什麼情況下運用。4.掌握演算法的基本思想,學會對問題用相應的演算法解決。5.學會利用庫和框架解決問題。演算法判別依據 資料型別判斷 離散型資料...

機器學習流程

機器學習其實就是利用現有資料,設計出演算法模型的過程。其流程如下 1 獲取資料 2 資料分析 3 設計演算法 4 測試演算法 5 驗證評估 6 提交演算法 對資料的處理分為四種情況 分類 聚類 回歸 降維。其中又以分類為主。分類思想主要分為兩種 1 利用歐式距離判定樣本屬於哪一類。2 利用概率大小進...