機器學習實用流程

2022-03-18 22:35:46 字數 1333 閱讀 8491

1 抽象成數學問題

明確問題是進行機器學習的第一步。機器學習的訓練過程通常都是一件非常耗時的事情,胡亂嘗試時間成本是非常高的。

這裡的抽象成數學問題,指的我們明確我們可以獲得什麼樣的資料,目標是乙個分類還是回歸或者是聚類的問題,如果都不是的話,如果劃歸為其中的某類問題。

2 獲取資料

資料決定了機器學習結果的上限,而演算法只是盡可能逼近這個上限。

資料要有代表性,否則必然會過擬合。

而且對於分類問題,資料偏斜不能過於嚴重,不同類別的資料數量不要有數個數量級的差距。

而且還要對資料的量級有乙個評估,多少個樣本,多少個特徵,可以估算出其對記憶體的消耗程度,判斷訓練過程中記憶體是否能夠放得下。如果放不下就得考慮改進演算法或者使用一些降維的技巧了。如果資料量實在太大,那就要考慮分布式了。

3 特徵預處理與特徵選擇

良好的資料要能夠提取出良好的特徵才能真正發揮效力。

特徵預處理、資料清洗是很關鍵的步驟,往往能夠使得演算法的效果和效能得到顯著提高。歸一化、離散化、因子化、缺失值處理、去除共線性等,資料探勘過程中很多時間就花在它們上面。這些工作簡單可複製,收益穩定可預期,是機器學習的基礎必備步驟。

篩選出顯著特徵、摒棄非顯著特徵,需要機器學習工程師反覆理解業務。這對很多結果有決定性的影響。特徵選擇好了,非常簡單的演算法也能得出良好、穩定的結果。這需要運用特徵有效性分析的相關技術,如相關係數、卡方檢驗、平均互資訊、條件熵、後驗概率、邏輯回歸權重等方法。

4 訓練模型與調優

直到這一步才用到我們上面說的演算法進行訓練。現在很多演算法都能夠封裝成黑盒供人使用。但是真正考驗水平的是調整這些演算法的(超)引數,使得結果變得更加優良。這需要我們對演算法的原理有深入的理解。理解越深入,就越能發現問題的癥結,提出良好的調優方案。

5 模型診斷

如何確定模型調優的方向與思路呢?這就需要對模型進行診斷的技術。

過擬合、欠擬合 判斷是模型診斷中至關重要的一步。常見的方法如交叉驗證,繪製學習曲線等。過擬合的基本調優思路是增加資料量,降低模型複雜度。欠擬合的基本調優思路是提高特徵數量和質量,增加模型複雜度。

誤差分析 也是機器學習至關重要的步驟。通過觀察誤差樣本,全面分析誤差產生誤差的原因:是引數的問題還是演算法選擇的問題,是特徵的問題還是資料本身的問題……

診斷後的模型需要進行調優,調優後的新模型需要重新進行診斷,這是乙個反覆迭代不斷逼近的過程,需要不斷地嘗試, 進而達到最優狀態。

6 模型融合

一般來說,模型融合後都能使得效果有一定提公升。而且效果很好。

工程上,主要提公升演算法準確度的方法是分別在模型的前端(特徵清洗和預處理,不同的取樣模式)與後端(模型融合)上下功夫。因為他們比較標準可複製,效果比較穩定。而直接調參的工作不會很多,畢竟大量資料訓練起來太慢了,而且效果難以保證。

機器學習流程

機器學習其實就是利用現有資料,設計出演算法模型的過程。其流程如下 1 獲取資料 2 資料分析 3 設計演算法 4 測試演算法 5 驗證評估 6 提交演算法 對資料的處理分為四種情況 分類 聚類 回歸 降維。其中又以分類為主。分類思想主要分為兩種 1 利用歐式距離判定樣本屬於哪一類。2 利用概率大小進...

機器學習流程介紹

本文只是對機器學習的流程做乙個簡單的描述,每個環節涉及的東西很多,不是本文介紹的範圍,對其中比較重要的知識點稍微提及一下,具體的可以參考其他文章學習。先上一張流程圖。機器學習從資料準備到上線流程 接下來根據流程圖,逐步分析機器學習的流程。1.資料來源 機器學習的第乙個步驟就是收集資料,這一步非常重要...

機器學習專案流程

在微博上看到七月演算法寒老師總結的完整機器的學習專案的工作流程,結合天池比賽的經歷寫的。現在機器學習應用非常流行,了解機器學習專案的流程,能幫助我們更好的使用機器學習工具來處理實際問題。1.理解實際問題,抽象為機器學習能處理的數學問題 理解實際業務場景問題是機器學習的第一步,機器學習中特徵工程和模型...