在微博上看到七月演算法寒老師總結的完整機器的學習專案的工作流程，結合天池比賽的經歷寫的。現在機器學習應用非常流行，了解機器學習專案的流程，能幫助我們更好的使用機器學習工具來處理實際問題。
1. 理解實際問題，抽象為機器學習能處理的數學問題
理解實際業務場景問題是機器學習的第一步，機器學習中特徵工程和模型訓練都是非常費時的，深入理解要處理的問題，能避免走很多彎路。理解問題，包括明確可以獲得的資料，機器學習的目標是分類、回歸還是聚類。如果都不是的話，考慮將它們轉變為機器學習問題。參考機器學習分類能幫助從問題提煉出乙個合適的機器學習方法。
獲取資料報括獲取原始資料以及從原始資料中經過特徵工程從原始資料中提取訓練、測試資料。機器學習比賽中原始資料都是直接提供的，但是實際問題需要自己獲得原始資料。「 資料決定機器學習結果的上限，而演算法只是盡可能的逼近這個上限」，可見資料在機器學習中的作用。總的來說資料要有具有「代表性」，對於分類問題，資料偏斜不能過於嚴重，不同類別的資料數量不要有數個數量級的差距。不僅如此還要對評估資料的量級，樣本數量、特徵數量，估算訓練模型對記憶體的消耗。如果資料量太大可以考慮減少訓練樣本、降維或者使用分布式機器學習系統。
3. 特徵工程
特徵工程是非常能體現乙個機器學習者的功底的。特徵工程包括從原始資料中特徵構建、特徵提取、特徵選擇，非常有講究。深入理解實際業務場景下的問題，豐富的機器學習經驗能幫助我們更好的處理特徵工程。特徵工程做的好能發揮原始資料的最大效力，往往能夠使得演算法的效果和效能得到顯著的提公升，有時能使簡單的模型的效果比複雜的模型效果好。資料探勘的大部分時間就花在特徵工程上面，是機器學習非常基礎而又必備的步驟。資料預處理、資料清洗、篩選顯著特徵、摒棄非顯著特徵等等都非常重要，建議深入學習。
4. 模型訓練、診斷、調優
現在有很多的機器學習演算法的工具包，例如sklearn，使用非常方便，真正考驗水平的根據對演算法的理解調節引數，使模型達到最優。當然，能自己實現演算法的是最牛的。模型診斷中至關重要的是判斷過擬合、欠擬合，常見的方法是繪製學習曲線，交叉驗證。通過增加訓練的資料量、降低模型複雜度來降低過擬合的風險，提高特徵的數量和質量、增加模型複雜來防止欠擬合。診斷後的模型需要進行進一步調優，調優後的新模型需要重新診斷，這是乙個反覆迭代不斷逼近的過程，需要不斷的嘗試，進而達到最優的狀態。
5. 模型驗證、誤差分析
模型驗證和誤差分析也是機器學習中非常重要的一步，通過測試資料，驗證模型的有效性，觀察誤差樣本，分析誤差產生的原因，往往能使得我們找到提公升演算法效能的突破點。誤差分析主要是分析出誤差**與資料、特徵、演算法。
6 . 模型融合
一般來說實際中，成熟的機器演算法也就那麼些，提公升演算法的準確度主要方法是模型的前端（特徵工程、清洗、預處理、取樣）和後端的模型融合。在機器學習比賽中模型融合非常常見，基本都能使得效果有一定的提公升。這篇部落格中提到了模型融合的方法，主要包括一人一票的統一融合，線性融合和堆融合。
**
機器學習專案流程
1 抽象成數學問題 明確問題是進行機器學習的第一步。機器學習的訓練過程通常都是一件非常耗時的事情，胡亂嘗試時間成本是非常高的。這裡的抽象成數學問題，指的我們明確我們可以獲得什麼樣的資料，目標是乙個分類還是回歸或者是聚類的問題，如果都不是的話，如果劃歸為其中的某類問題。2 獲取資料 資料決定了機器學習...
機器學習專案流程清單
這份列表可以知道你部署自己的機器學習專案。總共有八個步驟 首先你要有乙個要解決的問題 獲取解決問題需要的資料 探索資料，對資料有乙個清楚的理解 預處理資料以便更好地輸入給機器學習演算法 探索不同的模型並且找到最好的那個 調整你的模型引數，並將這些引數組合成乙個更好的解決方案 展示你的結果 對你的系統...
機器學習的專案流程
明確問題是進行機器學習的第一步。機器學習的訓練過程通常都是一件非常耗時的事情，胡亂嘗試時間成本是非常高的。這裡的抽象成數學問題，指的明確我們可以獲得什麼樣的資料，抽象出的問題，是乙個分類還是回歸或者是聚類的問題。資料決定了機器學習結果的上限，而演算法只是盡可能逼近這個上限。資料要有代表性，否則必然會...