資料自動化整理

理念：自動化資料整理將是通過機器學習方法來實現資料自動化預處理。

資料特徵工程可能在未來的資料科學中發揮重要作用。

1.洞察資料特徵

洞察資料特徵目的是最大限度地從原始資料中提取特徵以供演算法和模型使用。當資料預處理完成後，我們需要選擇有意義的特徵輸入機器學習的演算法和模型進行訓練。通常來說，從兩個方面考慮來選擇特徵：

· 特徵是否發散：如果乙個特徵不發散，例如方差接近於0，也就是說樣本在這個特徵上基本上沒有差異，這個特徵對於樣本的區分並沒有什麼用。

2.自動化模型選取；

選取什麼特徵，利用什麼模型去對資料進行自動化整理，這個過程由建模者觀察資料來確定要使用的最佳演算法，然後將資訊放入模型中。而自動化的做法是機器為資料選擇最佳演算法，並簡化數學複雜性，使模型和結果易於理解。

3.資料自動化質量檢查

制定相關規則及訓練通過資料質量規則。

實現：資料整理的自動化處於早期階段，並將隨著進一步的技術的開發和應用而不斷發展。我們先實現資料科學元件單一自動化，然後將每個單獨的自動化零件組合在一起，以形成乙個連貫的系統。下一步是建立更多通用平台，可以自動整合資料科學系統的所有方面。這個過程可能很漫長，但結果可能在整個商業世界是強大的。

目標：1.首先將資料進行分析，採用最簡單的方法進行統計； 2.

之後運用更多的數學方法，篩選最佳分析，提取特徵； 3.

最後，最佳的數學模型便會生成理想的資料整理結果。

場景：1.

結構化資料整理

資料來源：結構化資料庫 2.

網路資料

資料來源：網頁資料 3.

工商失聯企業分析系統