資料清洗資料清洗流程及經驗

預處理階段主要做兩件事情：

一是將資料匯入處理工具。

二是看資料。包含兩個部分：一是看元資料，包括字段解釋、資料**、**表等等一切描述資料的資訊；二是抽取一部分資料，對資料本身有乙個直觀的了解，並且初步發現一些問題，為之後的處理做準備。

四個步驟：

1、確定缺失值範圍：對每個欄位都計算其缺失值比例，然後按照缺失比例和字段重要性，分別制定策略。

2、去除不需要的字段：直接刪掉即可……但強烈建議清洗每做一步都備份一下，或者在小規模資料上試驗成功再處理全量資料，不然刪錯了會追悔莫及（多說一句，寫sql的時候delete一定要配where！）。

3、填充缺失內容：某些缺失值可以進行填充，方法有以下三種：

以業務知識或經驗推測填充缺失值

以同一指標的計算結果（均值、中位數、眾數等）填充缺失值

以不同指標的計算結果填充缺失值

4、重新取數：如果某些指標非常重要又缺失率高，那就需要和業務人員了解，是否有其他渠道可以取到相關資料。

格式內容問題有以下幾類：

1、時間、日期、數值、全半形等顯示格式不一致

解決方法：將其處理成一致的某種格式。

2、內容中有不該存在的字元

某些內容可能只包括一部分字元，比如身份證號是數字+字母。最典型的就是頭、尾、中間的空格，也可能出現姓名中存在數字符號、身份證號**現漢字等問題。這種情況下，需要以半自動校驗半人工方式來找出可能存在的問題，並去除不需要的字元。

3、內容與該字段應有內容不符

姓名寫了性別，身份證號寫了手機號等等，均屬這種問題。但該問題特殊性在於：並不能簡單的以刪除來處理，因為成因有可能是人工填寫錯誤，也有可能是前端沒有校驗，還有可能是匯入資料時部分或全部存在列沒有對齊的問題，因此要詳細識別問題型別。

格式內容問題是比較細節的問題，但很多分析失誤都是栽在這個坑上，比如跨表關聯或vlookup失敗（多個空格導致工具認為「陳丹奕」和「陳丹奕」不是乙個人）、統計值不全（數字裡摻個字母當然求和時結果有問題）、模型輸出失敗或效果不好（資料對錯列了，把日期和年齡混了，so……）。

這部分的工作是去掉一些使用簡單邏輯推理就可以直接發現問題的資料，防止分析結果走偏。主要包含以下幾個步驟：

1、去重

強烈建議把去重放在格式內容清洗之後（多個空格導致工具認為「陳丹奕」和「陳丹奕」不是乙個人，去重失敗）。並不是所有的重複都能這麼簡單的去掉……

2、去除不合理值並非所有問題都能夠一次找出，我們能做的是使用工具和方法，儘量減少問題出現的可能性，使分析過程更為高效。

把不要的字段刪了。

但是也有很多問題，例如：

1.把看上去不需要但實際上對業務很重要的字段刪了；

2.某個字段覺得有用，但又沒想好怎麼用，不知道是否該刪；

3.一時看走眼，刪錯字段了。

前兩種情況建議是：如果資料量沒有大到不刪字段就沒辦法處理的程度，那麼能不刪的字段盡量不刪。第三種情況，請勤備份資料……

如果你的資料有多個**，那麼有必要進行關聯性驗證。例如，你有汽車的線下購買資訊，也有**客服問卷資訊，兩者通過姓名和手機號關聯，那麼要看一下，同乙個人線下登記的車輛資訊和線上問卷問出來的車輛資訊是不是同一輛，如果不是（業務流程設計不好是有可能出現這種問題的！），那麼需要調整或去除資料。

嚴格意義上來說，這已經脫離資料清洗的範疇了，而且關聯資料變動在資料庫模型中就應該涉及。但是，多個**的資料整合是非常複雜的工作，一定要注意資料之間的關聯性，盡量在分析過程中不要出現資料之間互相矛盾，而你卻毫無察覺的情況。

資料清洗 資料清洗流程及經驗