1.資料科學過程
（1）問題陳述。識別出你要解決的問題是什麼。
（2）資料收集與儲存。資料從何而來？它們在**存放？格式又是什麼？
（3）資料清洗。資料需要修改嗎？有什麼需要刪除嗎？資料應該怎麼調整才能適用於接下來的分析和挖掘。
（4）資料分析和機器學習。資料需要哪些處理？需要怎樣的轉換？使用什麼樣的演算法？運用什麼樣的公式？使用什麼機器學習演算法？順序是怎樣的？
（5）資料展現和視覺化實現。資料處理結果應該怎樣呈現出來？資料表、圖畫、圖表、網路圖、文字雲、地圖？最佳的視覺化方案？更好的替代方案？
（6）問題決議。第一步問題的答案是什麼？還有哪些不足？這個方法能徹底解決問題嗎？接下來要做什麼？
python資料清洗與預處理實戰
髒資料可以理解為帶有不整潔程度的原始資料。原始資料的整潔程度由資料採集質量所決定。髒資料的表現形式五花八門，如若資料採集質量不過關，拿到的原始資料內容只有更差沒有最差。髒資料的表現形式包括 資料採集完後拿到的原始資料到建模前的資料 there is a long way to go.從資料分析的角度...
資料分析實戰之資料清洗
在資料分析過程中不論是時間還是功夫，資料清洗大概佔到了80 一 資料質量的準則 完全合一 1 完整性 單條字段是否存在空值，統計的字段是否完善 2 全面性 觀察某一列的全部數值，根據常識判斷該列是否有問題，比如 資料定義 單位標識 數值本身。3 合法性 資料的型別 內容 大小的合法性 4 唯一性 資...
資料探索與資料清洗
一 資料探索 資料探索的目的是及早的發現資料的一些簡單規律或特徵,資料清洗的目的是留下可靠的資料,避免髒資料的干擾.資料探索的核心是 資料質量分析 跟資料清洗密切聯絡 資料特徵分析 分布,對比,週期性,相關性,常見統計量等 二 資料清洗 資料清洗可以按如下步驟進行 缺失值處理 通過describe與...