資料清洗規則

2021-09-23 20:39:44 字數 454 閱讀 5601

資料清洗規則

一、 規則總覽

資料清洗針對的物件主要有四個——缺失值、異常值、重複值和無用值,針對不同物件的不同形式,採取相應的方法進行處理,從而得到期望的資料。

1.1 非空校核

要求欄位為非空的情況下,對該字段資料進行校核。如果資料為空,需要進行相應處理。

1.2 重複校核

多個業務系統中同類資料經過清洗後,在統一儲存時,為保證主鍵唯一性,需進行校核工作。

1.3 異常值校核

包括取值錯誤、格式錯誤、邏輯錯誤、資料不一致等,需根據具體情況進行校核及修正。

1.4 無用值校核

目前業務中不需要使用到的、無價值的資料字段,需要進行校核及去除。

2.2重複值清洗

重複資料可以進行去重或者進行標記。

2.4.無用資料清洗

無用資料字段可以直接進行刪除。但在進行該過程的時候,要注意備份原始資料。

資料清洗之資料清洗概述

從廣泛的意義上來講,資料是乙個寬泛的概念,包括但不限於 我們要了解資料清洗,就需理解資料的內涵和外延 常見的資料有 其中,比較重要比較常見的分析資料是 資料。這裡重點介紹一些關於 資料的內容。資料 資料物件由屬性 attributes 及其值 value 構成 資料的特徵 什麼是資料清洗 資料清洗是...

excel資料清洗 資料清洗excel

資料清洗與加工 目的 獲得具備準確性 完整性和一致性符合分析質量的資料。資料處理第一步 資料清洗 1 資料去重 方式1 刪除重複項功能。適用於有重複項出現的列,並且這樣的重複無意義,比如標識列。操作 資料 選項卡下的 刪除重複值 按鈕 方式2 排序刪除重複項。適用於需要人工判斷無用重複項的資料,即將...

資料清洗技術 Excel資料清洗

1 了解 excel 的基本功能和用途 2 掌握 excel 資料清洗的基本步驟 3 了解 excel 資料清洗的方法 4 掌握 excel 常用的資料分析函式 5 掌握 excel 資料清洗常用的函式 作業系統 windows xp 7 8 10 excel版本 2007 2019 jdk版本 1...