資料裝載之資料校驗

2021-06-08 01:20:19 字數 547 閱讀 8956

在資料遷移或資料裝載中,如何判斷資料的正確性?有些資料可能沒有被遷移,已經遷移成功的資料可能某些欄位不一致。在大資料量的情況下,資料的校驗還是很有必要的。

現在說一下對單錶驗證的一些簡單想法:

1. 校驗和法

這種做法簡單直接。在源表上通過自定義的函式生成乙個校驗和,然後資料匯出後,在目標表生成乙個校驗和。兩個檢驗和進行一一對比即可。這裡一一對比要配合主鍵,另外要考慮到源庫和目的庫可能是不能的資料庫。

校驗和法基本能確保每條資料的正確性。

2. 查詢覆蓋法

假設已經有乙個查詢sql集合,我們可以定義查詢結果輸出的統一格式。在源表上跑這個sql集合得到乙個標準輸出,再在目的表上跑這個sql集合得到乙個輸出。兩相比較來進行驗證。

校驗的強度取決於sql集合的覆蓋,一般這些sql集合由人來編寫。不過最好能自動生成,定義一些規則,結合表的定義來生成。比如count(*)得到總條數,另外針對不同型別來max,min,sum等,還有distinct,group by。盡可能做到較全的覆蓋!

這種情況也適合多表驗證,各種約束引用,可以制定較複雜的規則來生成sql覆蓋。

資料校驗之海明碼

在計算機的世界裡,所有資料都以二進位制的形式存在,而網際網路的出現讓計算機之間的溝通成為可能,它們彼此通過相互傳遞資料實現對話.那怎麼確保一台計算機向另一台計算機傳送的資料沒有因為網路波動造成資料跳變呢?因此為了確保每台計算機接受到的資料都是準確無誤的,我們需要創造一種校驗機制以保證傳輸資料的正確性...

A 資料校驗

我們利用上面的ajax開發框架來做兩個簡單的應用 在之間增加一段form表單 在開發框架的基礎上再增加乙個呼叫函式 function usercheck else 看看sample1 2.jsp做了什麼 page contenttype text html charset gb2312 errorp...

資料校驗 CRC校驗

工作原理 crc即迴圈冗餘校驗碼 cyclic redundancy check 是資料通訊領域中最常用的一種查錯校驗碼,其特徵是資訊字段和校驗欄位的長度可以任意選定。迴圈冗餘檢查 crc 是一種資料傳輸檢錯功能,對資料進行多項式計算,並將得到的結果附在幀的後面,接收裝置也執行類似的演算法,以保證資...