資料質量一直是資料倉儲領域乙個比較令人頭疼的問題，因為資料倉儲上層對接很多業務系統，業務系統的髒資料，業務系統變更，都會直接影響資料倉儲的資料質量。因此資料倉儲的資料質量建設是一些公司的重點工作。
資料質量的高低代表了該資料滿足資料消費者期望的程度，這種程度基於他們對資料的使用預期。資料質量必須是可測量的，把測量的結果轉化為可以理解的和可重複的數字，使我們能夠在不同物件之間和跨越不同時間進行比較。資料質量管理是通過計畫、實施和控制活動，運用質量管理技術度量、評估、改進和保證資料的恰當使用。
1、準確性：資料不正確或描述物件過期
2、合規性：資料是否以非標準格式儲存
3、完備性：資料不存在
4、及時性：關鍵資料是否能夠及時傳遞到目標位置
5、一致性：資料衝突
6、重複性：記錄了重複資料
1、預設值
2、異常值
3、不一致的值
4、重複資料以及含有特殊符號（如#、￥、*）的資料
我們已經知道了髒資料有4個方面的內容，接下來我們逐一來看這些資料的產生原因，影響以及解決辦法。
第一、 預設值分析
產生原因：
1、有些資訊暫時無法獲取，或者獲取資訊的代價太大
2、有些資訊是被遺漏的，人為或者資訊採集機器故障
3、屬性值不存在，比如乙個未婚者配偶的姓名、乙個兒童的固定收入
影響：1、會丟失大量的有用資訊
2、資料額挖掘模型表現出的不確定性更加顯著，模型中蘊含的規律更加難以把握
3、包含空值的資料會使得建模過程陷入混亂，導致不可靠輸出
解決辦法：
通過簡單的統計分析，可以得到含有缺失值的屬性個數，以及每個屬性的未缺失數、缺失數和缺失率。刪除含有缺失值的記錄、對可能值進行插補和不處理三種情況。
第二、 異常值分析
產生原因：業務系統檢查不充分，導致異常資料輸入資料庫
影響：不對異常值進行處理會導致整個分析過程的結果出現很大偏差
解決辦法：可以先對變數做乙個描述性統計，進而檢視哪些資料是不合理的。最常用的統計量是最大值和最小值，用力啊判斷這個變數是否超出了合理的範圍。如果資料是符合正態分佈，在原則下，異常值被定義為一組測定值中與平均值的偏差超過3倍標準差的值，如果不符合正態分佈，也可以用原理平均值的多少倍標準差來描述。
第三、 不一致值分析
產生原因：不一致的資料產生主要發生在資料整合過程中，這可能是由於被挖掘的資料是來自不同的資料來源、對於重複性存放的資料未能進行一致性更新造成。例如，兩張表中都儲存了使用者的**號碼，但在使用者的號碼發生改變時只更新了一張表中的資料，那麼兩張表中就有了不一致的資料。
影響：直接對不一致的資料進行資料探勘，可能會產生與實際相悖的資料探勘結果。
解決辦法：注意資料抽取的規則，對於業務系統資料變動的控制應該保證資料倉儲中資料抽取最新資料
第四、 重複資料及特殊資料產生原因：
產生原因：業務系統中未進行檢查，使用者在錄入資料時多次儲存。或者因為年度資料清理導致。特殊字元主要在輸入時攜帶進入資料庫系統。
影響：統計結果不準確，造成資料倉儲中無法統計資料
解決辦法：在etl過程中過濾這一部分資料，特殊資料進行資料轉換。
大多數企業都沒有乙個很好的資料質量管理的機制，因為他們不理解其資料的價值，並且他們不認為資料是乙個組織的資產，而把資料看作建立它的部門領域內的東西。缺乏資料質量管理將導致髒資料、冗餘資料、不一致資料、無法整合、效能低下、可用性差、責任缺失、使用系統使用者日益不滿意it的效能。
在做資料分析之前一般都應該初步對資料進行評估。初步資料評估通過資料報告來完成的，資料報告通常在準備把資料存入資料倉儲時做一次，它是全面跨資料集的，它描述了資料結構、內容、規則、和關係的概況。通過應用統計方法返回一組關於資料的標準特徵，包括資料型別、字段長度、列基數、粒度、值域、格式模式、隱含的規則、跨列和跨表的資料關係，以及這些關係的基數。初步評估報告的目的是獲得對資料和環境的了解，並對資料的狀況進行描述。資料報告應該如下：
資料庫與資料倉儲對比
簡而言之，資料庫是面向事務的設計，資料倉儲是面向主題設計的。資料庫設計是盡量避免冗餘，一般採用符合正規化的規則來設計，資料倉儲在設計是有意引入冗餘，採用反正規化的方式來設計。資料庫是為捕獲資料而設計，資料倉儲是為分析資料而設計，它的兩個基本的元素是維表和事實表。維是看問題的角度，比如時間，部門，維表...
資料倉儲 資料倉儲部署
1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有，則把d database zyhip改為對應的路徑，有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...
快速對比資料
例項需求 日常工作中經常需要對比資料，例如如下的參會名單，現在需要對比兩屆參會名單的異同，100個人的名單，看得老眼昏花也未必能夠準確的找出差異。strcompare 減少 trim strremove vbnewline 新增 trim stradd endfunction sub demo ms...