資料倉儲etl開發如何進行測試？
資料倉儲etl開發如何進行測試？
由於資料倉儲中資料量比較龐大，還有為了安全因素，一般在開發庫和測試庫資料不完全或者和生成庫（正式庫）不一致，導致在測試庫和開發庫中進行**測試存在一定的問題。
我們知道在軟體開發過程中有很多測試的方法，按照測試方法可以分為白盒測試和黑盒測試。 白盒測試也稱結構測試或邏輯驅動測試，是指基於乙個應用**的內部邏輯知識，即基於覆蓋全部**、分支、路徑、條件的測試，它是知道產品內部工作過程，可 通過測試來檢測產品內部動作是否按照規格說明書的規定正常進行，按照程式內部的結構測試程式，檢驗程式中的每條通路是否都有能按預定要求正確工作，而不顧 它的功能，白盒測試的主要方法有邏輯驅動、基路測試等，主要用於軟體驗證。黑盒測試是指不基於內部設計和**的任何知識，而基於需求和功能性的測試，黑盒 測試也稱功能測試或資料驅動測試，它是在已知產品所應具有的功能，通過測試來檢測每個功能是否都能正常使用，在測試時，把程式看作乙個不能開啟的黑盆子， 在完全不考慮程式內部結構和內部特性的情況下，測試者在程式介面進行測試，它只檢查程式功能是否按照需求規格說明書的規定正常使用，程式是否能適當地接收 輸入數鋸而產生正確的輸出資訊，並且保持外部資訊（如資料庫或檔案）的完整性。黑盒測試方法主要有等價類劃分、邊值分析、因—果圖、錯誤推測等，主要用於 軟體確認測試。
可是在etl(pl/sql)開發中有什麼好的測試方法呢？
個人認為etl測試也應該有單元測試和整合測試等概念劃分。
單元測試用於確認每個程式單元模組內部邏輯的正確性且符合需求規格要求;
整合測試是整個系統整合過程中所進行的測試，用於測試系統內部各單元模組能否在規定的硬體環境中按照需求規格正常運作，其主要目的是保證系統內部各程式單元模組之間的連通性和執行正確性。
具體的測試方法有**review（如procedure 中的where條件檢查等），邊界值測試，錯誤猜測方法，etl的粒度和任務排程檢測，特殊值測試，空值的處理等等。
這裡是我想到的一些方法，拋磚引玉，期待大家發表一下自己的意見，謝謝。
資料倉儲 ETL
etl這個過程可以說下整套資料流程下來最枯燥也是最耗時間的流程，但是也是最重要的。很多時候我們不缺資料，缺的是好資料，而etl的結果則導致下游成員的資料質量。etl是貫穿數倉的整個環節，不是說只是在某乙個地方才使用的。etl工作的實質就是從各個資料來源提取資料，對資料進行轉換，並最終載入填充資料到資...
資料倉儲 四 之ETL開發
概述 etl是資料倉儲的後台，主要包含抽取 清洗 規範化 提交四個步驟，傳統資料倉儲一般分為四層模型。分層的作用 stg層 在維度建模階段已經確定了源系統，而且對源系統進行了資料評估。stg層是根據cdc策略把各個源系統的資料抽取到資料倉儲中。stg層主要是面向批處理的形式，如果是根據日誌資訊實時同...
ETL（資料倉儲技術）
etl，是英文 extract transform load 的縮寫，用來描述將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程。etl一詞較常用在 資料倉儲，但其物件並不限於資料倉儲。etl是構建資料倉儲的重要一環，使用者從 資料來源抽取出所需的資料，經...