1.dwi
dwi：資料湖、資料砥柱，一般存放在hdfs
資料倉儲的基礎資料**，各種雜七雜八的資料
關鍵點：資料清洗、資料整合、異常處理、增量獲取
etl：e-資料抽取、資料清潔、格式轉換，t-生成**鍵id、遵循三正規化，l-資料載入
2.dwr
dwr：資料倉儲的中間層，星型結構
根據業務劃分：維度資料(區域、專案、工廠等)、交易資料(存量、發貨、訂單等)
3.dm
dm：資料市場
按照業務組劃分為9大責任中心(區域、系統部、集團、運營商、企業網、消費者、費用中心、dm base、dm sum、dm high level fact)
業務中正真值錢的資料應該是dm，資料分析預警等系統一般就是根據dm資料為基礎做定製化分析
資料倉儲 ETL
etl這個過程可以說下整套資料流程下來最枯燥也是最耗時間的流程，但是也是最重要的。很多時候我們不缺資料，缺的是好資料，而etl的結果則導致下游成員的資料質量。etl是貫穿數倉的整個環節，不是說只是在某乙個地方才使用的。etl工作的實質就是從各個資料來源提取資料，對資料進行轉換，並最終載入填充資料到資...
ETL（資料倉儲技術）
etl，是英文 extract transform load 的縮寫，用來描述將資料從 端經過抽取 extract 轉換 transform 載入 load 至目的端的過程。etl一詞較常用在 資料倉儲，但其物件並不限於資料倉儲。etl是構建資料倉儲的重要一環，使用者從 資料來源抽取出所需的資料，經...
etl構建資料倉儲五步法 資料倉儲 ETL
資料倉儲是由外部多個資料來源彙總整合的，整合 這個詞代表並不是簡單的堆積，而是需要進行一些邏輯處理，數倉的整合就是這樣，因為外部資料來源都是異構的，所以需要做很多任務作才可以進行整合，這些工作包括但不限於 欄位的意義統一，輕度統計等。抽取資料 有如下策略 時間戳判斷 掃瞄增量檔案 日誌檔案，審計檔案...