the 38 subsystems of etl
?by ralph kimball, 2023年4月 ?
6.審計維度生成系統（audit dimension assembler system）
?主要功能是將與事實表相關的元資料內容載入到一張審計維度表中，這樣終端使用者可以像檢視普通維度一樣檢視與事實表相關的元資料。
?7.資料質量過濾系統（quality screen handler system）
?主要功能是在etl的處理過程中自動的檢測所有的資料質量問題。檢測的結果將進入錯誤事件處理系統（詳見子系統8）。
?8.錯誤事件處理系統（error event hander system）
?主要功能是全面的記錄和報告在etl處理中的所有的錯誤事件。包括各類錯誤的分枝處理邏輯，還包括對etl處理中資料質量的實時監控。
?9.**鍵生成系統（surrogate key create system）
?主要功能是以一種魯棒的機制生成流水的**鍵，生成規則不依賴與任何維度，也不依賴與任何資料庫例項，可以支援分布式系統。
?10.緩慢變化維處理系統（slowly changing dimension processor，scd）
?主要功能是處理維度表的屬性隨時間變化的情況，處理方式為：型別1（直接覆蓋），型別2（生成新行），型別3（新增新列）。
?原文請參閱這裡。
?
linux的各個子系統
linux主要的子系統主要有cpu memory io network。在這些子系統中，它們之間相互之間高度依賴。任何乙個子系統的高負載都會引起其他子系統出現問題。例如 大量的頁調入請求對記憶體造成阻塞 網絡卡的大吞吐量造成cpu開銷 cpu開銷造成記憶體請求佇列 大量從記憶體來的磁碟寫請求造成cp...
34個ETL子系統 13 事實表載入
在這裡將事實表的載入單獨拿出來，主要是要強調如下三種不同型別的事實表。1 事務型事實表 以單個事務或者事件為單位，作為事實表的1行資料。2 週期快照事實表 事實表裡並不儲存全量的資料，只儲存固定事件間隔的資料，如每個月的資金餘額。3 累積週期快照事實表 當新的事實到達後，更新事實表的裡記錄。例如訂單...
34個ETL子系統 9 緩慢變更維度處理
緩慢變更維度 slowly change dimensions 是基於維度建模的多維資料倉儲的基礎。當維度表的資訊發生變化時，如何更新就成為乙個問題。根據kimball的經典著作，主要有3種方法來處理。type 1 覆蓋 直接用新值代替舊值。type 2 增加新行。將當前行的狀態設定為off，並設定...