髒資料監控與治理

2021-08-03 23:22:47 字數 527 閱讀 2243

請教乙個【髒資料監控與治理】問題,看看大夥平時都如何實踐?

1、相關背景:

(1)某次區域性故障,確認系統沒做變更,後來發現是一年多前**沒有【充分防禦】,當出現髒資料後會在一定範圍內引起異常並衝擊mysql,當時通過dal 臨時攔截異常sql 暫時解決;

(2)某次區域性抖動,下游系統發現上游系統會有一定概率傳不匹配值過來,後來發現是上游系統產生了部分髒資料所致,當時通過hotfix 暫時解決。

2、可選方案:

(1)充分防禦**:就是在各種可能產生髒資料的地方提前設卡堵截,例如:產品約束、設計約束(我們目前沒有要求mysql 表間強制約束)、開發檢測、各種臨時dml 檢測、etc.,缺點是:防得住一萬,防不住萬一,在業務交付節奏快、壓力大場景下,最有潔癖的工程師也可能守不住【充分防禦**】;如果類似上面#1 場景,bug 會潛伏相當長一段時間才可能被命中,回滾也解決不了;

(2)強制約束**:這個就不解釋了,優缺點都比較明顯;

(3)定時監控**:這個屬於事後動作,賭概率,如果髒資料產生瞬間導致系統秒掛,hotfix 也來不及。

資料治理 VS 公司治理 IT治理 數倉治理

如題,今天要聊得這個話題,包含了四個 治理 看完這張圖你有什麼想法,這張圖說明了什麼?它是在描述公司治理 it治理 數倉治理和資料治理的關係嗎?如果這張圖是在描述四個 治理 之間的層次結構,那你認為哪乙個結構是正確的呢?如果您是企業的高管,您會選擇哪個結構,來實施 治理 呢?01 資料治理 vs 公...

元資料與資料治理介紹

1.元資料 metadata 1.1 什麼是元資料 任何檔案系統中的資料分為資料和元資料。資料是指普通檔案中的實際資料,而元資料指用來描述乙個檔案的特徵的系統資料,諸如訪問許可權 檔案擁有者以及檔案資料塊的分布資訊 inode.等等。在集群檔案系統中,分布資訊包括檔案在磁碟上的位置以及磁碟在集群中的...

資料治理那些事兒 資料治理勢在必行

資料治理勢在必行 終於在那天人們回想起了 業務分析師不得不對it部門負責,因為他們不知道如何導航資訊管理系統資料庫,即使他們可以也不會被授予訪問許可權。it部門列印出月度報告並分發它們,就像摩西從石頭上下山一樣。隨著個人計算機的出現,權力的平衡從根本上發生了變化。突然之間,商人可以訪問電子 並可以建...