何為血緣分析?血緣分析能給我們帶來什麼影響?

2021-09-05 11:02:52 字數 1889 閱讀 9210

血緣分析是一種技術手段,用於對資料處理過程的全面追蹤,從而找到某個資料物件為起點的所有相關元資料物件以及這些元資料物件之間的關係。元資料物件之間的關係特指表示這些元資料物件的資料流輸入輸出關係。

血統分析採用圖形方式展示了以某個元資料為終止節點,其前與其有關係的所有元資料,反應資料的**與加工過程,使用血統分析可分析資料**和資料質量問題的定位。如果資料從a表變化到b表然後再變化到c表,檢視c表的血統分析時,就會顯示下方的。

影響分析採用圖形方式展示了以某個元資料為起始節點,其後與其有關係的所有元資料,反應資料的流向與加工過程,使用影響分析可分析資料流向和資料轉換中錯誤的定位。如果我們檢視a表的影響分析時,就會顯示上方的。

全鏈分析採用圖形方式展示了以某個元資料為目標節點,其前後與其有關係的所有元資料,反應資料的**與加工過程,使用全鏈分析可分析資料**和資料質量問題的定位。如果我們檢視b表的全鏈分析時,就會顯示上方的。

血緣分析能夠提供豐富的創新,其唯一的限制元素在於想象力。首先我們先看看在傳統意義上,血緣分析可以幫助我們解決什麼樣的問題。

類似於影響分析,當程式執行出錯時,可以方便找到問題的節點,並判斷出問題的原因以及後續的影響。

通過對元資料物件關聯的其他物件或參與過程、不同元資料物件之間進行分析,就可以看到它們之間的差異和關聯情況,包括名字、屬性以及資料血緣對系統其他部分的影響等。通過差異分析,業務人員可以對相似的指標從業務定義、資料生成將各個方向進行分析;技術人員可以針對相似的物理物件進行資訊辨別。

當某個指標出現較大的波動時,可進行溯源分析,判斷是由哪條資料發生變化所導致的。

判定系統和資料的健康情況,是否存在大量的冗餘資料、無效資料、無**資料、重複計算、系統資源浪費等問題。

通過血緣分析和元資料,可以從資料的集中度、分布、冗餘度、資料熱度、重要性等多角度進行評估分析,從而初步判斷資料的價值。

很多銀行在生成各類全域性指標的過程中,需要大量的計算工作,往往只能滿足t+1.5(1t代表1天)的要求,昨天的資料,要等到明天中午才能看。儘管這樣的效率已經不能夠讓業務部門滿意,技術部門因此承擔著巨大的壓力,最讓技術部門煩惱的還不只是如此,而是原始採集的資料可能因為各種各樣的問題,在資料處理中做很多調整。我們這些做技術的,都能理解技術部門煩惱的原因。試想一下,原本乙個5個小時左右的處理任務,在執行4.5小時以後,即將完成,突然有人告訴你,最初給定的資料有問題,現在必須得改,而且還希望你能在1個小時內把資料算出來。借助血緣分析,這個方案有很大的提公升空間。

如上圖所示,在生成指標b的過程,輸入表a進行了變更,如果通過血緣分析,了解到了a所影響的路徑範圍,那麼完全不必要重新做一次所有計算任務,而只是把a到b之間影響到的節點重新加工即可。這樣計算量可以大大縮減,而且提高任務的彈性時間,或許1小時內就能完成調整後的計算。

血緣分析並不是不僅限於技術層次的資料物件進行分析,如果把業務物件納入到血緣分析的環境下,或許能得到意外的收穫。快遞消費品公司擁有全國連鎖的門店網路,所銷售的商品肯定種類繁多。但對於公司決策層來說,如何分析每個季度的業務發展情況是一件非常痛苦的事情,尤其是關鍵指標的波動情況到底是什麼因素引起的,讓資料分析團隊每天要加班加點的去研究,非常受累,公司上層對團隊的工作效率和績效很不滿意。

我們可以通過血緣分析能力的引入,去更好的理解不同指標之間的關係,以及產生指標的資料源頭波動情況帶來的影響。從而能夠及時發現經營活動中存在的隱患,針對性的去解決問題。

血緣分析是對資料物件內在關係的一種對映,同時還結合了時間順序、遞次關係也能夠反映出一定的相關性和它的前因後果。因此應用的範圍可以說非常廣泛,也是我們資料資產治理的核心利器。

馬哈魚血緣分析工具部署介紹 win 10

隨著大資料技術的發展與普及,資料治理和資料質量變得越來越重要,資料血緣分析在業界悄然興起並得到了廣泛流行,馬哈魚是國內少有的一款專業且易用的血緣分析工具。本文介紹如何在您的windows 10環境中快速安裝部署馬哈魚。1 jdk安裝及配置 上述環境變數配置完畢後,要進行j a版本和jps命令檢查,否...

後端分析 前端分析 邊緣分析

後端分析 前端分析 邊緣分析 那麼什麼是邊緣分析呢?其實邊緣分析介於後端分析和前端分析之間。後端分析需要將原始資料上傳到後台伺服器,前端分析中原始資料在採集的地方就可以被分析,而邊緣分析要求先將乙個小範圍的待分析資料傳到乙個區域性中心 可以是乙個小型嵌入式伺服器,但是規模比後端分析中的伺服器小得多 ...

如何在分析崩潰的邊緣分析問題

當乙個人處理多個任務,不考慮併發和並行,只是單執行緒處理任務時 我,乙個默默無聞的程式設計師,既沒有給世界帶來更加豐富多彩的體驗,也沒有給公司帶來質一般的超越,我就是乙個默默無聞的人,我相信我是最棒的。因為我不會後悔自己所幹的任何一件事情,每一件事情我都把它當做我的億點點靈感,生活充滿了驚喜和挫折。...