前瞻 Amundsen的資料血緣功能

2022-07-12 17:27:24 字數 674 閱讀 4950

目前,amundsen並不支援表級別和列級別的資料血緣功能,也沒有辦法展示資料的來龍去脈。

作為amundsen一項非常核心的功能,lineage功能早已經提上日程,並進入設計與研發階段。本位將展示此功能的一些基本設計。

作為這項新的功能,就涉及到了幾個新的概念。

lineage:這是乙個術語,代表了資料流的傳遞過程,從乙個實體到另乙個實體。特別是etl的過程,重點關注表到表,列到列的資料流轉過程。

頁面分為upstream以及downstream兩個選項卡。

每個選項卡將包含從中繼承或使用資料的表的列表。這允許使用者以非常簡單的方式檢視。

和表級別相似,可通過擴充套件列的元資料來檢視。

附一張apache atlas此功能的實現圖

什麼是大資料血緣?

今天跟乙個測試同事聊天 我 最近忙什麼專案呢?他 在測大資料血緣 我 啥?他 血緣啊 我 啥血緣?他 大資料血緣啊 我 血緣是啥?他 就是資料血緣啊 我 看看,天就是這麼被聊死的,我忍不住內心os 怪不得你禿頂還沒女朋友 我趕緊回來問問 google,分析了各路答案之後,可以總結成兩句話 通常我們會...

用於資料的XML 對XQuery的前瞻

xquery 工作草案以及它如何應用到用於資料的 xml 中的回顧 kevin williams kevin blueoxide.com 首席執行官,blue oxide technologies,llc 2002 年 2 月 本專欄文章介紹了 xml query 也稱為 xquery 工作草案的當...

大資料發展趨勢前瞻

近日,包括ccf 中國計算機學會 大資料專家委員會 idc公司 internet data center 網際網路資料中心 和gartner公司等多家國內外知名資訊科技研究機構均發布報告,對2019年乃至未來若干年的大資料產業發展趨勢做出 並對大資料令人矚目的應用領域進行樂觀而謹慎的推斷。ccf大資...