為什麼要在大資料中心實施元資料管理

2021-10-09 15:54:25 字數 1694 閱讀 6438

在資料管理領域,我們一直致力於讓資料為我們提供價值,為此我們付出大量的努力和投入。

在過去二十年,各大企業都在著手搭建資料倉儲。當我們費盡艱辛搭建好資料倉儲並成功用於線上執行時,發現我們將花費更多時間為資料科學家、分析師做資料準備。分析他們的資料需求,提供閃閃發光的資料包表。這將占用資料維護人員 80% 的時間投入,這個投入是偏高的,包含如溝通、反查、校正等大量重複和不必要投入。

如何提公升資料管理能力?

我們需要回到這 80% 的投入,想盡一切辦法壓縮它們,這樣才能更快的提供資料服務。這時有種工具呈現出了優勢,那就是「元資料」。

元資料,通常的定義為「描述資料的資料」。更準確一點說:元資料是描述流程、資訊和物件的資料。這些描述涉及技術屬性特徵(例如,結構和行為)、業務定義(包括字典和分類法)以及操作特徵(如活動指標和使用歷史)。

我們用「元資料」去攻擊這「80%」。將元資料做集中式管理,梳理元資料樹,翻譯、標註、補充元資料內容。方便使用者查詢資料、理解資料、追蹤溯源以及規範專業知識。降低資料準備期間溝通、反查、校正等大量重複和不必要投入,這樣我們就可以留下更多的時間進行資料分析,不僅節省大量資金投入,還賺取更多的利潤。

以電信運營商為例,通過各個時期的 it 建設,公司有計費系統、網路系統、oa 系統、財會系統和客服系統等等。隨著公司資料倉儲專案建設完成,各系統核心業務資料都彙總到了大資料中心。本以為會大幅提公升 it 系統的「智慧型性」,沒想到基層的反應是根本用不起來。很多問題都**於:缺乏針對資料的指導,業務邏輯把控不準確,各部門指標不統一,導致資料準備的成本較高。

繼續以電信運營商為例,對於運營商的「當日使用者數」這個指標,各個部門給出的定義並不一樣:

在營業部每週例會上,各個部門對「當日使用者數」爭吵的面紅耳赤,擔負著業務壓力的業務人員很可能誰也說服不了對方來接受自己的數字,不得不要求資料維護人員額外投入工作量去解析差異根源,校準報表資料。

這個問題按照元資料技術的術語來講,就是在業務元資料上,大家對於業務的認識並不統一。這種問題會造成大量的時間成本浪費:

元資料管理平台的建設就是為了避免出現這樣的問題。建設元資料管理平台可以:

實現對技術元資料抽取、匯集、梳理,注釋相關庫表、列資訊。支援檢視完整資料鏈路和關聯圖譜。

梳理業務元資料,將相關的指標、流程在平台中建立起來,固化並傳播企業專業知識。

將業務元資料同技術元資料聯絡起來,聯通業務與技術,給業務管理人員和技術維護人員提供更詳盡的指導。

就上文的舉例來看,就可以在元資料管理平台上維護「當日使用者數」等易混淆指標,規範其資料**,將其同技術庫表元資料關聯起來並作詳盡的注釋。報表建設以元資料管理平台維護的業務知識為基準,這樣報表資料有章可循、有理有據,消弭不必要的爭吵,各部門專心分析報表資料,充分利用資料價值。

顯而易見,元資料管理平台梳理企業資產、規範專業知識。推動元資料管理可以顯著降低資料準備成本:

元資料管理是基礎

額外的,元資料管理作為底層基礎,能使我們在後續進行整合操作,如處理雲;在混合環境中做資料整合;在重複環境中做大資料時,獲取巨大的優勢。事實上,將資料更快的交付給企業才是重點。

綜上,為了更快的資料分析和支撐業務,it 中心的能力至關重要,因為它就是「80%」投入的**。那麼什麼使乙個成功的it中心變得更加卓越。

元資料管理

東軟 saca metadatamanagement 元資料管理平台軟體,致力於集中式元資料管理解決方案。廣泛適配主流資料庫、etl 工具、bi 工具等。支援智慧型語義檢索,提供資料剖析、全方位關聯分析、度量可調的血緣/影響分析、元資料質量自動分析等功能。

華為大資料中心山西 華為大資料中心落戶山西呂梁

山西新聞8月18日電 記者 宋立超 18日,華為山西 呂梁 大資料中心在山西省呂梁市正式落成掛牌。據介紹,華為山西 呂梁 大資料中心專案,是山西省呂梁市與華為技術 於2016年7月簽約合作 由呂梁市離石區2017年10月開工建設的省級重點專案。該專案占地51畝,總投資11.76億元,建成投用後,年產...

為什麼資料中心管理需要關心DevOps

雖然開發者和it運營專家已經對devops的概念興奮不已,資料中心運營商和執行在上游的基礎設施團隊還沒有參與對此的討論中。hewlett packard enterprise的著名技術專家jack story,認為這是乙個錯誤。人們之所以犯錯是因為有許多關於devops是什麼和不是什麼的困惑,許多關...

為什麼資料中心會越來越熱?

執行乙個成功的商業資料中心是資料中心運營商的期望,然而隨著競爭的加劇,其利潤率正在下降。因此,人們可能會認為資料中心運營商將採取一些簡單的措施將裝置的工作溫度提高幾度,這樣可以降低一些成本。根據美國通用服務管理局的調查依據,資料中心裝置的溫度每上公升一度,就會節約4 的電能。但是大多數資料中心的裝置...