什麼是元資料

2022-06-12 13:06:08 字數 2775 閱讀 4936

元資料是對我們整個系統裡面包含的各種結構的描述和說明,比如結構說明、屬性說明、或者相關資料,它有點類似現實世界中我們使用的某個產品的說明書,它會對我們所使用的產品進行乙個詳細的介紹和功能說明。通過元資料,我們可以了解到我們整個系統的內部組成,從而對我們系統所擁有的各種結構進行乙個量化的描述。比如我們系統有多少張表,這些表分別是什麼含義,甚至細化到我們每個表字段,比如字段含義是什麼,字段型別和長度是怎麼樣的,一些指標欄位的含義又是什麼。儲存的位置和方式又是怎樣的。

使用元資料能夠更好的幫助我們管理企業系統,它是資料質量提公升和資料治理的基礎。通過元資料,我們能夠更好的傳承我們的系統,我們可以通過元資料讓對系統不了解的人員或者新同事去快速了解我們整個系統的構成;通過元資料分類管理和檢索,我們可以快速檢索到關於系統任何方面想要了解的內容;元資料可以幫助我們理清資料的來龍去脈,從而讓我們可以對問題資料進行跟蹤,對指標資料**口徑進行追溯,對我們系統結構改動所造成的影響進行分析。

這個詳細內容可以參考

通常一款元資料管理工具應具備元模型設計、元資料採集、元資料分析、資料地圖展現等核心功能,我們試著改編小蝌蚪找媽媽這個故事,在改編的過程中理解這幾個核心功能,前提是我們假設所有動物共同構成了乙個龐大的資料體系,小蝌蚪們mother的具體資料已經存在於此體系之中(鯉魚系統、鱷魚系統、烏龜系統)。

先解釋一下元模型。如果說元資料是對資料的描述,那麼元模型就是對元資料的描述,是對元資料的進一步抽象,三者的關係如下圖所示:

再講一下元模型設計的過程。首先獲取到系統中的所有元資料,將這些元資料彙總並進行合理規劃,進一步抽象成元模型,從一定角度來說,可以把這個抽象的過程看成元模型設計的過程。

元模型定義了各種元資料的結構以及元資料之間的關係,是元資料管理的基礎,也就是說,如果我們想用元資料幫助小蝌蚪找媽媽,需要先設計出合理的元模型。下圖是我試著給它們設計出的元模型(對於企業來說,真正的元模型設計過程非常複雜,受多方面因素影響):

我們認為小蝌蚪的媽媽(mother)由若干個屬性(property)組成,每個屬性的名稱用name表示,每個屬性的型別用type表示。

現在元模型有了,下一步就是按照這個設計好的元模型採集小蝌蚪們需要的元資料資訊,也就是我們常說的元資料採集。

設計好元模型之後,元資料管理工具能通過全自動的方式採集到企業所需要的元資料,在這個故事中,按照我設計好的元模型,元資料管理工具的元資料採集結果應該如下圖所示:

小蝌蚪們拿著這份元資料再去針對性地檢索關於媽媽的資訊,就能一步到位,將目標直接鎖定到青蛙,整個故事將因元資料的出現而成功改寫。

說明:在真實的企業資料環境中,資料與元資料是已經存在於系統之中的,元資料管理就是根據企業現有的元資料設計出適合企業的元模型,然後將系統之中的元資料按照元模型集中彙總並關聯到一起,達到企業對資料統一管理與應用的目的。

a、血緣分析

假設動物園園長慢羊羊正管理著整個動物園的資料資訊,有一天園長發現自己這裡有個資料不對,需要找出錯誤資料的提供者並追究責任,那麼這個錯誤資料來自於哪個動物家庭呢?挨家挨戶去敲門核對資料顯然不夠高效,元資料管理工具的血緣分析功能會自動幫助園長分析這個錯誤資料的上游路徑,比如這個資料是由鯉魚媽媽交給鱷魚媽媽,鱷魚媽媽再提交給園長的,那麼此時園長只需要去敲鯉魚和鱷魚家的門就可以了。

b、影響分析

資料終於更正了,此時園長需要及時提醒大家這個資料的更正資訊,只需要通知這個資料影響到的動物家庭就可以了,這讓園長十分苦惱,整個動物園的資料傳遞這麼複雜,怎麼判斷哪個家庭會受到這個資料的影響呢,元資料管理工具的影響分析功能會分析出這個資料的影響範並能用視覺化的方式展現出來,園長只需要通知受影響的動物家庭就可以了。

c、資料地圖展現

在大資料時代的背景下,資料即資產,元資料實現了資訊的描述和分類的格式化,從而為機器處理創造了可能,它能幫助企業更好地對資料資產進行管理,理清資料之間的關係。元資料管理是企業提公升資料質量的基礎,也是企業資料治理中的關鍵環節。元資料管理不當,資訊很容易被丟失,進而不能對業務進行有效支撐,企業內部業務人員要識別相關資訊就會變得十分困難,終端使用者也將失去對資料的信任。

**於:

通過我們對元資料的解釋,元資料就是對資料描述,那麼講描述的話,每個人對乙個事務的描述都是不同的,會造成千奇百怪的描述。為了解決這個問題,就有了元資料標準。元資料標準包括元資料結構標準(即元資料報含那些專案,都柏林核心集,marc元素集)、元資料內容標準、元資料取值標準、元資料編碼標準(用於機讀記錄的儲存和交換,比如marc(machine readable cataloging), xml),所以標準不一樣,造成元資料記錄,檢索方式的不一樣。

所以一般我們看到有的服務介紹支援任意維度的元資料記錄,檢索就代表他支援任意標準元資料標準及元資料檢索方式。

什麼是元資料?

元資料經常被定義為 關於資料的資料 元資料是使資料可用的附加資訊 除了空間資料和屬性資料外 也就是為了運用這些資料所必須了解的一些資訊。元資料描述了關於資料的一組典型特徵但通常不包含資料本身。元資料報括 現有資料的詳細清單 名稱和資料項定義 名稱和定義的關鍵字列表 資料清單索引和訪問關鍵字列表 資料...

什麼是元資料

understanding metadata 深入理解元資料 什麼是元資料?what is metadata?元資料就是描述 解釋 定位或讓自己更易於檢索 利用或管理乙個資訊資源的結構化的資訊。元資料經常被稱作資料的資料 data about data 或資訊的資訊 information abou...

什麼是元資料

如果把資料比作人的話,元資料就像資料的 戶口本 表明資料的儲存位置 家庭住址 字段長度 年齡 字段型別 性別 資料之間關係 親屬關係 等,讓資料更容易理解 查詢 管理和使用。元資料報括什麼?元資料報括業務元資料 技術元資料和管理元資料。常見的業務元資料報括 業務定義 業務術語 業務規則 業務指標等。...