業務元資料管理 洞悉資料背後的業務含義

2021-09-23 02:03:47 字數 3347 閱讀 6076

本文講的是業務元資料管理——洞悉資料背後的業務含義,目前,很多企業已經意識到,由於業務人員看不懂系統中儲存的資料,所以難以通過大資料來提公升業務創新能力,本文就來談談解決這個問題的方法——業務元資料管理。(同系列文章王軒的文章《面向業務的企業元資料管理》)

目錄:一、計算機和人之間出現「語義屏障」

二、業務元資料——資料背後的業務上下文

三、基於本體的業務元資料管理實踐

四、總結與展望

一、計算機和人之間出現「語義屏障」

大概70多年前的乙個情人節,eniac誕生在了美國賓夕法尼亞大學,從此人類開啟了在計算機「智慧型化」上的探索,「語言識別」、「影象識別」、「自然語言處理」各種技術日益成熟,我們幾乎可以往計算機系統中輸入任何想輸入的資訊,但是反過來,我們能否正確理解計算機的輸出資料?

隨著資料的增多,我們發現已經很難弄清楚這些資料背後的具體含義——我們和計算機系統之間的語義屏障已經產生。語義屏障的存在,給企業帶來了一系列問題:

業務理解不一致

員工對業務的理解不一致的現象在企業中非常普遍。對業務術語理解的不一致讓員工無法交流,產生誤會,降低溝通效率;在會議決策時,領導對業務理解不一致有可能導致錯誤決策;在部門統計時,對業務定義的理解不一致將會導致統計方式不一致,造成統計不準確,甚至會影響到企業多個指標和kpi的統計結果。

查詢資訊很困難

大資料時代,企業資料量呈爆發式增長,員工查詢資訊越來越像「大海撈針」。據統計,企業員工每天要花費15%——35%的時間在海量資訊中查詢需要的資料,只有少於50%的搜尋結果是滿足需求的,大多情況下的查詢結果都不盡如人意;因為查詢不到已經儲存過的資訊,企業經常會做一些不必要的重複工作。

人員流失損失大

據統計,企業平均每年的人員離職率在12%左右,因為沒有一套業務上的管理辦法,企業經常要在很懂「計算機」的員工離職後,花費大量的時間和成本來給新人做培訓,造成嚴重的知識流失和金錢消耗。

以上一系列問題的出現,歸根結底是因為企業員工「讀不懂」計算機中的資料,企業需要打破計算機與人之間的語義屏障,將計算機輸出變成業務人員可理解的業務語言,避免這些問題的發生,業務元資料正是解決問題的關鍵。

下圖是兩個具體的例子:

左圖是某建築公司的一張報表,我們可以看到,報表中包含了報表名稱、填報時間、製表人和報表表頭名稱等,這些都是**值的業務元資料;右圖是某公司新員工入職申請表,和報表類似,申請表名稱、姓名、性別等申請表各欄名稱都是業務元資料。

目前,大部分企業只關注到了技術元資料,忽略了對業務元資料的管理。技術元資料缺少業務含義,很難被技術人員之外的人所理解,比如可能用「rec_temp_fld_a」表示某個字段,用「236in_tab」表示資料庫中的某張表,在不被理解的情況下很難給企業業務帶來收益。業務元資料能代表資料背後的業務含義,企業在對技術元資料管理的同時需要注重業務元資料的管理。

與技術元資料相比,業務元資料**更複雜,分散在企業環境的方方面面,為實現業務元資料的管理,企業需要有效的方法和手段。

三、基於本體的業務元資料管理實踐

前業界比較認可的本體定義是:共享概念模型的明確的形式化規範說明。其中,概念模型是將客觀世界中的一些現象抽象出來得到的模型,是客觀世界的抽象和簡化;共享是指,本體中所描述的知識不是個人專有的而是領域公認的;明確是說,對於所使用的概念的型別以及概念用法的約束都明確地加以定義;形式化是指,本體是機器可讀的,同時也是人類可理解的。

總結之,本體能夠對領域中的客體進行分析,並找出這些客體之間的關係,從而明確、形式化地描述這個領域中的業務。

下圖是「合同」本體的視覺化表示,從圖中可以看到「合同」這個本體中包含了「合同許可權」、「合同條款」、「合同義務」等大量與合同有關的概念和「conformed by」、「implied by」、「has terms」等概念之間的關係,能夠讓人們充分理解合同相關業務。因為本體是機器可讀的,這意味著,若企業能夠構建出業務相關的所有本體,通過本體的方式來管理業務元資料,就可以消除計算機與人類之間的語義屏障。

通過本體來管理業務元資料需要注意三個關鍵點:本體的構建、本體的儲存、本體的使用。

1、構建——採用元資料管理自動化構建本體

傳統構建本體的方式是根據業務專家的建議,人工梳理出業務領域的本體,這種人工梳理的方式存在一系列問題:

效率問題:在大資料環境下,資料複雜,**多樣,業務領域持續增多,人工梳理的速度已經不能滿足企業需求。

工具問題:業務專家缺少具備自動化能力的工具,導致複雜本體的構建要消耗大量的時間和資源。

第三方資料:企業專家不了解第三方資料的相關業務,很難完成相關本體的構建。

在大資料環境下企業需要新的本體構建方式,企業可以通過元資料管理工具自動抽取企業應用系統和各類文件中的元資料,初步形成本體之後,再交給業務專家二次審核,最後完成企業本體的構建。

2、儲存——以mof為基礎實現owl規範儲存本體

本體的儲存需要依據一定的標準,同時儲存的方式需要具備靈活性和擴充套件性。owl規範是w3c推薦的規範,是目前廣泛認可的本體儲存與交換規範,由於我們的元資料基於mof,可以在元模型中建立owl的元模型,所以能實現本體在元資料庫內的儲存和管理。

由於技術元資料和本體都已經儲存在元資料庫中,而本體本來也是從技術元資料中抽取出來的,這樣很容易獲得本體和技術元資料之間的關聯,讓業務人員清晰地了解資料背後的業務含義。

3、使用——通過業務元資料服務,獲得業務上下文

最後,需要把業務元資料的服務提供給所有業務人員,內嵌在業務人員的工作環境中,使業務人員能夠快速地從業務角度理解資料,從而幫助業務人員更好地使用資料。

四、總結與展望

最後用一句話做下總結,業務元資料是未來元資料管理的關鍵,大資料時代下企業更需要加強業務元資料管理,企業可以基於本體,採用自動化的手段管理業務元資料,並將業務元資料以服務的形式提供給業務人員使用,從而幫助業務人員更好地使用資料。

業務元資料管理 洞悉資料背後的業務含義

目前,很多企業已經意識到,由於業務人員看不懂系統中儲存的資料,所以難以通過大資料來提公升業務創新能力,本文就來談談解決這個問題的方法 業務元資料管理。同系列文章王軒的文章 面向業務的企業元資料管理 目錄 一 計算機和人之間出現 語義屏障 二 業務元資料 資料背後的業務上下文 三 基於本體的業務元資料...

元資料管理

大資料倉儲越來越重視元資料的管理,但是元資料怎麼管理,還處於探索階段。這樣帶來的弊端顯而易見,就是1 及時性達不到,2 準確性達不到,3 同步性也達不到。它只是結項的必交的文件而已。二 越來越多的角色的人使用數倉,迫切需要乙個介面展示具體指的意思,業務統計口徑等,用乙個web介面展示,但是後端還是e...

元資料管理

元資料管理的核心功能如下 在操作方式上分為自動採集和手動採集兩種 同時,提供採集日誌資訊的檢視,檢查採集是否成功。檢視採集日誌可以查詢到採集任務的如下資訊 開始時間 任務狀態 結束時間 過程日誌,採集的數量等等。元資料採集完成後,儲存在資料庫中,支撐包括元資料統計 查詢 血緣分析 影響性分析 資料資...