企業資料指標的那些「小事」兒

2021-12-30 09:04:34 字數 2373 閱讀 9636

本文作者:子璽

袋鼠雲資料中臺解決方案專家。擁有近10年大資料從業經驗,擁有pmp專案管理資格認證,精通資料類專案的開發實施和管理。曾服務過國家工商總局、北京市工商局、北京市財政局、廣州開發區大資料局、平湖人社局、海鹽人社局等行政單位,擔任多個大型資料專案的資料應用諮詢顧問/專案經理。

一、企業指標體系的重要性不言而喻

在我們談論指標之前,先將時間倒推幾十年,現代管理學之父彼得·德魯克說過一句很經典的話:如果你不能衡量它,那麼你就不能有效增長它。所謂衡量,就是需要統一標準來定義和評價業務,這個標準就是指標。

乙個企業的生產、運營離不開指標,它的重要性不言而喻,我們這裡就不再討論了,接下來,我們主要看一看企業發展過程中與資料及資料指標有關的那些事。

二、從全域性角度看,企業資料指標體系可能存在一些問題

全域性總覽下來,不同部門利用資料指標的水平和標準參差不齊

因基礎資料問題,缺失某些重要指標,想看的指標看不到

混亂的資料基礎制約了探索性分析,對新業務開展支援力度有限

我們想象資料指標就像是企業發展的「記牌器」,是衡量企業/業務發展健康程度的重要存在,那麼如何解決上述問題,用好這個記牌器呢?

筆者認為可以從以下幾個方面入手:

幫助企業站在全域性視角,快速梳理現有的所有指標情況,清晰掌握企業當前利用資料的情況,評估每乙個部門指標體系搭建及應用情況,至少做到「知己」;

針對缺失的指標提供建設路徑與參考方案,為企業主衡量決策時提供必要的支援;

基於資料中臺策略為企業構建onedata資料架構,解決全域資料統一的問題,同時借助數棧-資料治理套件從工具層面解決資料血緣追溯,方便不同部門資料使用人員使用,降低溝通和管理成本。

構建資料地圖,梳理資料指標,讓企業資料可感、可知、可管

三、什麼是onedata體系?

在企業發展初期,資料研發模式一般緊貼業務的發展而演變的,資料體系也是基於業務單元垂直建立,不同的垂直化業務,帶來不同的煙囪式的體系。

但隨著企業的發展,一方面資料規模在快速膨脹,垂直業務單元也越來越多;另一方面基於大資料的業務所需要的資料不僅僅是某個垂直單元的,使用資料型別繁多(variety)的資料才能具備核心競爭力。

跨垂直單元的資料建設接踵而至,混亂的資料呼叫和拷貝,重複建設帶來的資源浪費,資料指標定義不同而帶來的歧義、資料使用門檻越來越高……這些問題日益凸顯,成為企業發展迫在眉睫要解決的問題。

針對以上問題,我們建議企業以kimball的維度建模為核心理念,借鑑典型網際網路大型企業的海量資料架構設計思路,構建屬於企業自己的資料架構體系——onedata。

那麼,到底什麼是onedata體系?

onedata體系:即建立企業統一的資料公共層,從設計、開發、部署和使用上保障了資料口徑的規範和統一,實現資料資產全鏈路管理,提供標準資料輸出。該體系包含:資料規範定義體系、資料模型規範設計、etl規範研發以及支撐整個體系從方法到實施的工具體系。

以資料規範體系為例,不同於以往分部門的指標混亂定義做法,onedata體系中,我們將此前個性化的資料指標進行規範定義,抽象成:原子指標、時間週期、其他修飾詞等三個要素,如下所示:

例如,以往業務方提出的需求是:最近7天的成交。而實際上,這個指標在規範定義中,應該結構化分解成為:

原子指標(支付訂單金額)+修飾詞-時間週期(最近7天)+修飾詞-賣家型別(自營)。

這樣做的好處是指標口徑復用性強,可以極大的精簡複雜的指標體系,便於理解和使用。

同時,我們也會借助工具(數棧——大資料開發套件)來幫助規範資料開發過程,替代傳統的人工經驗+人工約定模式,從根本上解決資料指標口徑一致,各種場景下看到的資料一致性得到保障。

const的那些小事

關於const 為什麼需要const?請看以下語句 for int index 0 index 512 index 在此語句中有兩個問題 1 512這個常量含義不明確,也並不清楚index與512比較有什麼作用 2 假如在程式中多次使用到512這個常量時,在後來的工作需要把512改為111的話修改的...

關於順序表和煉表的那些小事兒

順序表儲存位置是相鄰連續的,可以隨即訪問的一種資料結構,乙個順序表在使用前必須指定起長度,一旦分配記憶體,則在使用中不可以動態的更改。他的優點是訪問資料是比較方便,可以隨即的訪問表中的任何乙個資料。鍊錶是通過指標來描述元素關係的一種資料結構,他可以是實體地址不連續的物理空間。不能隨即訪問鍊錶元素,必...

關於後台的那些小事

這裡是it修真院產品分享課,今天要分享的是 關於後台的那些小事 顧名思義,就是與前台相反的唄,前台我們都知道是使用者檢視資訊,提交資訊的地方,那麼後台相應的就是建立元素資訊,儲存資訊,處理資訊的地方,他也叫管理系統。打個比方,前台就好像我們去餐廳裡,坐下來看選單,然後告訴服務員我們今天要吃什麼,服務...