華為資料之道 華為資料底座的整體架構與建設策略

2021-10-12 08:14:46 字數 1727 閱讀 3937

非數字原生企業數位化轉型的資料底座建設框架

華為通過建設資料底座,將公司內外部的資料匯聚在一起,對資料進行重新組織和聯接,讓資料有清晰的定義和統一的結構,並在尊重資料安全與隱私的前提下,讓資料更易獲取,最終打破資料孤島和壟斷。通過資料底座,主要可以實現如下目標。

統一管理結構化、非結構化資料。將資料視為資產, 能夠追溯資料的產生者、業務源頭以及資料的需求方和消費者等。

打通資料**通道,為資料消費提供豐富的資料原材料、半成品以及成品,滿足公司自助分析、數位化運營等不同場景的資料消費需求。

確保公司資料完整、一致、共享。監控資料全鏈路下的各個環節的資料情況,從底層資料儲存的角度,診斷資料冗餘、重複以及「殭屍」問題,降低資料維護和使用成本。

保障資料安全可控。基於資料安全管理策略,利用資料許可權控制,通過資料服務封裝等技術手段,實現對涉密資料和隱私資料的合法、合規地消費。

華為資料底座的總體架構

華為資料底座由資料湖、資料主題聯接兩層組成,將公司內外部的資料匯聚到一起,並對資料進行重新的組織和聯接,為業務視覺化、分析、決策等提供資料服務,如圖1 所示。

圖1 華為資料底座總體架構

資料湖是邏輯上各種原始資料的集合,除了「原始」這一特徵外,還具有「海量」和「多樣」(包含結構化、非結構化資料)的特徵。資料湖保留資料的原格式,原則上不對資料進行清洗、加工,但對於資料資產多源異構的場景需要整合處理,並進行資料資產註冊。

資料主題聯接是對資料湖的資料按業務流 / 事件、物件 / 主體進行聯接和規則計算等處理,形成面向資料消費的主題資料,具有多角度、多層次、多粒度等特徵,支撐業務分析、決策與執行。基於不同的資料消費訴求,主要有多維模型、圖模型、指標、標籤、演算法模型5 種資料聯接方式。

華為資料底座的建設策略

資料底座建設不能一蹴而就,要從業務出發,因勢利導,持續進行。具體來說,華為資料底座採取「統籌推動、以用促建、急用先行」的建設策略,根據公司數位化運營的需要,由公司資料管理部統一規劃,各領域分別建設,以滿足本領域和跨領域的資料需求。其中,資料 owner 是各領域資料底座建設的第一責任人,各領域資料部負責執行。資料底座資產建設遵從下面四項原則。

1)資料安全原則

資料底座資料資產應遵循使用者許可權、資料密級、隱私級別等管理要求,以確保資料在儲存、傳輸、消費等全過程中的資料安全。技術手段包括但不限於授權管理、許可權控制、資料加密、資料脫敏。

2)需求、規劃雙輪驅動原則

資料底座資料資產基於業務規劃和需求觸發雙驅動的原則進行建設,對核心資料資產優先建設。

3)資料**多場景原則

資料底座資產**需根據業務需求提供離線 / 實時、物理 /虛擬等不同的資料**通道,滿足不同的資料消費場景。

4)資訊架構遵從原則

資料底座資料資產應遵從公司的資訊架構,必須經 ia-sag(資訊架構專家組)發布並完成註冊。

資料湖的建設以及資料主題的聯接是重中之重

華為資料之道 華為資料治理1

2017 年華為提出了企業的新願景 把數字世界帶入每個人 每個家庭 每個組織,構建萬物互聯的智慧型世界 同時,華為公司董事 cio 陶景文提出了 實現全聯接的智慧型華為,成為行業標桿 的數位化轉型目標.隨後,華為基於願景確定了數位化轉型的藍圖和框架,統一規劃 分層次開展,最終實現客戶互動方式的轉變,...

華為資料之道 華為資料治理2

華為資料分類管理框架 基於特徵分類 華為根據資料特性及治理方法的不同對資料進行了分類定義 內部資料和外部資料 結構化資料和非結構化資料 元資料。其中,結構化資料又進一步劃分為基礎資料 主資料 事務資料 報告資料 觀測資料和規則資料。不同分類的資料,其治理方法有所不同。如基礎資料內容的變更通常會對現有...

華為資料之道 簡讀

高層對低質量的資料表現的感知疼痛,對資料治理巨大價值的認知 業務模式 對內 2b 2c 資料去驅動流程效率的提公升 生產力的發展最終還會受制於生產關係 資料規模 海量資料的儲存和分析壓力 有沒有?資料確權 流程管理體系 人事組織體系 企業文化體系 企業制度體系 人才隊伍 懂技術,懂業務的資料管理的專...