大資料管理

2022-08-30 09:33:12 字數 1062 閱讀 6083

1、資料治理

概念:業務中涉及資料使用的一整套管理行為,如何制定和實施針對整個企業內部資料的商業應用和技術管理的一系列政策和流程.

組成部分:元資料管理、主資料管理、大資料質量管理、大資料資產化、大資料共享發布、大資料標準、大資料交換整合

元資料管理:收集元資料,對元資料進行查詢、分析、版本管理、後期維護,確保元資料在業務中的有效利用。(元資料指描述資料屬性資訊的資料)

主資料管理:統一管理分布在不同業務系統中的主資料,形成標準化資料管理,簡化各業務系統間的整合複雜度。(主資料指具有相同的概念的資料)

大資料質量管理:跟蹤和監控資料的質量問題,確保大資料的準確性、唯一性、及時性。

大資料資產化:將資料報裝成企業資產,將資料變現。

大資料共享:將資料資源共享、發布,對外開放資料能力,供企業內外使用者使用。

大資料標準:統一定義業務的資料、編碼、屬性等,配合元資料核心管理技術,保證資料標準化的應用。

大資料交換整合:各異構資料按照一定規範與資料標準進行交換和整合。

2、資料中臺

概念:業務中將資料分析管理可分為資料後台、資料中臺、資料前台。

資料後台:主要做資料儲存和資料計算(關注:速度、效率、成本)

資料中臺:主要資料交換整合、資料開發、資料管理、資料共享(關注質量、安全、共享機制)

資料前台:主要包括客戶畫像、行為分析、精準營銷等(關注客戶場景)

3、大資料概念

大資料(bigdata),是指無法在可承受的時間範圍內用常規軟體工具進行捕捉、管理和處理的資料集合。大資料應用相比於傳統的資料應用,

具有資料體量巨大、資料型別繁多、查詢分析複雜、處理速度快等特點,大資料技術就是提供從各種各樣型別的資料中快速獲得有價值資訊的能力,

其核心是資料整合、資料管理、資料儲存與資料分析。公司主要為客戶提供大資料整合、管理與分析的支撐性基礎軟體和相關解決方案,

包括具有自主智財權的大資料整合平台、資料治理平台、智慧型資料應用平台產品以及大資料治理解決方案及相關的服務,幫助客戶提高

大資料整合能力、保證資料質量、提高資料分析準確度,降低大資料分析與執行成本,利用大資料進行分析、決策,提高企業的經營管理能力和客戶服務水平。

《大資料管理概論》一導讀

叢書前言 前言作者簡介 第1章 概述 1.1 大資料的基本概念 1.2 大資料的演變過程 1.3 大資料應用 1.4 大資料的處理模式 1.4.1 批處理 1.4.2 流處理 1.5 大資料管理的關鍵技術 1.5.1 大資料融合 1.5.2 大資料分析 1.5.3 大資料隱私 1.5.4 大資料能耗...

大資料時代啟用資料管理新思路

根據分析機構gartner給出的定義,大資料就是那些具有規模大 速度快 種類多三大特徵的資訊資產。從海量資料中篩選出有用的資訊,然後通過各種手段將資訊轉化為洞察力,從而做出正確決策,並最終推動業務發展。通過一系列處理,大資料可以幫助企業制定明智且切實可行的戰略,獲取前所未有的客戶洞察,支援客戶購買行...

大資料時代資料管理方式研究

大資料時代資料管理方式研究 1資料管理技術的回顧 資料管理技術主要經歷了人工管理階段 檔案系統階段和資料庫系統階段。隨著資料應用領域的不斷擴充套件,資料管理所處的環境也越來越複雜,目前廣泛流行的資料庫技術開始暴露出許多弱點,面臨著許多新的挑戰。1.1人工管理階段 20 世紀 50 年代中期,計算機主...