阿里常見的技術元資料：
1 分布式計算系統儲存元資料，如maxcompute表、列、分割槽等資訊。記錄了表的表名、分割槽資訊、責任人資訊、檔案大小、表型別、生命週期，以及列的欄位名、字段型別、字段備註、是否是分割槽欄位等系統。
2 分布式計算系統執行元資料，如maxcompute上所有作業執行等資訊；類似於hive的job日誌，包括作業型別、例項名稱、輸入輸出、sql、執行引數、執行時間、最細粒度的fuxi instance（如maxcompute中mr執行的最小單元）執行資訊等。
3 資料開發平台中資料同步、計算任務、任務排程等資訊，包括資料同步的輸入輸出表和字段，以及同步任務本身的節點資訊；任務排程主要有任務的依賴型別、依賴關係等，以及不同型別排程任務的執行日誌等。
4 資料質量和運維相關元資料，如任務監控、運維報警、資料質量、故障等資訊，包括任務監控執行日誌、告警配置及執行日誌、故障資訊等。
阿里常有業務元資料：
1 onedata元資料，如維度及屬性、業務過程、指標等的規範化定義，用於更好地管理和使用資料。
2 資料應用元資料，如資料包表、資料產品等的配置和執行元資料。
1.2 元資料價值
元資料有重要的應用價值，是資料管理、資料內容、資料應用的基礎，在資料管理方面為集團資料提供在計算、儲存、成本、質量、安全、模型等治理領域上的資料支援。例如在計算上可以利用元資料查詢超長執行節點，對這些節點進行專項治理，保障基線產出時間。在資料內容方面為集團資料進行資料域、資料主題、業務屬性等的提取和分析提供資料素材。例如可以利用元資料構建知識圖譜，給資料打標籤，清楚地知道現在有哪些資料。在資料應用方面打通產品及應用鏈路，保障產品資料準確、及時產出。例如打通maxcompute和應用資料，明確資料資產等級，更有效地保障產品資料。
1.3 統一元資料體系建設
元資料的質量直接影響到資料管理的準確性，如何把元資料建設好將起到至關重要的作用。元資料建設的目標是打通資料接入到加工，再到資料消費整個鏈路，規範元資料體系與模型，提供統一的元資料服務出口，保障元資料產出的穩定性和質量。
統一元資料體系建設思路如圖12.1所示
首先梳理清楚元倉底層資料，對元資料做分類，如計算元資料、儲存元資料、質量元資料等，減少資料重複建設，保障資料的唯一性。另外，要豐富表和字段使用說明，方便使用和理解。根據元倉底層資料構建元倉中間層，依據onedata規範，建設元資料基礎寬表，也就是元資料中間層，打通從資料產生到消費整個鏈路，不斷豐富中間層資料，如排程元資料、同步元資料、產品訪問元資料、服務元資料等。基於元資料中間層，對外提供標準統一的元資料服務出口，保障元資料產出的質量。豐富的元資料中間層不僅能夠為集團資料提供在計算、儲存、成本、質量、安全、模型等治理領域上的資料支援，形成一套完整的roi資料體系，而且為集團資料進行資料內容、資料域、資料主題、業務屬性等的提取和分析提供了資料素材。
資料的真正價值在於資料驅動決策，通過資料知道運營。通過資料驅動的方法，我們能夠判斷趨勢，從而展開有效行動，幫助自己發現問題，推動創新或解決方案的產生。這就是資料化運營。同樣，對於元資料，可以用於指導資料相關人員進行日常工作，實現資料化「運營」。比如對於資料使用者，可以通過元資料讓其快速找到所需要的資料；對於etl工程師，可以通過元資料指導其進行模型設計、任務優化和任務下線等各種日常etl工作；對於運維工程師，可以通過元資料指導其進行整個集群的儲存、計算和系統等運維工作。
第六章 關係資料理論
關係模式由五部分組成，是乙個五元組 r u,d,dom,f 作為二維表，關係要符合乙個最基本的條件 每個分量必須是不可分開的資料項。滿足了這個條件的關係模式就屬於第一正規化 1nf 資料依賴 是現實世界屬性間相互聯絡的抽象 是資料內在的性質 是語義的體現 資料依賴的主要型別 函式依賴 sname f...
mysql第六章 第六章 mysql日誌
第六章 mysql日誌 一 錯誤日誌 錯誤日誌的預設存放路徑是 mysql 存放資料的地方 hostname.err 1.修改錯誤日誌存放路徑 mysqld log error data mysql mysql.log 2.檢視配置命令 show variables like log error 3...
第六章 實戰篇
這一章講的是驅動程式開發步驟，從一開始我們都知道linux的驅動的工作方式是將每乙個驅動都對映成乙個檔案。這些檔案就是驅動檔案，都儲存在 dev目錄下。因此，我們做驅動開發程式，就可以通過與檔案進行互動了。編寫linux驅動程式的步驟應該分為一下幾大步 1 裝載和解除安裝linux驅動 2 註冊和登...