《BI那點兒事》META DATA(元資料)

2022-05-30 18:48:12 字數 1821 閱讀 1596

關於資料倉儲的資料,指在資料倉儲建設過程中所產生的有關資料來源定義,目標定義,轉換規則等相關的關鍵資料。同時元資料還包含關於資料含義的商業資訊,所有這些資訊都應當妥善儲存,並很好地管理。為資料倉儲的發展和使用提供方便。

關於資料的資料,用於構造、維持、管理、和使用資料倉儲,在資料倉儲中尤為重要。

不同 olap 元件中的資料和應用程式的結構模型。元資料描述 oltp 資料庫中的表、資料倉儲和資料集市中的多維資料集這類物件,還記錄哪些應用程式引用不同的記錄塊。

當需要了解某地企業及其提供的服務時,**黃頁的重要性就體現出來了。元資料(metadata)類似於這樣的**黃頁。

元資料有兩種常見儲存方式:一種是以資料集為基礎,每乙個資料集有對應的元資料檔案,每乙個元資料檔案包含對應資料集的元資料內容;另一種儲存方式是以資料庫為基礎,即元資料庫。其中元資料檔案由若干項組成,每一項表示元資料的乙個要素,每條記錄為資料集的元資料內容。上述儲存方式各有優缺點,第一種儲存方式的優點是呼叫資料時相應的元資料也作為乙個獨立的檔案被傳輸,相對資料庫有較強的獨立性,在對元資料進行檢索時可以利用資料庫的功能實現,也可以把元資料檔案調到其他資料庫系統中操作;不足是如果每一資料集都對應乙個元資料文件,在規模巨大的資料庫中則會有大量的元資料檔案,管理不方便。第二種儲存方式下,元資料庫中只有乙個元資料檔案,管理比較方便,新增或刪除資料集,只要在該檔案中新增或刪除相應的記錄項即可。在獲取某資料集的元資料時,因為實際得到的只是關係**資料的一條記錄,所以要求使用者系統可以接受這種特定形式的資料。因此推薦使用元資料庫的方式。

元資料庫用於儲存元資料,因此元資料庫最好選用主流的關聯式資料庫管理系統。元資料庫還包含用於操作和查詢元資料的機制。建立元資料庫的主要好處是提供統一的資料結構和業務規則,易於把企業內部的多個資料集市有機地整合起來。目前,一些企業傾向建立多個資料集市,而不是乙個集中的資料倉儲,這時可以考慮在建立資料倉儲(或資料集市)之前,先建立乙個用於描述資料、服務應用整合的元資料庫,做好資料倉儲實施的初期支援工作,對後續開發和維護有很大的幫助。元資料庫保證了資料倉儲資料的一致性和準確性,為企業進行資料質量管理提供基礎。

在資料倉儲中,元資料的主要作用如下。

(1)描述哪些資料在資料倉儲中,幫助決策分析者對資料倉儲的內容定位。

(2)定義資料進入資料倉儲的方式,作為資料彙總、對映和清洗的指南。

(3)記錄業務事件發生而隨之進行的資料抽取工作時間安排。

(4)記錄並檢測系統資料一致性的要求和執**況。

(5)評估資料質量。

技術元資料

包括為資料倉儲設計人員和管理員使用的資料倉儲資料資訊,用於執行資料倉儲開發和管理任務。包括:

資料來源資訊

轉換描述(從運算元據庫到資料倉儲的對映方法,以及轉換資料的演算法)

目標資料的倉庫物件和資料結構定義

資料清洗和資料增加的規則

資料對映操作

訪問許可權,備份歷史,存檔歷史,資訊傳輸歷史,資料獲取歷史,資料訪問,等等

商業元資料

給使用者易於理解的資訊,包括:

internet主頁

支援資料倉儲的其它資訊,例如對於資訊傳輸系統包括預約資訊、排程資訊、傳送目標的詳細描述、商業查詢物件,等

資料倉儲操作型資訊

例如,資料歷史(快照,版本),擁有權,抽取的審計軌跡,資料用法

qa:

「元資料是描述資料的資料(data about data)」,這造成一種遞迴定義,就像問小強住在**,答,在旺財隔壁。按照這樣的定義,元資料所描述的資料是什麼呢?還是元資料。這樣就可能有元元元...元資料。我還聽說過一種對元資料,如果說資料是一抽屜檔案,那麼元資料就是分類標籤。那它和索引有什麼區別。

《BI那點兒事》Cube的儲存

原文 bi那點兒事 cube的儲存 關係 olap rolap rolap的基本資料和聚合資料均存放在關聯式資料庫中 rolap 儲存模式使得分割槽的聚合儲存在關聯式資料庫的表 在分割槽資料來源中指定 中。但是,可為分割槽資料使用 rolap 儲存模式,而不在關聯式資料庫中建立聚合。使用 rolap...

《BI那點兒事》資料流轉換 透視

原文 bi那點兒事 資料流轉換 透視 這個和t sql中的pivot和unpivot的作用是一樣的。資料透視轉換可以將資料規範或使它在報表中更具可讀性。通過透視列值的輸入資料,透視轉換將規範的資料集轉變成規範程度稍低 但更為簡潔的版本。例如,在列有客戶名稱 產品和購買數量的規範的 orders 資料...

《BI那點兒事》Microsoft 神經網路演算法

microsoft神經網路是迄今為止最強大 最複雜的演算法。要想知道它有多複雜,請看sql server聯機叢書對該演算法的說明 這個演算法通過建立多層感知神經元網路,建立分類和回歸挖掘模型。與microsoft決策樹演算法類似,在給定了可 屬性的每個狀態時,microsoft神經網路演算法計算輸入...