監控資料倉儲

2022-07-16 16:00:19 字數 1845 閱讀 4644

通常,資料倉儲環境中兩種受監控的操作成分是儲存於資料倉儲中的資料和資料的使用。監控資料倉儲環境中的資料是管理資料倉儲環境的基本能力。通過監控資料倉儲環境中的資料能取得一些重要資訊,包括:

■ 識別發生了什麼增長,增長發生在什麼地方,增長以什麼速率發生

■ 識別正在使用什麼資料。

■ 估算終端使用者得到的響應時間。

■ 確定誰在實際使用資料倉儲。

■ 說明正在使用資料倉儲中的多少資料。

■ 精確指出資料倉儲何時被使用。

■ 識別資料倉儲的多少資料被使用。

■ 檢查使用資料倉儲的層次。 

當資料體系結構設計者不知道這些問題的答案時,有效的管理執行中的資料倉儲環境是不可能的。監控資料倉儲真的有用嗎?只要考慮一下知道「在資料倉儲中什麼資料正在被使用」有多麼重要就明白了。資料倉儲的特性是不停地增長。歷史資料不停地加入資料倉儲,彙總資料也不停地加入,新的抽取流在建立。同時資料倉儲駐留的儲存和處理技術並不昂貴。有時會問這樣的問題:「為什麼所有這些資料要積累起來?真有人用這些資料嗎?」顯然,不論是否有資料倉儲的合法使用者,在資料倉儲正常執行期間,一旦資料放入資料倉儲,資料倉儲的開銷就會增長。只要資料體系結構設計者沒有辦法確定如何使用資料倉儲中的資料,那麼除了不斷購買新的計算機資源之外就別無選擇了—購買更多的儲存裝置、更多的處理器,等等。但是通過監控資料倉儲中資料的使用,就有機會把不用的資料移到其他介質上。當資料體系結構設計者發現當前一些資料沒有使用,就把這種資料移到不昂貴的介質上,這是合適的做法。通過監控資料倉儲中資料的使用和活動情況,資料體系結構設計者能確定現在什麼資料不在使用,就能進行轉移。監控資料倉儲環境中的資料及活動會得到非常實在的和迅速的回報。

在資料監控處理期間,可以建立資料的各種概要檔案包括:

■ 資料倉儲中所有表的目錄。

■ 這些表的內容。

■ 資料倉儲中表的增長。

■ 用於訪問表的可用的索引目錄。

■ 彙總表和彙總源的目錄。

監控資料倉儲活動的需求通過下列問題來說明:

■ 什麼資料正在被訪問?

■什麼時候訪問?

■由誰訪問?

■訪問頻率怎樣?

■在什麼細節層次?

■ 對請求的響應時間是什麼?

■ 在一天的什麼時間提出請求?

■ 請求多大的資料量?

■ 請求是被終止的還是正常結束的?

在資料倉儲環境中使用監控程式的乙個根本問題是在哪兒進行監控。能進行監控工作的乙個地方是終端使用者終端。這是做監控工作的乙個方便位置,因為這裡有很多空閒的機器週期,並且在這裡進行監控工作對系統效能只有很小的影響。但是,在終端使用者終端監控系統意味著每個被監控的終端需要自己的管理員。在乙個單獨的d s s網路中,可能有多達10 000臺終端,試圖管理每個終端的監控工作幾乎是不可能的。另乙個途徑是在伺服器層次對d s s系統進行監控。在查詢已形式化並且已經傳給管理資料倉儲的伺服器後,才開始進行監控。毫無疑問,在此處管理監控程式要容易得多。但是存在系統範圍內效能下降的很大可能性。因為監控程式使用伺服器資源,監控程式影響整個d s s資料倉儲環境的工作效能。監控程式的位置是必須仔細考慮的重要問題,要在管理的方便性和降低效能之間進行權衡。監控程式最有效的用途之一是能夠將今天的結果與每天平均的結果進行比較。發現異常時,能夠問一句「今天與每天平均的結果有什麼不同?」這通常是有好處的。在大多數情況下會發現效能變化不象想象中那麼壞。但為了做這樣的比較,需要乙個「每天平均概況」。「每天平均概況」包括了d s s環境中描述一天情況的各種標準的重要度量指標。一旦對當天的情況進行了度量,就可以與每天平均概況進行比較。當然,每天平均值總是隨時在變化的。定期地追蹤這些變化,使得對長期系統趨勢能夠進行度量將是有意義的。

資料倉儲 資料質量監控

為什麼要做資料質量管理?提前發現問題,然後去解決,讓資料更好的服務於業務。什麼時候開始做呢?搭建數倉過程中,就要開始做 資料質量管理。要先行 不能後做。資料質量是資料驅動決策的前提 資料質量需要關注的四個點 即完整性 準確性 一致性和及時性 完整性是指資料的記錄和資訊是否完整。一般會在資料接入的時候...

資料倉儲 資料倉儲部署

1 首先用下面的語句查詢是否有要建立的表空間 hospdw tab 和 hospdw idx 如果沒有,則把d database zyhip改為對應的路徑,有的話直接建立使用者 select tablespace name,file name,round bytes 1024 1024 0 size...

資料倉儲,什麼是資料倉儲?

資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。資料倉儲是為企業所有級別的決策制定過程提供支援的所有型別資料的戰略集合。它是單個資料儲存,出於分析性報告和決策支援的目的而建立。為企業提供需要業務智慧型來指導業務流程改進和監視時間 成本 質量和控制。資料倉儲是決策支援系統 ds...