數倉開發應避免的10個陷阱

2021-10-08 22:30:42 字數 2298 閱讀 9402

在ralph kimball和margy ross 的《資料倉儲工具包》一書中,提到了資料倉儲設計中的10個常見陷阱,本文針對每個陷阱新增了一條與資料倉儲設計經驗有關的附加解釋。在著手進行資料倉儲專案之前,可以了解一下數這10個常見陷阱。這樣才可以不被資料倉儲設計的陷阱所困擾,避免這10個常見的陷阱可以在構建數倉的過程少走些彎路。

過於迷戀技術和資料,而沒有將重點放在業務需求和目標上。

數倉歸根結底是要解決業務問題的,狂拽酷炫的資料架構和層出不窮的新技術通常會比去了解使用者需求更具有吸引力。其實,也沒有完美的技術架構,只要是能夠滿足當下及未來可見的業務需求即可,合適就好。應當把時間投入在理解和梳理業務上,這樣才能夠構建出相對合理的資料模型,從而提高模型的復用性,及時響應業務需求。

沒有或無法找到乙個有影響的、平易近人的、明白事理的高階管理人員作為數倉建設的發起人。

數倉建設是多部門合作的結果,只有這樣才能夠真正的實現資料賦能業務。所以沒有高層的支援和重視,數倉的建設將會很難推進。缺乏遠見,熱情,支援,領導力以及影響企業投資於任何產品(不管是不是數倉)的能力,注定會走向失敗。

將專案處理為乙個巨大的持續多年的專案,而不是追求更容易管理的、雖然仍然具有挑戰性的迭代開發工作

這是乙個經常出現的陷阱,試圖建設乙個龐大的,無所不包的系統,通常是不可取的。似乎只要建設乙個「巨型無比」的系統就可以完成任何工作,解決任何問題一樣,其實結果往往會適得其反。更糟的是,管理這些專案的人往往沒有與業務進行足夠詳細的協商,從而開發有用的產品。一言以蔽之,銀樣鑞槍頭,中看不中用。

分配大量的精力去構建規範化資料結構, 在最終呈現資料之前,用盡所有的預算。

這個陷阱不像其他陷阱一樣重要,在kimball的方**中,對維度模型進行更改所帶來的業務風險要比更改源事務資料庫小。所以應該留出足夠的資源來構建它們,但是很少有中小型企業在資源上進行投資以建立完全一致的事實和維度表,更不用說olap資料立方體了,所以再多的理論也解決不了實際的問題,先跑起來才重要,不管姿勢是否完美。

將主要精力投入到後端操作型效能和易開發性,而沒有重點考慮前端查詢的效能和易用性。

為使用者提供易於閱讀的資料展示形式並具有良好的查詢效能會很重要。

使存在於應用層的可查詢資料設計的過於複雜,應該通過簡化解決方案開發出更適合需要的產品。

通常,大多數業務使用者都希望簡化資料表示方式。此外,對這些資料的訪問應限於盡可能少入口。提高獲取資料的易用性,會大大提公升數倉的價值。

煙囪式開發,不考慮使用可共享的、一致性維度將資料模型聯絡在一起。

當維度在整個資料倉儲中不一致時,就是典型的煙囪式開發。其實,我們使用的維度在本質上是相同的,但是由於資料來自於不同的業務源,並會被隨意更新。典型的例子是「時間」維度,在維模型不一致的情況下,終端使用者通常完全不知道為什麼乙個報表中的資料可能與其他地方生成的報表有顯著差異。一種好的做法是將資料模型與主資料管理(mdm)解決方案聯絡在一起,該解決方案包含可以在整個資料倉儲中普遍使用的參考資料。

只將彙總資料載入到展示區的維度結構中

在事務資料庫和資料倉儲之間建立的每個etl(提取,轉換和載入)過程中,不能只將彙總的資料裝載到數倉中,要確保有乙份原子資料儲存在數倉中,即將資料同步乙份放在準備區(ods層)。

臆想業務、業務需求及分析,其涉及的資料及支援技術都是靜態的。

盡量不要開發僅限於某個特定業務需求和分析的資料模型,因為業務在不斷地發生變化。乙個差勁的模型設計通常是開發重複的資料模型及不一致的命名約定。在設計乙個「完美」的事實表、維表與規範化程度之間取得平衡並不是一件容易的事情,但是開發出可伸縮的以適應業務發展的資料模型是非常重要的。

忽略資料倉儲的成功直接**於業務的認可。如果使用者未將資料倉儲系統當成他們制定決策的基礎,那麼所有的工作都是徒勞。

這個是很致命的陷阱,如果從一開始都沒有得到業務和高層的重視和認可,那麼數倉專案多半是會夭折。從使用者的角度出發,如果使用者對建立的數倉不買賬,根本就不會去使用它,結局只會game over。

c 開發應避免的幾個小濫用

一 string和stringbuilder 少量的字串操作不宜採用stringbuilder。由於string是不可變得物件,對於string的疊加,每次操作都會生成乙個新的string物件。所以針對大量string的操作時,我們會採用stringbuilde。但似乎很多人都知道這一點,所以只要字...

程式設計師應避免css中的10個錯誤做法

很多web 前端工程師 在進行專案開發的時候,在 css上回花很多的功夫,因為在使用 css開發時,會出現各種各樣的問題,比如 新增乙個 div元素導致所有 都不得不往下移一行,而另乙個 div 浮 到左側,感覺沒有任何意義。我們只需要向左邊移動五個畫素,但是 天哪!為什麼整個都向下移動了一行。到底...

10個需要警惕的BYOD常見陷阱

byod政策允許員工使用私人手機及筆記本工作並已迅速獲得認可。以下是實施企業byod計畫時需要避免的10個誤區。1 抵制byod 抵制byod已成為一項越來越不靠譜的策略。隨著計算裝置越來越個性化,企圖操縱員工裝置使用就相當於告訴他們需要使用什麼品牌和顏色的筆。2 不支援常見裝置 企業傾向於支援有限...