在資料倉儲專案中實現敏捷

2021-09-17 05:26:46 字數 1250 閱讀 6730

warren sifre是來自於allegient的一位bi解決方案架構師,他在部落格中分享了關於在資料倉儲專案中實現敏捷的觀點。他表示,為了實現這一目標,正確的團隊組成與心態是必不可少的。

\\ 按照warren的說法,乙個資料倉儲專案包括以下開發任務\\

這些任務本質上存在著一些相互依賴,如果考慮在專案中實現敏捷,則應當考慮以下問題:\\

為了實現敏捷,在專案啟動之前必須要作出一些讓步。warren提出了以下幾點建議:\\

他表示,存在這些依賴的情況下,實施敏捷的關鍵在於協調,並將專案分解為多個階段。每個階段都應當設定乙個針對該階段目標的高層次概述。第乙個階段將對使用者故事進行分解,提出驗收標準並指出依賴所在。使用者故事中還應當包括部署到uat與生產環境所需的時間。將依賴與所需時間結合在一起,就能夠得出該階段所有待辦事項的乙個邏輯優先順序順序。

\\ mishkin berteig是berteig consulting inc. 的主席與聯合創始人之一,他在最近的一篇部落格中分享了他在乙個資料倉儲專案中實施scrum的經驗。當時他擔任了某個團隊的教練,該團隊當前的工作是將某個資料倉儲從oracle遷移到teradata,該公司為這個專案分配了30個人。在實施scrum方法之前,該團隊進行了大量的前期分析工作,並且完成了乙份依賴圖,其中包含了大約25000張表、檢視和etl指令碼。這張依賴圖儲存在乙個ms access資料庫中。

\\ mishkin建議該團隊不要遵循這張依賴圖,而是基於價值開展遷移工作。

\\ 我決定對他們基於依賴開展工作的方式提出質疑,因此我與產品經理進行了對話,以**是否有可能根據價值對工作進行排序:\\

mishkin和產品經理一同根據商業價值對這個ms access資料庫進行了排序,他們對資料庫中每項任務按照磁碟空間與cpu占用進行了乙個非常簡單的計算,這個具有25000個條目的資料庫因而成為了產品待辦清單。

\\ mishkin要求團隊將這些資料倉儲表視為產品待辦清單中的條目(pbi),並且(在生產環境中)同時執行oracle和teradata,並在每個sprint中及時更新,以實現資料在這兩個平台中的遷移。該專案從這種方式中受益良多。

\\ 經過幾輪sprint之後,一共淘汰了5個oracle許可。最終,這個為期兩年,耗資兩千萬的專案獲得了成功。每個sprint都有新功能提交到生產環境中,並且讓oracle和teradata保持同時執行,直到最後乙個oracle許可淘汰為止。由於早早地交付了價值,整個專案節約了很大的成本。

\\檢視英文原文:implementing agile in data warehouse projects

寫在資料倉儲系列之前

接下來的一段時間內會整理總結資料倉儲的相關知識,可能暫時只是點,我會通過自己的工作感悟以及讀書筆記等逐漸將它們豐滿 起來。之所以選擇資料倉儲這個切入點,來進行知識整理,一方面是因為工作確實是以數倉為中心展開的,另一方面也是因為在做資料相關工作的時候,數倉是乙個繞不來的話題。無論是簡單的資料分析,還是...

在資料倉儲中儲存資料失敗

scom伺服器 報表伺服器部署完成後出現一下的錯誤 錯誤資訊描述如下 錯誤日誌 在資料倉儲中儲存資料失敗。將重試操作。異常 sqlexception 超時時間已到。在操作完成之前超時時間已過或伺服器未響應。乙個或多個工作流受此影響。工作流名稱 microsoft.systemcenter.dataw...

在資料倉儲中維度建模的認識

在資料倉儲中建模的方式我們採用的是維度建模,而不採用三正規化的結構。三正規化建模的方式有利於oltp系統的更新插入操作,比如我需要在oltp系統上更新乙個表的資料,如果我採用的是維度建模方式,代表著我更新這個字段需要掃瞄更多的塊才能找到相應的記錄去更改,對於insert操作也是如此,這是需要操作跟多...