概述 資料倉儲是什麼

2021-10-24 15:11:27 字數 1816 閱讀 7696

資料倉儲是什麼?

我以前一直把資料庫和資料倉儲弄混,因為我根本無法區別兩者之間到底是什麼差異,什麼關係。尤其是中文名上幾乎是相同的含義。

庫不就是倉庫嗎?資料庫不就是存放資料的倉庫嗎?那為什麼資料庫和資料倉儲是兩個東西呢?

資料庫的英文是database,資料倉儲的英文是data warehouse。都是國外傳過來的,英文上差異還是不小的,至少不會弄混。

估計中文翻譯database的時候講求神似,翻譯成了資料庫,非常準確好理解。結果碰到data warehouse只能直譯資料倉儲了。

後來隨著對這塊的接觸,慢慢理解了兩者的差異。

資料庫和資料倉儲難以區分是正常的,因為我開始是按照形式的不同做得區分。

實際上這兩者的形式可以完全一模一樣。都可以使用mysql,都是庫、表、字段、資料,甚至內容都可能一模一樣(比如業務極簡一年只做一天、資料量極少、不需加工處理的情況下)。

必須用目的來區分。

資料庫的目的是支援各種系統正常工作用的,資料倉儲的目的是為了對資料進行處理分析,為決策提供支援用的。

因為目的不同,資料庫和資料倉儲為了能更好的更有效率的達成目的,各自都基於不同的路徑演化,形式上的差異也越來越大。

變成現在一說資料庫,基本都是mysql,一說資料倉儲,基本都是hdfs+hive。

資料倉儲的面向主題、整合、相對穩定、反映歷史變化的這些特點,不是天然存在的,而是為了更好的處理和分析資料,以能滿足決策需要演化而來的。

一提資料倉儲,必提bill inmon,他給資料倉儲下了很多定義。

可我認為,這些定義,實際上是受其歷史條件的侷限性的影響,以前很有效,所以變得正確。但現在已經不算是最好的解決方案了。

資料倉儲理論成型與2023年,2023年蘋果的 macintosh quadra 700 配置的是25mhz的處理器和8m的記憶體,售價34000,拿上海當時平均工資10年不吃不喝可以買一台。但這配置能幹嘛?

要儲存沒儲存,要計算沒計算,硬體效能限制的死死的。應該也沒有成熟易用的資料處理軟體,導致相關人才門檻高,人力上限制的也死死的。

無論誰在這個條件下,也不敢說你有啥資料我都給你弄過來。也只能說你具體要解決什麼問題,我們乙個乙個處理,這就面向主題了。

那時候的硬體、軟體、網路條件應該無法在系統用資料庫上操作,如果資料時多個**處理成本和難度應該也是無法接受的,也只能把需要的資料弄到專門的儲存上,應該能省不少錢。這就整合了。

導一次資料花時間,保留上一次的資料費儲存,不保留萬一需要又無法找回,如果沒必要還是不要更新的好。這就相對穩定了,而資料留著也反映了歷史的變化。

如果有足夠的資源資料倉儲解決能解決所有問題是否更好?是否面向主題只取決於是否需要多人分工協作,或乙個人工作時是否需要拆分內容方便管理。

如果能有乙個**功能可以連線多系統多儲存並轉化為統一格式資料,是否還需要將資料整合在一起呢?

如果業務系統資料庫足夠強大可以在其上直接操作處理,或者資料收集功能足夠強大,可以秒級更新資料,穩定的資料存在的必要性是什麼呢?難道最新的資料不是更有價值的嗎?

需要能反應歷史情況?現在mysql資料庫可以做到回滾到任意乙個時間點上的資料狀態,如果資料倉儲的技術也能支援且能滿足處理和分析的要求,是否比n天甚至n月更新一次的資料更好用?

不過雖然現在硬體、軟體、人才比歷史增長了不知道多少倍。

可業務的複雜度、問題的時效性、資料的量級、處理的難度也增加了非常多,導致2023年的資料倉儲方案的設計,還是有不少適用於當前情況。

但這不是返祖的理由,每乙個解決方案都是有其背後特殊的歷史情況的。

知其然更要知其所以然,才能基於當前的要求和條件,參考大師們經典解決方案的方式、方法和設計思路,調整優化後形成更好的解決方案。

盡信書不如不讀書,生搬硬套經典不如穿越回古代吧。

資料倉儲是什麼

資料庫是最常聽到的名詞之一了,但是當提到資料倉儲的時候,就會疑問,資料倉儲是資料庫嗎?如果不是,資料倉儲是什麼,用來幹什麼的呢?平時遇到這個問題一般還真是不好簡單明瞭的回答,因為也的確不是一兩句話說的清的。那麼資料倉儲到底是什麼呢,跟資料庫有什麼區別呢?資料倉儲是什麼呢?資料倉儲是面向主題的 整合的...

資料倉儲是什麼?

包含運作資料 執行業務日常交易的資料 的系統包含了業務分析員可用來更好地理解業務是如何運作的資訊。例如,他們可以看到一年中的哪些時候在哪些地區銷售了哪些產品。這有助於識別異常情況,或者規劃未來的銷售。但是,如果分析員直接訪問運作資料,那麼會產生幾個問題 他們可能沒有查詢運作資料庫的專門知識。例如,查...

資料倉儲是什麼

資料庫是最常聽到的名詞之一了,但是當提到資料倉儲的時候,就會疑問,資料倉儲是資料庫嗎?如果不是,資料倉儲是什麼,用來幹什麼的呢?平時遇到這個問題一般還真是不好簡單明瞭的回答,因為也的確不是一兩句話說的清的。那麼資料倉儲到底是什麼呢,跟資料庫有什麼區別呢?資料倉儲是什麼呢?資料倉儲是面向主題的 整合的...