資料倉儲實時資料同步方案

2022-02-07 08:06:17 字數 438 閱讀 6980

黃海的思路:

(1)看看其它人的概念:

有的地區方案中也寫了3秒之類的概念,就是說,這種資料同步,其實並沒有我想像的那個實時,還是有一定的延遲的,再比如,我一次性插入了10w條資料,就算了一次性實時傳遞給客戶端系統,它能不能一下子寫進去還是乙個重要問題,實時不管怎麼說都是需要一定時長的,在給出的時候可以有3秒的時延,這對於我們來說足夠了,因為我們的系統只需要把最新時間戳變更的資料提供即可。考慮到oltp和olap的區別,這個資料同步的提供者是誰呢?

初步考慮用的是greenplum來提供,使用 golang+greenplum

資料倉儲介紹與實時數倉案例

案例與解決方案彙總頁 阿里雲實時計算產品案例 解決方案彙總 ppt見附件 資料倉儲是乙個面向主題的 subject oriented 整合的 integrate 相對穩定的 non volatile 反映歷史變化 time variant 的資料集合,用於支援管理決策。資料倉儲是伴隨著企業資訊化發展...

rsync inotify實時資料同步

沒有實際的用過,先mark一下,後面實踐。一 為什麼要用rsync sersync架構?1 sersync是基於inotify開發的,類似於inotify tools的工具 2 sersync可以記錄下被監聽目錄中發生變化的 包括增加 刪除 修改 具體某乙個檔案或某乙個目錄的名字,然後使用rsync...

資料倉儲 資料同步策略

二.資料同步策略 一般是指乙個現實中存在的業務物件,實體表它放的資料一定是一條條客觀存在的事物資料,比如使用者,商家,商品等 某東上的某某人參丸就是乙個實體 3。一般是指業務中的一些狀態,的解釋表 也稱為碼表 維度表可以看成是使用者用來分析乙個事實的視窗,它裡面的資料應該是對事實的各個方面描述。維度...