分析型資料庫實時寫入功能全面開放

2021-09-23 23:31:39 字數 502 閱讀 3394

阿里雲分析型資料庫為客戶提供了百億級海量資料下的毫秒級olap查詢與分析能力。除了可以通過內建api、阿里雲資料整合等途徑方便的批量匯入大量資料外,分析型資料庫目前開放了通過insert/delete sql直接寫入或刪除資料的功能。

通過insert/delete提交的資料變更,一般可以在30s-60s之間就可以查詢到。在最佳實踐上,如果想達到最高的寫入效能,在網路頻寬允許的情況下(參考頻寬:乙個c1 ecu 2mb/s,乙個c8 ecu 8mb/s),可以每個insert中進行批量提交30-100條記錄,同時啟用10-30個執行緒進行寫入。

實時寫入相關詳情,可以檢視文件 。

在實踐中,很多使用者的業務系統資料會使用雲資料庫rds進行存放,並且同時希望能夠低延遲的分析海量的歷史資料。為了方便使用者實時同步雲資料庫rds(mysql)中的資料變化到分析型資料庫中,阿里雲資料傳輸 聯合分析型資料庫推出了rds資料訂閱並實時同步到分析型資料庫的外掛程式,使用者可以開通阿里雲資料傳輸後,參考 文件  使用dts-ads-writer外掛程式完成這項工作。

資料庫重複寫入問題分析

為了提高系統的吞吐量,很多環節下對於資料庫的寫入是多執行緒,甚至是多程序的。為了保證寫入成功,在很多情況下需要多次重試。這就會帶來乙個問題,資料重複,同一條資料會被記錄多次。有些情況下資料重複無傷大雅,但是很多情況系統是無法容忍資料重複的。因此這個問題需要解決。我個人覺得解決這一問題有兩個方向 第一...

4 資料倉儲 操作型資料庫 VS 分析型資料庫

操作型資料庫 vs 分析型資料庫 因為主導功能的不同 面向操作 面向分析 兩類資料庫就產生了很多細節上的差異 1 資料組成差別 資料時間範圍差別 操作型資料庫只會存放90天以內的資料,而分析型資料庫存放的則是數年內的資料。這點也是將操作型資料和分析型資料進行物理分離的主要原因 2 資料組成差別 資料...

實時 歷史資料庫和關係型資料庫的區別

實時資料庫 實時資料庫是資料庫系統發展的乙個分支,它適用於處理不斷更新的快速變化的資料及具有時間限制的事務處理。實時資料庫技術是實時系統和資料庫技術相結合的產物。實時資料庫最起初是基於先進控制和優化控制而出現的,對資料的實時性要求比較高,因而實時 高效 穩定是實時資料庫最關鍵的指標。早期實時資料庫的...