Kudu的效能測試

2021-09-07 15:02:40 字數 891 閱讀 1837

不多說,直接上乾貨!

kudu的效能測試

1.  kudu和parquet的比較

上圖是官方給出的用impala跑tpc-h的測試,對比parquet和kudu的計算速度。從圖中我們可以發現,kudu的速度和parquet的速度差距不大,甚至有些query比parquet還快。然而,由於這些資料都是在記憶體快取過的,因此該測試結果不具備參考價值。

2. kudu和hbase的比較

圖是官方給出的另一組測試結果,從圖中我們可以看出,在scan和range查詢上,kudu和parquet比hbase快很多,而random access則比hbase稍慢。然而資料集只有60億行資料,所以很可能這些資料也是可以全部快取在記憶體的。對於從記憶體查詢,除了random access比hbase慢之外,kudu的速度基本要優於hbase。

3、超大資料

集的查詢效能

kudu的定位不是in-memory database。因為它希望hdfs/parquet這種儲存,因此大量的資料都是儲存在磁碟上。如果我們想要拿它代替hdfs/parquet + hbase,那麼超大資料集的查詢效能就至關重要,這也是kudu的最初目的。然而,官方沒有給出這方面的相關資料。由於條件限制,網易暫時未能完成該測試。下一步,我們將計畫搭建10臺kudu + impala伺服器,並用tpc-ds生成超大資料,來完成該對比測驗。

Kudu的效能測試

不多說,直接上乾貨!kudu的效能測試 1.kudu和parquet的比較 上圖是官方給出的用impala跑tpc h的測試,對比parquet和kudu的計算速度。從圖中我們可以發現,kudu的速度和parquet的速度差距不大,甚至有些query比parquet還快。然而,由於這些資料都是在記憶...

大資料之資料倉儲 kudu效能測試報告分析

本文由 網易雲 發布。這篇博文主要的內容不是分析說明kudu的效能指標情況,而是分析為什麼kudu的scan效能會這麼齪!當初對外宣傳可是加了各種 逆天黑科技的呀 列獨立儲存 bloom filter 壓縮 原地修改 b tree mvcc 這裡先貼個kudu和parquet小部分的tpcds測試結...

效能測試(一)效能測試的內容

效能測試的型別與劃分網上已經有了很多的定義,比如壓力測試,負載測試,容量測試這三個詞在網上能找到很多版本的定義,大家能夠大體理解就行了,以下內容也只是我個人按照我在實際工作中接觸到的來理解的 1 壓力測試 是在被測系統上不斷增加壓力,知道效能指標超過預定指標。2 負載測試 是指在被測系統上在一定飽和...