大資料查詢引擎 PrestoDB

2021-07-14 07:03:08 字數 751 閱讀 4711

presto是facebook最新研發的資料查詢引擎,可對250pb以上的資料進行快速地互動式分析。據稱該引擎的效能是 hive 的 10 倍以上。

prestodb 是 facebook 推出的乙個大資料的分布式 sql 查詢引擎。可對從數 g 到數 p 的大資料進行互動式的查詢,查詢的速度達到商業資料倉儲的級別。

presto 可以查詢包括 hive、cassandra 甚至是一些商業的資料儲存產品。單個 presto 查詢可合併來自多個資料來源的資料進行統一分析。

presto 的目標是在可期望的響應時間內返回查詢結果。facebook 在內部多個資料儲存中使用 presto 互動式查詢,包括 300pb 的資料倉儲,超過 1000 個 facebook 員工每天在使用 presto 執行超過 3 萬個查詢,每天掃瞄超過 1pb 的資料。此外包括 airbnb 和 dropbox 也在使用 presto 產品。

presto 是乙個分布式系統,執行在集群環境中,完整的安裝包括乙個協調器 (coordinator) 和多個 workers。查詢通過例如 presto cli 的客戶端提交到協調器,協調器負責解析、分析和安排查詢到不同的 worker 上執行。

此外,presto 需要乙個資料來源來執行查詢。當前 presto 包含乙個外掛程式用來查詢 hive 上的資料,要求:

presto 不使用 mapreduce ,只需要 hdfs

要求:

大資料查詢引擎 PrestoDB

presto是facebook最新研發的資料查詢引擎,可對250pb以上的資料進行快速地互動式分析。據稱該引擎的效能是 hive 的 10 倍以上。prestodb 是 facebook 推出的乙個大資料的分布式 sql 查詢引擎。可對從數 g 到數 p 的大資料進行互動式的查詢,查詢的速度達到商業...

docker安裝prestodb大資料查詢引擎

1.dockerprestodb sandbox sudo docker pull ahanaio prestodb sandboxsudo docker images可以看到下面的資訊大概3g左右的映象 repository tag image id created sizeahanaio pre...

大資料查詢優化方案

1 儲存過程 2 建索引 3 分割槽 把資料分成幾個區存放,搜尋的結果合併。做表分割槽,縮小查詢範圍 按乙個有效字段分割槽,比如按月份 4 表空間 5 我們以前大資料量的解決方案是 把資料分批查出來,一次性查出來是沒有什麼好的解決辦法。6 like 必定掃全表 7 硬體 公升級伺服器,有這麼多資料的...