Impala概念及架構解析

2021-12-30 09:16:09 字數 590 閱讀 1398

impala伺服器是乙個分布式、大規模並行處理(mpp)資料庫引擎。

執行在集群每個節點上的守護程序,名稱為impalad。

負責讀寫資料檔案;接受查詢請求,將查詢結果返回給中心協調者節點。

statestore搜尋集群中impalad程序節點的健康狀態,並不斷將健康狀態的結果**給所有的impalad程序節點。statestore程序的名稱為statestored。乙個impala集群只需要乙個statestored程序節點。

sql語句引起元資料變化時,catalog服務將變化推送到其他節點。名稱為catalogd,也是只需要乙個程序。

繼承apache hiveql的sql語法。

可以通過如下方式向impala提交請求:

* impala-shell 互動式命令列

* apache hue基於web的使用者介面

* jdbc

* odbc

impala和hive都是使用使用傳統的mysql或postgresql作為元資料庫儲存表定義資訊。

impala使用分布式檔案系統hdfs作為主要的資料儲存方式。

hbase是替代hdfs作為impala的資料儲存的另一種方式。

Impala之概念及架構

impala伺服器是乙個分布式,大規模並行處理 mpp 資料庫引擎。它包括執行在cdh集群主機上的不同後台程序。1,客戶端 有三類客戶端可以與impala進行互動 基於驅動程式的客戶端 odbc driver和jdbc driver,其中jdbc driver支援hive1與hive2風格的驅動形式...

Impala概念及架構知識點詳解

impala伺服器是乙個分布式 大規模並行處理 mpp 資料庫引擎。執行在集群每個節點上的守護程序,名稱為impalad。負責讀寫資料檔案 接受查詢請求,將查詢結果返回給中心協調者節點。statestore搜尋集群中impalad程序節點的健康狀態,並不斷將健康狀態的結果 給所有的impalad程序...

Impala原始碼解析(1) 概念與架構

寫在前面 impala作為基於記憶體的mpp資料庫,底層是hdfs,能夠快速響應sql查詢。接下來一系列文章是綜合網上其他blog和自己看原始碼整理,旨在的解析impala核心,為自己開發借鑑經驗。有錯誤之處,還望指正!資料 impala官網 cloudera impala 原 impala守護程序...