Presto基本配置

介紹

presto是由facebook開源，基於記憶體的分布式查詢引擎。支援多資料來源，可支援pb級海量資料查詢，本身不作資料儲存。由於基於記憶體查詢，減少了io開銷，故查詢效率很高，但不適用於多表聯合查詢。

架構

presto主要配置檔案如下：

catalog/:配置各資料來源的資訊，如hive,mongdb等。以hive為例：

connector.name=hive-hadoop2 hive.metastore.uri=thrift: hive.config.resources=/etc/hadoop/conf/core-site.xml, /etc/hadoop/conf/hdfs-site.xml

hive.allow-drop-table=true

config.properties:presto的配置檔案，coordinator與worker略有不同。

coordinator中基本配置：

discovery.uri=worker中基本配置：

discovery.uri=jvm.config:jvm啟動時的配置資訊

-server -xmx16g -xx:+useg1gc -xx:g1heapregionsize=32m -xx:+usegcoverheadlimit -xx:+explicitgcinvokesconcurrent -xx:+heapdumponoutofmemoryerror

-xx:onoutofmemoryerror=kill -9 %p

log.properties:配置日誌級別資訊

com.facebook.presto=debug

node.properties:每個節點的配置資訊

node.environment=集群名稱 node.id=節點id （各節點不同）

node.data-dir=/presto （資料目錄，包括配置，日誌等）

啟動

presto啟動較為簡單，在安裝目錄bin下啟動 ./launcher start (restart/stop)。日誌記錄在節點配置所指定的相應目錄下server.log。