使用presto呼叫hive

2021-07-29 16:19:07 字數 943 閱讀 2135

hive --service hivestore &

關於最後的乙個&,告訴小白一下是後台執行的意思

presto所在的檔案中etc(自建)的catalog(自建)中hive.properties(自建檔案)中配置

connector.name=hive-hadoop2#這個聯結器的選擇要根據自身集群情況結合外掛程式包的名字來寫

hive.metastore.uri=thrift://cdh1:9083 #修改為 hive-metastore 服務所在的主機名稱,這裡我是安裝在master節點

hive.config.resources=/usr/local/hadoop/etc/hadoop/core-site.xml,/usr/local/hadoop/etc/hadoop/hdfs-site.xml

presto部署的資料夾中

bin/launcher run

或者 bin/launcher start#後台執行

點看master:port(e.p. master:8080)去檢視是否成功啟動

./presto-cli --server localhost:8080 --catalog hive --schema default
連線成功後可以,「show tables;」一下看下有沒有起到作用

./presto-cli --server localhost:8080 --catalog hive --schema default --execute "show tables;"
也可以如上所示直接執行,注意的是你不是localhost:8080,這個根據你系統的情況來處理

查詢完了之後看過結果後按q鍵退出查詢狀態,可以繼續輸入操作語句,具體可以看文件

presto和hive的區別

hive是把乙個查詢轉化成多個mapreduce任務,然後乙個接乙個執行。執行的中間結果通過對磁碟的讀寫來同步。然而,presto沒有使用mapreduce,它是通過乙個定製的查詢和執行引擎來完成的。它的所有的查詢處理是在記憶體中,這也是它的效能很高的乙個主要原因。經過測評,presto的平均效能是...

presto使用初探

前言 presto使用第一感覺 真是快啊,百萬資料秒級出結果 presto 文件 參考文章 1 presto是什麼 是facebook的開源的,完全基於記憶體的並 計算,分布式sql互動式查詢引擎 是一種大規模並行處理 mpp 架構,多節點管道式執行 持任意資料來源 通過擴充套件式聯結器元件 資料規...

Presto查詢hive欄位為json型別的方法

針對樣例資料做示例說明 hive employee表的xjson欄位,只有一條資料 select get json object xjson,0 age from employee limit 1 presto 我們分步操作,先用 json array get 取出jsonarray的第乙個元素 s...