impala shell安裝及使用

2021-08-31 09:48:24 字數 1209 閱讀 2998

impala簡介:

impala是cloudera公司主導開發的新型查詢系統,它提供sql語義,能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。

impala shell使用

impala使用hive sql進行資料查詢,因此impala shell在使用方面也效仿了hive,在許多命令的用法上和hive有相近之處,但使用細節又有所區別。

impala shell和hive的相同之處:

 使用hive sql進行資料查詢;

 在許多命令使用上是一樣的。

impala shell和hive的不同之處:

 hive對語句解析的結束標誌是」;」,而impala shell對語句解析的結束標誌是回車;

 hive對命令的錯誤資訊相對impala shell比較詳細;

 impala使用的sql只是hive sql的子集。

-h:檢視命令用法

-i :指定daemon的位址

-q:指定查詢的sql語句

-b:格式化輸出* 大量資料加入格式化,效能受到影響

–output_delimiter=character (指定分隔符與其他命令整合,預設是\t分割)

–print_header 列印列名(去格式化,但是顯示列名字,預設不列印)

-v:檢視版本號

-f :後跟查詢檔案

建議sql 語句寫到一行,因為shell 會讀取檔案一行一行的命令

-o:資料資料到檔案中

-r :重新整理所有元資料(當hive建立表的時候,你需要重新整理到,才能看到hive元資料的改變)

整體重新整理,全量重新整理,萬不得已才能用;

不建議定時去重新整理hive源資料,資料量太大時候,乙個重新整理,很有可能會掛掉;

安裝impala-shell(安裝包見附件)

rpm -ivh impala-shell-2.5.0+cdh5.7.0+0-1.cdh5.7.0.p0.147.el6.x86_64.rpm
執行查詢

impala-shell -i 127.0.0.1 -q "select msisdn,sum(pv) as pv from test where day=20180706 group by msisdn order by sum(pv) desc" -b --output_delimiter="," -o "/home/test.txt"

impala shell安裝及使用

1.impala簡介 impala是cloudera公司主導開發的新型查詢系統,它提供sql語義,能查詢儲存在hadoop的hdfs和hbase中的pb級大資料。2.impala shell使用 impala使用hive sql進行資料查詢,因此impala shell在使用方面也效仿了hive,在...

Python TensorFlow安裝及使用說明

python tensorflow安裝及使用說明 1 安裝 python 直譯器 anaconda。不需額外安裝,安裝時切記勾選 add anaconda to my path environment variable 檢驗安裝是否成功 anaconda v 或 conda list 2 安裝 cu...

Python miniconda的安裝及使用

今天開始學習python,記錄一下。開啟cmd終端或者anaconda prompt 快捷鍵 win r 然後輸入cmd,回車 分別在cmd終端或者anaconda prompt裡貼上下面兩行 每貼上一行回車確認 conda config add channels conda config set ...