presto和hive的不同之處總結

2021-10-06 08:13:06 字數 950 閱讀 6633

1.一般用presto查詢資料,因為快,一般用hive開發資料

2.presto調取**的方式是

from

a.b.c

hive是from b.c 只需要庫.表

3.current_date等日期相關的功能,presto可以用,但這類函式的寫法hive往往不通用,hive用的是『$』等。

一些日期的不同,例如我們在presto可以使用

format_datetime(date_add(『day』,-1,current_date),『yyyymmdd』)自動獲取昨天的日期,hive是不能用的,hive中可以改為:

date_format(date_add(current_date,-1),『yyyymmdd』)

類似的,date_diff 不同版本的presto 和hive也是不同的,具體如下

presto:date_dff(『day』,date1,date2)

hive : datediff(date1,date2)

4.hive 最後是需要分號的; presto無

5.presto 可以用double,不能用float,presto hive都可以用varchar,但presto不能用string

例如乙個字段長度20,presto 用cast(a as varchar(3))能識別出來,但 hive不可以。為了相容,可以都寫為cast(a as varchar(30))

6.新版本的hive 為了安全性,必須要對資料進行分割槽,要選定etl_dt,presto暫無要求

7.hive 在使用order時候需要配合limit使用,presto無要求

8.presto可以使用group by 1,2,3等簡寫,hive 是不能識別出來123簡寫的。

特別要注意的是,在寫一些複雜的查詢語句時,「as"以前的部分都要group的,不要偷懶只group句子中的一部分

牢記一些不同,能夠顯著的提高工作效率

presto和hive的區別

hive是把乙個查詢轉化成多個mapreduce任務,然後乙個接乙個執行。執行的中間結果通過對磁碟的讀寫來同步。然而,presto沒有使用mapreduce,它是通過乙個定製的查詢和執行引擎來完成的。它的所有的查詢處理是在記憶體中,這也是它的效能很高的乙個主要原因。經過測評,presto的平均效能是...

Hive學習總結之五 HBase和Hive的整合

hive和hbase有各自不同的特徵 hive是高延遲 結構化和面向分析的,hbase是低延遲 非結構化和面向程式設計的。hive資料倉儲在hadoop上是高延遲的。hive整合hbase就是為了使用hbase的一些特性。如下是hive和hbase的整合架構 圖1 hive和hbase架構圖 hiv...

webstorm和sublime的不同之處

今天寫 用的 webstorm 以前用的是 sublime 覺得 webstorm 比 sublime 好用很多。主要有幾點 1 可以直接在軟體左邊的專案下新建html檔案。2 在瀏覽器開啟不用右鍵 在瀏覽器中開啟,webstorm 內建谷歌 ie 火狐 opera safari五大瀏覽器,直接把滑...