Hive SQL執行原理

2021-10-03 16:55:06 字數 759 閱讀 8030

hive sql的基本模式可以分為三類:

group by語句:比如select city,count(oder id) as iphone7 count from orders table where day='20170101' and cate name='iphone7'group by city;。hive sql的group by語句涉及資料的重新分發和發布,因此其執行過程完整地包含了mapreduce任務的執行過程。

**於《離線和實時大資料開發實戰》

join語句:即連線兩個表,實際中也可能連線多個表,比如下面的sql語句:

select tl.order_id,tl.buyer_id,t2.age 

from

select

order id,buyer id

from orders table

where

day=

'20170101'

and cate_name=

'iphone7'

) tl

join

select buyer_id,age from buyer_table where buyer_status ='有效'

) t2

on tl.buyer_id=t2.buyer_id ;

上面的join sql在hadoop集群中會被拆分成三個mapreduce任務:

hive sql檔案的執行方法

1 執行不帶引數的hql檔案 hive f 檔名.字尾 例項 hive f chensq test1.hql 2 執行帶1個普通引數的hql檔案 直接在hive中執行 select count from 使用者名稱.表名 c where c.列名 01 hql檔案內容 select count fr...

hive sql的執行計畫相關知識

大部分寫的hivesql,最後基本上都可以落到兩個角度 1.單錶分析 group by 聚合函式,2.多表關聯查詢,區別只是有的業務邏輯簡單一些,有的複雜一些而已 執行計畫的生成步驟 其中analyzer會和metainfo進行資訊交換,去做一些關聯查詢校驗的工作 表存不存在,欄位存不存在,字段拼寫...

mysql執行原理 mysql 執行原理

闡述mysql系統的各個模組是如何相親相愛的完成乙個我們認為的很簡單的查詢工作的。我們對啟動mysql,客戶端建立連線,請求query,得到返回結果,最終退出。這樣一整個過程來進行分析。第一步 當我們執行啟動mysql系統的命令之後,mysql的初始化模組就從系統配置檔案中讀取系統引數和命令列引數,...