hive使用rank實現topN的查詢

前置條件：

安裝好hive

背景：

hive表中存有cookieid和time兩個字段

目標：

通過rank方法查出每個cookieid在哪一天的次數最多

具體步驟如下：

create external table tmp_dh_topn ( cookieid string, vtime string --day ) row format delimited fields terminated by

','stored as textfile location '/tmp/dh/tmp_dh_topn/';

資料檔案存放在/tmp目錄下，把資料匯入hive的tmp_dh_topn表中

load data local inpath '/tmp/tmp_topn.txt' into

table tmp_dh_topn;

select cookieid, vtime, count(vtime) as pv from tmp_dh_topn group by cookieid, vtime order

by cookieid, vtime

得到結果如下：

cookie1 2015-04-10 3 cookie1 2015-04-11 3 cookie1 2015-04-12 3 cookie1 2015-04-13 2 cookie1 2015-04-14 2 cookie1 2015-04-15 1 cookie2 2015-04-10 3 cookie2 2015-04-11 3 cookie2 2015-04-12 3 cookie2 2015-04-13 2 cookie2 2015-04-14 2

cookie2 2015-04-15 1

select cookieid, vtime, pv, rank() over (partition by cookieid order
by pv desc, vtime desc) as pv_rank from (
select cookieid, vtime, count(vtime) as pv
from tmp_dh_topn
group
by cookieid, vtime
order
by cookieid, vtime
) tmp_dh_pv

使用rank方法能把結果進行排序，over中的partition是進行排序分割槽，order by是在內部排序時的條件。這裡的意思是在每個cookieid分組在按照pv、vtime來進行排序，最後得出結果。

得到結果如下：

cookie1 2015-04-12 3 1 cookie1 2015-04-11 3 2 cookie1 2015-04-10 3 3 cookie1 2015-04-14 2 4 cookie1 2015-04-13 2 5 cookie1 2015-04-15 1 6 cookie2 2015-04-12 3 1 cookie2 2015-04-11 3 2 cookie2 2015-04-10 3 3 cookie2 2015-04-14 2 4 cookie2 2015-04-13 2 5

cookie2 2015-04-15 1 6

select cookieid, vtime, pv from (
select cookieid, vtime, pv, rank() over (partition by cookieid order
by pv desc, vtime desc) as pv_rank from (
select cookieid, vtime, count(vtime) as pv
from tmp_dh_topn
group
by cookieid, vtime
order
by cookieid, vtime
) tmp_dh_pv
)where pv_rank = 1;

最後一步，去pv_rank為1就是得到次數最多的那個記錄。

得到的結果如下：

cookie1 2015-04-12 3

cookie2 2015-04-12 3

hive使用rank實現topN的查詢

hive使用rank實現topN的查詢

Hive開窗函式和Rank函式

用mysql實現rank（）排序

hive使用rank實現topN的查詢

hive使用rank實現topN的查詢

Hive開窗函式和Rank函式

用mysql實現rank（）排序

相關推薦