Hive典型應用場景之行列轉換

在使用hive處理資料時，經常遇到行列轉換的場景，本文將對hive的行列轉換操作做詳細的說明。

1）多行轉多列

假設資料表

row2col：

col1   col2    col3

a c 1
a d 2
a e 3 
b c 4
b d 5
b e 6

col1   c      d      e

a 1 2 3
b 4 5 6

hql語句為：

select col1,

max(case col2 when 'c' then col3 else 0 end) as c,
max(case col2 when 'd' then col3 else 0 end) as d,
max(case col2 when 'e' then col3 else 0 end) as e
from row2col
group by col1;

假設資料表

row2col：

col1    col2    col3

a b 1
a b 2
a b 3
c d 4
c d 5
c d 6

col1    col2    col3

a b 1,2,3
c d 4,5,6

a）cocat_ws(引數1，引數2)，用於進行字元的拼接

引數1—指定分隔符

引數2—拼接的內容

b）collect_set()，它的主要作用是將某字段的值進行去重彙總，產生array型別字段。

hql語句為：

select col1, col2, concat_ws(',', collect_set(col3)) as col3

from row2col
group by col1, col2;

1）多列轉多行

假設有資料表

col2row：

col1   c      d      e

a 1 2 3
b 4 5 6

col1   col2    col3

a c 1
a d 2
a e 3
b c 4
b d 5
b e 6

hql語句為：

select col1, 'c' as col2, c as col3 from col2row

union all
select col1, 'd' as col2, d as col3 from col2row
union all
select col1, 'e' as col2, e as col3 from col2row
order by col1, col2;

假設有資料表

col2row：

col1    col2    col3

a b 1,2,3
c d 4,5,6

col1    col2    col3

a b 1
a b 2
a b 3
c d 4
c d 5
c d 6

hql語句為：

select col1, col2, lv.col3 as col3

from col2row 
lateral view explode(split(col3, ',')) lv as col3;

hive使用適用場景 hive的典型應用場景

案例一 需求 現有這麼一批資料，現要求出 每個使用者截止到每月為止的最大單月訪問次數和累計到該月的總訪問次數。資料 使用者名稱，月份，訪問次數 a,2015 01,5 a,2015 01,15 b,2015 01,5 a,2015 01,8 b,2015 01,25 a,2015 01,5 a,20...

ZooKeeper典型應用場景

zookeeper 是乙個開源的高可用的分布式資料管理與系統協調框架，基於對 paxos 演算法的實現，保證了分布式環境中資料的強一致性。發布與訂閱模型 發布者發布資料到 zk 節點上，供訂閱者動態獲取資料。在資料量很少，但是資料更新快的場景下 訊息中介軟體中的發布者和訂閱者的負載均衡，linked...

SSIS典型應用場景分析

ssis 提供一系列支援業務應用程式開發的內建任務 容器 轉換和資料介面卡，方便我們建立解決方案來解決複雜的業務問題，除了可以管理 sql server 資料庫以及在 sql server 例項之間複製 sql server 物件，我們還可以對oracle mysql excel等不同的異構資料來源...