利用hive對映表完成hbase的批量刪除操作

2021-10-24 19:48:29 字數 1175 閱讀 1406

create external table `*********`(

`keyid` string comment 'from deserializer',

`action` string comment 'from deserializer')

row format serde

'org.apache.hadoop.hive.hbase.hbaseserde'

stored by

'org.apache.hadoop.hive.hbase.hbasestoragehandler'

with serdeproperties (

'serialization.format'='1')

tblproperties (

'hbase.table.name'='*********',

'transient_lastddltime'='1602294488')

#!/bin/bash

# 該shell指令碼實現刪除前四天的所有資料

date=$(date -d "4 day ago" +%y-%m-%d)

echo $

#用hivesql,查出需要刪除的資料,並且拼接hbase shell刪除命令,逐條刪除,重定向覆蓋到del_temp.txt

hive -e "select concat('deleteall \'*********\',\'',keyid,'\'') from test.*********where keyid like '$%'" > del_temp.txt

# 重定向追加乙個exit,這樣在下一條語句執行完畢,就可以退出hbase shell了

echo 'exit' >> del_temp.txt

# 到hbase shell裡面執行刪除語句

hbase shell ./del_temp.txt

exit

操作如此絲滑,就像用了飄柔。。。。。。。

文章最後congratulations to the lakers, goodbye to kobe, goodbye to my youth。。。。。

和hbase對映 hbase整合hive

hive提供了與hbase的整合,是的能夠在hbase表上使用hive sql語句進行查詢 插入操作以及進行join和union等複雜查詢 同時也可以將hive表中的資料對映到hbase中。當我們在使用hive時候,在資料量多的時候就會發現非常的慢,乙個簡單的sql都要半天,其實我們追尋他的原因很簡...

hive對映hbase,通過phoenix查詢該錶

rowkey key 生成規則待定 列族 單列族 cf1 列名 id,name,code 1在hive中建表對映到hbase create table tmp.test hbase phoenix key string,id int,name string,code string stored by...

hive對映hbase表資料

一般來說,hive對映表資料都是對映hdfs上的資料,直接通過location指定對映目錄,然後可以查詢資料。但是hive對映hbase表資料,是直接對映hbase中的表。create events db user friend uf 注釋 set hive.exec dynamic.partiti...