shell中判斷hive表分割槽是否存在

temp0="part-"         # 這裡只取了"part-"這個字段  

temp1=`hadoop fs -ls /user/hive/warehouse/test.db/table_name/dt=$dt` 
# 這裡用了grep來找出temp1字串中是否有temp0("part-")這個子串 
result=$(echo $temp1 | grep "$")      
if [[ "$result" != "" ]] 
then 
echo "$dt 有資料,開始任務" 
hive -f /home/test.sql -hivevar dt=$dt //執行相應的sql檔案或hql語句 
else 
echo "$dt 沒有資料,終止任務" 
fi

found 3 items -rwxrwxrwt 2 root supergroup 0 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/_success -rwxrwxrwt 2 root supergroup 76007252 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00000 -rwxrwxrwt 2 root supergroup 55380546 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00001 -rwxrwxrwt 2 root supergroup 40552007 2018-12-15 03:58 /user/hive/warehouse/test.db/table_name/dt=20181213/part-m-00002 -rwxrwxrwt 2 root supergroup 35753890 2018-12-15 03:58

hive表分割槽

hive對錶有分割槽的功能。hive根據表的列屬性值 諸如日期,城市 部門對錶進行分割槽 使用分割槽,能夠很容易查詢 到資料的一部分。表或分割槽被分為 buckets 桶 以便為資料 提供額外的資料結構,該資料結構被 用於提公升 查詢的有效性。buckets 桶 的工作依賴於表中某個列的 雜湊函式值...

Hive 表分割槽

基本知識 hadoop fs rmr hdfs hdfs hadoop fs put user hive warehouse data.txt hdfs hdfs data.txt 建立分割槽表 外部表 create external table if not exists employee id ...

Hive 表分割槽

基本知識 hadoop fs rmr hdfs hdfs hadoop fs put user hive warehouse data.txt hdfs hdfs data.txt 建立分割槽表 外部表 create external table if not exists employee id ...