hive表批處理

2022-06-12 09:48:08 字數 941 閱讀 9533

對hive中的表進行批量處理,如下是乙個簡單的指令碼

#給定乙個hive資料庫名,生成它的所有表的create sql語句,並匯出到檔案

create_fun()

#顯示乙個表中所有的分割槽

show_partitions()

#將乙個表中所有分割槽重新命名

rename_partition() -le $ ]

doday_int=`date +"

%y%m%d

" -d "$"

` day_str=`date +"

%y-%m-%d

" -d "$"

` hive -e "

alter table $1.$2 partition (dt='$') rename to partition (dt='$');

"start_day=`date +"

%y%m%d

" -d "

$ 1 days"`

done

}#刪除乙個表中的分割槽

drop_partition()

#更新乙個hive表的列分隔符

modify_separator()

#指定乙個資料庫,查詢出所有table,並對符合條件的table進行處理

database().txt

match=_ods

hive -e "

use $;show tables

">$

sed -i '

/warn/d'$

cat $ |grep $ |while

read line

dodrop_partition $ $line $2

done

rm -rf $

}#program start #

database $

1 $2

批處理操作登錄檔

1.新增 reg add keyname v valuename ve t type s separator d data f keyname machine fullkey 遠端機器的機器名 忽略預設到當前機器。遠端機器上只有 hklm 和 hku。fullkey rootkey subkey r...

批處理 sleep處理

echo off echo q debug nul echo bj jzh 0x ppppppa de dm do dh ls lu lx lezrr eeeuyrx2dx sleep.com echo 0dxfp,0xx.t0p,xtgsb4o piyu wwx0gwuy wv ovbx2gv0e...

mysql 批處理啟動 MySQL開啟批處理

mysql預設關閉批處理 開啟方法 在原始的url尾部新增開啟指令,如下標註語句 url jdbc mysql localhost 3306 mydb3 rewritebatchedstatements true 新增批處理 呼叫preparedstatement中的addbatch 方法,將一句s...