Shell 檢查HDfS檔案

tip: 假設要檢查的路徑為check_path

bytes獲取檔案大小，單位為位元組；base為轉換單位的基準，我這裡取1g，所以是1x1024x1024x1024bytes，其他單位轉換同理；第三步real只需要做除法即可，bc是shell自帶運算處理，這裡做2位小數保留，其餘同理

#獲取大小

bytes=`hadoop fs -du -s $check_path|awk -f " " ''`
base=1073741824
real=`echo "scale=2; $bytes/$base" | bc`

#檢查路徑是否存在

function check_exist()
check_exist

#檢測路徑是否為資料夾

function check_isdir()

#檢測路徑是否為?

function check_isfile()

#檢測?大小是否超過超過閾值 預設byte

function check_capacity() " bytes/100 m"
else
echo "未超過"$ " bytes/100 m"
fi}

#檢測?大小是否為空

function check_empty()

hdfs檔案操作shell命令

usage hadoop fs generic options cat ignorecrc checksum chgrp r group path.chmod r mode octalmode path.chown r owner group path.copyfromlocal f p l cop...

shell指令碼 檢查檔案是否存在

from 寫乙個指令碼，來檢查某個檔案是否存在，如果存在，則輸出它的詳細資訊，如果不存在，則提示輸出檔案不存在。在給出這個指令碼之前，先來了解一下如下幾個命令 檔案upload.zip為例 1.ll h upload.zip rw r r 1 root root 3.3m 06 28 23 21 u...

shell遍歷hdfs上的檔案目錄

背景 需要批量把hdfs上某個目錄中的所有以.pending 結尾的檔案，去掉.pending字尾。主要原因是建立的hive外表無法讀取.tmp或.pending的檔案，所以需要去掉字尾。hdfs上檔案的結構是根目錄 data test flink ttengine predict 下有dt 201...