跟我一起學 Hdfs 之 運維篇 刪除過期檔案

2021-09-26 22:17:47 字數 1108 閱讀 6618

檢視資料步驟 :

按照時間倒序:

hdfs dfs -ls /tmp | sort -k6,7

檢視非資料夾:

hdfs dfs -ls /tmp ls -l |grep -vn "^d"

檢視資料夾:

hdfs dfs -ls /tmp ls -l |grep "^d"

刪除檔案:

hadoop fs -rm -f /tmp/ffc341534d42473fbc9c817f4db7222f

刪除資料夾:

hadoop fs -rm -r /tmp/***x

刪除過期資料指令碼:

#!/bin/bash

#k認證

source /home/hadoopclient/bigdata_env

kinit -kt /home/hadoopclient/nhioc.keytab nhioc

#刪除hdfs的tmp資料夾歷史資料

old_version=$(hadoop fs -ls /tmp | awk 'begin }')

arr=($)

echo $old_version

for version in $

do hadoop fs -rm -f $version

done

清空或刪除日誌檔案:

#查詢大於400m的檔案  並清空檔案

find / -type f -size +400m -name ".out" | xargs -i {} sh -c '> {}'

find / -type f -size +400m -name "*.log" | xargs -i {} sh -c '> {}'

#查詢大於400m的檔案 並刪除檔案

find / -type f -size +400m -name "*.log.*" -exec rm -f {} \;

find / -type f -size +400m -name "*.data" -exec rm -f {} \;

跟我一起學攝影

咦 好巧!我也是攝影愛好者。咱們一起學習吧。或許你也有這樣的體驗,並茂的文章更能讓人快速進入學習狀態,更何況是攝影,必須有圖。下面是我彙總的資料,必須深入淺出,拒絕一切晦澀難懂。學習課本 1.佳能官網 能系統學習攝影知識,從入門 初級 中級 高階 高階。每個頁面講解乙個知識點,結合實際的拍攝效果,深...

跟我一起學python 跟我一起學人工智慧(一)

跟我一起學人工智慧 一 文 小步 系列第一講正式開課啦,課程全都是可以實操的乾貨,到後面ai演算法 python 可以結合做出乙個簡單的人工智慧應用 因本人也對ai領域涉足不久,如文章有不妥之處還請各位大神與我多多交流,此系列文章也屬於我學習ai過程中的總結,我也會做到盡量寫出只要是高中畢業就能看懂...

跟我一起學OpenGL texture 紋理

前面學習了畫普通的圖形,但是顏色比較單一,有什麼好的方法讓圖形顏色更加豐富,更加真實呢?texture 中文譯為紋理 就可以扮演這一角色,本節則簡單說明texture的使用。執行下面的程式,便可出現乙個黑白相間的棋盤 1 include 2 include 3 include 4 using nam...