hadoop的一些基本用法

2021-06-02 11:20:13 字數 1405 閱讀 3065

1、檢視指定目錄下內容

hadoop dfs –ls [檔案目錄]

eg: hadoop dfs –ls /user/

2、開啟某個已存在檔案

hadoop dfs –cat [file_path]

eg:hadoop dfs -cat /user/susu

3、將本地檔案儲存至hadoop

hadoop fs –put [本地位址] [hadoop目錄]

eg:hadoop fs –put /home/susu/text.txt  /user/susu/text.txt

(text.txt是檔名)

4、將本地資料夾儲存至hadoop

hadoop fs –put [本地目錄] [hadoop目錄]

eg: hadoop fs –put /home/susu/dir_name /user/text.txt

(dir_name是資料夾名)

5、將hadoop上某個檔案down至本地已有目錄下

hadoop fs -get [檔案目錄] [本地目錄]

eg:hadoop fs –get /user/susu/ok.txt /home/susu

6、刪除hadoop上指定檔案

hadoop fs –rm [檔案位址]

eg: hadoop fs –rm /user/susu/text.txt

7、刪除hadoop上指定資料夾(包含子目錄等)

hadoop fs –rm [目錄位址]

eg:hadoop fs –rmr /user/susu

8、在hadoop指定目錄內建立新目錄

hadoop fs –mkdir /user/susu

9、在hadoop指定目錄下新建乙個空檔案

使用touchz命令:

hadoop  fs  -touchz  /user/text.txt

10、將hadoop上某個檔案重新命名

使用mv命令:

hadoop  fs  –mv  /user/test.txt  /user/susu.txt  (將test.txt重新命名為susu.txt )

11、將hadoop指定目錄下所有內容儲存為乙個檔案,同時down至本地

hadoop dfs –getmerge /user /home/susu

12、將正在執行的hadoop作業kill掉

hadoop job –kill  [job-id]

13、檢查檔案是否存在

hadoop fs -test -e /home/susu/text.txt

14、檢查檔案是否為0位元組

hadoop fs -test -z /home/susu/text.txt

15、檢查路徑是否是目錄

hadoop fs -test -d /home/susu

ssh,scp的一些基本用法

今天終於把高階計算機網路的project做完了,3個project,乙個使用ns3模擬當前資料中心的拓撲結構,乙個在mininet下對資料中心進行模擬,最後乙個是使用pyretic來寫乙個防火牆。雖然自己之前對linux還是有一定的基礎,但是在做miniet中的實驗中使用xterm,wireshar...

Jquery的一些基本用法

1 獲取指定name的radio選定的值 var a input name price checked attr value 2 獲取指定id的html標籤中的文字內容 var a aa text 3 修改指定id的html標籤中的內容,html 也會以文字形式顯示 n html 警告 4 保留小數...

Tensorflow的一些基本用法

在使用tensorflow中會遇到一些其基本的用法,再次作為記錄備忘 在計算整體的loss是會將不同部分的loss放入乙個集合中,最後計算整體的loss,因此會用到tf.add to collection,具體參考tensorflow中的cifar10的例子,用法如下所示 tf.add to col...