hadoop知識系列 Hadoop fs命令

2021-10-08 06:41:11 字數 1849 閱讀 9111

如何檢視hdfs子命令的幫助資訊,如ls子命令

hdfs dfs -help rmdir

檢視hdfs檔案系統中已經存在的檔案

hdfs dfs -ls /

hadoop fs -ls /

在hdfs檔案系統中建立檔案

hdfs dfs -touchz /1.txt

從本地路徑上傳檔案至hdfs

hdfs dfs -put /本地路徑 /hdfs路徑

hdfs dfs -put hadoop-2.7.3.tar.gz /

hdfs dfs -get /hdfs路徑 /本地路徑

在hdfs檔案系統中刪除檔案

hdfs dfs -rm /1.txt

在hdfs檔案系統中檢視檔案內容

hdfs dfs -cat /xrsync.sh

在hdfs檔案系統中建立目錄

hdfs dfs -mkdir /shell

在hdfs檔案系統中修改檔名稱(也可以用來移動檔案到目錄)

hdfs dfs -mv /xcall.sh /call.sh

hdfs dfs -mv /call.sh /shell

在hdfs中拷貝檔案到目錄

hdfs dfs -cp /xrsync.sh /shell

遞迴刪除目錄

hdfs dfs -rmr /shell

列出本地檔案的內容(預設是hdfs檔案系統)

hdfs dfs -ls file:///home/bruce/

追加檔案內容到hdfs檔案系統中的檔案

獲取namenode的節點名稱(可能有多個)

hdfs getconf -namenodes

獲取hdfs最小塊資訊

hdfs getconf -confkey dfs.namenode.fs-limits.min-block-size

查詢hdfs的namenode的rpc位址

hdfs getconf -nnrpcaddresses

檢視hdfs dfsadmin的幫助資訊

hdfs dfsadmin

檢視當前的模式

hdfs dfsadmin -safemode get

進入安全模式

hdfs dfsadmin -safemode enter

fsck指令顯示hdfs塊資訊

hdfs fsck / -files -blocks

檢查壓縮庫本地安裝情況

hadoop checknative

格式化名稱節點(慎用,一般只在初次搭建集群,使用一次)

hadoop namenode -format

執行自定義jar包

hadoop jar yinzhengjiemapreduce-1.0-snapshot.jar com.kaikeba.hadoop.wordcount /world.txt /out

Hadoop到底能做什麼?怎麼用hadoop?

調研hadoop頗久,就是想知道hadoop是什麼?hadoop能做什麼?怎麼用hadoop?最主要是這三塊,至於投入和風險也會隨之出來 濃縮了我幾十頁的調研方案啊!hadoop是什麼?hadoop是乙個開源的框架,可編寫和執行分布式應用,處理大規模資料,是專為離線和大規模資料分析而設計的,並不適合...

《Hadoop權威指南》第一章初始Hadoop

我們已經進入了乙個資料大 的時代!有大量資料需要儲存和處理 硬碟儲存容量多年來不斷提公升的同時,訪問速度卻沒有與時俱進。可採用分布式儲存。但是存在兩個問題,1.硬體故障問題。解決辦法 a.冗餘硬碟陣列 raid b.hadoop的檔案系統hdfs。2.多數任務需要某種方式結合大部分資料來共同分析。關...

hadoop系列討論

主要關注生產環境下的運維成本,期待更多人加入討論,更希望有對cdh有運維經驗的人來分享分享 分享 預設排序按時間排序 0贊同 反對,不會顯示你的姓名 東昇鄉無可匹敵的傑出司令官,校園西路天 說實話,真覺得hortonworks的好,三種版本都玩過,還是更喜歡hortonworks,初學者喜歡用cdh...