HDFS偽分布式環境搭建

（一）、hdfs shell操作

以上已經介紹了如何搭建偽分布式的hadoop，既然環境已經搭建起來了，那要怎麼去操作呢？這就是本節將要介紹的內容： hdfs自帶有一些shell命令，通過這些命令我們可以去操作hdfs檔案系統，這些命令與linux的命令挺相似的，如果熟悉linux的命令很容易就可以上手hdfs的命令，關於這些命令的官方文件位址如下： 1.1 首先我們在/data下建立乙個測試檔案： [root@web02 data]# vim hello.txt 如果遇到以上報錯修改 [root@web02 hadoop]# pwd /usr/local/src/hadoop-2.6.0-cdh5.7.0/etc/hadoop [root@web02 hadoop]# vim log4j.properties 新增：log4j.logger.org.apache.hadoop.util.nativecodeloader=error

1.2檢視檔案系統的根目錄

[root@web02 data]# hdfs dfs -ls /

1.3.將剛剛建立的檔案拷貝到檔案系統的根目錄下：

[root@web02 data]# hdfs dfs -ls / 
found 1 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
[root@web02 data]#

1.4.檢視檔案內容：

[root@web02 data]# hdfs dfs -cat /hello.txt hello you 66 o hadoop hdfs mpareduce

1.5建立目錄

[root@web02 data]# hdfs dfs -mkdir /test
[root@web02 data]# hdfs dfs -ls /
found 2 items
-rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt
drwxr-xr-x - root supergroup 0 2018-04-07 12:20 /test
[root@web02 data]#

1.6遞迴建立目錄

[root@web02 data]# hdfs dfs -mkdir -p /test/a/b/c

1.7檢視遞迴目錄

1.8複製檔案

[root@web02 data]# hdfs dfs -copyfromlocal ./hello.txt /test/a/b [root@web02 data]# hdfs dfs -ls -r / -rw-r--r-- 1 root supergroup 37 2018-04-07 12:04 /hello.txt drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a drwxr-xr-x - root supergroup 0 2018-04-07 12:28 /test/a/b drwxr-xr-x - root supergroup 0 2018-04-07 12:22 /test/a/b/c -rw-r--r-- 1 root supergroup 37 2018-04-07 12:28 /test/a/b/hello.txt [root@web02 data]#

1.9從系統中拿出檔案

[root@web02 data]# hdfs dfs -get /test/a/b/hello.txt

2.0刪除檔案

[root@web02 data]# hdfs dfs -rm /hello.txt
deleted /hello.txt
[root@web02 data]#

2.1刪除目錄

[root@web02 data]# hdfs dfs -rm -r /test
deleted /test
[root@web02 data]#

以上就是最為常用的一些操作命令了，如果需要使用其他命令，直接執行hdfs dfs就可以檢視到所支援的所有命令。

接下來我們在瀏覽器裡檢視檔案系統，首先將剛剛刪除的檔案put回去:

2.2檢視檔案資訊

HDFS偽分布式環境搭建

kafka 偽分布式環境搭建

hdfs偽分布式整合yarn

hadoop偽分布式搭建

HDFS偽分布式環境搭建

kafka 偽分布式環境搭建

hdfs偽分布式整合yarn

hadoop偽分布式搭建

相關推薦