Hadoop基礎 常用命令

2021-07-13 07:52:05 字數 1766 閱讀 8397

1、檢視a電腦是否能夠聯通b電腦的某個埠

先安裝命令:#yum install telnet -y

再檢視:      #telnet 192.168.142.115 8088

2、檢視hdfs上的檔案目錄(/test/flume)是否存在

#hadoop fs -test -e /test/flume

#echo $?

如果返回值是1,代表不存在目錄

如果返回值是0,代表存在該目錄

3、建立資料夾

#hadoop fs  -mkdir /20160610

4、檢視命令

#hadoop dfs –cat /user/test.txt

5、刪除命令

#hadoop dfs –rmr /user/test.txt

6、移動命令

#hadoop dfs –mv /user/test.txt  /user/test/

7、拷貝命令

#hadoop dfs –copytolocal /user/test.txt   /opt/

#hdfs  dfs    –get    /user/test.txt   /opt/

8、檢視集群剩餘記憶體

[e_lvbin@host14 ~]$ free -g

total          used    free      shared    buffers     cached

mem:           252        193         58           0          0                 147

-/+ buffers/cache:        46        206

swap:           31          0         31

get使用方法:hadoop fs -get [-ignorecrc] [-crc]

複製檔案到本地檔案系統。可用-ignorecrc選項複製crc校驗失敗的檔案。使用-crc選項複製檔案以及crc資訊。

示例:hadoop fs -get /user/hadoop/file localfile

hadoop fs -get hdfs://host:port/user/hadoop/file localfile

返回值:

成功返回0,失敗返回-1。

10、驗證本地庫是否載入成功:hadoop checknative

info bzip2.bzip2factory: successfully loaded & initialized native-bzip2 library system-native

info zlib.zlibfactory: successfully loaded & initialized native-zlib library

native library checking:

hadoop: true /usr/local/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0

zlib:   true /lib64/libz.so.1

lz4:    true revision:99

bzip2:  true /lib64/libbz2.so.1

未完待續~~~~~~~~

hadoop 常用命令

啟動hadoop 進入hadoop home目錄。執行sh bin start all.sh 或者是在hadoop 的目錄下能看到他的bin目錄 執行 bin start all.sh 關閉hadoop 進入hadoop home目錄。執行sh bin stop all.sh 同上。1 檢視指定目錄...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...

hadoop常用命令

1 檢視指定目錄下內容 hadoop dfs ls 檔案目錄 eg hadoop dfs ls user wangkai.pt 2 開啟某個已存在檔案 hadoop dfs cat file path eg hadoop dfs cat user wangkai.pt data.txt 3 將本地檔...