1.檢視所有目錄及檔案
-ls
[root@master sbin]
# hadoop fs -ls /
found 2 items
-rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xml
drwxr-xr-x - root supergroup 0 2020-12-07 18:04 /dzw
-mkdir
[root@master sbin]
# hadoop fs -ls /
found 2 items
-rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xml
drwxr-xr-x - root supergroup 0 2020-12-07 18:04 /dzw
[root@master sbin]
# ^c
[root@master sbin]
# hadoop fs -mkdir /test
[root@master sbin]
# hadoop fs -ls /
found 3 items
-rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xml
drwxr-xr-x - root supergroup 0 2020-12-07 18:04 /dzw
drwxr-xr-x - root supergroup 0 2020-12-08 09:50 /test
-mkdir -p
[root@master sbin]
# hadoop fs -mkdir -p /test/tpm/lyc
[root@master sbin]
# hadoop fs -ls /test
found 1 items
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm
[root@master sbin]
# hadoop fs -ls /test/tpm
found 1 items
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm/lyc
-put
put後面是本地檔案路徑和檔名 最後是hdfs的目標路徑
[root@master test]
# hadoop fs -put /usr/local/src/test/1.txt /dzw
[root@master test]
# hadoop fs -ls /dzw
found 1 items
-rw-r--r-- 2 root supergroup 12 2020-12-08 10:00 /dzw/1.txt
三種方式 cat tail text
[root@master test]
# hadoop fs -cat /dzw/1.txt
111222
333[root@master test]
# hadoop fs -tail /dzw/1.txt
111222
333[root@master test]
# hadoop fs -text /dzw/1.txt
111222
333
-du -h
[root@master test]
# hadoop fs -du -h /dzw/1.txt
12 /dzw/1.txt
| wc -l
[root@master test]
# hadoop fs -text /dzw/1.txt | wc -l
3
-touchz
[root@master test]
# hadoop fs -ls /dzw
found 1 items
-rw-r--r-- 2 root supergroup 12 2020-12-08 10:00 /dzw/1.txt
[root@master test]
# hadoop fs -touchz /dzw/baby.txt
[root@master test]
# hadoop fs -ls /dzw
found 2 items
-rw-r--r-- 2 root supergroup 12 2020-12-08 10:00 /dzw/1.txt
-rw-r--r-- 2 root supergroup 0 2020-12-08 10:36 /dzw/baby.txt
[root@master test]
# hadoop fs -get /dzw/baby.txt /usr/local/src/test
[root@master test]
# ls
1.txt a.txt baby.txt dzw.txt map_new.py red_new.py result.local run.sh
-r
[root@master test]
# hadoop fs -ls -r /test
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm/lyc
[root@master test]
# hadoop fs -ls -r /dzw
-rw-r--r-- 2 root supergroup 12 2020-12-08 10:00 /dzw/1.txt
-rw-r--r-- 2 root supergroup 0 2020-12-08 10:36 /dzw/baby.txt
-mv
[root@master test]
# hadoop fs -ls /
found 3 items
-rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xml
drwxr-xr-x - root supergroup 0 2020-12-08 10:36 /dzw
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test
[root@master test]
# hadoop fs -ls /dzw
found 2 items
-rw-r--r-- 2 root supergroup 12 2020-12-08 10:00 /dzw/1.txt
-rw-r--r-- 2 root supergroup 0 2020-12-08 10:36 /dzw/baby.txt
[root@master test]
# hadoop fs -ls /test
found 1 items
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm
[root@master test]
# hadoop fs -mv /dzw/baby.txt /test
[root@master test]
# hadoop fs -ls /test
found 2 items
-rw-r--r-- 2 root supergroup 0 2020-12-08 10:36 /test/baby.txt
drwxr-xr-x - root supergroup 0 2020-12-08 09:55 /test/tpm
Hadoop快速入門（ Hadoop簡介）
hadoop 核心元件 hadoop 包含以下模組 hadoop common 常見實用工具，用來支援其他 hadoop 模組。hadoop distributed file system hdfs 分布式檔案系統，它提供對應用程式資料的高吞吐量訪問。hadoop yarn 乙個作業排程和集群資源管...
大資料入門之Hadoop基礎學習
資料採集引擎 sqoop flumezookeeper 實現hadoop的ha oozie 工作流引擎第一階段 scala程式語言 第二階段 spark core 基於記憶體 資料的計算 第三階段 spark sql 類似於mysql 的sql語句 第四階段 spark streaming 進行流式...
hadoop快速入門
大資料核心含義是一種技術革新 隨著網際網路時代的深入，產生了越來越多的資料，比如 1 電商產生的大量使用者瀏覽 購物行為 2 移動運營商記錄了大量的使用者上網行為 3 網路輿情分析 營銷支撐 4 金融系統徵信分析 上述的這些需求，用以前的傳統技術無法勝任，需要有乙個全新的技術體系來支撐 在此背景之下...