hadoop 部署後測試 執行wordcount

2021-08-20 20:59:29 字數 1899 閱讀 2301

由於hbase集群部署失敗,所以我想測試一下自己的 hadoop 是否安裝成功

1.  hadoop fs -mkdir /input

在hdfs中建立input檔案目錄

[plain]view plain

copy

[root@master hadoop]# hadoop fs -mkdir /input  

2  hadoop fs -put license.txt  /input

我當前在hadoop的目錄下,有個license.txt的檔案,把它放到hdfs的input目錄下面

[plain]view plain

copy

[root@master hadoop]# hadoop fs -put license.txt  /input   

3 hadoop fs -ls /input

檢視檔案是否正確傳入到/input目錄下

或者 hadoop fs -cat /input/license.txt檢視檔案內容

[plain]view plain

copy

[root@master hadoop]# hadoop fs -ls /input  

found 1 items  

-rw-r--r--   2 root supergroup      84854 2018-06-19 09:34 /input/license.txt  

[root@master hadoop]# hadoop fs -cat /input license.txt   

4  

執行:hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output

或者絕對路徑:

hadoop jar /usr/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output

[plain]view plain

copy

[root@master hadoop]# hadoop jar /usr/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar   

wordcount /input /output  

6  看到這個就成功了

檢視輸出結果的目錄

hadoop fs -cat /output/part-r-00000

檢視輸出結果

結果就是對license.txt檔案中單詞進行計數統計了,到這就執行完成了。

測試執行分層

測試執行分層 v模型體現了測試設計分層和測試執行分層的概念,本文以作者自身的理解談談測試執行分層,不過從實際專案運作情況來看,真正做到測試執行分層的並不多,這裡原因有很多種,暫且不論。1.ut 單元測試的物件是lld中所劃分定義的程式單元或模組,它也是單元測試用例設計中可測試的最大單元。該測試物件可...

測試執行 setup tearDown

1 測試執行 這類方法用於測試的執行過程,比如在測試之前連線資料庫,測試之後用於清除增加的字段,跳過某個測試用例等。利用這些方法,可以降低測試用例 的複雜度,減少 耦合度,結構也更加清晰。setup 與teardown 顧名思義。setip和teardown分別是安裝和解除安裝的意思。setup 方...

談談測試執行分層

v模型體現了測試設計分層和測試執行分 層的概念,本文以作者自身的理解談談測試執行分層,不過從實際專案運作情況來看,真正做到測試執行分層的並不多,這裡原因有很多種,暫且不論。1.ut 單元測試的物件是lld中所劃分定義的程式單元或模組,它也是 單元測試用例設計中可測試的最大單元。該測試物件可能由乙個或...