Yarn命令使用及wordcount解析

前言：

前面幾篇部落格主要介紹了mapreduce與yarn的架構設計及簡單工作流程，本篇文章將以wordcount程式為例，簡單介紹下yarn的使用。

[root@hadoop000 ~]# su - hadoop

[hadoop@hadoop000 ~]$ jps
9201 secondarynamenode
9425 resourcemanager
13875 jps
9540 nodemanager
8852 namenode
8973 datanode
# 建立wordcount目錄
[hadoop@hadoop000 ~]$ hdfs dfs -mkdir -p /wordcount/input
[hadoop@hadoop000 ~]$ vi test.log
jepson ruoze
hero yimi xjp
123a b a
[hadoop@hadoop000 ~]$ hdfs dfs -put test.log /wordcount/input
[hadoop@hadoop000 ~]$ hdfs dfs -ls /wordcount/input 
found 1 items
-rw-r--r-- 1 hadoop supergroup 37
2018-05-29
20:38 /wordcount/input/test.log
# 執行wordcount示例jar包
[hadoop@hadoop000 ~]$ yarn jar \
> /opt/software/hadoop-2.8
.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8
.1.jar \
> wordcount \
> /wordcount/input \
> /wordcount/output
18/05/29
20:40:59 info client.rmproxy: connecting to resourcemanager at /0.0
.0.0:8032
18/05/29
20:40:59 info input.fileinputformat: total input files to process : 1
18/05/29
20:41:00 info mapreduce.jobsubmitter: number of splits:1
18/05/29
20:41:00 info mapreduce.jobsubmitter: submitting tokens for job: job_1526991305992_0001
18/05/29
18/05/29
18/05/29
20:41:01 info mapreduce.job: running job: job_1526991305992_0001
18/05/29
20:41:14 info mapreduce.job: job job_1526991305992_0001 running in uber mode : false
18/05/29
20:41:14 info mapreduce.job: map 0% reduce 0%
18/05/29
20:41:23 info mapreduce.job: map 100% reduce 0%
18/05/29
20:41:29 info mapreduce.job: map 100% reduce 100%
18/05/29
20:41:30 info mapreduce.job: job job_1526991305992_0001 completed successfully
18/05/29
20:41:30 info mapreduce.job: counters: 49
# 檢視結果
2.yarn常用命令總結
--列出在跑的job
3.wordcount流程詳解
參考：
 
yarn 命令使用
在npm 中安裝 npm install g yarn 後端 使用yarn命令 初始化乙個新專案 yarn init y 新增依賴包 yarn add koa koa router koa static cache mysql2 基於node.js 的 web 框架 koa koa 中介軟體 koa...
Yarn 命令使用
windows下安裝方法 2.使用chocolatey進行安裝 chocolatey是乙個windows下的包管理器，可以通過在命令列下輸入以下命令直接安裝yarn choco install yarn3.在安裝有npm前提下安裝yarn npm install g yarn直接通過安裝包安裝如果環...
yarn安裝及基本命令使用
yarn是facebook發布的一種包管理工具 使用格式詳盡而又簡潔的 lockfile檔案 和確定性演算法來安裝依賴，能夠保證在乙個系統上的執行的安裝過程也會以同樣的方式執行在其他系統上 安裝包被執行前校驗其完整性 npm install g yarn 初始化 yarn init 新增包 yarn...