一、分布式hdfs的安裝和啟動
①在$hadoop_home/etc/hadoop/core-site.xml檔案
fs.defaultfs
hdfs://mypc:9000
hadoop.tmp.dir
/opt/module/hadoop-2.7.2/data/tmp
②格式化namenode（只需要格式化一次）
命令： hadoop namenode -format
目的： ①生成/opt/module/hadoop-2.7.2/data/tmp目錄
②在目錄中生成fsimage_0000000000000000000檔案
③啟動namenode
hadoop-daemon.sh start namenode
啟動datanode
hadoop-daemon.sh start datanode
④檢視jps
通過瀏覽器訪問 http://nn所在的主機名/ip:50070
如果nn和dn都在一台機器，且只有乙個dn節點，稱為偽分布式！
二、在yarn上執行mr
①修改 $hadoop_home/etc/hadoop/mapred-site.xml檔案
mapreduce.framework.name
yarn
②啟動yarn
配置rm到底在哪個機器啟動
修改 $hadoop_home/etc/hadoop/yarn-site.xml檔案
yarn.resourcemanager.hostname
mypc
yarn.nodemanager.aux-services
mapreduce_shuffle
③啟動rm,nm
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
④檢視jps
http://rm所執行的機器主機名/ip:8088
三、提交任務
hadoop jar jar包 主類名 引數
輸入目錄中必須全部是檔案！
輸出目錄必須不存在！
HDFS和MR的配置和使用
在 hadoop home etc hadoop core site.xml檔案 fs.defaultfs hdfs 主機名 9000 hadoop.tmp.dir opt module hadoop 2.7.2 data tmp 格式化namenode 只需要格式化一次 命令 hadoop nam...
Qt中進度條 和進度對話方塊的典型使用方法
qt中進度條 和進度對話方塊的典型使用方法 1.首先介紹進度對話方塊 qprogressdialog 設定進度條對話方塊 qprogressdialog progress progress.setwindowmodality qt windowmodal progress.setwindowtitl...
C 使用async和await寫的進度條
首選感覺async這個玩意比invoke要好用一些,因為後者是委託呼叫,雖然說介面是卡死的,但不會有宕機的感覺.async這個非同步,整個介面還是可以動的,同進還可以執行其它的命令.自己寫的測試的,有需要的自己修改.非同步方法的進度表.private async void button3 click...