測試 HDFS讀寫效能

向hdfs集群寫入 10 個 128m的檔案

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -write -nrfiles 10 -filesize 128mb

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -read -nrfiles 10 -filesize 128mb

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testdfsio -clean

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter random-data

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar sort random-data sorted-data

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar testmapredsort -sortinput random-data -sortoutput sorted-data

測試磁碟讀寫效能

讀效能測試 time dd iflag direct,nonblock if dev sda2 of dev null bs 8k count 8388608 因為 dev sda2是乙個物理分割槽，對它的讀取會產生io，dev null是偽裝置，相當於黑洞，of到該裝置不會產生io，所以，這個命令...

隨機讀寫效能測試

1.硬碟要求是本地磁碟，不能是網路磁碟，若人數大於1萬人，則儲存機必須用ssd。磁碟讀寫iops和頻寬要求如下 u 順序寫，需要達到 500mb s 以上 隨機讀，需要達到 500mb s 以上 順序寫 dd if dev zero of home test1 bs 1m count 2000 of...

hdfs讀寫流程 HDFS 讀寫流程（詳解）

hdfs hadoop distributed file system 是gfs的開源實現。1 優點 因為有多個副本，可以保證資料可靠，容錯性高 計算向資料移動，適用於批處理 適合大資料處理，gb tb pb級資料，百萬以上的檔案，十萬以上的節點 可以構建在廉價機器上，通過多副本提高可靠性 2 缺點...