Hadoop學習筆記 3

從jar包中提取預設配置

master node就是name node

master node會通過ssh將命令傳送到其他data node。

分離啟動secondarynamenode

配置檔案hdfs-site.xml，在node3上啟動secondarynamenode程序。

將hdfs-site.xml從master node傳送到其他所有data node。

重啟hadoop需要清理

stop-all.sh --config /path/to/hadoop_cluster 刪除所有節點的/tmp/hadoop-$user

刪除所有節點的$hadoop_home/logs

修改hadoop預設的本地目錄

core-site.xml

>
>
>
fs.defaultfsname
>
>
hdfs://node1/value
>
property
>
>
>
hadoop.tmp.dirname
>
>
/tmp/hadoop-$value
>
property
>
configuration
>

hdfs設計

適用於不適用於塊

預設128m

檢視block的狀態

hadoop fsck /dir/or/file

配置檔案hdfs-site.xml（原始碼中為hdfs-default.xml）

>
>
dfs.blocksizename
>
>
134217728value
>
>
預設單位byte，
k(kilo)，m(mega)，g(giga)，t(tera)，p(peta)，e(exa)，
如：128k，30m，40g
且大小寫不敏感
description
>
property
>

向hdfs put檔案在namenode和datanode上都時可以的。

啟動的程序

# 在namenode節點上執行下述命令則效果是啟動所有節點的datanode程序 # 在datanode節點上執行下述命令則效果是只啟動該節點的datanode程序 hadoop-daemon.sh start datanode #當然還可以如下使用來單獨啟動相應的程序 hadoop-daemon.sh start namenode

hadoop-daemon.sh start secondarynamenode

ubuntu設定靜態ip

# inte***ces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
# iface eth0 inet dhcp
iface eth0 inet static
address 192.168.74.128
netmask 255.255.255.0
gateway 192.168.74.2
dns-nameservers 192.168.74.2
auto eth0

$ sudo /etc/init.d/networking restart

虛擬機器靜態配置ip後將不向vmware傳送dhcp offer報文，但可以被本地訪問且可以上網。

ubuntu切換到字元介面

sudo vim /etc/default/grub ------------------------------------- #grub_cmdline_linux_default="quiet splash" grub_cmdline_linux_default= "text" grub_terminal=console ------------------------------------- sudo update-grub sudo reboot # 進入圖形介面

startx

獲得配置資訊

hdfs getconf -namenodes

hdfs getconf -secondarynamenodes

四大模組及配置檔案

hdfs檔案系統的操作命令

hdfs dfs <=
> hadoop fs
new old

Hadoop學習筆記 3

Hadoop1 1 2學習筆記（3）

hadoop學習筆記3 yarn

Hadoop學習筆記 Hadoop初識

Hadoop學習筆記 3

Hadoop1 1 2學習筆記（3）

hadoop學習筆記3 yarn

Hadoop學習筆記 Hadoop初識

相關推薦