Hadoop 黑白名單,新節點

2021-09-12 20:06:15 字數 2903 閱讀 9455

1、新增主機對映 vim /etc/hosts,這裡是node4

192.168.88.135 master0

192.168.88.136 master1

192.168.88.137 node1

192.168.88.139 node2

192.168.88.138 node3

192.168.88.145 node4

2、更改主機名為node4

vim /etc/sysconfig/network

networking=yes

hostname=node4

3、配置靜態ip,然後重啟reboot

vim /etc/sysconfig/network-scripts/ifcfg-eth0

vim /etc/udev/rules.d/70-persistent-net.rules

device=eth0

type=ethernet

uuid=27b5d0ea-0df8-4909-a0f6-5e405f2ab682

onboot=yes

nm_controlled=yes

bootproto=none

hwaddr=00:0c:29:bb:d0:e2

defroute=yes

peerdns=yes

peerroutes=yes

ipv4_failure_fatal=yes

ipv6init=no

name="system eth0"

last_connect=1546164677

ipaddr=192.168.88.145

gateway=192.168.88.1

broadcast=255.255.255.0

4、ssh免密登入ssh-keygen  -t  rsa

ssh-copy-id -i ~/.ssh/id_rsa.pub wangfei@master0

各個節點需要配置hosts,需要公匙互相傳送

5、防火牆

6、刪除/tmp,hadoop下的  hdfs/data   logs  tmp   pids  等

啟動datanode

./hadoop-daemon.sh start datanode

啟動yarn

./yarn-daemon.sh start nodemanager

7、停止

hadoop-daemon.sh stop datanode

./yarn-daemon.sh stop nodemanager

1、在etc/hadoop下建立dfs.hosts

把允許的datanode都新增進去

2、在hdfs-site.xml中天劍dfs.hosts屬性

dfs.hosts

/usr/local/hadoop-2.6.0/etc/hadoop/dfs.hosts

3、分發4、重新整理namenodehdfs dfsadmin -refreshnodes

重新整理rm節點

yarn rmadmin -refreshnodes

如果是對namenode做過ha,則需要在主備namenode上執行:

hdfs dfsadmin -fs hdfs://tkbd -refreshsuperusergroupsconfiguration

5.集群負載均衡

在master主機上面,執行start-balancer.sh進行資料負載均衡。目的是將其他節點的資料分擔一些到新節點上來,看集群原來資料的多少需要一定的時間才能完成。

hadoop balancer

或者bin/start-balancer.sh

負載均衡作用:當節點出現敀障,或新增加節點時,資料塊可能分布不均勻,負載均衡可重新平衡各個datanode上資料塊的分布,使得所有的節點資料和負載能處於乙個相對平均的狀態,從而避免由於新節點的加入而效率降低(如果不進行balance,新資料一般會被插入到新節點中)

在黑名單上的節點會被強制退出

退役舊節點

1、在etc/hadoop下建立dfs.hosts.exclude檔案

2、在hdfs-site.xml新增屬性

dfs.hosts.exclude

/usr/local/hadoop-2.6.0/etc/hadoop/dfs.hosts.exclude

3、分發 ,重新整理nn rm4、退役的時候把自己的資料同步到其他節點,資料越多,退役時間越慢5、最後單節點退出,停掉datanode,nodemanager6、等集群重啟的時候,就消失

nn  dn多目錄配置,**

設定Azure WebSite黑白名單

azure website服務預設是不提供黑白名單,也就是說任何internet使用者都可以訪問azure website,那麼我們如何來給我們的 設定黑白名單?這裡有一種方式,可以通過配置 的配置檔案 web.config 來設定訪問的黑白名單。1 通過vs新建乙個asp.net mvc專案 上圖...

Linux設定ssh黑 白名單

在考試rhce的時候,有這麼一道題目,使用者能夠從 內的客戶端ssh遠端訪問你的伺服器,在 內的客戶端不能訪問你的服務。有人說可以用防火牆來設定,不錯!是可以。但是,如果你仔細檢查的話會發現,rhce考試的試卷往往防火牆只有乙個區域,trusted,在設定時候也不會報錯,當你查的時候發現沒有bloc...

nginx設定目錄白名單 ip白名單

1.設定目錄白名單 對指定請求路徑不設定限制,如對請求路徑為api目錄下的請求不做限制,則可寫為 limit conn conn 20 limit rate 500k 因nginx會優先進行精準匹配,所以以上寫法即接觸了對api目錄下屬路徑的限制 2.設定ip白名單,需用到nginx geo 與 n...