通過公網IP訪問雲上的Hadoop集群

2021-08-01 00:11:30 字數 1024 閱讀 7527

背景:從公司內部網路中的hadoop集群訪問部署在亞馬遜雲的hadoop集群

1. ip、網域名稱設定

1.1 給雲上每個例項設定乙個內網ip(如上圖10.0.0.5)

1.2 給雲上每個例項繫結乙個elastic ip(彈性ip,如上圖x.x.x.1),並且與內網ip一一對應

1.3 給雲上每個例項配置乙個網域名稱(如上圖a001),並且與內網ip一一對應

1.4 給公司內部網路每台機器(例項)配置乙個網域名稱(同1.3的網域名稱如a001),並且與elastic ip一一對應

2. 公司內部網路hadoop集群配置

2.1 此時公司內部網路中的hadoop集群相對於雲上的hadoop集群為客戶端,需要做如下配置:在hdfs-site.xml中新增dfs.client.use.datanode.hostname屬性,表示通過網域名稱訪問

dfs.client.use.datanode.hostnamename>

truevalue>

property>

3. 雲上hadoop集群配置【建議】

可以考慮將雲上伺服器端的hadoop集群配置檔案hdfs-site.xml,增加dfs.datanode.

use.datanode.hostname屬性,表示datanode之間的通訊也通過網域名稱方式。

dfs.datanode.use.datanode.hostnamename>

truevalue>

property>

這樣能夠使得更換內網ip變得十分簡單、方便,而且可以讓特定datanode間的資料交換變得更容易。但與此同時也存在乙個***,當dns解析失敗時會導致整個hadoop不能正常工作,所以要保證dns的可靠。

總結:將預設的通過ip訪問,改為通過網域名稱方式訪問。

firewall騰訊雲伺服器通過公網ip連線不上了

1.有可能是你自己安裝了linux機器上的防火牆,禁止了ssh連線,特別是當你為了安全考慮,在裝防火牆之前把ssh連線口給修改了,然後安裝修改了firewall和iptables防火牆,卻沒有修改你的iptables,把新的ssh埠加進來。可以用vnc方式登陸 因為防火牆安裝後,埠22還是預設開啟的...

通過IP位址訪問Jboss伺服器上的應用

web專案中,在沒有網域名稱伺服器的條件下,我們只想通過ip訪問後台應用伺服器,而不需要在ip位址後面加上專案名稱。也就是這個意思,我們剛剛開發的pj系統發布後,需要這個訪問 這樣,不僅暴露專案名稱,而且也太長,大家輸入的時候太容易出錯。之前都是在通過檔案伺服器,把位址分享給大家,今天測試正趕上檔案...

MySql通過ip位址進行訪問的方法

1.登入mysql mysql u root h 127.0.0.1 p 2.切換資料庫 use mysql 3.授權 grant all privileges on to root 127.0.0.1 identified by 密碼 程式設計客棧 將127.0.0.1換成公網的ip位址。4.檢查...