解決 Spark集群HA無法正常啟動的問題

2021-07-10 01:31:08 字數 501 閱讀 3442

spark集群ha無法正常啟動的問題,master節點正常情況的狀態為alive與standby,使用ha後通過zookeeper集群來確定master的alive與standby。

今天,出現master節點一直處於recovering,處理恢復狀態,卻不能正常啟動。

根據以往hadoop集群的經驗,應該是zk管理master節點的問題

解決方案為

進行zk的客戶端

./zkcli.sh

檢視目錄

ls /

刪除s park在zk中的目錄

rmr /spark

對於非常正常掛掉的任務,需要手工在zk刪除

檢視任務

ls /spark/master_status
刪除失效任務即可

重新啟動spark集群即可。

解決YUM無法正常工作

具體的報錯資訊如下 error downloading packages gd devel 2.0.33 9.4.el5 4.2.i386 failure gd devel 2.0.33 9.4.el5 4.2.i386.rpm from kel errno 256 no more mirrors ...

解決 dotfuscator 無法正常編譯的問題

一步步reset hard commit 定位問題,發現是 包的引入導致的問題 在配置檔案中增加以下內容 type name regex true excludetype false method name regex true customattribute name system.diagnos...

kali無法正常上網的解決過程

大約半個月之前用過kali,之後就一直封存在vmware裡了,今天開啟一看,居然不能聯網了,ping其他的機器會顯示network is unreachable,研究了半個小時才搞定。首先ifconfig,可以看到沒有正在工作的網絡卡,只有localhost 然後ifconfig a,可以看到eth...