自動巡檢spark job程序號

2021-09-29 03:21:23 字數 768 閱讀 7647

前階段應公司要求在收縮公司資源成本,導致有些機器效能比較飽和有幾台spark的job節點掛掉了。這若是沒告警。對公司的損失可是不少。後面為了提前預防類似的事情傳送,自己寫了很簡單的shell指令碼來定時巡檢。底下是**,僅供參考!

#!/bin/bash  

file_log=/data/lzmhtest/crontab/spark/spark.log  ----存放定時列印的日誌

master=`ps -ef | grep org.apache.spark.deploy.sparksubmit | grep 7077 | awk ''`----過濾spark-job節點的程序號

if [ "$master" =  "" ]; then---判斷程序號為空

echo "spark正在重啟中..." [$(date +'%f %h:%m:%s')]  >> $file_log---列印日誌

cd /data/modules/spark-2.1.1-bin-hadoop2.7----cd到spark目錄啟動指令碼

sh spark_start.sh ---根據實際情況寫自己的spark啟動命令指令碼

else

echo "spark正常執行" [$(date +'%f %h:%m:%s')] "masterpid:" $master >> $file_log---列印日誌

fi底下是cronta定時指令碼;我寫的是每1分鐘巡檢一次

*/1 * * * * lzmhqa /bin/sh /data/lzmhtest/crontab/spark/spark.sh

linux 0號程序 1號程序 區別

系統允許乙個程序建立新程序,新程序即為子程序,子程序還可以建立新的子程序,形成程序樹結構模型。整個linux系統的所有程序也是乙個樹形結構。樹根是系統自動構造的,即在核心態下執行的0號程序,它是所有程序的祖先。由0號程序建立1號程序 核心態 1號負責執行核心的部分初始化工作及進行系統配置,並建立若干...

linux 0號程序 1號程序 區別

系統允許乙個程序建立新程序,新程序即為子程序,子程序還可以建立新的子程序,形成程序樹結構模型。整個linux系統的所有程序也是乙個樹形結構。樹根是系統自動構造的,即在核心態下執行的0號程序,它是所有程序的祖先。由0號程序建立1號程序 核心態 1號負責執行核心的部分初始化工作及進行系統配置,並建立若干...

Linux中的0號程序和1號程序

系統允許乙個程序建立新程序,新程序即為子程序,子程序還可以建立新的子程序,形成程序樹結構模型。整個linux系統的所有程序也是乙個樹形結 構。樹根是系統自動構造的,即在核心態下執行的0號程序,它是所有程序的祖先。由0號程序建立1號程序 核心態 1號負責執行核心的部分初始化工作及進 行系統配置,並建立...