我常用的大資料執行指令碼,共享給大家

2021-08-07 05:22:14 字數 1578 閱讀 2572

首先到238執行:

cd /usr/local/hbase-1.2.1/bin/

./stop-hbase.sh 

使用的軟體: filezilla   securecrt.exe

碰到報錯,到238,239,240

cd /usr/local

./stophbase.sh 

執行完之後,使用

ps axu |grep hbase

檢視是否還有殘餘程序。。有的話,根據檢視到的pid 執行

kill -9 $pid (這裡的$pid是你看到的pid數字)

然後使用  

zkserver.sh restart

hadoop dfsadmin -safemode get     hadoop安全模式是否開啟

./restartzookeeper.sh   (三颱都要執行)重啟zookeeper

然後執行

./starthbase.sh      啟動hbase

hbase hbck -repair 

scan 'dw_kfb_nhtz',

get 'dw_invest_cztz', 'null800000000000網貸天眼'

delete 'dm_all_invest','201703021001560000597559'

deleteall 'dm_all_invest','20170301'

put 'dm_yy_tj','20170410','users:invt_amt','1415814.84'

put 't1','rowkey001','f1:col1','value01'

nohup /usr/hdp/current/spark2-client/bin/spark-submit  --class "planjob" --master yarn  --deploy-mode cluster /root/project/dcproject/bigdata.jar  > /root/project/dcproject/dc.log &

[/usr/local/kafka_2.11-0.10.0.0/bin]# kafka-topics.sh --create --zookeeper "192.168.100.110:2181" --topic "producer_test" --partitions 10 --replication-factor 1

-server -xx:permsize=128m -xx:maxpermsize=256m

idea裡面工程執行配置:

-server -xx:permsize=512m -xx:maxpermsize=512m -xx:maxnewsize=512m -xx:maxpermsize=512m -xx:-usegcoverheadlimit

集群上執行jar檔案:

nohup /usr/hdp/current/spark2-client/bin/spark-submit --executor-memory 2g --class "planjob" --master yarn    /root/project/dcproject/bigdata.jar  > /root/project/dcproject/dc.log &

crontab 指令碼不執行 指令碼執行,我不知道的事

我寫完指令碼興奮的準備去執行這個指令碼,殊不知,指令碼執行的方式也是很有講究的。目前掌握的執行指令碼的方式有如下幾種 1.直譯器 script name 2.script name 指令碼路徑 scrpit name 3.source script name 4.script name 這麼多種執行...

source sh執行指令碼的區別

主要有兩種方式執行shell指令碼 1 source test.bsh 2 sh test.bsh 1 souce執行指令碼檔案會在父程式中執行,各項動作都會在原本的bash內生效,執行過程不另開程序,指令碼檔案中設定的變數在當前shell中可以看到 如下例子 其中sh檔案內容如下 就是通過read...

source sh bash 執行指令碼的區別

1 source命令用法 source filename 作用 在當前bash環境下讀取並執行filename中的命令。該filename檔案可以無 執行許可權 注 該命令通常用命令 來替代。如 source bash profile bash profile兩者等效。source 或點 命令通常用...