大資料入門第五天總結

2021-10-02 09:23:04 字數 1450 閱讀 4256

主要使用的有 airflow、azkaban、rundeck以及linux自帶的crontab

執行乙個指令碼步驟

1.建立乙個文字vi test,sh

檔名最好加上字尾 .sh ;檔案裡第一行加上字首 #!/bin/bash(若沒有加,需要用sh命令去執行)

2.修改文字許可權 chmod

3.執行指令碼 ①./test.sh ②sh test.sh

4.排程crontab -e

[root@ruozedata001 ~]

# crontab -l**

***/root/test.sh >> /root/test.log

表示每隔一分鐘記錄一次,五個星號間隔表示分、小時、日、月、周 ;*/6表示每6分鐘記錄一次

例如:linux的crontab最少單位為一分鐘,若是要求每10秒記錄一次

#!/bin/bash

for(

(i=1;i<=6;i++))

;dodate

sleep 10s

done

exit

./test.sh &

nohup ./test.sh & 用於手動啟動指令碼 看日誌 開發維護 測試

nohup ./test.sh > /root/test.log 2>&1 & 生產上

ln -s 原path 目標path

[root@ruozedata001 ~]# ln -s mysql5.6 mysql

total 2

drwxr-xr-x 2 root root 6 nov 20 21:33 mysql >> mysql5.6

drwxr-xr-x 2 root root 6 nov 20 21:33 mysql5.6

5.6常見問題:

cdh公升級 原檔案不見了 游標跳動:

[root@ruozedata001 ~]# ll

total 2

drwxr-xr-x 2 root root 6 nov 20 21:33 mysql >>

drwxr-xr-x 2 root root 6 nov 20 21:33 mysql5.6

解決方案:①.找原檔案資料夾;

②. 刪除快捷鍵檔案資料夾–》重新做新的軟連線 高版本

注:帶版本號的絕對不能部署到環境變數或指令碼或程式**

最好建立軟連線使用絕對路徑

安裝至系統盤時,如果備份過多,可以mv到資料盤中,然後建立軟連線,記得使用絕對路徑

mkdir /data01/log/

mv /var/log/hbase /data01/log/

ln -s /data01/log/hbase /var/log/hbase

記得許可權問題

集群電腦可以看其他電腦的許可權

erlang第五天總結

1.程序裡的變數是私有的,erlang shell本身是乙個程序,所以當開啟多個erlang shell執行gen tcp conncet返回的socket是相同,而在每乙個erlang shell裡面多次呼叫gen tcp connect返回的socket是不同 2.gen tcp recv會阻塞...

國慶第五天

直接在寢室待了乙個上午 一 matlab 試了一下昨天安裝的matlab2010b發現檔案都打不開,報這個錯 undefined function or method uiopen for input arguments of type char 二 c 1.找到了個之前 裡的乙個問題 把本週開頭和...

集訓第五天

今天學習了乙個快速指數冪取餘的演算法。就拿一道題來說明 description 上初中的時候我們就學會了冪乘運算,可是我們卻不知道對於高階的冪乘,出結果的方法比較慢,那麼你有什麼更好的方法嗎?input 第1行,乙個整數n 1 n 1000 表示要計算的資料組數 第2 n 1行,每行兩個整數,第1個...