python定時重跑獲取資料

2022-08-25 21:12:23 字數 2237 閱讀 3892

做大資料的童鞋經常會寫定時任務跑資料,由於任務之間的依賴(一般都是下游依賴上游的資料產出),所以經常會導致資料獲取失敗,因為很多人發現資料失敗後

都會去檢視日誌,然後手動去執行自己的任務。下面我實現了乙個自動重複執行去資料庫取數,如果失敗後自動重新去獲取,直到把資料獲取到。

建資料表:

1 create table `testtable` (

2 `id` int(11) unsigned not null auto_increment,

3 `name` varchar(20) not null,

4 primary key (`id`)

5 ) engine=innodb auto_increment=1 default charset=utf8;

開始的時候資料表是空的,等到指令碼重試第3秒的時候向資料庫插入資料。以下是python**的實現

自己可以手動執行,在**執行到第3秒的時候,執行下面的sql

insert into testtable(`name`) values ('123'),('456'),('789'),('1111'),('3222'),('444');
下面是定時的任務的指令碼

00 08 * * * cd /home/python/lsh_sync; python getdata.py >> getdata.log 2>&1
over!

PL SQL之JOB用法 定時跑資料

一 dbms job包的用法 包含以下子過程 broken 過程。change 過程。interval 過程。isubmit 過程。next date 過程。remove 過程。run 過程。submit 過程。user export 過程。what 過程。1 broken 過程更新乙個已提交的工作...

Python獲取資料

1 raw input raw input 函式用來獲取從鍵盤上獲取一行文字,將以字串的形式返回使用者輸入的一切內容,意思就是比如從鍵盤輸入的是數字也將以字串的形式獲取。2 imput input 把讀入的資料預設為python表示式,對於input 函式,輸入字串時要用引號將其轉化為合法的pyth...

Android 定時獲取上下行流量資料

使用service監聽上下行流量資料 老樣子,直接上東西 public class flowservice extends service override public void oncreate override public int onstartcommand intent intent,i...