python 爬蟲每天定時啟動爬蟲任務

2021-10-16 17:17:49 字數 929 閱讀 1028

# coding=utf-8

import datetime

import time

def dosth():

# 這裡是執行爬蟲的main程式 

print '爬蟲要開始運轉了....'

print time.strftime('%y-%m-%d %h:%m:%s', time.localtime(time.time()))

def main(h, m):

while true:

now = datetime.datetime.now()

print now.hour, now.minute

if now.hour == h and now.minute in m:

dosth()

time.sleep(60)

main(10, m=[47, 48, 49, 50])

上面是自己通過sleep()定義的乙個簡單的定時任務,在正真的生產中,如果有很多的任務時,這並不是乙個好的辦法,這時候就需要用linux下的定時任務crontab這個神器了. 

在linux中,週期執行的任務一般由cron這個守護程序來處理[ps -ef|grep cron]。cron讀取乙個或多個配置檔案,這些配置檔案中包含了命令列及其呼叫時間。

cron的配置檔案稱為「crontab」,是「cron table」的簡寫。

可通過crontab -l 命令檢視你當前機器的定時任務情況, 使用crontab -e進行對你要執行的定時任務進行編輯

*/2 * * * * /usr/bin/python2.7 /home/jianping/work/test.py >> /home/jianping/work/cron.log 2>&1&   

python爬蟲反爬 爬蟲怎麼測試反爬?

有沒有反爬,如果你沒有用爬蟲抓取過,你是不可能知道的。就算要測試,你還要嘗試不同的delay。如果設定的 delay 在 的反爬頻率外,那就測不出來。如果在頻率內,那就被封。或者封ip,或者封賬號。如果一定要測出來,就簡單粗暴的方法,你不要設定delay,就不間斷的抓,最後出現兩種情況,1 有反爬,...

python定時傳送郵件 爬蟲監控 爬蟲定時啟動

from email.mime.text import mimetext from smtplib import smtp defsend email self,text 傳送郵件 param text return 定義發件人 msg from xx qq.com 授權碼 password ndi...

python 爬蟲定時 schedule

有時我們需要定時傳送郵件等操作,schedule可以實現定時功能 schedule 模組 引入schedule和time defjob print i m working.定義乙個叫job的函式,函式的功能是列印 i m working.schedule.every 10 minutes.do jo...