celery系列 一 celery 相關配置

2021-08-08 11:39:10 字數 641 閱讀 7779

celery_result_backend = "amqp" # 官網優化的地方也推薦使用c的librabbitmq

celery_task_result_expires = 1200 # celery任務執行結果的超時時間,我的任務都不需要返回結果,只需要正確執行就行

celeryd_concurrency = 50 # celery worker的併發數 也是命令列-c指定的數目,事實上實踐發現並不是worker也多越好,保證任務不堆積,加上一定新增任務的預留就可以

celeryd_prefetch_multiplier = 4 # celery worker 每次去rabbitmq取任務的數量,我這裡預取了4個慢慢執行,因為任務有長有短沒有預取太多

celeryd_max_tasks_per_child = 40 # 每個worker執行了多少任務就會死掉,我建議數量可以大一些,比如200

celerybeat_scheduler = 'djcelery.schedulers.databasescheduler' # 這是使用了django-celery預設的資料庫排程模型,任務執行週期都被存在你指定的orm資料庫中

celery_default_queue = "default_dongwm" # 預設的佇列,如果乙個訊息不符合其他的佇列就會放在預設佇列裡面

celery 執行celery定時任務

場景 在虛擬機器上執行 python django celery redis 的定時任務 可能遇到的問題 如果在執行過程中,定時任務突然退出,並報以下錯誤,錯誤顯示,沒有許可權訪問一些目錄檔案 解決方案 1 關閉當前redis服務 在step 3中有描述如何關閉 2 以root使用者執行啟動redi...

Celery學習筆記(一)

在學習celery之前,我先簡單的去了解了一下什麼是生產者消費者模式。在實際的軟體開發過程中,經常會碰到如下場景 某個模組負責產生資料,這些資料由另乙個模組來負責處理 此處的模組是廣義的,可以是類 函式 執行緒 程序等 產生資料的模組,就形象地稱為生產者 而處理資料的模組,就稱為消費者。單單抽象出生...

使用celery之怎麼讓celery跑起來

celery 官網幫助文件 前言自從發了上次的文章使用celery之深入celery配置,有一些再問我怎麼讓celery跑起來.其實說來也是,celery在新手眼裡真的是比較重量級,不好懂,今天先讓他跑起來吧 本文大部分 和使用方法都可以在celery官網看到 我想要的效果 我想實現乙個定時任務,每...