Celery分布式任務佇列初探

2021-09-20 04:05:47 字數 2209 閱讀 7400

celery使用場景

定時任務: 類似於crontab, e.g. 每日資料統計.

celery基本結構

celery基本使用

# coding = utf-8

from celery import celery

# coding = utf-8

import time

def add(x, y):

time.sleep(4)

return x + y

# coding = utf-8

from datetime import timedelta

from celery.schedules import crontab

# 配置broker位址, 這裡使用的是redis

broker_url = 'redis://localhost:6379/1'

# 配置結果儲存的後端, 這裡同樣使用的是redis

celery_result_backend = 'redis://localhost:6379/2'

celery_timezone = 'asia/shanghai'

# 配置需要匯入的任務列表

celery_imports = (

'celerydemo.task01',

'celerydemo.task02'

)# 任務排程, e.g. 定時任務等

celerybeat_schedule = ,

'task2':

}

使用supervisor部署celery, 以啟動celery worker服務為例

分布式任務佇列Celery

celery 芹菜 是基於python開發的分布式任務佇列。它支援使用任務佇列的方式在分布的機器 程序 執行緒上執行任務排程。基本用法是在程式裡引用celery,並將函式方法繫結到task from celery import celery def add x,y return x y from t...

Celery分布式任務佇列

celery是乙個簡單 靈活且可靠的,處理大量訊息的分布式系統 專注於實時處理的非同步任務佇列 同時也支援任務排程 celery的架構由三部分組成,訊息中介軟體 message broker 任務執行單元 worker 和任務執行結果儲存 task result store 組成。訊息中介軟體 ce...

Celery分布式任務佇列

celery是一款非常簡單,靈活,可靠的分布式系統,可用於處理大量訊息,並且提供了一整套操作此系統的一系列工具 celery是一款訊息佇列工具,可用於處理實時資料以及任務排程 什麼是任務佇列?任務佇列一般用於執行緒或計算機之間分配工作的一種機制 任務佇列的輸入是乙個成為任務的工作單元,有專門的職稱 ...