訊息佇列和Celery

2021-09-09 06:55:24 字數 780 閱讀 4632

訊息佇列(message queue,簡稱mq)提供非同步通訊協議。可以實現程序間通訊或同一程序的不同執行緒間通訊:其中「訊息」是指包含必要資訊的資料。訊息的傳送者傳送完畢後立即返回,訊息被儲存進佇列中,對這個訊息感興趣的消費者會訂閱訊息並接收和處理它。

使用訊息佇列的好處如下:

本章主要包含以下內容:

beanstalkd是訊息佇列的後起之秀,它是乙個高效能、輕量級的分布式記憶體佇列系統,最初設計的目的是想通過後台非同步執行耗時的任務來降低web應用的頁面訪問延遲。

beanstalkd有如下特點:

job就是待非同步執行的任務,也就是訊息,是beanstalkd中的基本單元。乙個job通過生產者使用put命令時建立,然後被放在乙個管道(tube)中。在整個生命週期中job可能有4個工作狀態。

乙個伺服器有乙個或者多個管道,管道用來儲存統一型別的job。每個管道由乙個就緒佇列與延遲佇列組成。每個job所有的狀態遷移在乙個管道中完成。消費者監控/取消監控感興趣的管道。當乙個客戶端連線上伺服器時,客戶端監控的管道預設為default,如果客戶端提交任務時沒有使用use命令,那麼這些job就存於名為default的管道中。管道都是按需求建立的,無論它們在什麼時候被引用到。如果乙個管道變為空也沒有任何客戶端引用,它將會被自動刪除。

celery支援7種訊號型別:

1. 任務訊號。

2. 應用訊號

3. worker訊號

4. beat訊號

5. eventlet訊號

6. 日誌訊號

7. 命令訊號

訊息和訊息佇列

在傳統的c 程式當中,我們呼叫 fopen 函式開啟檔案,這個庫函式最終呼叫作業系統 提供的函式 來開啟檔案。而在 windows 中,不僅使用者程式可以呼叫系統的 api函式,反回來,系統也會呼叫使用者程式,這個呼叫是通過訊息來進行的。windows程式設計是一種完全不同於傳統的 dos方式的程式...

celery清空佇列

本人在使用python celery佇列時,有時候需要清空佇列,但是python celery似乎並沒有清空佇列的api 至少我沒找到 所以使用redis cli工具進行佇列清空 使用redis cli工具,命令如下,在終端直接輸入 redis cli n 15 ltrim transcode 0 ...

Celery任務佇列

使用任務佇列作為分發任務的機制。乙個任務佇列的輸入是一組被稱為任務的工作單元。專用的工人會持續監聽任務佇列來等待完成新的工作。celery通過訊息進行通訊,通常使用中間人作為客戶端和工人 workers 間的媒介。為了初始化一項任務,客戶端會新增一條訊息到佇列中,然後中間人傳遞這條訊息給乙個work...