生產者消費者模型

生產消費者模型是將消費者的充分處理完生產的資料，並將效率最大化。

生產者: 泛指產生資料的一方

消費者: 泛指處理資料的一方

1、案例:

​ 食堂飯店是生產者

​ 我們吃飯的人就是消費者

2、案例分析

他們之間有什麼問題

​ 效率低 因為雙方的處理速度不同 乙個快乙個慢 則雙方需要相互等待

1.先將雙方解開耦合,讓不同的程序負責不同的任務

2.提供乙個共享的容器 來平衡雙方的能力,之所用程序佇列是因為佇列 可以在程序間共享

案例1:

from multiprocessing import process,queue

import requests
import re,os,time,random
# 生產者任務
def product(urls,q):
i = 0
for url in urls:
response = requests.get(url)
text = response.text
# 將生產完成的資料放入佇列中
time.sleep(random.random())
q.put(text)
i += 1
print(os.getpid(),"生產了第%s個資料" % i)
def customer(q):
i = 0
while true:
text = q.get()
time.sleep(random.random())
res = re.findall('src=//(.*?) width', text)
i += 1
print(" 第%s個任務獲取到%s個img" % (i,len(res))) 
if __name__ == '__main__':
urls = [
"","",
"","",
]# 建立乙個雙方能共享的容器
q = queue()
# 生產者程序
p1 = process(target=product,args=(urls,q))
p1.start()
# 消費者程序
c = process(target=customer,args=(q,))
c.start()

案例高階：

joinablequeue 繼承自queue 用法一致,

增加了join 和taskdone

join是個阻塞函式 會阻塞直到taskdone的呼叫次數等於 存入的元素個數 可以用於表示佇列任務處理完成 \

案例:

from multiprocessing import process,joinablequeue

import requests
import re,os,time,random
"""生產者 負責生產熱狗 
消費者 負責吃熱狗 
"""# 生產者任務
def product(q,name):
for i in range(5):
dog = "%s的熱狗%s" % (name,(i + 1))
time.sleep(random.random())
print("生產了",dog)
q.put(dog)
# 吃熱狗
def customer(q):
while true:
dog = q.get()
time.sleep(random.random())
print("消費了%s" % dog)
q.task_done() # 標記這個任務處理完成 
if __name__ == '__main__':
# 建立乙個雙方能共享的容器
q = joinablequeue()
# 生產者程序
p1 = process(target=product,args=(q,"上海分店"))
p2 = process(target=product,args=(q,"北京分店"))
p1.start()
p2.start()
# 消費者程序
c = process(target=customer,args=(q,))
# c.daemon = true # 可以將消費者設定為守護程序 當主程序確認 任務全部完成時 可以隨著主程序一起結束
c.start()
p1.join()
p2.join() # **走到這裡意味著生產方完成
q.join() # 意味著佇列中的任務都處理完成了
# 結束所有任務
c.terminate() # 直接終止消費者程序
# 如何判定今天的熱狗真的吃完了
# 1.確定生成者任務完成
# 2.確定生出來的資料已經全部處理完成

mq 訊息佇列

常用來做流量削峰 保證服務不會因為高併發而崩潰

生產者消費者模型

1.生產者消費者問題 producer consumer 有限緩衝，多執行緒同步。生產者執行緒和消費者執行緒共享固定大小緩衝區。2.關鍵是保證生產者不會再緩衝區滿時加入資料，消費者不會在緩衝區空時消耗資料。3.解決辦法 讓生產者在緩衝區滿時休眠，等下次消費者消耗緩衝區中的資料的時候，生產者才能被喚醒...

生產者消費者模型

生產者與消費者 3,2,1 三種關係 生產者與消費者 互斥，同步 消費者與消費者 互斥 生產者與生產者 互斥 條件變數 int pthread cond destroy pthread cond t cond int pthread cond init pthread cond t restrict...

生產者消費者模型

當佇列滿時，生產者需要等待佇列有空間才能繼續往裡面放入商品，而在等待的期間內，生產者必須釋放對臨界資源 即佇列 的占用權。因為生產者如果不釋放對臨界資源的占用權，那麼消費者就無法消費佇列中的商品，就不會讓佇列有空間，那麼生產者就會一直無限等待下去。因此，一般情況下，當佇列滿時，會讓生產者交出對臨界資...