生產者消費者模型

模型就是解決某個問題的固定方法或套路

1.1某種問題

生產者:泛指產生資料的一方

消費者:泛指處理資料的一方

由於生產者和消費者的對處理速度不一樣,資料傳輸過程耦合度過高,造成cpu工作效率低的情況

1.2解決思路

先將雙方解開耦合,讓不同程序負責不同的任務

提供乙個共享的容器,來平衡雙方的能力,引入程序間通訊的佇列模型(queue)

#模擬爬蟲案例

from multiprocessing import process,queue
import requests
import re,os,time,random
#生產者任務
def product(urls,q):
i = 0
for url in urls:
response = requests.get(url)
data = response.text
time.sleep(random.random()) #模擬網路延時
q.put(data)
i += 1
#消費者任務
def customer(q):
while true:
data = q.get()
time.sleep(random.random())
res = re.findall('src=//(.*?) width',data)
if __name__ == '__main__':
urls_list = [""]
#建立佇列程序
q = queue()
p = process(target=product,args=(urls_list,q))
p.start()
c = process(target=customer,args=(q,))
c.start()
#雖然實現了併發的目的,由於程序間資料無法互動,所以無法控制程序的關閉

#如何關閉程序?

#1.確定生產者任務完成
#確定消費者任務完成
#情況一:生產者1與消費者1
from multiprocessing import process,joinablequeue
#生產者任務
def product(q):
for i in range(5):
q.put(i)
#消費者任務
def customer(q):
while true:
i = q.get()
print(i)
if __name__ == '__main__':
#建立雙方共享的容器
q = joinablequeue()
#生產者程序
p = process(target=product,args=(q,))
p.start()
#消費者程序
c = process(target=customer,args=(q,))
c.start()
c.daemon = true #守護生產程序,隨生產程序的結束而結束
p.join() #生產任務結束
#情況二:多個生產
from multiprocessing import process,joinablequeue
#生產者任務
def product(q):
for i in range(5):
q.put(i)
#消費者任務
def customer(q):
while true:
i = q.get()
print(i)
q.task_done() #標記消費任務完成
if __name__ == '__main__':
#建立雙方共享的容器
q = joinablequeue()
#生產者程序
p1 = process(target=product,args=(q,))
p2 = process(target=product,args=(q,))
p1.start()
p2.start()
#消費者程序
c = process(target=customer,args=(q,))
c.start()
p1.join()
p2.join() #生產任務結束
q.join() #佇列任務完成
#結束所有任務
c.terminate() #直接終止消費程序

生產者消費者模型

1.生產者消費者問題 producer consumer 有限緩衝，多執行緒同步。生產者執行緒和消費者執行緒共享固定大小緩衝區。2.關鍵是保證生產者不會再緩衝區滿時加入資料，消費者不會在緩衝區空時消耗資料。3.解決辦法 讓生產者在緩衝區滿時休眠，等下次消費者消耗緩衝區中的資料的時候，生產者才能被喚醒...

生產者消費者模型

生產者與消費者 3,2,1 三種關係 生產者與消費者 互斥，同步 消費者與消費者 互斥 生產者與生產者 互斥 條件變數 int pthread cond destroy pthread cond t cond int pthread cond init pthread cond t restrict...

生產者消費者模型

當佇列滿時，生產者需要等待佇列有空間才能繼續往裡面放入商品，而在等待的期間內，生產者必須釋放對臨界資源 即佇列 的占用權。因為生產者如果不釋放對臨界資源的占用權，那麼消費者就無法消費佇列中的商品，就不會讓佇列有空間，那麼生產者就會一直無限等待下去。因此，一般情況下，當佇列滿時，會讓生產者交出對臨界資...