在以前只是接觸過python的多執行緒機制，今天搜了一下多程序，相關文章好像不是特別多。看了幾篇，小試了一把。程式如下，主要內容就是通過producer讀乙個本地檔案，一行一行的放到佇列中去。然後會有相應的worker從佇列中取出這些行。
import multiprocessing
import os
import sys
import queue
import time
def writeq(q,obj):
q.put(obj,true,none)
print "put size: ",q.qsize()
def readq(q):
ret = q.get(true,1)
程式設計客棧print "get size: ",q.qsize()
return ret
def producer(q):
time.sleep(5) #讓進行休息幾秒 方便ps命令看到相關內容
pid = os.getpid()
handle_file = '/home/dwapp/joe.wangh/test/multiprocess/dawww.cppcns.comtafile'
with open(handle_file,'r') as f: #with...as... 這個用法今天也是第一次看到的
for line in f:
print "producer is doing: ",line
writeq(q,line.strip())
q.close()
def worker(q):
time.sleep(5) #讓進行休息幾秒 方便ps命令看到相關內容
pid = os.getpid()
empty_count = 0
while true:
try:
task = readq(q)
print "worker is doing: " ,task
'''如果這裡不休眠的話 一般情況下所有行都會被同乙個子程序讀取到 為了使實驗效果更加清楚 在這裡讓每個程序讀取完
一行內容時候休眠5s 這樣就可以讓其他的程序到佇列中進行讀取
'''time.sleep(5)
except queue.empty:
empty_count += 1
if empty_count == 3:
print "queue is empty, quit"
q.close()
sys.exit(0)
def main():
concurrence = 3
q = multiprocessing.queue(10)
funcs = [producer , worker]
for i in range(concurrence-1):
funcs.append(worker)
for item in funcs:
pwww.cppcns.comrint str(item)
nfuncs = range( len(funcs) )
processes =
for i in nfuncs:
p = multiprocessing.process(target=funcs[i] , args=程式設計客棧(q,))
processes.append(p)
print "concurrence worker is : ",concurrence," working start"
for i in nfuncs:
processes[i].start()
for i in nfuncs:
processes[i].join()
print "all done"
if __name__ == '__main__':
main()
實驗結果如下：
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>python 1.py
concurrence worker is : 3 working start
producer < 28320 > is doing: line 1
put size: 1
producer < 28320 > is doing: line 2
put size: 2
producer < 28320 > is doing: line 3
put size: 3
producer < 28320 > is doing: line 4
put size: 3
producer < 28320 > is doing: line 5
get size: 3
put size: 4
worker < 28321 > is doing: line 1
get size: 3
worker < 28322 > is doing: line 2
get size: 2
worker < 28323 > is doing: line 3
get size: 1
worker < 28321 > is doing: line 4
get size: 0
worker < 28322 > is doing: line 5
queue is empty, quit
queue is empty, quit
queue is empty, quit
all done
程式執行期間在另外乙個視窗進行ps命令 可以觀測到一些程序的資訊
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 nov20 pts/12 00:00:05 python
dwapp 28319 27481 8 14:04 pts/0 00:00:00 python 1.py
dwapp 28320 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28325 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 nov20 pts/12 00:00:05 python #此時28320程序 也就是producer程序已經結束
dwapp 28319 27481 1 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28328 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 nov20 pts/12 00:00:05 python
dwapp 28319 27481 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28321 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28322 28319 0 14:04 pts/0 00:00:00 python 1.py
dwapp 28323 283 0 14:04 pts/0 00:00:00 [python] #這裡應該是代表28323程序（worker）已經執行結束了
dwapp 28331 27849 0 14:04 pts/13 00:00:00 grep python
dwapp@pttest1:/home/dwapp/joe.wangh/test/multiprocess>ps -ef | grep python
dwapp 13735 11830 0 nov20 pts/12 00:00:05 python
dwapp 28337 27849 0 14:05 pts/13 00:00:00 grep python
本文標題: python多程序機制例項詳解
本文位址:
python 多程序 python多程序例項詳解
寫在前面 python中的多執行緒其實並不是真正的多執行緒，如果想要充分地使用多核cpu的資源，在python中大部分情況需要使用多程序。python提供了非常好用的多程序包multiprocessing，只需要定義乙個函式，python會完成其他所有事情。借助這個包，可以輕鬆完成從單程序到併發執行...
Python多程序1 乙個多程序例項
學習 分類目錄 多程序 多程序與多執行緒類似，無論是在理論還是操作上，我在這裡就多執行緒寫了一點東西。多程序與多執行緒最大的區別是，多程序是真正意義上的 物理層面上的並行執行，每個程序會被分配到足夠的 在實際有那麼多的前提下 資源單獨進行運算。而多執行緒則是多個程序間共享資源，通過分時獲得資源的一種...
python多程序 python多程序
當有多個非相關任務需要處理時，並行能大大提高處理速度。這裡簡要介紹python的multiprocessing模組。簡單多程序編寫 當我們任務數量確定而且比較少的時候，可以手動為每個任務指定乙個程序來執行。import multiprocessing as mp def f a print a if...