Python中分布式程序原理

分布式程序是指將process程序分布到多台機器中,充分利用多台機器的效能完成複雜的任務.

multiprocessing中的子模組managers支援吧多程序分布到多台機器上.

實現思想:寫乙個服務端程序作為排程者,將任務分布到其他多個程序中,依靠網路通訊進行管理.!

服務端核心**:

import random,time,queue

from multiprocessing.managers import basemanager
task_queue = queue.queue()
result_queue = queue.queue()
class queuemanager(basemanager):
pass
queuemanager.register('get_task_queue',callable=lambda :task_queue)
queuemanager.register('get_result_queue',callable=lambda :result_queue)
a = 'qiye'.encode('utf-8')
manager = queuemanager(address=('127.0.0.1',8001),authkey=a)
manager.start()
task = manager.get_task_queue()
result = manager.get_result_queue()
for url in ["imageurl_"+str(i) for i in range(10)]:
print('put task %s...'% url)
task.put(url)
print('try get result...')
for i in range(10):
print('result is %s'%result.get(timeout=10))

import time

from multiprocessing.managers import basemanager
class queuemanager(basemanager):
pass
queuemanager.register('get_task_queue')
queuemanager.register('get_result_queue')
server_addr = '127.0.0.1'
print('connect to server %s...'%server_addr)
a = 'qiye'.encode('utf-8')
m = queuemanager(address=(server_addr,8001), authkey=a)
m.connect()
task = m.get_task_queue()
result = m.get_result_queue()
print(task)
while(not task.empty()):
image_url = task.get(true,timeout=5)
print('run task download %s.....'%image_url)
time.sleep(1)
result.put('%s----->sucess'%image_url)
print('worker exit')

python 分布式程序

process可以分布到多台機器上，而thread最多只能分布到同一臺機器的多個cpu上。python的multiprocessing模組不但支援多程序，其中managers子模組還支援把多程序分布到多台機器上。乙個服務程序可以作為排程者，將任務分布到其他多個程序中，依靠網路通訊。由於manager...

Python 分布式程序

分布式程序是將process程序分布到多台伺服器中，利用多台機器的效能完成複雜的任務。可以應用到分布式爬蟲的開發中。分布式程序在python中依然要用到multiprocess模組。它不但支援多程序，其中managers子模組還支援吧多程序分不到多台機器上，可以寫乙個服務程序作為排程者，將任務分不到...

python 學習 分布式程序

伺服器端 import random,time,queue from multiprocessing.managers import basemanager 傳送任務的佇列 task queue queue.queue 接收結果的佇列 result queue queue.queue class q...