多執行緒爬蟲

2021-08-25 12:01:47 字數 697 閱讀 1505

python標準庫是執行緒之間常見的資料交換形式

queue的使用可以確保python的執行緒安全

q = queue.queue(maxsize)        建立佇列,並可以指定大小

q.empty() 判斷佇列是否為空

q.full() 判斷佇列是否滿

q.put(data) 向佇列中放入資料

q.get() 從佇列中拿資料

q.task_done() 宣告佇列操作結束,並且修改佇列狀態

q.join()

讓主線程等待所有佇列操作完畢再結束

python中最常用的多執行緒模組

t = threading.thread(target=fun) 建立執行緒

t.setdaemon(true)將執行緒設定為守護執行緒,該執行緒將會跟隨主線程的退出而退出

爬蟲多執行緒

多執行緒在之前的scrapy裡面已經接觸過了,就是裡面的yiled,開啟乙個新的執行緒。但是這是這是基於這個高階框架的,用的時候只知道這是開啟了乙個新的執行緒,並不是很清楚到底是怎麼執行的。而在python裡面有包 import threading引入這個包之後就可以寫自己的多執行緒了 寫多執行緒的...

爬蟲多執行緒

執行緒程序 import requests import threading import json from queue import queue import time 寫子類 class thread crawl threading.thread def init self,name,page...

爬蟲 多執行緒

個執行緒寫 個執行緒讀取,沒問題,如果兩個執行緒都寫 呢?import threading import time import dis num 0def demo1 nums global num for i in range nums num 1print demo1 d num defdemo...