python提高爬蟲速度 如何提高爬蟲爬取的速度?

2021-10-19 03:15:40 字數 1235 閱讀 7188

寫了個簡單的協程爬蟲爬取b站使用者資訊,**如下:

import requests

import re

import json

import datetime

import asyncio

def get_info(uid):

url_info = "" #基本資訊

uid = str(uid)

return loop.run_in_executor(none, requests.get, url_info+uid)

async def user_info(num):

uid = mid

info

'birthday': 生日

'regtime': 註冊時間

'attentions': 關注

'spacesta': ?

'attention': 關注人數

'toutu': ?

'***': 性別

'fans': 粉絲數

'friend': 關注?

'level_info': 等級

'place': 地理位置

'face': 頭像

'name': 暱稱

'sign': 簡介

for uid in range(num, num+10):

info = await get_info(uid)

info = json.loads(info.text)["data"]

try:

# print(datetime.datetime.fromtimestamp(info['regtime']))

print("ok", uid)

print(info)

except unicodeencodeerror as e:

print("unicodeencodeerror:", e)

except typeerror:

print(info)

loop = asyncio.get_event_loop()

try:

loop.run_until_complete(asyncio.wait([user_info(x) for x in range(1, 1000, 10)]))

except exception as e:

print("error:", e)

爬取1000條需要45秒左右,這樣需要爬20天才能爬完。有沒有什麼辦法提高爬取的速度?

如何提高訪問速度

對於一般的 來說,我們並沒有察覺到訪問速度的快慢!因為一般的 的資料量小,相對,各個方面都能快速的載入頁面和填充資料。但是,對於乙個上千萬的資料量時,我們是否應該考慮如何加快頁面的載入速度呢?我們設想一下,如果,一輛貨車,沒有載任何重物,它的速度甚至可以達到200km h,當貨車裝上十頓的貨物時,它...

如何提高閱讀速度

要在不影響理解率的前提下提高自己的閱讀速度,就必須了解影響閱讀速度的幾個因素。一般來說,影響閱讀速度的因素主要有以下幾點 一 閱讀方式 拒測試表明,用朗讀的方法每分鐘則可達500 700字。這是因為出聲不出聲但發音器官仍做輕微運動時,運動的語言中樞會對視覺中樞產生干擾,而默視時,僅由視覺中樞把所看到...

如何提高解題速度

如何提高解題速度?主持人 解題的速度跟不上,剛好有乙個也問了,數學答題的速度太慢了,如何提高解題的速度?何秀好 提高解題的速度,基礎知識要牢固,基本方法要熟練,思考問題要慎密,運算技能要紮實,書寫表達要快捷.有的考生書寫速度太慢,追求試卷的完美整潔,導致隱性失分,這是不可取的.應該不求完美,但求完成...