python爬蟲快速響應伺服器的做法

2022-09-29 06:33:11 字數 705 閱讀 5237

不論是開啟網頁或者爬取一些資料的時候,我們想要的是計算機能在最短的時間內執行出結果,不然等待的時間過長會影響下一步工作的計畫。這時候我們可以給計算機乙個指令,限制最久能等待的時間,在我們能接受的時間內執行出結果。那麼這個指令方法是什麼呢?接下來我們一起看看吧。

requests之所以稱為「http for human」,因為其封裝層次很高,其中一處體現就在:requests會自動處理伺服器響應的重定向。我在做搜狗微信***抓取的時候,搜狗搜尋列表頁面的***文章位址,其實不是微信的位址而需要請求到搜狗到伺服器做重定向,而requests的預設處理則是將整個過程全部搞定,對此可以這樣:

in [1]:rrdwwltqo r = requests.get('', allow_redirects=false)

allow_redirects引數為false則表示不會主動重定向。

另外,有時候對方**的響應時間太長了,我們希望在指定時間內完事,或者直接停止這個請求,這時候的做法是:

in [1]: r = requests.gerrdwwltqot('', timeout=3)

timeout表示這次請求最長我最長只等待多少秒

拓展:為requests套上一層**的做法也非常簡單:

import requests

proxies =

requests.g程式設計客棧et("http://xl程式設計客棧zd.me", proxies=proxies)

伺服器響應

1開頭的http狀態碼 表示臨時響應並需要請求者繼續執行操作的狀態 100 繼續 請求者應當繼續提出請求。伺服器返回此 表示已收到請求的第一部分,正在等待其餘部分。101 切換協議 請求者已要求伺服器切換協議,伺服器已確認並準備切換。2開頭的http狀態碼 表示請求成功 200 成功處理了請求,一般...

AJAX 伺服器 響應

如需獲得來自伺服器的響應,請使用 xmlhttprequest 物件的 responsetext 或 respon ml 屬性。屬性描述 responsetext 獲得字串形式的響應資料。respon ml 獲得 xml 形式的響應資料。如果來自伺服器的響應並非 xml,請使用 responsete...

AJAX 伺服器響應

ajax 伺服器響應 previous page next page 伺服器響應 如需獲得來自伺服器的響應,請使用 xmlhttprequest 物件的 responsetext或 respon ml 屬性。屬性 描述 responsetext 獲得字串形式的響應資料。respon ml 獲得 xm...