Python 爬蟲 Requests庫入門

2022-08-11 11:03:07 字數 2084 閱讀 1955

headers:字典,http定製頭

hd = 

r = requests.request('

post

', '

', headers=hd)

timeout : 設定超時時間,秒為單位

r = requests.request('

get', '

', timeout=10)

proxies : 字典型別,設定訪問**伺服器,可以增加登入認證

>>> pxs = 

>>> r = requests.request('

get', '

', proxies=pxs)

使用舉例:

import

requests

#r:response 右側get: requests

r = requests.get('

')

一、返回值response物件的屬性

二、爬取網頁的通用**框架

import

requests

defgethtml(url):

#開啟網頁有風險,需要使用try-except語句進行風險控制

try:

r =requests.get(url)

r.raise_for_status()

#如果開啟失敗,則會丟擲乙個httperror異常

#

return

r.text

except

:

print("

開啟失敗

")

三、requests庫的方法和http協議http是乙個基於「請求與響應」模式的、無狀態的應用層協議。http協議採用url作為定位網路資源的標識,url格式如下:http://host[:port][path]

http協議對資源的操作方法:

其中get,head方法是從伺服器取回資料,post,put,patch,delete方法是向伺服器寫入或者修改資料。

patch 和 put 的區別:patch 是區域性更新,而put 是全部更新。patch節省網路頻寬,是http協議改良後的新增指令。

http的指令和requests 的方法一一對應。

Python爬蟲 Request模組

文章說明了request模組的意義,且強調了request模組使用更加方便。接下來介紹幾種常用的request操作,並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句,返回值為response回應 r requests.get r requests.p...

python爬蟲利器 request庫

request庫比urllib2庫更為高階,因為其功能更強大,更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...

爬蟲 python(二)初識request

from urllib.request import urlopen 傳送請求,獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作,轉為utf 8 html decode html.decode 列印結...