Requests庫的入門

2021-08-15 02:56:44 字數 3367 閱讀 8441

windows平台下,以管理員模式執行cmd
方法

說明requests.requests()

構造乙個請求,支撐以下各方法的基礎方法

requests.get()

獲取html網頁的主要方法,對應於http的get

requests.head()

獲取網頁頭資訊的的方法,對應於http的head

requests.post()

向html網頁提交post請求的方法,對應於http的post

requests.put()

向html網頁提交put請求的方法,對應於http的put

requests.patch()

向html網頁提交區域性修改請求,對應於http的的patch

requests.delete()

向html頁碼提交刪除請求,對應於http的的delete

response物件包含伺服器返回的所有資訊,也包含請求的request資訊

屬性說明

r.status_code

http請求的返回狀態,200表示連線成功,404或其他表示失敗

r.text

http響應內容的字串形式,即url對應的頁面內容

r.encoding

從 http header中猜測的響應內容編碼方式

從內容中分析的響應內容編碼的方式(備選編碼方式)

r.content

http響應內容的二進位制形式

理解response的編碼異常

說明requests.connectionerror

網路連線錯誤異常,如dns查詢失敗,拒絕連線等

http錯誤異常

requests.urlrequired

url缺失異常

requests.toomanyredirects

超過最大重定向次數,產生重定向異常

requests.connecttimeout

連線遠端伺服器超時異常

requests.timeout

請求url超時,產生超時異常

r.raise_for_status() :如果不是 200,產生異常reuqests.httperror

r.raise_for_status()在方法內部判斷r.status_code是否等於200,不需要增加額外的if語句,該語句便於利用try-except進行異常處理

import requests

def gethtmltext(url);

try:

r = requests.get(url, timeout=30)

r.raise_for_status() #如果狀態不是200,引發httperror異常

except:

return

"產生異常"

if __name__ == "__main__":

url = ""

print(gethtmltext(url))

http:超文字傳輸協議

http是乙個基於「請求與響應」模式的,無狀態的應用層協議

http協議採用url作為定位網路資源的標識,url格式如下;

http://host[:port][path]方法

說明get

請求獲取url位置的資源

head

請求獲取url位置的響應訊息報告,即獲得該資源的頭部資訊

post

請求向url位置的資源附加新的資料

put請求向url位置儲存乙個資源,覆蓋原url位置的資源

patch

請求區域性更新url位置的資源,即改變該處資源的部分內容

delete

請求刪除url位置儲存的資源

http協議

requests庫方法

功能一致性

getreuqests.get()

一致head

requests.head()

一致post

requests.post()

一致put

requests.put()

一致patch

requests.patch()

一致delete

requests.delete()

一致params : 字典或位元組序列,作為引數增加到url中

import requests

kv =

r=requests.request('get','',params

=kv)

print(r.url)

data :字典,位元組序列或檔案物件,作為request的物件

import requests

kv =

r=requests.request('post','',data

=kv)

json :json格式的資料,作為request的內容

kv=

r=requests.request('post', '',json=kv)

headers :字典,http定製頭

hd=

r=reuqests.request('post', '',headers=hd)

cookies :字典或cookiejar, request中的cookie

auth : 元組,支援http認證功能

files :字典型別,傳輸檔案

fs = 

r = requests.request('post','',file=fs)

timeout :設定超時時間,秒為單位

r = requests.request('get','',timeout=10)
proxies :字典型別,設定訪問**伺服器,可以增加登入認證

爬蟲入門 Requests庫

首先用管理員許可權開啟cmd命令列,然後直接輸入 pip install requests,即可安裝成功 需要聯網 方法 作用requests.request 構造乙個請求,它是支撐以下方法的基礎方法 requests.get 獲取html網頁的主要方法,請求獲取url位置的資源 requests....

爬蟲 Requests 庫的入門學習

此為北理嵩天老師mooc課程 網路爬蟲與資訊提取 的課程學習筆記,附帶一些其他書籍部落格的資料。使用命令列輸入 pip install requests或者 python m pip install requests方法名稱 說明requests.request 最基礎的,構造請求,支撐其他方法的使...

簡單的爬蟲入門,requests庫

網路爬蟲,可以認為是 模擬瀏覽器自動瀏覽網頁 99 都是 一段程式,乙個指令碼 自動批量採集我們需要的各種資源 文字 主要方法 requests.request 構造乙個請求,支撐一下各方法的基礎方法 requests.get 獲取html網頁的主要方法,對應於http中的get requests....