Python 學習筆記 requests庫的使用

2021-09-26 09:21:10 字數 1961 閱讀 1164

輸入命令列:

pip install requests

使用方法

用途介紹

requests.request()

構造乙個請求

requests.get()

獲取html網頁

requests.head()

獲取html網頁頭資訊

requests.post()

向html提交post請求

requests.put()

向html提交put請求

requests.patcht()

向html提交區域性修改

requests.delete()

向html提交刪除請求

主要方法:

# 獲取html頁面

r = requests.get(url)

常用方法:

# 察看狀態碼,若值為200,則訪問成功

r.status_code

# url對應的頁面內容

r.text

# 從http header中猜測出響應內容的編碼方式

r.encoding

# 從內容中分析出響應內容的編碼方式

# http響應內容的二進位制形式

r.content

注意:如果 http header 中不存在 charset ,則 r.encoding 返回值為:iso-8859-1

通常來說,編碼方式為: 』 utf-8 '

異常內容

requests.connectionerror

網路連線錯誤

http錯誤

requests.urlrequired

url缺失

requests.toomany redirects

超出最大重定向次數

requests.connecttimeout

連線遠端伺服器超時

requests.timeout

請求url超時

引數作用

method

請求方法,對於get、put、post七種

url網頁鏈結

params

字典或者位元組序列,作為引數加到url中

data

字典或者位元組序列,作為request的內容

json

json格式資料,作為request內容

headers

字典,http定製頭

cookies

字典或cookiejar,request中的cookie

auth

元組,支援http認證功能

files

字典型別,傳輸檔案

timeout

設定超時時間,s為單位

proxies

字典型別,設定訪問**伺服器,增加登陸認證

allow_redirects

stream

verify

返回ture&false,預設true,認證ssl證書開關

cert

本地ssl證書

import requests

defget_html

(url)

:try

: header =

r = requests.get(url, timeout =

20, headers = header)

r.raise_for_status(

)# 如果狀態不是200,則引發httperror異常

return r.text

except

:print

("訪問異常"

)return

none

Python爬蟲 模擬瀏覽器訪問 Requests

有時候爬蟲需要加入請求頭來偽裝成瀏覽器,以便更好的抓取資料.開啟瀏覽器chrome找到user agent進行複製 headers headers get方法新增請求頭 print res.text 執行結果 requests庫不僅有get 方法,還有post 等方法.post 方法用於提交表單來爬...

python教學筆記 python學習筆記(一)

1.eval 函式 eval是單詞evaluate的縮寫,就是 求.的值的意思。eval 函式的作用是把str轉換成list,dict,tuple.li 1 1,2,3 print eval li 1 di 1 print eval di 1 tu 1 2,4,6 print eval tu 1 執...

python學習筆記

coding utf 8 coding utf 8 應該像八股文一樣在每個指令碼的頭部宣告,這是個忠告 為了解決中文相容問題,同時你應該選擇支援 unicode 編碼的編輯器環境,保證在執行指令碼中的每個漢字都是使用 utf 8 編碼過的。cdays 5 exercise 3.py 求0 100之間...