python爬蟲之requests的高階使用

2022-08-10 15:48:12 字數 3606 閱讀 2877

1、requests能上傳檔案

#


匯入requests模組


import


requests


#定義乙個dict


files = 


#post請求


response = requests.post("


",files=files)


#以字串形式返回


print(response.text)
結果：,

"data": "",

"files": ,

"form": {},

"headers": ,

"json": null,

"origin": "111.77.5.100",

"url": ""

}process finished with exit code 0

2、requests能獲取cookies（網頁識別碼）

# 匯入requests模組


import requests


# get請求


response=requests.get("")


# 獲取cookies


print(response.cookies)


# 獲取cookies資訊


print(tuple(response.cookies))


# 呼叫items，遍歷乙個dict的key和value


for key,value in response.cookies.items():


print(key+"="+value)
結果：]>

知道cookies的name，快速訪問cookies的value：

#


匯入requests模組


import


requests


#get請求


response= requests.get('


')#訪問cookies的值


#以元組形式返回cookies


print(tuple(response.cookies))
結果：b5a1a6a7b622f295df802da4d10f92cb:fg=1

3、會話維持

cookies乙個作用就是模擬登入，做會話維持，如何把自己的cookies傳送到伺服器上：

# 匯入requests模組


import requests


# 匯入json模組


import json


# 定義cookies，dict形式


cookies=


# get請求，加上


response=requests.get("",cookies=cookies)


# 以字串形式返回


print(response.text)
結果：}

process finished with exit code 0

或者用requests.session也可以把自己的cookies發到伺服器上：

#


匯入requests模組


import


requests


#建立session物件


session =requests.session()


#get請求


response = session.get('


/set/number/1234567')


#以字串形式返回


print(response.text)
結果：}

process finished with exit code 0

4、證書驗證

#


匯入requests模組


import


requests


#get請求


response = requests.get('


')#在請求https時，request會進行證書的驗證，如果驗證失敗則會丟擲異常


print(response.status_code)
如果無證書驗證，會丟擲異常。有證書驗證，返回200。

怎麼關閉證書驗證：

#


匯入requests模組


import


requests


#get請求,關閉證書驗證


response = requests.get('


',verify=false)


#在請求https時，request會進行證書的驗證，如果驗證失敗則會丟擲異常


print(response.status_code)
結果：顯示有warning

關閉證書驗證後，怎麼消除waring：

#


匯入urllib3函式


from requests.packages import


urllib3


#匯入requests模組


import


requests


#消除警告


urllib3.disable_warnings()


#get請求


response = requests.get('


', verify=false)


#返回狀態**


print(response.status_code)
結果：200

Python爬蟲 HTTP協議 Requests庫

http協議 http hypertext transfer protocol 即超文字傳輸協議。url是通過http協議訪問資源的internet路徑，乙個url對應乙個資料資源。http協議對資源的操作 requests庫提供了http所有的基本請求方式。官方介紹 requests庫的6個主要方...

python 爬蟲系列02 認識 requests

本系列所有文章基於 python3.5.2 requests 是基於 urllib 的三方模組,相比於 uillib,操作更簡潔,功能更強大,而且支援 python3 getimport requests r requests.get url print r.status code print r....

python小白學習記錄 爬蟲requests篇

一 引用庫 import requests 二 請求訪問url，網頁相應 res requests.get 網頁位址 三 表明返回內容 目前返回的response物件有四種屬性 status code 檢查請求是否成功 content 將資料轉換為二進位制資料 text 將資料轉換為字串型資料 en...