爬蟲 requests請求網頁總結

2021-10-03 19:33:04 字數 612 閱讀 6253

相關基本常識解釋

user_agent:瀏覽器名稱,修改版本以及版本號可爬取手機頁面

cookie:儲存瀏覽器本地使用者資訊(容量有限)

session:儲存在對方伺服器上,比cookie安全

referer:當前頁面跳轉之前的頁面

upgrade-insecure-requests:將http公升級為https請求協議

x-requested-wth:xmlhttprequests,是ajax非同步請求

post請求型別的網頁

import requests

response=requests.get(url,headers=headers)

#注意post請求的網頁必須新增上data引數

response=requests.post(url,data=data,headers=headers)

response.status-code:請求結果狀態碼

200:請求成功

302、307:臨時轉移至新的url

404:not found

500:伺服器內部錯誤(也可能是反爬措施)

python爬蟲 requests請求傳送

文件 readthedocs 使用pip安裝即可,如果要在虛擬環境使用,記得先啟用虛擬環境 pip install requestsgetdef get response requests.get print response 新增請求頭 headers user agent代表請求的身份,偽裝成瀏...

requests爬蟲傳送post請求

test.py import requests import json 安裝了python就有了json模組 url data headers res requests.post url,data data,headers headers print res.json mainorders with...

02爬蟲requests請求庫

1.介紹 使用requests可以模擬瀏覽器的請求,比起之前用到的urllib,requests模組的api更加便捷 本質就是封裝了urllib3 3.安裝 pip3 install requests 4.各種請求方式 常用的就是requests.get 和requests.post import ...