簡單爬蟲之requests的使用

2021-08-28 23:02:29 字數 1445 閱讀 2771

requests庫的用法安裝

基本請求

response=requests.get(引數)

response=requests.post(引數)

response=requests.put(引數)

response=requests.delete(引數)

response=requests.head(引數)

response=requests.options(引數)

2.1 get請求

import requests

url=

""headers =

params=

response=requests.

get(url,headers=headers,params=params)

print

(response.text)

2.2 post請求

import  requests

headers =

datas =

url =

""response=requests.

post

(url,headers=headers,data=datas)

print

(response.text)

2.3 **訪問

#部分**如下

url=

""proxies=

response=requests.

get(url,headers=headers,proxies=proxies)

#如果**需要賬戶和密碼,就是下面的**

proxies=

2.4 session自動儲存cookie

session=requests.

session

()#建立乙個session物件

datas =

login_url=

""response=session.

post

(login_url,headers=headers,data=datas)

info_url=

""respon=session.

get(info_url,headers=headers)

2.5 ssl驗證

url=

""requests.packages.urllib3.

disable_warnings

()#關閉安全請求警告

response=requests.

get(url,verify=false,headers=headers)

response.encoding=

"utf-8"

獲取響應資訊

爬蟲之Requests庫

處理cookie 雖然python的標準庫中urllib模組已經包含我們平常使用的大多數功能,但是它的api使用起來讓人感覺不太好,而requests使用起來更加方便 利用pip 可以非常方便安裝 pip install requests最簡單的傳送get請求的方式就是通過requests.get呼...

爬蟲之Requests(一)

2 傳送post請求 這裡就直接呼叫requests的get方法就可以,然後得到響應的頁面,import requests page text requests.get url text 獲取字串文字 page text requests.get url content 獲取二進位制文字import...

爬蟲之requests模組

requests 唯一的乙個非轉基因的 python http 庫,人類可以安全享用。警告 非專業使用其他 http 庫會導致危險的 包括 安全缺陷症 冗餘 症 重新發明輪子症 啃文件症 抑鬱 頭疼 甚至死亡。今日概要 知識點回顧 為什麼要使用requests模組 使用requests模組 如何使用...