requests安裝和使用
#requests模組
import requests
#傳送請求 content:以二進位制的形式獲取網頁的內容
response=requests.get("").content.decode()
#response=requests.request("get","").content.decode()
print(response)
新增請求頭和引數
import requests
url="/s?"
headers=
wd=response=requests.get(url,params=wd,headers=headers)
# 返回乙個字串形式的資料
data=response.text
# 返回乙個二進位制形式的資料
data2=response.content
print(data2.decode())
處理post請求
處理get請求：get()方法
處理post請求：post()方法
import requests
import re
#構造請求頭資訊
header=#谷歌瀏覽器
# 網頁上的url
url=""
key="靚仔"
#傳送到web伺服器的表單資料
formdata=
response=requests.post(url,headers=header,data=formdata)
# 獲取到的是json資料
# 對應的是字典
# print(response.json())
pat=r'"tgt":"(.*?)"}]]' #字串中有"",再用''括起來表示字串
# 獲取到的是字串
result=re.findall(pat,response.text)
prwww.cppcns.comint(result[0])
**ip
import requests
#設定ip位址
#proxy=
#可以設定多個
proxy=
response=requests.get("",proxies=proxy)
print(response.content.decode())
獲取響應的cowww.cppcns.comokie
cookie：使用者資訊
import requests
response=requests.get("")
#1.獲取返回的cooketjar物件
cookiejar=response.cookies
#2.將cookiejar轉換成字典
cookiedict=requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)
session實現登陸
相比直接使用cookie，建立session可以得到新的cookie資訊，不會出現cookie失效的情況
#使用session實現登陸
import requests
#構造請求頭資訊
header=#谷歌瀏覽器
#建立session物件
ses=requests.session()
#構造登陸需要的引數
data=
#通過傳遞使用者名稱密碼得到cookie資訊
ses.post("",data=data,headers=header)
#請求需要的頁面,每次請求會帶入cookie資訊
response=ses.get("")
print(response.text)
本文標題: python爬蟲requests庫多種用法例項
本文位址:
Python爬蟲 Request模組
文章說明了request模組的意義，且強調了request模組使用更加方便。接下來介紹幾種常用的request操作，並且會在後續補充說明一些特定用法。匯入檔案 import requests一 請求 右邊為請求語句，返回值為response回應 r requests.get r requests.p...
python爬蟲利器 request庫
request庫比urllib2庫更為高階，因為其功能更強大，更易於使用。使用該庫可以十分方便我們的抓取。基本請求 r requests.get r requests.post r requests.put r requests.delete r requests.head r requests.o...
爬蟲 python（二）初識request
from urllib.request import urlopen 傳送請求，獲取伺服器給的響應 url response urlopen url 讀取結果,無法正常顯示中文 html response.read 進行解碼操作，轉為utf 8 html decode html.decode 列印結...