Python 爬蟲 requests

#介紹：使用requests可以模擬瀏覽器的請求，比起之前用到的urllib，requests模組的api更加便捷（本質就是封裝了urllib3）

#安裝：pip3 install requests
#各種請求方式：常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get('')
>>> r = requests.post('', data = )
>>> r = requests.put('', data = )
>>> r = requests.delete('')
>>> r = requests.head('')
>>> r = requests.options('')

4567

891011

1213

1415

1617

1819

20# 1、無引數例項

importrequests

ret=requests.get('')

printret.url

printret.text

# 2、有引數例項

importrequests

payload=

ret=requests.get("", params=payload)

printret.url

printret.text

向 傳送一個get請求，將請求和響應相關均封裝在 ret 物件中。12

3456

78910

1112

1314

1516

1718

1920

2122

23# 1、基本post例項

importrequests

payload=

ret=requests.post("", data=payload)

printret.text

# 2、傳送請求頭和資料例項

importrequests

importjson

url=''

payload=

headers=

ret=requests.post(url, data=json.dumps(payload), headers=headers)

printret.text

printret.cookies

向傳送一個post請求，將請求和相應相關的內容封裝在 ret 物件中。12

3456

78910

requests.get(url, params=none,**kwargs)

requests.post(url, data=none, json=none,**kwargs)

requests.put(url, data=none,**kwargs)

requests.head(url,**kwargs)

requests.delete(url,**kwargs)

requests.patch(url, data=none,**kwargs)

requests.options(url,**kwargs)

# 以上方法均是在此方法的基礎上構建

requests.request(method, url,**kwargs)

requests模組已經將常用的http請求方法為使用者封裝完成，使用者直接呼叫其提供的相應方法即可

import requests

import re
'''請求方式:get、post、put…
引數：params、headers、proxies、cookies、data
'''rsp=requests.get("")
ck=requests.utils.dict_from_cookiejar(rsp.cookies)
title=re.compile("(.*?)",re.s).findall(rsp.text)
px=rsp=requests.get("",proxies=px,headers=hd,cookies=ck)
key=
rsp=requests.get("",headers=hd,cookies=ck,params=key)
title=re.compile("(.*?)",re.s).findall(rsp.text)
postdata=
rsp=requests.post("",data=postdata)

python requests

比urllib request更方便的爬蟲工具 官方中文文件 安裝pip install requests 或者用pycharm點點點 匯入...

python requests庫

中文官方文件 requests是python實現的簡單易用的http庫，屬於python的第3方庫。requests封裝了http請求的所有方法，使用方便簡單，只需要根據不同的請求方式呼叫相對應的方法就可以完成傳送網路請求的整個過程。 requests庫中的get post put head del...

Python之使用requests

前面使用手動的方式使用cookie，那麼有沒有更好的方法在requets中處理cookie呢？ requests 提供了一個叫做sessio...