python爬蟲(一)requests使用

2021-08-22 07:28:19 字數 2254 閱讀 4593

window或linux均可使用命令 pip install requests

方法說明

requests.request()

構造乙個請求,支援一下各方法的基礎方法

requests.get()

獲取html網頁的主要方法,對應於http的get

requests.head()

獲取html網頁頭資訊的方法,對應於http的head

requests.post()

向html網頁提交post請求的方法,對應於http的post

requests.put()

向html網頁提交put請求的方法,對應於http的put

requests.patch()

向html網頁提交區域性修改請求的方法,對應於http的patch

requests.delete()

向html網頁提交刪除請求的方法,對應於http的delete

requests.request(methon,url,**kwargs)

methom:請求方式,對應get,post等六種

url:擬獲取介面的url鏈結

**kwargs:控制訪問的引數,共13個,可選

params:字典或位元組序列,作為引數增加到url中

kv = 

r=requests.request('get','',params=kv)

r.url

#''

data:字典、位元組或檔案物件,作為request的內容

json:json資料格式,作為request的內容

headers:字典,http定製頭

cookies:字典獲cookiejar,request中的cookie

auth:元組,支援http認證功能

files:字典型別,傳送檔案

timeout:設定超時時間,單位為秒

proxies:字典型別,設定訪問**伺服器,可以增加登入認證

allow_ redirects : true/false ,預設為true ,重定向開關

verify:true/false ,預設為true ,認證ssl證書開關

cert:本地ssl證書路徑

request.get(url,params=none,**kwargs)

url:擬獲取介面的url鏈結

params:字典或位元組序列,作為引數增加到url中(可選)

**kwargs:控制訪問的引數,共13個,可選

其他格式同get

r = requests.request('get','')

type(r)

#

屬性

說明r . status_ code 

http請求的返回狀態, 200表示連線成功, 404表示失敗

r. text

http響應內容的字串形式,即, ur1對應的頁面內容

r. encoding

從http header中猜測的響應內容編碼方式

從內容中分析出的響應內容編碼方式(備選編碼方式)

r. content

http響應內容的二進位制形式 異常

說明requests . connectionerror

網路連線錯誤異常,如dns查詢失敗、拒絕連線等

http錯誤異常requests. urlrequired  url缺失異常

requests . toomanyredirects

超過最大重定向次數,產生重定向異常

requests . connecttimeout 

連線遠端伺服器超時異常

requests . timeout

請求url超時,產生超時異常

import requests

def gethtmltext(url):

try:

r = requests.get(url)

r.raise_for_status()#如果狀態不是200,引發httperror異常

return r.text

except:

return "產生異常"

url = ''

print(gethtmltext(url))

Python爬蟲 HTTP協議 Requests庫

http協議 http hypertext transfer protocol 即超文字傳輸協議。url是通過http協議訪問資源的internet路徑,乙個url對應乙個資料資源。http協議對資源的操作 requests庫提供了http所有的基本請求方式。官方介紹 requests庫的6個主要方...

python 爬蟲系列02 認識 requests

本系列所有文章基於 python3.5.2 requests 是基於 urllib 的三方模組,相比於 uillib,操作更簡潔,功能更強大,而且支援 python3 getimport requests r requests.get url print r.status code print r....

python小白學習記錄 爬蟲requests篇

一 引用庫 import requests 二 請求訪問url,網頁相應 res requests.get 網頁位址 三 表明返回內容 目前返回的response物件有四種屬性 status code 檢查請求是否成功 content 將資料轉換為二進位制資料 text 將資料轉換為字串型資料 en...