爬蟲筆記 Requests

2021-09-01 22:34:36 字數 1094 閱讀 9445

requests庫是能夠處理獲取url(**鏈結)中的資訊的乙個第三方庫

一、requests安裝:

windows進入cmd命令列:pip install requests

我們可以開啟idle來檢視是否成功的安裝。

沒有提示錯誤資訊表示我們已經成功地安裝好了requests庫

二、requests下的主要方法:

requests.requests() 構造乙個請求,支撐以下的各種方法的基礎方法

requests.get() 獲取html網頁的主要方法,對應於http的get

requests.head() 獲取html網頁頭資訊的主要方法,對應於http的head

requests.post() 向html網頁提交post請求的方法,對應於http的post

requests.put() 向html網頁提交put請求的方法,對應於http的put

requests.patch() 向html網頁提交區域性修改請求,對應於http的patch  (節省頻寬)

requests.delete() 向html網頁提交刪除請求,對應於http的delete

四、requests異常處理

requests.connectionerror  網路連線異常,如dns查詢失敗、拒絕連線等

requests.httperror   http錯誤異常

requests.urlrequired  url缺失異常

requests.toomanyredirects   超過最大重定向次數、產生的重定向異常

requests.connecttimeout   連線伺服器超時異常

requests.timeout   請求url超時異常

為什麼要有這麼多的異常處理,那是因為有些**是不能夠被訪問

一般的原因有下面兩種:

對於第一種方法我們不太好解決,因為技術有限,但是如果只是因為robots協議的話我們是可以修改一定的引數來繞過robots協議的。

對requests庫的介紹到此為止,希望能對大家有幫助。

python 爬蟲之requests筆記

準備工作 安裝好pycharm,requests庫 requests 爬蟲程式 模板 import requests defgethtmttext url try r requests.get url,timeout 30 r.raise for status 如果狀態不是200,引發httperr...

天蛛爬蟲學習筆記 Requests爬蟲例項

定義乙個爬蟲的通用框架 import requests defgethtmltext url 爬蟲通用框架,try 捕捉到錯誤後會執行except的語句 r requests.get url r.raise for status 返回值若為200,則表示正常訪問 繼續執行,否則會返回httperro...

python爬蟲筆記(一)requests基本使用

requests是乙個功能強大 簡單易用的 http 請求庫,建議爬蟲使用requests。requests.get url url,params none,headers none,proxies none,cookies none,auth none,verify none,timeout no...