網路爬蟲(requests基本使用)

2021-09-28 14:23:16 字數 1645 閱讀 5486

get請求型別

**總覽

import requests

url =

"www.***.com"

params =

headers =

verif =

true

proxies =

auth =

("username"

,"password"

)timeout =

10r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)

r.encoding =

'utf-8'

thedata = r.text

步驟說明1.首先導包

import requests
2.設定目標鏈結

url =

"www.***.com"

3.設定引數,以智聯招聘為例如下:

4.設定請求頭,以知乎為例

headers =

verif =

false

將證書驗證忽略後,輸出的時候會出現證書驗證的警告,可使用logging包將警告忽略:

import logging

logging.capturewarnings(

true

)

6.設定**ip

proxies =

7.身份驗證,使用auth設定使用者名稱和密碼來自動完成認證

auth =

("username"

,"password"

)

8.設定延時函式

timeout =

10

9.發起請求

r = requests.get(url,params=params,headers=headers,verify=verify,proxies=proxies,auth=auth,timeout=timeout)
10.將獲得的資料轉碼,並轉為字串

r.encoding =

'utf-8'

thedata = r.text

post請求型別

import requests

r = requests.post(

"www.***.com"

)print

(r.text)

Python爬蟲 requests庫的基本使用

一 基本認識 1 傳送乙個get請求 import requests if name main 獲取乙個get請求 response requests.get 2 關於獲取請求到資料常見的返回值 import requests if name main 獲取乙個get請求 response requ...

python網路爬蟲之requests庫

import requests1 requests庫有兩個物件,request物件和response物件,下表是response物件的屬性 屬性說明 r.status code http請求的返回狀態,200表示連線成功,404表示失敗 r.text http響應內容的字串形式,即,url對應的頁面...

網路爬蟲之Requests庫入門

requests庫是python中用於網路爬蟲的較為簡單的庫。其中語法格式如下 r requests.get url,params none kwargs 1 構造乙個向伺服器請求資源的request物件,包含爬蟲返回的去不得內容 2 返回乙個包含伺服器資源的response物件 url 你獲取頁面...