python爬蟲 使用requests

前面了解了urllib的基本用法，但是其中確實有不方便的地方。比如處理網頁驗證、處理cookies等等，需要寫 opener、handler 來進行處理。為了更加方便地實現這些操作，在這裡就有了更為強大的庫requests，有了它，cookies、登入驗證、**設定等等的操作都不是事兒。

import requests

response = requests.get('')
print(response.text)

, 

"headers": , 
"origin": "116.227.107.42", 
"url": ""
}

response = requests.post('')

response = requests.put('')
response = requests.delete('')
response = requests.head('')
response = requests.options('')

方法一：直接請求

import requests

response = requests.get('?name=chris&age=22')
print(response.text)

import requests

params = 
response = requests.get("", params=params)
print(response.text)

, 

"headers": , 
"origin": "116.227.107.42", 
"url": "?name=chris&age=22"
}

import requests

headers= 
response = requests.get("", headers=headers)
print(response.text)

, 

"headers": , 
"origin": "116.227.107.42", 
"url": ""
}

import requests

headers = 
r = requests.get('', headers=headers)
print(r.text)

import requests

proxies = 
requests.get('', proxies=proxies)

Python爬蟲 模擬瀏覽器訪問 Requests

有時候爬蟲需要加入請求頭來偽裝成瀏覽器,以便更好的抓取資料.開啟瀏覽器chrome找到user agent進行複製 headers headers get方法新增請求頭 print res.text 執行結果 requests庫不僅有get 方法,還有post 等方法.post 方法用於提交表單來爬...

Python爬蟲使用函式

1.open 函式 開啟檔案 2.write 函式 寫入內容 3.close 函式 關閉檔案 sp open d python spyder spyder.txt w 開啟檔案 sp.write os 向檔案中寫入內容 sp.close 關閉檔案4.read 函式 讀取檔案所有內容 sp open ...

python 爬蟲（XPATH使用）

xpath xml path language 是一門在xml文件中查詢資訊的語言，可用來在xml文件中對元素和屬性進行遍歷。w3school官方文件 pip install lxml 如果出現網路延遲，可使用清華源進行安裝匯入兩種匯入方式 第一種 直接匯入from lxml import etre...