爬蟲庫的基本使用（3）

requests是用python語言編寫的，基於urllib，但是它比urllib更加方便，可以節約我們大量的工作，完全滿足http測試需求。

#安裝requests

pip install requests

resp=requests.get(

'')

import requests

#新增headers和查詢引數
headers=
kw=#params 接收乙個字典或字串的查詢引數，字典型別自動轉換為url編碼，不需要使用urlencode()
resp=requests.get(
'',headers=headers,params=kw)
print
(resp)
#查詢響應內容
# print(resp.text) #返回unicode格式資料
# print(resp.content.decode('utf-8')) #返回位元組流資料 可以手動編碼
print
(resp.url)
print
(resp.encoding)

#主要是新增了data引數（字典型別）

resp=requests。post(
'',data=data)

#請完善data中的資料

import requests
url=
''headers=
data=
resp=requests.post(url,headers=headers,data=data)
print
(resp.text)

#主要新增proxies引數

import requests
proxy=
url=
''resp=requests.get(url,proxies=proxy)
print
(resp.text)

#獲取cookie資訊

import requests
resp=requests.get(
'')print
(resp.cookies)
print
(resp.cookies.get_dict())
#共享cookie
post_url=
''post_data=
headers=
#登入session=requests.session(
)session.post(post_url,headers=headers,data=post_data)
#訪問個人網頁
url=
''resp=session.get(url)
# print(resp.text)

#在get中新增verify=false

import requests
url=
''resp=requests.get(url,verify=
false
)print
(resp.content.decode(
'utf-8'
))

爬蟲 urllib基本庫的使用

urllib包含了request 開啟和讀取url error 包含request引發的異常 parse 解析url robotparser 解析robots.txt檔案 四個用於處理url的模組。使用urllib.request.urlopen 傳送請求 示例 coding utf 8 from ...

Python爬蟲 Urllib庫的基本使用

其實上面的urlopen引數可以傳入乙個request請求,它其實就是乙個request類的例項，構造時需要傳入url,data等等的內容。比如上面的兩行 我們可以這麼改寫 import urllib import requests request urllib.request.request re...

python爬蟲 urllib庫基本使用

匯入urllib from urllib import request 明確url base url 發起乙個http請求,返回乙個類檔案物件 response request.urlopen base url 獲取網頁內容 html response.read decode utf 8 將網頁寫入...