Python 標準庫 urllib2 的使用細節

2022-08-22 08:45:11 字數 4297 閱讀 5070

本博文**:

python 標準庫中有很多實用的工具類,但是在具體使用時,標準庫文件上對使用細節描述的並不清楚,比如 urllib2 這個 http 客戶端庫。這裡總結了一些 urllib2 的使用細節。

urllib2 缺省會使用環境變數 http_proxy 來設定 http proxy。如果想在程式中明確控制 proxy 而不受環境變數的影響,可以使用下面的方式

import

urllib2

enable_proxy

=true

proxy_handler

=urllib2

.proxyhandler

()null_proxy_handler

=urllib2

.proxyhandler

({})

ifenable_proxy

:opener

=urllib2

.build_opener

(proxy_handler

)else

:opener

=urllib2

.build_opener

(null_proxy_handler

)urllib2

.install_opener

(opener

)

這裡要注意的乙個細節,使用 urllib2.install_opener() 會設定 urllib2 的全域性 opener。這樣後面的使用會很方便,但不能做更細粒度的控制,比如想在程式中使用兩個不同的 proxy 設定等。比較好的做法是不使用 install_opener 去更改全域性的設定,而只是直接呼叫 opener 的 open 方法代替全域性的 urlopen 方法。

在老版 python 中,urllib2 的 api 並沒有暴露 timeout 的設定,要設定 timeout 值,只能更改 socket 的全域性 timeout 值。

import

urllib2

import

socket

socket

.setdefaulttimeout(10

)# 10 秒鐘後超時

urllib2

.socket

.setdefaulttimeout(10

)# 另一種方式

在 python 2.6 以後,超時可以通過 urllib2.urlopen() 的 timeout 引數直接設定。

import

urllib2

response

=urllib2

.urlopen

('',timeout=10

)

要加入 header,需要使用 request 物件:

import

urllib2

request

=urllib2

.request

(uri

)request

.add_header

('user-agent'

,'fake-client'

)response

=urllib2

.urlopen

(request

)

對有些 header 要特別留意,伺服器會針對這些 header 做檢查

在使用伺服器提供的 restful 或 soap 服務時, content-type 設定錯誤會導致伺服器拒絕服務

urllib2 預設情況下會針對 http 3xx 返回碼自動進行 redirect 動作,無需人工配置。要檢測是否發生了 redirect 動作,只要檢查一下 response 的 url 和 request 的 url 是否一致就可以了。

import

urllib2

response

=urllib2

.urlopen

('')redirected

=response

.geturl

()==

''

如果不想自動 redirect,除了使用更低層次的 httplib 庫之外,還可以自定義httpredirecthandler 類。

urllib2 對 cookie 的處理也是自動的。如果需要得到某個 cookie 項的值,可以這麼做:

urllib2 只支援 http 的 get 和 post 方法,如果要使用 http put 和 delete ,只能使用比較低層的 httplib 庫。雖然如此,我們還是能通過下面的方式,使 urllib2 能夠發出 put或 delete 的請求:

import

urllib2

request

=urllib2

.request

(uri

,data

=data

)request

.get_method

=lambda

:'put'

# or 'delete'

response

=urllib2

.urlopen

(request

)

這種做法雖然屬於 hack 的方式,但實際使用起來也沒什麼問題。

對於 200 ok 來說,只要使用 urlopen 返回的 response 物件的 getcode() 方法就可以得到 http 的返回碼。但對其它返回碼來說,urlopen 會丟擲異常。這時候,就要檢查異常物件的 code 屬性了:

使用 urllib2 時,可以通過下面的方法把 debug log 開啟,這樣收發包的內容就會在螢幕上列印出來,方便除錯,有時可以省去抓包的工作

python標準庫之 urllib

常用的python標準庫有 2 time datatime 時間與日期相關 3 科學計算相關 math 4 網路請求相關 urlib 在python2中,用的是urllib2。在python3中,將urllib2封裝在了urllib.request中了。常用的方法 urllib.request.ur...

使用python標準庫urllib2訪問網頁

訪問不需要登入的網頁 訪問需要登入的網頁 步驟1.建立乙個帶有cookie的opener 步驟2.提供使用者 密碼,用這個opener訪問登入action url.因為觸發了login action,web 伺服器端就會為這個使用者初始化session 步驟3.還是使用這個opener訪問目標網頁....

Python標準庫 urllib2 的使用

1 proxy 的設定 urllib2 缺省會使用環境變數 http proxy 來設定 http proxy。如果想在程式中明確控制 proxy,而不受環境變數的影響,可以使用下面的方式 import urllib2 enable proxy true proxy handler urllib2....