Python學習urllib2模組使用

2021-08-01 06:54:30 字數 3577 閱讀 8964

urllib包和urllib2包基於httplib包之上,提供高層次的抽象,用於處理url請求,urllib 和 urllib2 可以更方便地進行 http get 和 post 等各種操作。

(1)urllib2.request(url[, data[, headers]]) ,傳送請求,建立request後,還可以進行其他新增

url: 請求的鏈結。如:''

data: 請求資料

headers: 請求頭資訊

(2)urlopen(url) ,

獲取響應,

除了"http:",url同樣可以使用"ftp:","file:"等來替代

(3)response.read(),獲取響應內容

利用cookie登入xp,並獲取使用者資訊:

#登入第一步:reg.163.com  

url_reg = ""

data = "username=%s&password=%s&url=" % (username, password) 

request = urllib2.request(url_reg,data)

#新增請求頭資訊

request.add_header("referer", "")

request.add_header("accept-language", "zh-cn")

request.add_header("user-agent", "mozilla/5.0 (compatible; msie 10.0; windows nt 6.1; trident/6.0)")

request.add_header("host", "reg.163.com")  

request.add_header("dnt", "1")

request.add_header("connection", "keep-alive")

response = opener.open(request)       #傳送post請求

#response = urllib2.urlopen(request)    

#print response.read()

#登入第二步(跳轉):paopao.163.com

response3 = opener.open(request3)  #傳送get請求

#print response3.read()

#for index in cookie:

#print index.name,index.value

def getuserinfo(url2):

#url2 = "/profile/getuserinfo"

data2 = ""

request2 = urllib2.request(url2,data2)

response2 = opener.open(request2)       #傳送post請求

print response2.read()

urllib包和urllib2包基於httplib包之上,提供高層次的抽象,用於處理url請求,urllib 和 urllib2 可以更方便地進行 http get 和 post 等各種操作。

(1)urllib2.request(url[, data[, headers]]) ,傳送請求,建立request後,還可以進行其他新增

url: 請求的鏈結。如:''

data: 請求資料

headers: 請求頭資訊

(2)urlopen(url) ,

獲取響應,

除了"http:",url同樣可以使用"ftp:","file:"等來替代

(3)response.read(),獲取響應內容

利用cookie登入xp,並獲取使用者資訊:

#登入第一步:reg.163.com  

url_reg = ""

data = "username=%s&password=%s&url=" % (username, password) 

request = urllib2.request(url_reg,data)

#新增請求頭資訊

request.add_header("referer", "")

request.add_header("accept-language", "zh-cn")

request.add_header("user-agent", "mozilla/5.0 (compatible; msie 10.0; windows nt 6.1; trident/6.0)")

request.add_header("host", "reg.163.com")  

request.add_header("dnt", "1")

request.add_header("connection", "keep-alive")

response = opener.open(request)       #傳送post請求

#response = urllib2.urlopen(request)    

#print response.read()

#登入第二步(跳轉):paopao.163.com

response3 = opener.open(request3)  #傳送get請求

#print response3.read()

#for index in cookie:

#print index.name,index.value

def getuserinfo(url2):

#url2 = "/profile/getuserinfo"

data2 = ""

request2 = urllib2.request(url2,data2)

response2 = opener.open(request2)       #傳送post請求

print response2.read()

PYTHON學習筆記之URLLIB2

python 2.7.5 urllib2.request url data headers origin req host unverifiable 的方法有add data data get method has data get data add header key,val add unred...

python中urllib2的學習

get方法 通常用於請求伺服器傳送某個資源,而且應該是安全的和冪等的。post方法 向伺服器提交資料,比如完成表單資料的提交,將資料提交給伺服器處理 get和post方法的區別 urlopen url,data none,timeout 傳遞乙個url引數,新增post需要的data,返回值是乙個類...

把玩之python爬蟲urllib2

1,什麼是urllib2庫?urllib2是python的乙個獲取urls的元件,通過urlopen函式的形式來提供了乙個非常簡單的介面,根據不同協議獲取urls的能力,urllib2提供了乙個比較復 雜的介面來處理情況,例如 基礎驗證,cookies,和其他。我們分析 response urlli...