urllib2 模組的基本運用
1.urlopen:提供了乙個介面，可以用多種協議獲取url
import urllib2
html = urllib2.urlopen("").read() //返回乙個request類（類檔案）物件
2.request:處理所有的url協議
import urllib2
req = urllib2.request(url)
res = urllib2.urlopen(req)
the_page = res.read()
request(url[,data[,headers[,orgin_req_host[,nuverifiable]]]]) //允許兩個額外的操作
1.向伺服器傳送資料
2.設定http頭
//返回乙個request類（類檔案）物件
post方法：
import urllib,urllib2
url = ""
data = urllib.urlencode()
req = urllib2.request(utl,data)
res = urllib2.urlopen(req)
the_page = res.read()
get方法:
import urllib,urllib2
url = ""
data = urllib.urlencode()
req = urllib2.request(url+'?'+data)
res = urllib2.urlopen(req)
the_page = res.read()
頭：一般情況下，urllib2將自己識別為python-urllib/x.y
偽裝成瀏覽器：
import urllib,urllib2
url = ""
user_agent = "mozilla/4.0(compatiable;msize5.5;window nt)"
values = {}
headers =
data = urllib,urlencode(values)
req = urllib2.request(url,data,headers)
res = urllib2.urlopen(req)
the_page = res.read()
4.q:為什麼要先對url進行request處理：
urlopen 對 url 進行處理時，實際上是通過urllib2.openerdirector 例項進行工作。他會呼叫資源進行操作：通過協議，開啟url，處理cookie，而 urlopen 方法使用的是預設的opener，無法滿足我們特定的post方法，設定headers或設定**
通過urllib2.build_opener()可以建立自定義的opener例項
2 爬蟲基礎 urllib2模組
底層操作request物件 請求頭設定之useragent使用者 請求頭設定 使用者 useragent 自定義請求頭訊息 請求方式之get post請求 get請求處理 post請求處理 handler處理器自定義開鎖人opener 自定義http opener 自定義proxy opener 會...
urllib2基本使用例項
示例一 urllib2 基本使用1 import urllib2 req urllib2.request response urllib2.urlopen req html response.read 1 urllib2.request 的功能是構造乙個請求資訊，返回的 req就是乙個構造好的請求。...
Python學習urllib2模組使用
urllib包和urllib2包基於httplib包之上，提供高層次的抽象，用於處理url請求，urllib 和 urllib2 可以更方便地進行 http get 和 post 等各種操作。1 urllib2.request url data headers 傳送請求，建立request後，還可以...