Python urllib Request 用法

2022-06-23 20:27:12 字數 1584 閱讀 1120

**自:

2016年10月04日 14:33:45

httplib實現了http協議,是比較底層的實現,一般不直接使用。 

urllib, urllib2是對httplib的高層封裝,urllib2可以接受一個request類的例項來設定url請求的headers,urllib僅可以接受url。urllib提供urlencode方法用來get查詢字串的產生,而urllib2沒有。所以urllib常和urllib2一起使用。 

requests是python第三方庫,基於urllib,使用起來比urllib簡便。

import urllib

res = urllib.urlopen('')

print res.getcode()

for line in res:

print line

res.close()

urllib2與urllib的使用類似,但urlopen時接收了一個request例項,並且對response的讀取要方便一些。

import urllib2

req = urllib2.request('')

res = urllib2.urlopen(req)

print res.code

print res.read()

res.close()

import urllib2

import urllib

url = '/s'

values =

data = urllib.urlencode(values)

req = urllib2.request(url + '?' + data)

response = urllib2.urlopen(req)

print response.code

print response.read()

import httplib

import urllib

values =

data = urllib.urlencode(values)

conn = httplib.httpconnection('www.baidu.com')

conn.request('get', '/s?'+data)

response = conn.getresponse()

print response.status

print response.read()

conn.close()

在使用requests之前要確保你已經安裝了requests模組,並且是最新的。如果沒有,使用pip install requests安裝。

import requests

url = '/s'

values =

res = requests.get(url, values)

print res.status_code

print res.content

request的用法

asp依然遵從流行的 利用客戶端的form進行資料交換的方法。asp內建的request物件擁有五個獲取客戶端資料的方法 querystri...

Python爬蟲 Urllib庫的高階用法

有些 不會同意程式直接用上面的方式進行訪問,如果識別有問題,那麼站點根本不會響應,所以為了完全模擬瀏覽器的工作,我們需要設定一些headers 的屬性。 首先,開啟我們的瀏覽器,除錯瀏覽器f12,我用的是chrome,開啟網路監聽,示意如下,比如知乎,點登入之後,我們會發現登陸之後介面都變化了,出現...

python 爬蟲2 Urllib庫的高階用法

有些 不會同意程式直接用上面的方式進行訪問,如果識別有問題,那麼站點根本不會響應,所以為了完全模擬瀏覽器的工作,我們需要設定一些headers 的屬性。 import urllib import urllib2 url user agent mozilla 4 0 compatible msie 5...