urllib2抓取網頁內容

2021-08-28 02:57:10 字數 1101 閱讀 2406

urlliburllib2

1urllib 僅可以接受 url,⽽urllib2 可以接受⼀個設定了 headers 的

request 類例項。這表示我們可以偽裝⾃⼰的 user agent 字串等。

2、urllib 提供 urlencode ⽅法⽤來 get 查詢字串的產⽣,⽽ urllib2

沒有。這是為何 urllib 常和 urllib2 ⼀起使⽤的原因。

編碼⼯作使⽤urllib 的urlencode()函式,幫我們將 key:value 這

樣的鍵值對轉換成 "key=value" 這樣的字串,解碼⼯作可以使⽤

urllib 的 unquote() 函式。

#encoding:utf-8

import urllib2

website=urllib2.request("") # 傳送請求

pa=urllib2.urlopen(website).read()# 讀取網頁

print pa # 列印

# encoding:utf-8

import urllib2

response=urllib2.urlopen("")#網頁抽象為檔案

while true:

line=response.readline()#讀取一行

if not line:

break

print line

爬蟲學習一系列 urllib2抓取網頁內容

爬蟲學習一系列 urllib2抓取網頁內容 所謂網頁抓取,就是把url位址中指定的網路資源從網路中讀取出來,儲存到本地。我們平時在瀏覽器中通過 瀏覽網頁,只不過我們看到的是解析過的頁面效果,而通過程式獲取的則是程式源 我們通過使用python中urllib2來獲取網頁的url資源,最簡單方法就是呼叫...

python使用urllib2抓取防爬取鏈結

寫了那麼多篇找工作的文章,再寫幾篇就完了,也算是對自己一段時間的乙個總結。近來發現自己部落格上python技術點的文章有點少,為了防止自己總是遺忘,還是寫出來的好。前幾天剛看完 linux unix設計思想 真是一本不錯的書,推薦想提高自己 質量的童鞋看一下,裡面經常提到要以小為美,乙個程式做好一件...

urllib簡單網頁抓取

urllib包 抓取網頁,處理url,包含模組 用urllib實現簡單的網頁抓取 coding utf 8 from urllib import request import chardet if name main response request.urlopen html response.re...