1、在python3中，urllib和urllib2合併為urllib.request和urllib.parse。
2、同時需要使用bs4（beautifulsoup）包對已經抓取的網頁進行篩選。
urlopen函式。使用urllib.request包中的urlopen(url, [timeout])開啟網頁。但需注意如果網頁不存在或者無法訪問，函式會丟擲異常，所以開啟部分的函式需要在try…except…模組中呼叫。
beautifulsoup函式。beautifulsoup函式返回乙個bs4物件，需要使用read()函式再去讀取網頁。例如bsobj = beautifulsoup(urlopen(url).read())
示例**：
#獲取所需要的網頁
#迴圈強制獲取網頁防止訪問超時對資料採集造成損失
while
true:
print('is downloading on ' + url)
try:
html = getpages(url)
except baseexception as e:
continue
else:
return html
python3 動態網頁爬蟲
我們使用python3，主要用到re,requests模組。一般來說爬蟲的流程是這樣 先看網頁源 再找到要爬的字段出現的區域，用正規表示式找到這個字段，再列印或者匯出結果。coding utf 8 import re import urllib.request html response.read ...
Python3爬蟲 01 簡單網頁爬取
宇宙黑客王磊磊 python3爬蟲 簡單網頁的獲取 第乙個簡單的示例 爬去hades 官網首頁 import sys import urllib.request print sys.getdefaultencoding url 請求request urllib.request.request url...
Python3 爬蟲例項（一） 簡單網頁抓取
在著手寫爬蟲之前，要先把其需要的知識線路理清楚。http是hyper text transfer protocol 超文字傳輸協議 的縮寫。它的發展是全球資訊網協會 world wide web consortium 和internet工作小組ietf internet engineering ta...