python爬蟲 之 爬取百度首頁

剛開始學習爬蟲，照著教程手打了一遍，還是蠻有成就感的。使用版本：python2.7

注意：python2的預設編碼是ascii編碼而python3預設編碼是utf-8

import

urllib2
url = "
"response =urllib2.urlopen(url)
print response.read().decode('
utf-8
')

#

定義需要用到的庫urllib2
import
urllib2
#定義url，構建請求
url = "
"request =urllib2.request(url)#返回
response =urllib2.urlopen(request)
#列印返回的資料
print response.read().decode('
utf-8
')

四二學堂 網路爬蟲實踐 爬取百度首頁

一 詳細步驟 1 開啟python編輯器idle。2 匯入要使用的庫。import urllib.request 3 獲取目的網頁響應的物件。使用urlopen方法開啟目的網頁，並返回網頁響應物件fh。fh urllib.request.urlopen 4 獲取物件fh的內容data。採用read方...

用python3爬取百度首頁

import urllib.request import urllib url html urllib.request.urlopen url content html.read decode utf 8 html text bytes.decode html.read print html tex...

爬蟲爬取百度貼吧 python

本爬蟲是在pycharm中編寫完成，伺服器環境是ubuntu16.04，使用語言是python3，匯入的模組包是requests模組 匯入模組 import requests class tiebaspider object def init self self.base url self.head...