Python爬蟲開發 01 最簡單的乙個爬蟲模型

2021-08-19 21:21:37 字數 621 閱讀 9361

目的:實現乙個完成的請求與響應模型

urllib2提供乙個基礎函式urlopen,通過指定的url發出請求來獲取資料,最簡單的形式就是:

import urllib2

# 請求開啟某頁面

response = urllib2.urlopen("")

# 讀取頁面內容並將之賦值給html

html = response.read()

# 列印html頁面內容

print html

當然也可以將上面對頁面的請求分成兩步,一步是請求,一步是響應,形式如下:

import urllib2

# 請求

# 響應

response = urllib2.urlopen(reqeest)

# 讀取

html = response.read()

# 列印輸出

print html

以上的兩種請求都是get請求
這樣乙個簡單的爬蟲模型就完成了。

Python 3 0最簡單的爬蟲

做個小專案練練手,比較有動力繼續下去,這邊參考最簡單的爬蟲程式自己抄了一下。但是因為3.0的關係,無法直接使用,根據2.0版本的 進行修改後成功了。如下 coding utf 8 import urllib.request import re 該函式用於獲取html內容 使用到urlopen的函式 ...

python爬蟲簡單 python爬蟲 簡單版

學過python的帥哥都知道,爬蟲是python的非常好玩的東西,而且python自帶urllib urllib2 requests等的庫,為爬蟲的開發提供大大的方便。這次我要用urllib2,爬一堆風景。先上重點 1 response urllib2.urlopen url read 2 soup...

Python開發簡單爬蟲之爬蟲介紹(一)

本部落格來自慕課網 python開發簡單爬蟲 爬蟲主要場景 不需要登入的靜態網頁 使用ajax非同步載入的內容 需要使用者登入才可以訪問的網頁 以下主要介紹不需要登入的靜態網頁。3中實現方式 python中已經存在關鍵字class,故當屬性為class時,用class 代替。coding utf 8...