python實現簡單爬蟲功能的示例

2022-10-04 21:36:38 字數 2131 閱讀 8240

在我們日常上網瀏覽網頁的時候,經常會看到一些好看的,我們就希望把這些儲存**,或者使用者用來做桌面桌布,或者用來做設計的素材。

我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具擷取下來,但這樣就降低的清晰度。好吧~!其實你很厲害的,右鍵檢視頁面源**。

我們可以通過python 來實現這樣乙個簡單的爬蟲功能,把我們想要的**爬取到本地。下面就看看如何使用python來實現這樣乙個功能。

一,獲取整個頁面資料

首先我們可以先獲取要**的整個頁面資訊。

urllib 模組提供了讀取web頁面資料的介面,我們可以像讀取本地檔案一樣讀取www和ftp上的資料。首先,我們定義了乙個gethtml()函式:

urllib.urlopen()方法用於開啟乙個url位址。

read()方法用於讀取url上的資料,向gethtml()函式傳遞乙個**,並把整個頁面**下來。執行程式就會把整個網頁列印輸出。

二,篩選頁面中想要的資料

python 提供了非常強大的正規表示式,我們需要先要了解一點python 正規表示式的知識才行.

假如我們百度貼吧找到了幾張漂亮的桌布,通過到前段檢視工具。找到了的位址,如:src=」

修改**如下:

我們又建立了getimg()函式,用於在獲取的整個頁面中篩選需要的連線。re模組主要包含了正規表示式:

re.compile() 可以把正規表示式編譯成乙個正bbnkykz則表示式物件.

re.findall() 方法讀取html 中包含 imgre(正規表示式)的資料。

執行指令碼將得到整個頁面中包含的url位址。

三,將頁面篩選的資料儲存到本地

把篩選的位址通過for迴圈遍歷並儲存到本地,**如下:

html = gethtml("程式設計客棧")

print getimg(html)

這裡的核心是用到了urllib.urlretrieve()方法,直接將遠端資料**到本地。

通過乙個for迴圈對獲取的連線進行遍歷,為了使的檔名看上去更規範,對其進行重新命名,命名規則通過x變數加1。儲存的位置預設為程式的bbnkykz存放目錄。

程式執行完成,將在目錄下看到**到本地的檔案。

本文標題: python實現簡單爬蟲功能的示例

本文位址:

python實現簡單爬蟲功能

我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具擷取下來,但這樣就降低的清晰度。好吧 其實你很厲害的,右鍵檢視頁面源 我們可以通過python 來實現這樣乙個簡單的爬蟲功能,把我們想要的 爬取到本地。下面就看看如何使用 python ...

python實現簡單爬蟲功能

我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具擷取下來,但這樣就降低的清晰度。好吧 其實你很厲害的,右鍵檢視頁面源 我們可以通過python 來實現這樣乙個簡單的爬蟲功能,把我們想要的 爬取到本地。下面就看看如何使用 python ...

python實現簡單爬蟲功能

我們最常規的做法就是通過滑鼠右鍵,選擇另存為。但有些滑鼠右鍵的時候並沒有另存為選項,還有辦法就通過就是通過截圖工具擷取下來,但這樣就降低的清晰度。好吧 其實你很厲害的,右鍵檢視頁面源 我們可以通過python 來實現這樣乙個簡單的爬蟲功能,把我們想要的 爬取到本地。下面就看看如何使用 python ...