Python爬蟲運用正規表示式!

2021-09-26 13:08:33 字數 645 閱讀 4278

python資源共享群:626017123

目標:爬取top100榜單上電影的封面圖 

下面是我做的步驟:

(1)檢視頁面元素,找到包含的路徑的**段落

(2)分析在web上面的唯一屬性,便於之後獲取正確位置資訊

(3)因為需要翻頁,觀察多個頁面的url變化

(4)綜合以上幾個點,編寫合適的正規表示式

1、python 標準庫中re模組提供了正規表示式的全部功能,直接引入;requests模組是http庫,爬蟲常用庫,而urllib.requests 則是最後用到寫入檔案的函式

import re

import requests

import urllib.request

2、先接收url位址的html頁面,然後轉化為str形式(正規表示式是匹配字串),第乙個pattern1縮小範圍,抓取目標部分,result1接收匹配的結果,這時候所有封面圖位址就在裡面了

response = requests.get(url)

response = str(response.content)

result1 = re.compile(pat).findall(response)

pat2 = '

python爬蟲 正規表示式

正規表示式是十分高效而優美的匹配字串工具,一定要好好掌握。利用正規表示式可以輕易地從返回的頁面中提取出我們想要的內容。1 貪婪模式與非貪婪模式 python預設是貪婪模式。貪婪模式,總是嘗試匹配盡可能多的字元 非貪婪模式,總是嘗試盡可能少的字元。一般採用非貪婪模式來提取。2 反斜槓問題 正規表示式裡...

Python爬蟲 正規表示式

一般的正規表示式都可直接到正則生成工具處生成,常見匹配字元 re.match及其常規匹配 re.match 嘗試從字串的起始位置匹配乙個模式,如果不是起始位置匹配成功的話,match 就返回none。re.match pattern,string,flags 0 返回的為乙個物件,其中span代表長...

Python 爬蟲 正規表示式

常見的正則字元和含義如下 匹配任意字元,除了換行符 匹配字串開頭 匹配字串末尾 匹配括號內表示式,也表示乙個組 s 匹配空白字元 s 匹配任何非空白字元 d 匹配數字,等價於 0 9 d 匹配任何非數字,等價於 0 9 w 匹配字母數字,等價於 a za z0 9 w 匹配非字母數字,等價於 a z...