python爬取貓眼電影資料 正規表示式

2021-10-04 16:38:42 字數 1191 閱讀 3167

貓眼電影榜單**:

目標資料描述:(1)排名 (2)電影名稱 (3)主演 (4)上映時間 (5)評分

#獲取url資訊,輸出url內容

def gethtmltext

(url)

:try

: headers =

r=requests.

get(url,headers=headers)

r.raise_for_status()

return r.text

except:

return

" error"

#將頁面放到ulist列表中,輸出

def fillunivlist

(ulist,html)

: f_ = re.

compile

('.*?board-index.*?>(\d+).*?data-src="(.*?)".*?name">+

'.*?>(.*?).*?star">(.*?)

.*?releasetime">(.*?)'+

'.*?integer">(.*?).*?fraction">(.*?).*?'

,re.s)

ulist=re.

findall

(f_,html)

for i in ulist:

print

(i)def main()

: uinfo=

for i in

range(11

): # 多頁爬取排名

#在**中加入引數

urls=

遍歷**

for url in urls:

html =

gethtmltext

(url)

fillunivlist

(uinfo, html)

main

()執行的時候可能會觸發**的反爬蟲機制,比如驗證(我就遇到了,慘兮兮,除錯半天)解決方法:複製**用瀏覽器開啟,手動驗證。噠噠噠,不可以的話,那就好好研究研究嘍

Python爬取貓眼電影

不多說,直接上 import requests import re import random import pymysql import time 連線資料庫 db pymysql.connect host localhost port 3306,user root passwd a db pyt...

爬取貓眼電影

有乙份工作需要我列出兩個電影院的每天電影排期資訊,我不想每次都要去貓眼上覆制貼上。所以做了個爬蟲 功能 能夠知道每天的電影排期資訊 使用限制 只能在當天使用,不能在前一晚上使用,後面我會再考慮修改 coding utf 8 import requests import re from bs4 imp...

python爬蟲 爬取貓眼電影資料

定義乙個函式獲取貓眼電影的資料 import requests def main url url html requests.get url text print html if name main main 利用正則匹配,獲得我們想要的資訊 dd i class board index board...