selenium動態爬取貓眼前top100

2021-09-24 10:12:51 字數 1238 閱讀 6830

selenium用到的是selenium中webdriver

from selenium import webdriver

webdriver提供了瀏覽器的啟動介面

webdriver.firefox()

多視窗切換 這裡的多視窗是指的,多個視窗,不是乙個視窗多次進入不同的**。

通過browser.window_handles方法得到視窗的控制代碼,通過browser.switch_to.window()來切換視窗。

browser.execute_script('window.open("")')current_url    獲取當前頁面的url;

page_source   獲取當前頁面的原始碼;

title        獲取當前頁面的title;

from selenium import webdriver

import re

import time

def get_html():

browser = webdriver.firefox()

browser.get('')

html = browser.page_source

items = get_item(html)

for item in items:

print(item)

time.sleep(2)

for offset in range(2, 11):

button = browser.find_element_by_class_name('page_' + str(offset))

html = browser.page_source

items = get_item(html)

for item in items:

print(item)

time.sleep(2)

def get_item(html):

items = re.findall(pattern, html)

return items

if __name__ == '__main__':

get_html()

我是用re搜尋匹配的,還沒用到xpath匹配,xpath更方便點。之後會更新xpath匹配的。

由於也在學的階段,有的部分是看書上的(崔慶才的python3網路爬蟲開發實戰)。

爬取貓眼電影

有乙份工作需要我列出兩個電影院的每天電影排期資訊,我不想每次都要去貓眼上覆制貼上。所以做了個爬蟲 功能 能夠知道每天的電影排期資訊 使用限制 只能在當天使用,不能在前一晚上使用,後面我會再考慮修改 coding utf 8 import requests import re from bs4 imp...

Python爬取貓眼電影

不多說,直接上 import requests import re import random import pymysql import time 連線資料庫 db pymysql.connect host localhost port 3306,user root passwd a db pyt...

貓眼電影影評爬取

電影的影評介面如下 這個可以在網上搜到,也可以自己抓包分析 這裡簡單的分析一下引數的含義 1218029 貓眼電影的id 這裡就是 少年的你 的電影id了 offset 偏移,貌似是依次增加15 我們可以每次增加offset來進行爬取,即讓offset每次增加15。我們通過這種方式來構造url,傳送...