selenium爬蟲 蘇寧易購元素更新問題

2021-09-25 08:19:00 字數 1579 閱讀 7779

第一次寫部落格,記錄小白成長事蹟,多多見諒啦

工具pycharm 和python

selenium是乙個web的自動化測試工具,和其它的自動化工具相比來說其最主要的特色是跨平台、跨瀏覽器。

支援windows、linux、mac,支援ie、firefox、safari、opera、chrome等。

匯入部分模組為 from selenium import webdriver 爬蟲工具所需匯入的包。

**塊

import  time

#import seven.until #連線資料庫函式

from selenium import webdriver #爬蟲所需匯入的包

options=webdriver.firefoxprofile()

options.set_preference('permissions.default.image',2)#禁止載入

firefox=webdriver.firefox(options)

firefox.get("洗面奶/.html")#蘇寧洗面奶頁面**

target = firefox.find_element_by_css_selector("#bottom_pager")#獲取頁面最底部標籤

firefox.execute_script("arguments[0].scrollintoview();", target) # 爬蟲將頁面下拉至底部休息5秒等待資料載入

time.sleep(5)#等待5秒載入網頁元素,即爬取元素的速度小於網頁元素更新完的速度即可正常獲取元素標籤

li=firefox.find_elements_by_css_selector(".general li")

for one in li:

try:

firefox.execute_script("arguments[0].scrollintoview();", one) # 向下滑動滾動條,跳轉到目標元素處

title = one.find_element_by_css_selector(".title-selling-point a").text

price = one.find_element_by_css_selector(".res-info").text.replace("¥","")

price=price.split("\n")[0]

comment_num = one.find_element_by_css_selector(".info-evaluate").text.replace("評價","")

comment_num = comment_num.replace(".","")

comment_num = comment_num.replace("萬","0000")

comment_num = comment_num.replace("+","")

print(title, price, comment_num)

except exception as e:

print(e)

print("錯誤,跳過")

firefox.close()

蘇寧易購爬蟲價格尋找

今天做了乙個關於蘇寧易購的爬蟲,找 規律時花了很多時間,終於做出來了。可以找到唯一乙個檔案 nspcsale 比如我這個是 分析一下url,以每個 為分隔,一次搜尋每串數字 比如上面的 000000000646450414 0070167435 502282 r9011303 0.2你會發現這些數字...

618,新版蘇寧易購APP亮相

內容化經營是這兩年電商平台發展的一大趨勢,無論是短 帶貨還是深度測評,年輕一代消費者的注意程式設計客棧力正在下降,眼光卻越來越挑剔。酒香不怕巷子深 的時代已成為過去時,會吆喝,會帶貨的電商平台才能贏得年輕人的青睞。蘇寧易購當然也不例外,從去年 818 期間推出的帶貨短 頭號買家 到吸引 90 後前來...

蘇寧易購 蘇寧小店將獲4 5億美元增資

techweb 5月20日訊息,蘇寧易購日前對外發布公告稱,為保持蘇寧小店業務的穩定發展,推動蘇寧小店未來戰略的實現,經suning smart life股東協商予以提高資本金投入,suning smart life將再新增發行股份45,000萬股普通股,股東great matrix 蘇寧國際以及g...