selenium爬取京東商品

from selenium import webdriver

import time
import pandas as pd

url =

''browser = webdriver.chrome(
)browser.get(url)

#找到頁面中的搜尋框，然後輸入想找的商品

browser.find_element_by_xpath(
'//*[@id="key"]'
).send_keys(
'蔚縣小公尺'
)#找到頁面中的搜尋鍵，然後執行click操作
browser.find_element_by_xpath(
'//*[@id="search"]/div/div[2]/button/i'
).click(
)'''
模擬頁面下拉
為什麼要模擬頁面下拉？
如果不下來，在原始碼中只會顯示30個商品，
下拉之後，會顯示60個商品
'''browser.execute_script(
'window.scrollto(0,document.body.scrollheight)'
) time.sleep(
5)

#拿到該頁面的所有商品

products = browser.find_elements_by_xpath(
'//li[@class="gl-item"]'
)print
(len
(products)
)#60
#捕獲商品**
price = products[0]
.find_element_by_xpath(
'.//div[@class="p-price"]//i'
).text
#捕獲商品名稱
name = products[0]
.find_element_by_xpath(
'.//div[@class="p-name p-name-type-2"]//em'
).text
commit = products[0]
.find_element_by_xpath(
'.//div[@class="p-commit"]'
).text[:-
3]#捕獲店鋪名稱
shop_name = products[0]
.find_element_by_xpath(
'.//div[@class="p-shop"]'
).text
#捕獲商品詳情鏈結
爬取京東商品
一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...
selenium 爬蟲爬取京東商城商品資訊
看完用selenium爬取 商品資訊的網課，於是乎想著自己也整乙個selenium程式來爬取京東以作鞏固。寫了幾個小時的 通過不斷除錯，學到了很多細節上的處理，完整 在下方，使用時修改搜尋的引數就可以開始爬取了，事先要安裝goole chrome的驅動。最終爬取的結果儲存在了products陣列中，...
selenium爬取京東商品名與價格
簡單實現自動化模擬人爬取京東，當然這爬不了 有自動化爬取監測 import time from selenium import webdriver from lxml import html etree html.etree 建立物件 browner webdriver.chrome browner...