爬取京東商品

2022-02-26 17:43:05 字數 2064 閱讀 8259

一、進入京東主頁

二、進入商品詳情頁

​ 2、商品名稱:

​ 3、商品**:

from selenium import webdriver  # 用來驅動瀏覽器的  相當於模擬人的點選事件來連續的訪問瀏覽器

from selenium.webdriver import actionchains # 破解滑動驗證碼的時候用的 可以拖動

from selenium.webdriver.common.by import by # 按照什麼方式查詢,by.id,by.css_selector

from selenium.webdriver.common.keys import keys # 鍵盤按鍵操作

from selenium.webdriver.support import expected_conditions as ec # 和下面webdriverwait一起用的

from selenium.webdriver.support.wait import webdriverwait # 等待頁面載入某些元素

import time

driver = webdriver.chrome() #宣告驅動物件

try:

# 等待標籤載入

driver.implicitly_wait(10)

# 往京東主頁傳送get請求

driver.get('')

input_tag = driver.find_element_by_id('key') #找到目標

input_tag.send_keys('macbook pro') #輸入python關鍵字

# 控制鍵盤,按回車鍵

input_tag.send_keys(keys.enter)

# 找到所有商品的div標籤,裡面包含所有li商品資訊

goods_div = driver.find_element_by_id('j_goodslist') #用這個元素找id是q的元素

# element:找第乙個 elements:找所有

items = goods_div.find_elements_by_class_name('gl-item') #找class樣式是gl-item

# 迴圈所有li標籤

for item in items:

# 找到商品鏈結

good_link = item.find_element_by_css_selector('.p-img a').get_attribute('href') #通過css樣式查詢

# print(good_link)

# 商品名稱

good_name = item.find_element_by_css_selector('.p-name em').text

# print(good_name)

# 商品**

good_price = item.find_element_by_css_selector('.p-price i').text + '$'

# print(good_price)

# 評價人數

good_commit = item.find_element_by_css_selector('.p-commit a').text + "條評價"

# print(good_commit)

print('''

商品名稱: %s

商品**: %s

評價人數: %s

\n'''% (good_link,good_name,good_price,good_commit))

text = '''

商品名稱: %s

商品**: %s

評價人數: %s

\n'''% (good_link,good_name,good_price,good_commit)

with open('jd.txt','a',encoding='utf-8') as f:

f.write(text)

time.sleep(10)

finally:

driver.close()

爬取京東商品(js)

from selenium import webdriver import csv import time 1.接收要搜尋的商品型別,開啟商品搜尋頁面 pro input 請輸入商品名稱 driver webdriver.chrome driver.get driver.find element b...

Python爬取京東商品

自動開啟京東首頁,並輸入你要搜尋的東西,進入介面進行爬取資訊 from selenium import webdriver import time class jdspider object def init self self.browser webdriver.chrome self.url s...

selenium爬取京東商品

from selenium import webdriver import time import pandas as pd url browser webdriver.chrome browser.get url 找到頁面中的搜尋框,然後輸入想找的商品 browser.find element b...