Python爬取京東商品使用者的評價

一、爬取京東商品手機的使用者評價，包括評價、顏色、手機型號並存入資料庫（mysql）

二、資料庫表結構

三、**

import

requests
import
time
import
json
from pymysql import *
defmes(productid,page):
headers = headers =
url='
'.format(productid,page)
resp=requests.get(url,headers=headers)
#print(resp.text)
res=resp.text.replace('
fetchjson_comment98(
',''
) res=res.replace('
);',''
) 
#print(res)
json_data=json.loads(res)
#print(json_data)
return
json_data
defgetpage(productid):
data=mes(productid,0)
return data['
maxpage']
definsert(db,list):
sql = "
insert into pingjia values (0,%s,%s,%s)
"cursor =db.cursor()
tuples=tuple(list)
print
(tuples)
try:
cursor.executemany(sql,tuples)
print("
插入成功")
db.commit()
cursor.close()
except
exception as e:
print
(e) db.rollback()
pass
defgetdata(productid):
#maxpage=1
maxpage=getpage(productid)
print
(maxpage)
list=
for page in range(0,maxpage+1):
mess=mes(productid,page)
meslist=mess['
comments
']#for item in
meslist:
content=item['
content']
productcolor=item['
productcolor']
referencename=item['
referencename']
db =connectdb()
#print(list)
insert(db,list)
#連線資料庫的方法
defconnectdb():
try:
db = connect(host='
localhost
', port=3306, user='
root
', password='
123456
', db='
mmm'
) 
print("
資料庫連線成功")
return
db 
except
exception as e:
print
(e) 
return
null
if__name__ == '
__main__':
#print(getpage(100013205938))
getdata(100011924558)
#mes(100011924558,0)

四、結果

Python爬取京東商品

自動開啟京東首頁，並輸入你要搜尋的東西，進入介面進行爬取資訊 from selenium import webdriver import time class jdspider object def init self self.browser webdriver.chrome self.url s...

python京東商品 Python爬取京東商品資料

對京東某一商品資訊頁面的html 進行分析。能夠發現它的圖書產品資訊頁面都含有這樣一段 不同類的商品頁面有些不同 window.pageconfig 顯然這就是我們須要的商品資訊，python 例如以下 import json import re import urllib for i in ran...

爬取京東商品

一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...