python json 爬京東商品評論

1、我用的是qq瀏覽器，右擊檢查，在network下選擇js，在搜尋框裡輸入productpagecomments(如果出不來記得f5重新整理一下）

如圖:

2、雙擊productpagecomments會得到以下頁面

二、找到想要的東西就要寫**啦

上**

# -*- coding:utf-8 -*-

importurllib
importjson
importsys
reload(sys)
sys.setdefaultencoding("gbk") #注意編碼
f=open("pl.txt","w+")
defget_evaluate(url): #開啟網頁
page = urllib.urlopen(url).read().decode('gbk')
page=page.replace('fetchjson_comment98vv19563(','') #替換，也可以使用sub
page=page.replace(');','')
data = json.loads(page) #decode的過程，將json物件轉換成python物件
forpindata["comments"]: #data是個字典，content是data的key值
content = p["content"].encode('utf-8')
time = p["referencetime"].encode('utf-8')
name = p["referencename"].encode('utf-8')
f.write("評價內容"+'\n'+content+'\n'+"型別:"+name+'\n'+time+'\n')
foriinprint.format(i+1))
url =''\
'563&productid=781490&score=0&sorttype=5&page='+ str(i) +'0&pagesize=10&isshadowsku=0&fold=1'#注意url的值

get_evaluate(url)

f.close

然後寫入檔案的格式啊什麼的，可以按自己的喜好改改

爬取京東商品

一 進入京東主頁 二 進入商品詳情頁 2 商品名稱 3 商品 from selenium import webdriver 用來驅動瀏覽器的 相當於模擬人的點選事件來連續的訪問瀏覽器 from selenium.webdriver import actionchains 破解滑動驗證碼的時候用的 可...

爬取京東商品（js）

from selenium import webdriver import csv import time 1.接收要搜尋的商品型別,開啟商品搜尋頁面 pro input 請輸入商品名稱 driver webdriver.chrome driver.get driver.find element b...

Python爬取京東商品

自動開啟京東首頁，並輸入你要搜尋的東西，進入介面進行爬取資訊 from selenium import webdriver import time class jdspider object def init self self.browser webdriver.chrome self.url s...