正則爬取京東商品資訊並打包成 exe可執行程式

2022-09-17 00:51:14 字數 3218 閱讀 2663

本文爬取內容,輸入要搜尋的關鍵字可自動爬取京東**上相關商品的店鋪名稱,商品名稱,**,爬取100頁(共100頁)

**如下;?1

2345

6789

1011

1213

1415

1617

1819

2021

2223

2425

2627

2829

3031

3233

importrequests

importre

# 請求頭

headers=

defget_all(url,key):

forpageinrange(1,200,2):

params=

num=int((int(page)+1)/2)

try:

response=requests.get(url=url,params=params,headers=headers)

# 轉碼

content=

data_all=re.findall('.*?(.*?).*?.*?title="(.*?)"'

'.*?foriindata_all:

withopen(key+'.txt','a+', encoding='utf-8') as f:

f.write('店鋪名稱:'+i[2]+'\n'+'商品名稱:'+i[1]+'\n'+'**:'+i[0]+'\n\n')

print('第'+str(num)+'頁'+)

exceptexception as e:

print(e)

if__name__=='__main__':

print('輸入要搜尋的內容,獲取京東**裡面的商品名稱,店鋪名稱,商品**')

key=input('輸入搜尋內容:')

url=''

get_all(url,key)

打包成.exe可執行檔案。

pip install pyinstaller

在.py檔案目錄下開啟命令列視窗,執行打包命令;

e:\練習\最後階段\0808\jd1>pyinstaller -f -i dog.ico jd.py

出現successfully表示打包成功;

27525 info: building exe from exe-00.toc completed successfully.

可執行程式在當前資料夾下的dist資料夾下;

執行效果;

可同時執行多個程式;

輸出結果;

done。

爬取京東商品資訊

爬取京東商品資訊 from selenium import webdriver from selenium.webdriver import chromeoptions from selenium.webdriver import actionchains from selenium.webdriv...

python 爬取京東商品資訊

coding utf 8 import os import re import time from urllib.parse import urlencode import requests from lxml import etree import pymysql from time import...

京東app商品資訊爬取

準備工作 配置網路,確認手機和pc處於同一區域網下,並配置好 服務 安裝證書,確保可以抓取https的請求資訊。安裝並開啟mongodb資料庫。抓取分析 抓取資訊格式為json格式。具體如下圖所示 連線mongodb資料庫jddb,選擇集合shop client pymongo.mongoclien...