某航空積分商城爬蟲

2021-08-30 02:47:16 字數 1352 閱讀 1222

import urllib.request

import urllib.parse

import urllib.error

import json

import jsonpath

import pandas as pd

import time

url="***"#可從fiddler中檢視

headers=

name = ['id','類名','商品名','積分','**','描述','庫存']#列名

df = pd.dataframe(columns=name)

for n in range(1,416):

formdata=

mydata = urllib.parse.urlencode(formdata).encode("utf-8")

req=urllib.request.request(url,mydata,headers)#post提交方式

data=urllib.request.urlopen(req).read()

jsonobj = json.loads(data)#將已編碼的 json 字串解碼為 python 物件

idlist = jsonpath.jsonpath(jsonobj,'$..keyid') # 從根節點開始,匹配keyid等節點

namelist = jsonpath.jsonpath(jsonobj,'$..name')

brieflist = jsonpath.jsonpath(jsonobj,'$..brief')

pointlist = jsonpath.jsonpath(jsonobj,'$..max_point')

pricelist = jsonpath.jsonpath(jsonobj,'$..max_price')

desclist = jsonpath.jsonpath(jsonobj,'$..recommenddesc')

quantitylist = jsonpath.jsonpath(jsonobj,'$..quantity')

lennum=(len(namelist))

for i in range(lennum):

s = pd.series() # series 必須是 dict-like 型別

time.sleep(5)

df.to_csv("d://python/dh/dh1.csv",index=false,encoding="gb18030")

截選檔案部分資料如下圖所示:

積分商城1期設計

背景 各種網際網路行業,會員都是核心基礎和競爭力,為增加使用者的粘性及留存,需要運營類工具的支撐。本次設計的目標是積分 使用者可以用平台的積分或者其他形式的虛擬貨幣來兌換禮品。概要設計 由於積分 的本質就是乙個微型的 為模型通用,盡可能以標準 模型設計。同時盡可能簡化設計。達到短小精悍的目的。前台 ...

積分商城系統積分兌換運營開源架構

如今的商業圈是使用者的時代,運營的重心必須從普通使用者轉為使用者積分 運營。隨著人口紅利的消失,獲得新使用者的成本以及超過維持現有使用者的成本。因此,引入積分 系統是企業關注使用者運營的必然選擇,使用者運營只會隨著使用者的日益普及而變得越來越重要。在使用者網際網路時代,企業如何運營好積分 系統?1 ...

積分商城能給商家帶來哪些幫助?

說起積分 不少人都大概接觸過,甚至使用過。最常見的,例如我們使用的手機號碼就有積分 的存在。不單單是手機消費積分,很多人所玩的遊戲中也有積分 通過遊戲虛擬貨幣消費返還積分換取遊戲內的物品。積分 的出現是為了提高 使用者 的體驗感,滿足度,使用者消費後獲取相對應的積分換取禮物。那麼,當一家商店在使用者...