Python 抓取資料儲存到Redis中

redis是乙個key-value儲存結構。和memcached類似，它支援儲存的value型別相對更多，包括string(字串)、list(鍊錶)、set(集合)、zset(sorted set 有序集合)和hash（雜湊型別），資料儲存如下圖分析

為了分別為id存入多個鍵值對，此次僅對hash資料進行操作，例子如下

import

os,sys
import
requests
import
bs4import
redis
#連線redis
r = redis.redis(host='
127.0.0.1
',password='
123456
',port=6379)
html = '
'result =requests.get(html)
texts =result.text
data = bs4.beautifulsoup(texts,'
html.parser');
lidata = data.select('
div#dailylist ul.daily_card li')
#print(lidata)
for x in
lidata:
did = x.get('
data-title-no')
name = x.select('
p.subj')
name1 =name[0].get_text()
url = x.a.get('
href')
story =x.a.p
story1 =story.string
user = x.select('
p.author')
user1 =user[0].get_text()
like = x.select('
em.grade_num')
like1 =like[0].get_text()
rt = 
#寫資料到redis
idkey = '
name
'+did
#hash表資料寫入命令hmget，可以一次寫入多個鍵值對
r.hmget(idkey,rt)
#寫入命令hset，一次只能寫入乙個鍵值對
r.hset(idkey,'
did'
,did)
r.hset(idkey,
'name
',name1)
r.hset(idkey,
'story
',story1)
r.hset(idkey,
'url
',url)
r.hset(idkey,
'user
',user1)
r.hset(idkey,
'like
',like1)
print('
dman雜湊表寫入成功')
print(r.hget(idkey,'
did'
)) 
print(r.hget(idkey,'
name
'))

Python 抓取資料儲存到Redis中的操作

redis是乙個key value儲存結構。和memcached類似，它支援儲存的value型別相對更多，包括string 字串 list 鍊錶 set 集合 zset sorted set 有序集合 和hash 雜湊型別 資料儲存如下圖分析 為了分別為id存入多個鍵值對，此次僅對hash資料進行操...

python抓取省市區的資料並儲存到mysql中

如下 coding utf 8 python 抓取網頁資料 需要預先安裝外掛程式 python m pip install beautifulsoup4 python m pip install lxml import requests from bs4 import beautifulsoup i...

python資料儲存到檔案

1 使用open與print進行資料儲存到檔案 filename列表形式檔名 def write file filename try for item name in filename out file open item name,w 寫模式開啟檔案，並賦值至檔案物件 data this is i...