再教一招 將100W 資料快速寫入Redis

2021-10-08 17:17:42 字數 2531 閱讀 8082

-用python100w+資料快速寫入redis

(1)引入redis

r = redis.redis(db=1)

# transaction表示是否應自動執行所有命令

pipe = r.pipeline(transaction=

false

)

我是通過追加的方式,寫入到redis中。'data'

,data)

# 10w+ 14s

pipe.execute(

)(2)多執行緒

import threading

'''省略部分**'''

if __name__ ==

'__main__'

: thread = threading.thread(target=coupon_code)

thread.start(

)

(3)redis用到的指令
01

.切換db:select 1

02.刪除db為1所有資料:flushdb清空當前資料庫中的所有 key

(4)redispipelinepipeline + 多執行緒對比

再教一招 | 將100w+資料快速寫入redis

author:

eleven

elevenkeep

編寫日期:

2020-07-30

'''from faker import faker

import time

import redis

import threading

# 裝飾器,計算插入100000條資料需要的時間

deftimer

(func)

:def

decor

(*args)

: start_time = time.time(

) func(

*args)

end_time = time.time(

) d_time = end_time - start_time

print

("【pipeline+多執行緒】100w+插入redis耗時: "

, d_time)

return decor

@timer

defcoupon_code()

: r = redis.redis(db=1)

# transaction表示是否應自動執行所有命令

我的redis之前刪除了,所以需要重新安裝,

只需一招,教您精準召回解除安裝使用者

某知名rpg遊戲對玩家的活躍度要求極高,通常會判定超過3天未登入的使用者可能已徹底解除安裝。對於解除安裝使用者的召回,運營同學以華為分析 應用市場禮包活動的全新嘗試有了新的突破。本次活動共觸達3w近14天解除安裝使用者,共有6k 使用者被成功召回,召回率達18.41 其中付費使用者佔比11.04 效...

RecycleView一招搞定

a 新檢視組 b 可為任何基於介面卡的檢視提供相似 的渲染方式 c 作為listview和 gridview的繼承者 d 高度解耦,非常的靈活 e 可以設定不同的layoutmanager itemanimator,itemdecoration 第一步 新增依賴 implementation com...

一招教你關閉瀏覽視窗

工作列預覽功能在windows7那個時候還是比較不錯的功能,但是現在在windows8或者10上就顯得有點沒啥用了,windows10把可以關閉的工作列預覽功能選項刪除了,滑鼠滑過後不僅會遮擋螢幕,要是磁碟效能不濟,卡頓跳幀是經常有的事。既然 設定 和 控制面板 中沒有,那就只好拿登錄檔開刀了。wi...