pandas yield csv 混合使用

2021-08-17 19:14:09 字數 2651 閱讀 7986

運維需要壓力測試,需要給他生成符合規則的資料。生成幾萬甚至百萬的資料。這麼大的資料就要考慮到速度和記憶體需求啦。

data資料中是陣列字典的

data = 

frame = dataframe(data)

# print(frame)

frame.to_csv("new.csv", index=false)

字典引數傳入到 dataframe 中, 注意dataframe的使用規則,資料這裡需求一樣多

這裡是對yield 的簡單應用。節省記憶體

考慮到資料可能很多不可能吧每個資料產生出來放在列表中,也就相當於記憶體中。這樣可能會佔滿記憶體。 使用yield 需要的時候產生直接 寫入到表中, 大量資料使用pandas 寫入也是比較快的。

部分yield**

from yang.project_test_data.random_file import staticrandom

cellphone_key = "yangimei"

base_num = 20000

defcellphone_func

(): cellphone = 17000000000

for i in range(base_num):

yield cellphone

cellphone = cellphone + 1

defcellphone_key_func

(): cellphone_key_int = 800000000000000

for i in range(base_num):

yield cellphone_key + str(cellphone_key_int)

cellphone_key_int = cellphone_key_int + 1

defcellphone_operation_func

():for i in range(base_num):

yield

"nmf26x dev-keys"

defcellphone_operation_version_func

():for i in range(base_num):

yield

"7.1.1"

defcellphone_manufacturer_func

():for i in range(base_num):

yield

"smartisan"

defcellphone_brand_func

():for i in range(base_num):

yield

"sdm660"

defcellphone_build_id_func

():for i in range(base_num):

yield

"nmf26x"

defcellphone_build_model_func

():for i in range(base_num):

yield

"os105"

defcellphone_platform_version_func

():for i in range(base_num):

yield

"7.1.1"

defdegree_id_func

():for i in range(base_num):

yield staticrandom.degree_id()

在另外乙個檔案維護了乙個靜態方法 主要用來獲取隨機資料的

import random

from yang.project_test_data.constant2 import *

class

staticrandom

():@staticmethod

def***_

(): s = [1, 2]

return random.choice(s)

@staticmethod

defnickname

(): name_list = random.sample(nick_name, 2)

return

"".join(name_list)

@staticmethod

defschool

():return random.choice(schools)

@staticmethod

defbirthday

(): year = str(random.randint(1980, 2018))

month = str(random.randint(1, 12))

day = str(random.randint(1, 30))

if len(month) == 1:

month = "0" + month

if len(day) == 1:

day = "0" + day

str_r = year + "-" + month + "-" + day

return str_r

@staticmethod

defheight

():return random.choice(height)

混訪混掛遷移示例

編輯我的收藏 本頁目錄 本文件介紹了如何使用混掛和混訪方案將經典網路遷移至專有網路。在開始使用混掛和混訪遷移方案前,請確保滿足以下條件 本文件提供兩個遷移示例,其中乙個待遷移的系統相對複雜。準備網路環境。首先,需要建立專有網路和交換機,確定要遷移的專有網路和交換機的相關資訊。詳情參考搭建ipv4專有...

混圈子的人

因為已經簽下華為offer,也算是半隻腳踏入程式設計師的門檻中,那麼對於乙個將要混程式設計師圈子的人,我應該做些什麼,或者說應該養成怎樣的習慣?重要的寫在前面 思考,程式設計,思考,程式設計.每天必逛 github stackover 優秀blog 維基百科 一些開源社群 專案 個人主頁 有乙個自己...

python 易混地帶

每門程式語言都有易混淆的部分,下面列舉出一些python的易混淆知識點。和 is 的區別在python中,操作符測試值的相等性 is 表示式測試物件的一致性,即是否指向同乙個物件。list1 1,a 3 list2 1,a 3 list1 list2,list1 is list2 true,fals...