Python pandas儲存csv到S3的方法

2021-10-19 17:42:18 字數 517 閱讀 4000

方法一:

使用stringio(當要儲存到檔案的是binary檔案時可以用bytesio,類似)

from io import stringio

import boto3

bucket = 'bucket_name'

csv_buffer = stringio()

df.to_csv(csv_buffer)

s3_resource = boto3.resource('s3')

s3_resource.object(bucket, 'df.csv').put(body=csv_buffer.getvalue())

方法二:

可以直接將s3的完整路徑作為to_csv的路徑引數,但需要有s3fs的library

df.to_csv('s3://bucket-name/folder1/subfolder1/myfile.csv', index=false)
另乙個儲存excel的方法:

Python pandas,建立Series型別

numpy只能處理數值型別的資料。pandas除了可以處理數值型別外,還可以處理非數值型別的資料 例如 字串 時間序列等 pandas常用的資料型別 series 一維,帶標籤的陣列,對應資料庫中的一條記錄 dataframe 二維,series容器,對應資料庫中的表 demo.py series的...

python pandas使用記錄

在使用numpy中array格式的矩陣時,我們通常使用如a 2 4,5 10 獲取陣列中一部分資料,但是dataframe結構的陣列就不能這麼寫,可以使用iloc方法,即index locate,另外有個相似的方法loc,這個方法是通過column名字進行資料定位的 import pandas as...

Python pandas總結未完

obj.index obj.values obj4.name population obj4.index.name state obj.index bob steve jeff ryan data frame pd.dataframe data frame2 pd.dataframe data,co...