用pandas讀取乙個檔案或某個資料夾下所有檔案

2021-10-23 16:55:04 字數 977 閱讀 8375

讀取乙個檔案:

直接用檔案路徑。

如果是讀取某個資料夾下的所有檔案,注意用os.path,逐個讀取檔案,把新讀取到的dataframe進行concate操作到總的dataframe中去。詳細請見**。

character_list =['1010011_i_u_prov',  '9010081_i_b_location']

#這是讀取乙個檔案的,

# data=pd.read_csv('../data/10line_of_part-00000',sep='\t',header=none)

# 如果讀取所有檔案呢?如下

file_dir="../data/dt=20200807"

all_file_list=os.listdir(file_dir)

for single_file in all_file_list:

# 逐個讀取

single_data_frame=pd.read_csv(

os.path.join(file_dir,single_file),sep='\t',header=none)

if single_file ==all_file_list[0]:

all_data_frame=single_data_frame

else: #進行concat操作

all_data_frame=pd.concat([all_data_frame,

single_data_frame],ignore_index=true)

# data.columns=character_list,給dataframe的屬性重新命名。

all_data_frame.columns=character_list

備註:

data資料是從sql中select出來的結果。

注意: 分隔符要用\t,不然會報錯!

FileInputStream讀取乙個或多個字元

利用read 方法進行讀取,速度慢 載入乙個檔案,使用絕對路徑定位檔案 string path this.getservletcontext getrealpath a.txt system.out.println path 載入檔案,二進位製流位元組碼 fileinputstream in new...

pandas讀取json檔案或csv檔案

讀取csv檔案 with open results.csv as f data pd.read json f 讀取json檔案 with open results.json as f data pd.read json f 此時data是dataframe型別 pandas.core.frame.d...

用WinCVS向乙個模組新增檔案和 或資料夾

首先在專案資料夾裡新增乙個檔案 啟動wincvs。選單 view file filter hide unknow 取消 不隱藏不知道的檔案及資料夾 看到帶 的檔案,就是新新增的檔案 單擊選單modify,之後有三種選擇 add 以文字形式新增 適用於程式的原始檔 文字檔案 add binary 以二...