當使用pandas讀取大文字檔案時，會由於記憶體不足產生memoryerror異常，可以設定分塊讀取的方式來解決。
import pandas as pd
# 由於資料量較大，一次性讀入可能造成記憶體錯誤(memmory error),因而使用pandas的分塊讀取
def read_from_local(file_name, chunk_size=500000):
reader = pd.read_csv(file_name, header=0, iterator=true, encoding="utf-8")
chunks =
loop = true
while loop:
try:
chunk = reader.get_chunk(chunk_size)
except stopiteration:
loop = false
print("iteration is stopped!")
# 將塊拼接為pandas dataframe格式
df_ac = pd.concat(chunks, ignore_index=true)
return df_ac
python庫 pandas 文字檔案讀取
read table read csv filepath or buffer 檔案路徑 sep t 分隔符.設定為n,將嘗試自動確定 delimiter n sep的備用引數名 header infer int用作列名稱的行號 ints 若傳入列表則表示這幾行都將作為列標籤 none 檔案中不包含標...
讀取文字檔案
void ctestdlg onreadinfo cfile filewrite1 testwrite1.txt cfile modecreate cfile modewrite cfile filewrite2 testwrite2.txt cfile modecreate cfile modew...
讀取文字檔案內容
讀取文字檔案內容 param filepathandname 帶有完整絕對路徑的檔名 param encoding 文字檔案開啟的編碼方式 return 返回文字檔案的內容 public string readtxt string filepathandname,string encoding th...