python 獲取較大 csv檔案的行數

2021-08-19 21:21:37 字數 533 閱讀 4816

所謂較大.csv檔案,就是直接用pd.read_csv讀取,會出現memoryerror.

這時需要把檔案變成迭代器,分段讀取.

user_info = pd.read_csv("e:\data_analysis\graduation design\data\weibo_users.csv", iterator=true)
新增了iterator引數. 這樣可以使用.get_chunk(10000)方法,每次讀取一萬行,同時用count累加.

當檔案行數不夠的時候,會報出stopiteration,這時跳出迴圈即可

count = 0

for i in range(300):

try:

user = user_info.get_chunk(10000)

count += user.shape[0]

except stopiteration:

break

print(count)

python使用csv寫入csv檔案

沒什麼好說的,直接上 吧 with open file.csv w encoding utf 8 newline as csvfile writer csv.writer csvfile 首先是表頭 writer.writerow id name gender birthday rating 然後是...

python使用csv讀寫CSV檔案

檔案的讀 import csv with open test.csv r as csv file reader csv.reader csv file for line in reader print line 檔案的寫 import csv 表頭 file header houseinfo hou...

寫csv檔案 Python讀寫CSV

逗號分隔值 comma separated values,csv,有時也稱為字元分隔值,因為分隔字元也可以不是逗號 其檔案以純文字形式儲存 資料 數字和文字 1 首先匯入csv模板 2 建立乙個csv檔案物件 3 開啟檔案進行讀取 結果 測試1 軟體測試工程師 測試2 軟體測試工程師 測試3 軟體測...