python獲取大檔案行數

背景：處理一些日誌或者請求資料時，幾百萬行的資料，有時候在做效能測試任務時估算出大概需要的詞表數，需要一定行數的資料，需要提前看下原始檔案大小，在這記一下，的確比較快

**如下：

# 獲取檔案行數,一塊一塊讀取

def get_file_lines(filepath):
with open(filepath, 'rb') as f:
count = 0
buf_size = 1024 * 1024
buf = f.read(buf_size)
while buf:
count += buf.count(b'\n')
buf = f.read(buf_size)
return count
# 用法
filepath = "/home/alisleepy/all_query"
lines = get_file_lines(filepath)
print "檔案行數：" + str(lines)

php快速獲取超大檔案行數的方法

start microtime true filesize filesize shuiping yang.log fp fopen shuiping yang.log r getfp fopen shuiping yang.log r lines 0 line 0 獲取檔案的一行內容，注意 需要ph...

python 獲取較大 csv檔案的行數

所謂較大.csv檔案，就是直接用pd.read csv讀取，會出現memoryerror.這時需要把檔案變成迭代器，分段讀取.user info pd.read csv e data analysis graduation design data weibo users.csv iterator t...

Python計算大檔案行數方法及效能比較

如何使用python快速高效地統計出大檔案的總行數,下面是一些實現方法和效能的比較。1.readline讀所有行 使用readlines方法讀取所有行 def readline count file name return len open file name readlines 2.依次讀取每行依...