Python最快的方式來讀取大文字檔案（幾GB）

我有乙個大文字檔案（約7 gb）。我正在尋找是否存在閱讀大文字檔案的最快方法。我一直在閱讀有關使用多種方法作為讀取chunk-by-chunk以加快程序的過程。

例如，effbot建議

# file: readline-example-3.py

file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something**strong text**

from itertools import islice

with open(...) as f:
while true:
next_n_lines = list(islice(f, n))
if not next_n_lines:
break
# process next_n_lines

with open() as fileobj:

for lines in fileobj:
print lines # or do some other thing with the line...

本文首發於python黑洞網，csdn同步更新

python讀取大檔案 python讀取大檔案

python讀取檔案對各列進行索引 可以用readlines，也可以用readline，如果是大檔案一般就用readlined a in open testfile.txt r for line in a in columnssplit line.rstrip split d columnsspli...

andorid以pull的方式來讀取XML檔案

andorid以pull的方式來讀取xml檔案 private boolean par ml3 inputstream inputstream if inputstream null return false 獲得xmlpullparser解析器 xmlpullparser xmlparser xm...

python檔案的讀取方式

with open test a r as f f.write test a 只能讀,不存在檔案報錯,filenotfounderror errno 2 no such file or directory test a with open test a r as f f.write test a 操...