"""
例如:乙個1t檔案,需要切割成10小檔案,可採用均勻灑水方式進行切割.
完美執行!
"""import os
source_file_path = r'bigfile.csv'
target_file_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'splits')
target_file_count = 10
target_file_list = [open(target_file_dir + '/%s.csv' % x, 'a+', encoding='utf-8-sig') for x in range(target_file_count)]
# print(target_file_list)
with open(source_file_path, 'r', encoding='utf-8-sig') as source_file: # 開啟原始檔案
for index, source_file_line in enumerate(source_file): # 讀原始檔案每一行
target_file_index = index % 10 # 任何乙個數 %10 產生 0-9的數,剛好為target_file_list下標
target_file_list[target_file_index].write(source_file_line)
linux split 切割大檔案
語法 split l 行數 b 位元組 c 位元組 要切割的目標檔案 輸出檔名字首 說明 l 行數 指定每多少行就要切成乙個小檔案，預設值是1000行。b 位元組 m k 指定每多少位元組就要切成乙個小檔案。b n k n 1024 bytes b n m n 1024 1024 bytes c 位...
php大檔案切割和合併
分割 split.php i 0 分割的塊編號 fp fopen hadoop.sql rb 要分割的檔案 file fopen split hash.txt a 記錄分割的資訊的文字檔案，實際生產環境存在redis更合適 while feof fp sql wb fwrite handle,fre...
Linux shell 按行切割大檔案
最近專案中，檔案內容有點多，想刪除一部分的資料，如檔案有1000行，想保留600行 僅用來舉例，實際需求更複雜些 該怎麼辦呢？不如把檔案切開來，想到用 split 試試 引數說明 b,bytes size 對file進行切分，每個小檔案大小為size。可以指定單位b,k,m。l,lines numb...