用shell切分檔案 split

有個檔案要處理，因為很大，所以想把它切成若干份，每份n

行，以便並行處理。怎麼搞呢？查了下強大的

shell

，果然有現成的工具

--split

。下面記錄下基本用法：

split [-bl] file [prefix]

引數說明：

-b, --bytes=size

：對file

進行切分，每個小檔案大小為

size

。可以指定單位

b,k,m

。-l, --lines=number

：對file

進行切分，每個檔案有

number

行。prefix：分割後產生的檔名字首。

示例：

假設要切分的檔案為test.2012-08-16_17

，大小1.2m

，12081行。

1)

split -l 5000 test.2012-08-16_17

xaa，

xab，

xac三個檔案。

wc -l 

看到三個檔案行數如下：

5000 xaa

5000 xab

2081 xac

12081 總計

2)

split -b 600k test.2012-08-16_17

xaa，

xab兩個檔案

ls -lh 

看到 兩個檔案大小如下：

600k xaa

554k xab

3)

split -b 500k test.2012-08-16_17 example

example

ls -lh 

看到檔案資訊如下：

500k exampleaa

500k exampleab

154k exampleac

shell學習（18） split切分檔案命令

linux split命令用於將乙個檔案分割成數個。該指令將大檔案分割成較小的檔案，在預設情況下將按照每1000行切割成乙個小檔案。語法 split help version 行數 b 位元組 c 位元組 l 行數 要切割的檔案 輸出檔名 引數 行數 指定每多少行切成乙個小檔案 b 位元組 指定每多...

linux shell cut按列切分檔案

linux cut按列切分檔案 f 選擇的哪些列 complement 補集運算 例 root localhost test cat student.data no name mark 1 lufubo 98 2 cbiao 88 root localhost test cut f2,3 stude...

Linux之split拆分檔案

linux 中split命令可以將乙個大檔案拆分成幾個小檔案。split help version 行數 b 位元組 c 位元組 l 行數 要切割的檔案 輸出檔案字首 注意，在預設情況下將按照每1000行切割成乙個小檔案。wc l data 先檢查一下data有多少行 split l 10000 d...