shell讀取檔案的方法

2021-07-10 05:42:00 字數 3712 閱讀 3402

在linux中有很多方法逐行讀取乙個檔案的方法,其中最常用的就是下面的指令碼裡的方法,而且是效率最高,使用最多的方法。為了給大家乙個直觀的感受,我們將通過生成乙個大的檔案的方式來檢驗各種方法的執行效率。

方法1:while迴圈中執行效率最高,最常用的方法。

複製**

**如下:

function while_read_line_bottm()

注釋:我習慣把這種方式叫做read釜底抽薪,因為這種方式在結束的時候需要執行檔案,就好像是執行完的時候再把檔案讀進去一樣。

方法2 : 重定向法;管道法: cat $filename | while read line

複製**

**如下:

function while_read_line()

注釋:我只所有把這種方式叫做管道法,相比大家應該可以看出來了吧。當遇見管道的時候管道左邊的命令的輸出會作為管道右邊命令的輸入然後被輸入出來。

方法3: 檔案描述符法

複製**

**如下:

function while_read_line_fd()

注釋: 這種方法分2步驟,第一,通過將所有內容重定向到檔案描述符3來關閉檔案描述符0.為此我們用了語法exec 3<&0 。第二部將輸入檔案放送到檔案描述符0,即標準輸入。

方法4    for  迴圈。

複製**

**如下:

function  for_in_file()

注釋:這種方式是通過for迴圈的方式來讀取檔案的內容相比大家很熟悉了,這裡不多說。對各個方法進行測試,看那方法的執行效率最高。

首先我們用指令碼(指令碼見附件)生成乙個70000行的檔案,檔案位置在/scripts/bigfile。然後通過下面的指令碼來測試各個方法的執行效率,指令碼很簡單,不再解釋。

複製**

**如下:

#!/bin/bash

filename="$1"

timefile="/tmp/loopfile.out" > $timefile

script=$(basename $0)

function usage()

function while_read_bottm()

function while_read_line()

function while_read_line_fd()

function for_in_file()

if [ $# -lt 1 ] ; then

usage fi

echo -e " \n starting file processing of each method\n"

echo -e "method 1:"

echo -e "function while_read_bottm"

time while_read_bottm >> $timefile

echo -e "\n"

echo -e "method 2:"

echo -e "function while_read_line "

time while_read_line >> $timefile

echo -e "\n"

echo -e "method 3:"

echo "function while_read_line_fd"

time while_read_line_fd >>$timefile

echo -e "\n"

echo -e "method 4:"

echo -e "function  for_in_file"

time  for_in_file >> $timefile

執行指令碼後: [root@localhost shell]# ./while /scripts/bigfile

指令碼輸出內容:

複製**

**如下:

method 1:

function while_read_bottm

real    0m5.689s

user    0m3.399s

sys    0m1.588s

method 2:

function while_read_line

real    0m11.612s

user    0m4.031s

sys    0m4.956s

method 3:

function while_read_line_fd

real    0m5.853s

user    0m3.536s

sys    0m1.469s

method 4:

function  for_in_file

real    0m5.153s

user    0m3.335s

sys    0m1.593s

下面我們對各個方法按照速度進行排序。

複製**

**如下:

real    0m5.153s    method 4 (for 迴圈法)

real    0m5.689s    method 1  (while 釜底抽薪法)

real    0m5.853s    method 3    (識別符號法)

real    0m11.612s  method 2    (管道法)

由此可見在各個方法中,for語句效率最高,而在while迴圈中讀寫檔案時,

複製**

**如下:

while read line do

echo $line

done < $filename

讀檔案的方法:

第一步: 將檔案的內容通過管道(|)或重定向(<)的方式傳給while

第二步: while中呼叫read將檔案內容一行一行的讀出來,並付值給read後跟隨的變數。變數中就儲存了當前行中的內容。

例如讀取檔案/sites/linuxpig.com.txt

1)管道的方式:

cat /sites/linuxpig.com.txt |while read line

doecho $line

done

當然也可以將cat /sites/linuxpig.com.txt 寫成一些複雜一些的,比如:

示例1:

find -type f -name "*.txt" -exec cat |while read line

doecho $line

done

可以將當前目錄所有以 .txt 結尾的檔案讀出

示例2:

grep -r "linuxpig.com" ./ | awk -f":" '' | cat |while read line

doecho $line

done

可以將含有 "linuxpig.com" 字串的所有檔案開啟並讀取。。

示例沒有實際測試,如果使用請先測試。。。。。:-)

2)重定向的方式:

2.1 利用重定向符<

while read line

doecho $line

done < /sites/linuxpig.com.txt

2.2 利用檔案描述符(0~9)和重定向符 <

exec 3<&0

exec 0while read line

doecho $line

done

exec 0<&3

shell 讀取配置檔案的方法

乙個bbs的問答。配置檔案config內容如下 id 123 ip 192.168.3.154 name test方法一,利用sed解析文字,提取配置資訊 id sed id d s urfile ip sed ip d s urfile name sed name d s urfile echo ...

Shell程式設計 檔案讀取方法集錦

1 在這裡總結一下shell讀取檔案的方法 a 使用read命令讀取一行資料 while read myline do echo line myline done datafile.txt b 使用read命令讀取一行資料 cat datafile.txt while read myline do ...

Shell逐行讀取檔案的方法 待整理

在linux中有很多方法逐行讀取乙個檔案的方法,其中最常用的就是下面的指令碼裡的方法,而且是效率最高,使用最多的方法。為了給大家乙個直觀的感受,我們將通過生成乙個大的檔案的方式來檢驗各種方法的執行效率。方法1 while迴圈中執行效率最高,最常用的方法。function while read lin...