檢視檔案的block size

2021-09-01 21:44:44 字數 1055 閱讀 5390

**:

當向hdfs上寫檔案時,可以通過設定dfs.block.size配置項來設定檔案的block size,這導致hdfs上不同檔案的block size是不同的。有時候我們需要知道hdfs上某個檔案的block size,比如想知道該該檔案作為job的輸入會建立幾個map等。hadoop fs shell提供了乙個-stat選項可以達到目的。官方文件描述這個選項時遺漏了可選引數。-stat選項的使用格式是:

/bin/hadoop fs –stat [format]

其中可選的format被官方文件遺漏了。下面列出了format的形式:

%b:列印檔案大小(目錄為0)

%n:列印檔案名

%o:列印block size (我們要的值)

%r:列印備份數

%y:列印utc日期 yyyy-mm-dd hh:mm:ss

%y:列印自2023年1月1日以來的utc微秒數

%f:目錄列印directory, 檔案列印regular file

當使用-stat選項但不指定format時候,只列印檔案建立日期,相當於%y

bin/hadoop fs -stat /liangly/teradata/part-00099

2010-11-02 08:03:49

下面的例子列印檔案的block size和備份個數:

bin/hadoop fs -stat "%o %r" /liangly/teradata/part-00099

67108864 3

從列印結果可以看到檔案/liangly/teradata/part-00099的block size是64m,有3個備份。

檢視檔案 Linux 常用的命令 檔案的檢視命令

檔案檢視命令 1 cat 2 more 3 grep 1 先用 touch 建立乙個 a.txt 檔案。使用 cat a.txt 檢視 改檔案。因為是新建立的檔案,所以什麼都沒有。表示輸出。可以把內容輸出到檔案中,但是會覆蓋原內容。表示追加。可以把內容追加到已有檔案的末尾。2 將 rna seq a...

檢視 a檔案的架構

undefined symbols for architecture arm64 objc class cocoanalyse referenced from objc class ref in plathelper ios.o 這樣的錯誤。一般來說,如果在整合前能正常,而整合後出現在這個錯誤,除了...

檢視檔案的方法

檢視檔案內容的特殊方法 相信最基本的cat和less你已經很熟悉了,如果有特殊的要求呢 1.如果你只想看檔案的前5行,可以使用head命令,如 head 5 etc passwd 2.如果你想檢視檔案的後10行,可以使用tail命令,如 tail 10 etc passwd tail f var l...