配置Hive遞迴查詢子目錄

2021-08-26 02:19:18 字數 346 閱讀 2805

hive預設不遞迴查詢子目錄所以在建立表時,如果指定目錄下有子目錄會報error:not a file,可以通過在hive-cli裡面執行下面四條配置來在回話裡面開啟遞迴訪問子目錄,不會遞迴查詢會把所有目錄下面的資料載入進來,所以在子目錄特別深或者子目錄特別多時,速度會特別慢。

配置:

set hive.input.dir.recursive=true;

set hive.mapred.supports.subdirectories=true;

set hive.supports.subdirectories=true;

set mapred.input.dir.recursive=true;

mkdirp 遞迴建立目錄及其子目錄

如果要建立目錄a並建立目錄a的子目錄b,沒有用 p引數的情況下mkdir會逐個建立目錄 mkdir a mkdir a b 加上引數 p就可以直接建立2個目錄mkdir p a b 如果目錄a 不存在就建立 mkdirp命令是npm的包,可以代替mkdir p操作。intall npm instal...

C 遞迴方法遍歷目錄及子目錄

眾所周知,獲得某一目錄下第一級的所有檔案和資料夾列表,很容易辦到 directoryinfo di new directoryinfo strbasedir strbasedir是起始目錄,絕對位址 directoryinfo dia di.getdirectories 獲得了所有一級子目錄 fil...

python建立子目錄並在子目錄下建立檔案

import os 首先判斷當前工作目錄下是否存在目錄machine learning ifnot os.path.isdir machine learning 不存在的話就建立子目錄machine learning 因為父目錄存在,所有這裡用mkdir也可以 os.makedirs machine...