flink讀取hdfs上多路徑的檔案

2021-09-05 12:39:19 字數 669 閱讀 4807

flink上多路徑的檔案支援似乎不太友好,目前沒有找到更好的辦法。

在spark下可以使用的讀取hdfs多路徑的方式為:

/root/data/20170101/

/root/data/20170102/

/root/data/20170103/

…/root/data/20170201/

/root/data/20170202/

…比如讀取二月份的所有資料可以使用如下

spark可以使用hdfs://hostname:9000/root/data/201702*/*

flink卻不太支援該方式

自身採用的策略是

迴圈讀取拼接路徑為path_i,(具體**如下)

//初始化讀取stdata,賦值給union_st_data_resut

val union_st_data_resut: dataset[dsfuion]

= stdata

for(i <

-1 to 9))

union_st_data_resut.

union

(stdata_tem)

}//這樣就可以對生成的union_st_data_resut路徑下的所有資料合併結果進行操作了

MySQL ibdata多路徑擴容

vi etc my.cnf innodb data home dir innodb data file path data mysql ibdata1 10m autoextend 為目前ibdata情況 root he1 mysql mkdir p data2 mysql root he1mysq...

Windows MPIO多路徑配置

需要對mpio進行相應的配置才能讓其接管儲存系統。查詢裝置vid和pid。vid vendor id,廠商id。例如huawei等。pid product id,產品id。例如s5500t s5600t。安裝mpio多路徑後,windows 2008及後續版本的作業系統提供mpclaim多路徑命令可...

linux啟用iscsi多路徑

iscsi服務端 iscsi target伺服器雙ip分別為10.72.12.101和10.72.12.103 iscsi客戶端 首先使用yum或zypper安裝open iscsi 查詢可使用的iscsi節點 rac1 iscsiadm m discovery t sendtargets p 10...