hdfs檔案系統掛載

使用fuse將hdfs檔案系統掛載遠端伺服器上，像使用nfs和glusterfs那樣可以掛載共享儲存

fuse可以編譯安裝或者通過cdh或ambari源yum安裝

此處使用ambari
配置ambari官方源,然後就可以yum安裝了

sudo

注意：安裝fuse只需要在客戶端(即需要掛載hdfs的伺服器上安裝).　hadoop集群上不需要安裝 
部署hadoop

集群
hdfs:

配置環境變數

export ld_library_path=/usr/hdp/2.6.4.0-91/usr/lib/:/usr/local/lib:/usr/lib:$ld_library_path:$hadoop_home/build/c++/linux-amd64-64/lib:$/jre/lib/amd64/server

echo "user_allow_other" >> /etc/fuse.conf

切換到hdfs使用者

cd /usr/hdp/2.6.4.0-91/hadoop
./bin/hadoop-fuse-dfs hdfs://
192.168.103.220:9000 /mnt
說明：hdfs:
為需要掛載的hdfs目錄，此處表示根，注意埠是否預設還是自定義。注意修改
[root@node1 hadoop]# 
df -ht
檔案系統 型別 容量 已用 可用 已用%掛載點
/dev/sda3 xfs 18g 15g 3.2g 83% /devtmpfs devtmpfs 
1.4g 0
1.4g 0% /dev
tmpfs tmpfs 
1.4g 0
1.4g 0% /dev/shm
tmpfs tmpfs 
1.4g 9.7m
1.4g 1% /run
tmpfs tmpfs 
1.4g 0
1.4g 0% /sys/fs/cgroup
/dev/sda1 xfs 97m 97m 96k 100% /boot
tmpfs tmpfs 283m 
0 283m 0% /run/user/0
fuse_dfs fuse.fuse_dfs 36g 0 36g 0% /
mnt[root@node1 hadoop]# 

注意許可權

使用使用者要和hdfs集群使用者一致
這時候 在本地讀寫，在hdfs集群就可以看到資料來
本地：
[hadoop@node1 ~]$ cd /mnt/[hadoop@node1 mnt]$ 

lstest
[hadoop@node1 mnt]$ 
echo
"aaa
" >> test/a.txt 
[hadoop@node1 mnt]$

集群：

[hadoop@k8s-node2 hadoop-2.7.3]$ ./bin/hadoop fs -cat /test/a.txt

11111
111111
222111
aaa

 
HDFS檔案系統
hdfs 是 hadoop distribute file system 的簡稱，意為 hadoop 分布式檔案系統。是hadoop 核心元件之一，作為最底層分布式儲存服務而存在。分布式檔案系統解決的問題就是大資料儲存。它們是橫跨在多台計算機上的儲存系統。分布式檔案系統在大資料時代有著廣泛的應用前景...
基於CDH5 4配置掛載HDFS檔案系統
author kwu 基於cdh5.4配置掛載hdfs檔案系統 cdh 5 包含了fuse filesystem in userspace 介面到 hdfs.hadoop hdfs fuse 安裝包讓 hdfs 集群 做為linux 的外部檔案掛載到磁碟中.安裝fuse 安裝hadoop hdfs ...
HDFS檔案系統總結
hdfs預設快大小128m hdfs小於乙個塊大小的檔案不會佔據整個塊空間 對檔案系統塊檢查 hdfs fsck files blocks namenode管理檔案系統的命名空間，維護者檔案系統及整顆樹內所有檔案和目錄，這些資訊以兩個檔案形式永久儲存在本地磁碟上 命名空間映象檔案和編輯日誌檔案，也記...