CDH6 3 2更換HDFS 資料目錄

事情是這樣的，樓主剛入職一家新公司，剛開始搭建的集群時ecs只有乙個系統盤，集群安裝完成執行幾天後，分分鐘就要爆了，於是申請增加磁碟，就有了下面這些嘗試

檢視未掛載的磁碟

lsblk -f

fdisk /dev/vdb

fdisk -l

#3.格式化

mkfs.ext4 /dev/vdb

#4.掛載

mkdir /data

mount /dev/vdb /data/

#5.永久掛載

vim /etc/fstab

###############

/dev/vdb /data ext4 defaults 0 0

###############

#6.重啟驗證

reboot

經過上面步驟磁碟是掛載好了，怎麼把cdh集群中原有的資料遷移到新的資料盤上呢？

1：首先停止hdfs服務

資料檔案位置預設在 /dfs/ 中，這裡配置 namenode、secondarynamenode、datanode 資料目錄。

2：在hdfs例項節點新磁碟建立資料目錄

在把所有 hdfs 的主機上把資料拷貝過去，然後再修改 cdh 上的配置。

mkdir /cdh/dfs

此處一定要注意更換使用者組設定

chown -r hdfs:hdfs /cdh/dfs

cp -af /dfs/* /cdh/dfs/

# 執行 fsck 檢查是否複製正確

hdfs fsck /

啟動成功後如圖，更換成功，容量顯示正常

CDH6 3 2之YARN生產環境調優
調整yarn 本主題僅適用於yarn群集，並介紹如何為群集調整和優化yarn。概觀此概述提供yarn群集的抽象描述和yarn調整的目標。yarn群集由主機組成。主機提供記憶體和cpu資源。vcore或虛擬核心是主機cpu的使用份額。調整yarn主要包括在工作主機上最佳地定義容器。您可以將容器視為由記...
cdh6 3 2整合外部元件之phoenix
環境說明 cdh版本 cdh6.3.2 元件版本資訊如下 元件版本 1.方式一,製作yum源,配置parcel遠端倉庫 cd var www html mkdir phoenix5.0.0 cp soft phoenix phoenix5.0.0 cd phoenix5.0.0 createrepo...
CDH集群 HDFS資料儲存 更換目錄
cdh集群中，資料檔案位置預設在 dfs dn 中，這個目錄所屬的碟符是 但是 只有50g大小，還有其他各種檔案的日誌什麼的，空間很緊張。今天啟動指令碼上傳檔案到hive，因為空間問題一直報錯。查閱了資料，需要將cdh集群 hdfs資料儲存 更換目錄。通過命令檢視各個碟符 占用情況 1.定位思路 先...