大資料之HDFS HA模式使用者許可權

2021-10-08 17:28:03 字數 2078 閱讀 1227

前面建立的集群都是用root使用者建立的,但是企業中是不會用root進行操作,這裡將對root搭建的應用切換到普通使用者管理。

$ stop-dfs.sh
$    useradd god

$ passwd god

#    hdfs集群目錄

$ chown -r god /opt/bigdata/hadoop

# 檔案儲存目錄

$ chown -r god /var/bigdata/hadoop

#    拿到使用者目錄下的.ssh目錄

$ ssh localhost

$ cd /home/god/.ssh

# 在node01

$ ssh-keygen -t dsa -p '' -f ./id_dsa

$ ssh-copy_id -i id_dsa node01

$ ssh-copy_id -i id_dsa node02

$ ssh-copy_id -i id_dsa node03

$ ssh-copy_id -i id_dsa node04

# 在node02

$ ssh-keygen -t dsa -p '' -f ./id_dsa

$ ssh-copy_id -i id_dsa node01

$ ssh-copy_id -i id_dsa node02

在node01:

dfs.ha.fencing.ssh.private-key-files

/home/god/.ssh/id_dsa

將原來的  /root/.ssh/id_dsa 改為 /home/god/.ssh/id_dsa

然後分發給其他三颱機器

$    scp hdfs-site.xml node02:`pwd`

$ scp hdfs-site.xml node03:`pwd`

$ scp hdfs-site.xml node04:`pwd`

$   start-dfs.sh
hdfs的使用者和組 依賴於作業系統的使用者和組

例如: 在node01 上  :

#    god使用者建立目錄/temp

$ hdfs dfs -mkdir /temp

# 更改temp為god所屬的xxoo組

$ hdfs dfs -chown god:xxoo /temp

# 修改temp許可權

$ hdfs dfs -chmod 770 /temp

# 然後再node04建立good使用者 屬於xxoo組,去操作temp

$ useradd good

$ passwd good

$ groupadd xxoo

$ usermod -a -g xxoo good

$ id good

$ su good

$ hdfs dfs -mkdir /temp/abc

# 此時會提示建立失敗 沒有許可權

# 解決方法:

# 需要在node01上建立同樣的使用者和組,然後重新整理hdfs使用者和組

$ su root

$ useradd good

$ passwd good

$ groupadd xxoo

$ usermod -a -g xxoo good

$ su god

# 注意 此處需要切換到god使用者重新整理hdfs使用者和組,因為此時hdfs已經屬於god而不屬於root

# 此時 在node04上就可以用good使用者在/temp目錄下操作了 因為god和good同屬於xxoo組

大資料之Hadoop之HDFS Ha高可用

在偽分布式搭建完事之後,我打算搭建hdfs高可用。因為完全分布式是hadoop 1.0版本,所以我現在要搭建hadoop 2.0版本的就是所謂 的ha高可用,下面簡單的對hadoop2.x版本的介紹 hadoop 2.x由hdfs mapreduce和yarn三個分支構成 hdfs nn feder...

大資料之Linux使用者許可權設定

使用者 是linux系統工作中重要的一環,使用者管理包括 使用者 與 組 管理,在linux系統中,不論是由本級或是遠端登入系統,每個系統都必須擁有乙個賬號,並且對於不同的系統資源擁有不同的使用許可權 對 檔案 目錄 的許可權包括 序號 許可權 英文縮寫 數字 01讀 readr4 02寫write...

大資料時代特有商業模式 使用者畫像

站在21世紀網際網路時代的風口浪尖,充分感受到了大資料的浪潮撲面而來。目前市面上的大資料產品型別的框架基本上可以分為三類,包括大資料應用層產品,大資料管理層產品,大資料技術層產品。而隨著商業時代資料量的劇增和使用者資訊的透明化和公開化。精準營銷被日益聚焦放大,誰能準確定位消費者的行為特徵,瞄準精準使...