全分布式安裝

2021-10-02 11:44:05 字數 1007 閱讀 7905

1.設定相同日期(因為要設定心跳)date -s "yyyy-mm-dd hh-mm--ss"

2.檢視別稱  cat /etc/sysconfig/network cat /etc/hosts 

3.ssh localhost 生成 .ss**件

4.linux scp 命令用於 linux 之間複製檔案和目錄。 在node01節點上的.ss**件中新增  scp id_dsa.pub node04:`pwd`/node01.pub

千萬記住`pwd`不是單引號而是tab上的引號

5.修改hadoop的core——site.xml檔案中的檔案存放位置hadoop.tmp.dir

<?xml version="1.0" encoding="utf-8"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

fs.defaultfs

hdfs://node01:9001

hadoop.tmp.dir

/var/sxt/hadoop/full

修改hdfs-cite.xml

6.配置hadoop環境變數 /etc/profiles 

7.啟動hadoop hdfs namenode -format

啟動集群start-dfs.sh

8.建立資料夾也可以使用預設hdfs dfs -mkdir -p /user/root

9.將檔案放入到集群中

hdfs dfs -d dfs.blocksize=1048576 -put 1.text 

ss -nal

hadoop分布式安裝

工欲善其事,必先利其器。在資料橫行的時代,我們的大神hadoop 出來了,作為分布式處理資料 不但快,而且一般用配置不高的電腦業可以做集群。那麼,現在就開始安裝我們的hadoop 進入hadoop之旅 檔案,這裡就去 apache 的命令進行解壓 tar zxvf hadoop x.tar.gz 好...

storm分布式安裝

1.機器a和b成功安裝zookeeper.3.檢視配置檔案 storm.zookeeper.servers 111.222.333.444 555.666.777.888 4.開啟配置檔案conf storm.yaml,這裡是配置zookooper servers 11 這裡代表是機器a的主機名55...

kafka 分布式安裝

1.wget 2.這裡我用了兩台機器,在兩台機器下分別解壓,放在自己想要的安裝目錄下 假設zookeeper集群搭好,可參考 3.開啟config中的server.properties檔案 找到zookeeper那個地方,修改zookeeper集群 zookeeper.connect centos ...