大資料之zokeeper 3 4 6搭建

2021-10-03 14:11:09 字數 1592 閱讀 2135

搭建hadoop集群環境時,在ha和hbase操作時,需要使用zookeeper進行分布式資料管理和系統協調,今天講述下如何進行安裝。

準備三颱伺服器node1,node2,node3.

2.使用xftp上傳了centos中

3.進入/usr/local/目錄下

.解壓壓縮檔案 tar -zxvf zookeeper-3.4.6.tar.gz

4.建立新資料夾 mkdir zk346

5.將解壓後zookeeper-3.4.6/* 移動到zk346目錄下

mv  zookeeper-3.4.6/* zk346/

6.配置環境變數 vi /etc/profile

儲存後執行source /etc/profile

7.進入zk346/conf  複製檔案zoo_sample.cfg 為zoo.cfg

我是配置好了再過來截圖的,所以我在檢視的時zoo.cfg已存在了

8.編輯配置zoo.cfg檔案

9. 在/opt目錄下建立zookeeper資料夾,並在zookeeper目錄下建立檔案myid.指定伺服器編號

mkdir  zookeeper

vi zookeeper/myid

檔案中寫入1

建立好的效果圖

10.將zk346資料夾傳到node2,node3伺服器中

scp  -r /usr/local/zk346/  node2:/usr/local/

scp  -r /usr/local/zk346/  node3:/usr/local/

11.然後在node2,node3伺服器中配置環境變數和在/opt目錄下建立zookeeper目錄以及建立myid檔案。node2伺服器中myid檔案內容為2,node3伺服器myid檔案內容為3 。

12.啟動三颱伺服器的zookeeper

執行命令 zkserver.sh start

三颱服務都啟動成功後再檢視狀態以及使用有該程序

leader是通過選舉演算法分配的,所以不是誰先開啟誰就是leader .

大資料之簡介

要理解大資料這一概念,首先要從 大 入手,大 是指資料規模,大資料一般指在10tb 1tb 1024gb 規模以上的資料量。大資料同過去的海量資料有所區別,其基本特徵可以用4個v來總結 vol ume variety value和veloc ity 即體量大 多樣性 價值密度低 速度快。大資料技術是...

大資料之Map reduce

大資料問題一般解決方式 利用雜湊函式進行分流來解決記憶體限制或者其他限制的問題。1.雜湊函式又叫雜湊函式,雜湊函式的輸入域可以是非常大的範圍,但是輸出域是固定範圍。假設為s。雜湊函式的性質 1.典型的雜湊函式都擁有無限的輸入值域。2.輸入值相同時 返回值一樣。3.輸入值不同時,返回值可能一樣,也可能...

大資料運營之資料儲存

大資料服務的資料來源不但來自歸屬於不同行業的組織之中,而且其型別還具有多樣性 variety 特徵。多樣性指的是大資料服務不僅包括例如姓名 年齡這樣的結構化資料,還包括歌曲 電影這樣的非結構化資料,此外網頁 郵件這樣的資料介於結構化和非結構化之間,屬於半結構化資料,也是大資料服務的重要資料來源。結構...