hadoop 的 框架 ZooKeeper 入門

2021-06-19 03:01:42 字數 774 閱讀 6140

zookeeper 是 google 的 chubby乙個開源的實現,是 hadoop 的分布式協調服務;

它包含乙個簡單的原語集,分布式應用程式可以基於它實現同步服務,配置維護和命名服務等

那麼zookeeper 又有什麼作用呢?用一張來做乙個簡單的了解

zookeeper能夠提供通用的分布式鎖服務,用以協調分布式應用;使用zookeeper的事件處理確保整個集群只有乙個namenode,儲存配置資訊等.最主要的是zookeeper具有簡單、富有表現力、高可用性、採用松耦合互動方式等這些特性。

在hadoop0上,解壓縮、重新命名、設定環境變數

在hadoop0的$zookeeper_home/conf下,mv zoo_sample.cfg zoo.cfg

修改datadir=/usr/local/zk/data

新增了三行 server.0=hadoop0:2888:3888

server.1=hadoop1:2888:3888

server.2=hadoop2:2888:3888

scp -r /usr/local/zookeeper  hadoop1:/usr/local

ls  /

create  /example  abcd

get  /example

set  /example   asdfadsf

zookeeper的乙個入門水平也差不多了

Hadoop框架介紹

hadoop三大發行版本 apache cloudera hortonworks。apache版本最原始 最基礎 的版本,對於入門學習最好。cloudera內部整合了很多大資料框架。對應產品cdh。hortonworks文件較好。對應產品hdp。在hadoop1.x時代,hadoop 的mapred...

hadoop框架平台

狹義上說hadoop就是乙個框架平台,廣義上講hadoop代表大資料的乙個技術生態 圈,包括很多其他軟體框架 1 hdfs重要概念 namenode 儲存檔案的元資料,比如檔名,檔案目錄結構,檔案屬性,以及每個檔案的塊列表和塊所在的datanode。secondarynamenode 監控hdfs狀...

Hadoop排程框架

大資料協作框架是乙個桐城,就是hadoop2生態系統中幾個輔助的hadoop2.x框架。主要如下 hadoop排程框架 quartz排程框架,但是多個作業時,缺點就出來了。linux crotab 是針對每個使用者而言。crontab e 就是加任務 規則如下 cmd 前面的五個 分別是表示設定的時...