一步一步學Hadoop 之ZooKeper

2021-06-28 14:07:56 字數 648 閱讀 1647

zookeeper 顧名思義 動物園管理員,他是拿來管

大象(hadoop)

、 蜜蜂(hive)

、小豬(pig)

的管理員,apache hbase和 apache solr 以及

linkedin sensei 

等專案中都採用到了 zookeeper。

zookeeper 是 google 的 chubby乙個開源的實現,是 hadoop 的分布式協調服務,zookeeper是以

fast paxos

演算法為基礎,

它包含乙個簡單的原語集,分布式應用程式可以基於它實現同步服務,配置維護和命名服務等。

⑴大部分分布式應用需要乙個主控、協調器或控制器來管理物理分布的子程序(如資源、任務分配等)

⑵目前,大部分應用需要開發私有的協調程式,缺乏乙個通用的機制

⑶協調程式的反覆編寫浪費,且難以形成通用、伸縮性好的協調器

⑷zookeeper:提供通用的分布式鎖服務,用以協調分布式應用

⑴hadoop2.0,使用zookeeper的事件處理確保整個集群只有乙個活躍的namenode,儲存配置資訊等.

⑵hbase,使用zookeeper的事件處理確保整個集群只有乙個hmaster,察覺hregionserver聯機和宕機,儲存訪問控制列表等.

一步一步學cscope

告之 1,我不喜歡寫部落格 因為感覺太浪費時間 2,部落格能記住自己某階段學過的東西,而這些東西可能會很快的忘卻 所以我以後要學著在部落格上浪費時間 前言 本文件記錄了我今天 2007 11 9 下午學習cscope的一點收穫,特收錄部落格以作分享。在學習cscope過程中查閱了大量的文件,但發現適...

一步一步學Linq to sql

一步一步學linq to sql 一 預備知識 一步一步學linq to sql 二 datacontext與實體 一步一步學linq to sql 三 增刪改 一步一步學linq to sql 四 查詢句法 一步一步學linq to sql 五 儲存過程 一步一步學linq to sql 六 特性...

一步一步學RenderMonkey

rendermonkey的基本使用方法 用rendermonkey 進行shader開發 一 用rendermonkey 進行shader開發 二 rendermonkey製作photoshop特效 前言 rendermonkey作為shader開發利器而為人所熟知,我們可以專心於shader的編寫...