Ceph Ceph入門介紹

2022-06-25 03:30:14 字數 1743 閱讀 4503

ceph是乙個開源的分布式儲存系統,ceph有三大功能: 物件儲存;塊儲存;檔案系統服務。在openstack專案裡,ceph的塊儲存可以對接openstack的儲存系統。

物件是cepb的基礎,也就是它的基本儲存單元。任何格式的資料,不管是塊、物件還是檔案,都以物件的形式儲存在cepb集群的pg中。

類似ceph這樣的物件儲存能夠滿足現在以及將來對於非結構化資料儲存的需求。基於物件的儲存系統有它自己的優點。使用物件儲存,我們可以將平行和硬體獨立開來。ceph能夠智慧型地處理物件,並且可以為每個物件都建立跨集群副本以挺高且可靠性。在ceph中,由於物件沒有物理儲存路徑繫結,使得物件非常靈活並且與位ft無關。這也使得ceph的規模能夠近線性地從pb級別擴充套件到eb級別。

在傳統基於檔案的布儲系統中,檔案是通過檔案口錄進行定址的類似地.ceph中的物件通過唯一的識別符號進行定址.並儲存在乙個扁平的定址空間中剔除了元資料操作之後,物件提供了無限的規模擴充套件和效能提公升。c巳ph通過乙個演算法來動態計算布f~擊和獲取某個物件的位置。

ceph相比其它儲存的優勢點在於它不單單是儲存,同時還充分利用了儲存節點上的計算能力,在儲存每乙個資料時,都會通過計算得出該資料儲存的位置,盡量將資料分布均衡,同時由於ceph的良好設計,採用了crush演算法、hash環等方法,使得它不存在傳統的單點故障的問題,且隨著規模的擴大效能並不會受到影響。

不論你是想使用ceph的物件儲存或使用ceph的塊儲存在你的雲平台,使用ceph構建分布式檔案系統或者對於ceph你有其他的用途。ceph的集群架構必須有以下這些服務節點:

monitors (最少需要乙個)

manager

osd(object storage daemon)

mds (metadata server)

ceph monitor (ceph-mon) 維護了集群的狀態資訊(包括:monitor;manager;osd;mds;crush的資訊)。這些資訊對於ceph daemon維護集群是至關重要的。在維護一致性的時候使用了paxos協議,並將其實例化到資料庫中,方便後續的訪問。monitors同時也負責管理使用者認證資訊在ceph daemons 與 clients之間。除此之外,對於資料備份以及高可用來說至少需要三個monitors節點。

ceph managers deamon(ceph-mgr)用來追蹤ceph執行時的指標以及ceph集群的狀態,包括了儲存利用率;當前效能以及系統負載。ceph manager deamons 利用了phthon 去管理 ceph 集群的資訊,包括了乙個ceph dashboard 和 rest api。通常來說,這兩種管理方式可以有效地管理我們的ceph集群。

ceph object storage deamon (ceph-osd) 用來儲存資料,同時還可以對資料進行複製;恢復;負載均衡。並通過與其他的ceph osd daemons的心跳監控,向ceph monitors 和 ceph managers 提供資料節點的監控資訊。對於資料備份以及高可用來說至少需要三個osd節點。

ceph meta server (ceph-mds) 儲存ceph的元資料資訊,ceph metadata servers 允許使用者使用posix 檔案系統的操作指令 (eg: ls; find)。

rados位於最低層

ceph儲存資料時使用的是物件儲存沒有使用邏輯儲存。使用 crush 演算法, ceph 可以計算出資料應該儲存在哪個位置。crush 演算法讓 ceph 儲存集群擁有水平擴充套件能力;容災能力;負載均衡能力。

hadoop yarn 入門介紹

編者按 對於業界的大資料儲存及分布式處理系統來說,hadoop 是耳熟能詳的卓越開源分布式檔案儲存及處理框架,對於 hadoop 框架的介紹在此不再累述,隨著需求的發展,yarn 框架浮出水面,依然光榮復興的 部落格給我們做了很詳細的介紹,讀者通過本文中新舊 hadoop mapreduce 框架的...

CSS入門介紹

1.w3c標準 w3c標準是由全球資訊網聯盟制定的一系列標準,包括 結構化標準語言 html和xml 表現標準語言 css 行為標準語言 dom和ecmascript w3c標準倡導結構,樣式,行為分離 2.css中的定位機制 css中存在3種定位機制 標準文件流 normal flow 從上到下,...

Git入門介紹

相信數人和我一樣對git是久有耳聞,了解一些,但卻沒有實際的操作經驗,多次嘗試卻不能窺其門徑。最近因專案原因,強制使用了git,突然豁然開朗。記錄此文,以饗各類git小白愛好者。換句話說,你從git中clone出來的也是乙個倉庫,你可以離線commit,做任何操作。尤其是當你在家或者出差,或者沒有網...