大資料分布式系統涉及的基本概念

2021-08-14 22:11:41 字數 1009 閱讀 3742

分割方法

水平分割

水平分割(horizontal splitting)就是把全域性關係的元組分割成一些子集,這些子集被稱為資料分片或段(fragment)。資料分片中的資料可能是由於某種共同的性質(如地理、歸屬)而需要聚集一起的。通常,乙個關係中的資料分片是互不相交的,這些分片可以選擇地放在乙個站點上,也可以通過副本被重複放在不同的站點上。

垂直分割

垂直分割(vertical splitting)就是把全域性關係按著屬性組(縱向)分割成一些資料分片或段(fragment)。資料分片中的資料可能是由於使用上的方便或訪問的共同性而需要聚集一起的。通常,乙個關係中的垂直資料分片問只在某些鍵值上重疊,其他屬性是互不相交的。這些垂直分片可以放乙個站點上,也可以通過副本被重複放在不同的站點上。

primary-secondary協議

該協議是中心化副本控制協議中常常用到的,該協議將副本分為兩大類:其中有且僅有乙個副本作為primary副本,除primary意外的副本都作為secondary副本。維護primary副本的節點作為中心節點,中心節點負責維護資料的更新、併發控制、協同副本的一致性。

paxos協議

多個節點直接通過操作日誌同步資料,如果只有乙個節點稱為主節點,就很容易在多個節點之間維護資料一致性。然後主節點可能出現故障,那麼就需要選出主節點。paxos協議就是用於解決多個節點之間的一致性問題

在paxos演算法中,分為4種角色:

proposer :提議者

acceptor:決策者

client:產生議題者

learner:最終決策學習者

proposer提出議題

acceptor初步接受 或者 acceptor初步不接受

如果上一步acceptor初步接受則proposer再次

向acceptor確認是否最終接受

acceptor 最終接受 或者acceptor 最終不接受

分布式儲存系統基本概念

參考 大規模分布式儲存系統 楊傳輝 非結構化資料 辦公文件 文字。視音訊等 結構化資料 可以設計成二維關係表來儲存,資料屬性基本固定,資料的模式 字段 資料間關係 個表之間的關係 要預先定義 半結構化 資料的模式和內容混在一起,沒有明顯區分,也不需要預先定義資料的模式結構 根據不同的資料型別,分布式...

分布式(集群)的基本概念以及分布式的應用場景

概念 分布式是指將不同的業務分布在不同的地方。而集群指的是將幾台伺服器集中在一起,實現同一業務。分布式中的每乙個節點,都可以做集群。而集群並不一定就是分布式的。前面放乙個響應伺服器,後面幾台伺服器完成同一業務,如果有業務訪問的時候,響應伺服器看哪台伺服器的負載不是很重,就將給哪一台去完成。而分布式,...

kafka分布式訊息佇列 基本概念介紹

這個應該算是之前比較火熱的詞了,一直沒時間抽出來看看。乙個新東西出來,肯定是為了解決某些問題,不然不會有它的市場。先簡單看下。官方介紹 分布式 分割槽 支援複製的日誌提交系統 適用場景 顧名思義,特別適合用於系統日誌的非同步記錄,對於資料穩定性 一致性 可靠性要求不高的場景,追求的是高吞吐量。非傳統...