分布式和快取的思考

2021-07-11 07:32:30 字數 573 閱讀 2902

設計應用系統時,為了提高系統的讀訪問能力,往往都會將全部或部分熱資料(有限的資料)放入本地記憶體,而避免耗時的檔案io,網路io,忽然思考了一下這個問題,並且把他聯想到分布式的體系中去,發現,這不就是乙個最簡單的分布式結構嗎,資料有副本了,乙個是原始資料(儲存系統中的資料)和本地記憶體資料,那麼問題來了,既然資料有副本了,那麼就得解決副本的一致性問題,快取的資料同步歸根結底其實就是分布式系統中多資料副本資料一致性問題了。怎麼樣保證快取資料一致性,那就要看業務場景了,對資料的敏感度,可以容忍多久的不一致時間. 定時全量同步,或乙個資料修改實時訊息通知全部快取立馬更新.

《深入理解計算機系統》中,這麼介紹儲存 ,整個計算機系統的儲存結構裡就含有乙個複雜而精妙的快取結構: 拿自己的筆記本看了下這些資料 cpu的一級資料快取 64kb ,一級指令快取64kb, 二級快取 512kb  **快取3m --8g記憶體----320g ssd ,每一層都是對其下一層的部分熱資料快取,速度越來越快。硬體工程師們確實很了不起.

linux核心裡,對檔案系統的訪問統一使用了page cache,也是對快取的一種應用,提高了io的吞吐量.  linux核心工程師們很了不起。

這些基礎思想全都是相通的。

分布式快取

分布式快取 原則來說跟應用伺服器分布式應該是一樣,但快取是有狀態的。怎麼樣提高命中?1.最原始的演算法 那就是key hash取模,取到伺服器ip。在大量伺服器伸縮行有問題,加入一台伺服器就有可能讓所有的快取都失效。如 key hash 後是100,取10膜是0,取11膜 1,101 取10膜是1,...

分布式快取

網際網路發展的同時,也引領者相關技術的發展與變革,比如集群 高併發 負載均衡 高可用 海量資料的處理 系統安全 分布式快取等各方面的相關技術。簡單談一下分布式快取技術。2 三層架構 1 web層 表現層 主要對使用者資料接收,以及資料處理完成後返回,為客戶端提 用程式的訪問 2 應用層 對業務的處理...

分布式快取

分布式快取 1 什麼是分布式快取?在高併發的環境下,大量的i o處理與cpu的處理速度顯然不在同乙個數量級,從減輕資料庫的壓力和提高系統的響應速度兩個角度來考慮,因而都會在資料庫之前加一層快取。由於單機的記憶體資源和承載能力有限,因而可以採用多台伺服器來用作快取,使得多台快取伺服器形同一台,並且不會...