有關 Alexa 與 AOL 部署集群檔案系統

2021-08-22 20:26:37 字數 750 閱讀 3697

**:

這兩天關注了一下基於 san/nas 的集群檔案系統的產品。找到了關於 alexa 的一則舊聞 ,之後又發現了一篇關於 aol 部署 san 檔案系統的文章。

alexa 的相關資料

alexa 超過 1000 臺 linux 伺服器 farm,每半年增長 300t 新資料。經過了同類產品的選型後,最後選擇了 ibrix 融合檔案系統。

san 使用的是 hp modular smart array (msa1000) ,最大支援 12t ,cache i/o 最大 3 萬個,算是個中低端的陣列。amazon 沒有透漏這套系統的吞吐能力,只是說 ibrix 這套系統能達到 1t 的 i/o 聚合能力,單個 namespace 可達 16pb 容量。

不過從現在的一些跡象上來看,amazon 對儲存層重新做了改造 。這套解決方案被替換掉了也說不定.

aol 的相關資料

原有狀況:3000 臺主機通過 10000 多個光纖通道埠連線到傳統的 san 上。其中有 8pb 的非結構化資料,分布在大約 1000 臺 檔案伺服器上。管理維護的複雜度可想而知。

解決方案:檔案伺服器採用直連的磁碟,每個 12 塊 700gb 的 ata 磁碟,然後通過 ibrix 融合檔案系統進行集群化。

看起來,ibrix 提供的解決方案很有競爭力。現在一些比較大的使用者對於儲存層的集群的需求越來越多,快成為趨勢,一攬子解決方案還是有必要的,畢竟不是每家技術能力都強如 amazon、google ,有的時候用第三方的成本是能小於自己動手 diy 的。

有關 Alexa 與 AOL 部署集群檔案系統

這兩天關注了一下基於 san nas 的集群檔案系統的產品。找到了關於 alexa 的一則舊聞,之後又發現了一篇關於 aol 部署 san 檔案系統的文章。alexa 的相關資料 alexa 超過 1000 臺 linux 伺服器 farm,每半年增長 300t 新資料。經過了同類產品的選型後,最後...

Storm集群安裝與部署

1 三颱虛擬機器 192.168.1.128 nimbus 192.168.1.131 supervisor 192.168.1.132 supervisor 2 jdk1.8 3 zookeeper3.4.10 4 storm 1.1.1 1 配置storm ps 三颱機器的配置都是這樣的 sto...

RabbitMQ集群原理與部署

在專案中想要 rabbitmq 變得更加健壯,就要使得其變成高可用,所以我們要搭建乙個 rabbitmq 集群,這樣你可以從任何一台 rabbitmq 故障中得以倖免,並且應用程式能夠持續執行而不會發生阻塞。而 rabbitmq 本身是基於 erlang 編寫的,erlang 天生支援分布式 通過同...