Pinterest架構 兩年內月PV從零到百億

2021-09-23 16:33:37 字數 1815 閱讀 1040

pinterest正經歷了指數級曲線般的增長,每隔乙個半月翻翻。在這兩年裡,pinterest,從 每月pv量0增長到10億,從兩名成立者和乙個工程師成長為四十個工程師,從一台mysql 伺服器增長到180臺web 伺服器(web engine),240臺介面伺服器(api engine), 88臺mysql 資料庫 (cc2.8xlarge) ,並且每台db有乙個備份伺服器,110臺redis 例項服務(redis instance),200臺 memcache 例項服務(memcache  instance)。

令人嘆為觀止的增長。想一探pinterest的傳奇嗎?我們請來了pinterest的兩位創立者yashwanth nelapati 和 marty weiner,他們將以 scaling pinterest為題講述關於pinterest架構的充滿戲劇化的傳奇故事。他們說如果能在一年半前飛速發展時能看到有人做類似題材的演講的話,他們就會有更多的選擇,以避免自己在這一年半里做出的很多錯誤的決定。

這是乙個很不錯的演講,充滿了令人驚訝的細節。同時這個演講也是很務實的,歸根結底,它帶來了可讓大家選擇的策略。極度推薦!

這篇演講中有兩個我最為看重的經驗:

1.強大的架構在處理增長時通過簡單增加相同的東西(伺服器)來應對,同時還能保證系統的正確性。當遇到某種(效能)問題時,你想通過砸錢來擴容指的是你可以簡單增加伺服器(boxes)。如果你的架構能夠做到這一點,那它就如金子一般強大而珍貴!

2. 當某些(效能問題)快到極限時大多數技術都會以他們自己的方式失敗。這導致他們在審核工具時要考慮以下一些特性:成熟,好且簡單,有名氣且用的人多,良好的支援,持續的優異效能,很少失敗,開源。按照這樣的標準,他們選擇了:mysql, solr, memcache, and redis,放棄了cassandra ,mongo。

這兩點經驗是相互聯絡的。遵循(2)中提到的標準的工具可以在擴容時簡單增加伺服器(boxes).當負載增加了,成熟的產品更少會有問題。當你遇到問題時,你至少希望它的社群團隊能夠幫助解決。當你使用的工具過於技巧化和過於講究時,你會發現你遇到一堵無法逾越的牆。

在這段演講裡,碎片化(sharding)優於集群(clusterting)的觀點是我認為最好的一部分。為了應對增長,通過增加資源,更少失敗的模式,成熟,簡單,良好的支援,最終圓滿完成。請注意他們選擇的工具以sharding的方式增長,而不是clustering。關於他們為什麼選擇sharding和他們如何做sharding是很有趣的事,這很可能觸及到你以前未考慮過的場景。

現在,讓我們看看pinterest如何擴容:

(本段有些術語黑話不是很明白,望糾錯)

啟動於2023年三月--自我發現時期

此時此刻,你甚至不知道你在做的這個產品將要做什麼。你有想法,迭代開發更新產品的頻率很高。最終因遇到一些在現實生活中永遠不會遇到的奇怪的簡短的mysql查詢而結束。

早期的一些數字:

2023年1月

扔在潛伏前進中,產品得到了一些使用者反饋。以下是資料:

至2023年9月--試執行階段

每乙個半月翻翻的瘋狂增長階段。

5種主要的資料庫技術只為了應付他們自己的資料

增長極快以至mysql負載很高,而其他一些技術都快到達極限

當你把某些技術的應用推至極限時,他們又以自己的方式宣告失敗。

放棄一些技術並問它們到底能做什麼。對每一件事情重新構架,海量工作量。

重新設計的系統架構如下:

有點:

缺點 (來自使用者一手的體驗):

優點:

缺點:

分片的過渡

如何進行分片?

原文發布時間為:2013-04-23

SSD兩年內替代HDD?貌似不靠譜

容量和 是影響快閃儲存器儲存普及的最主要原因,隨著快閃儲存器技術的突破,未來快閃儲存器儲存將會成為主流,這是不爭的事實。但是,想要全面替代hdd,並不容易。最近,techspot發布訊息稱,ssd將於兩年內突破hdd的容量 臨界點 文章指出,information week的乙份新報告,隨著3d n...

兩年PHPer聊下架構

備註 系統架構 是乙個很大的範疇,我這裡只是把我所經歷的小型創業公司的一次架構公升級做個分享。直接上最終的架構圖,如下 上面的架構有什麼問題,協議層產生了重度的耦合,協議層耦合各個業務方的邏輯。雖然系統拆分的原則是盡可能的不產生依賴,但是有些還是不可避免的。三方面 其次我認為最恐怖的是負責協議層開發...

訊息稱Facebook擬年內入華 兩年前已有布局

4月7日訊息,據東方衛報報道,國外社交 facebook最快三個月內將正式進入中國大陸市場,不過目前尚不清楚facebook這一計畫的細節情況。facebook超越谷歌成美國最大 據了解,最近兩年來facebook風頭日盛,今年2月facebook迎來6歲生日,ceo稱 使用者量即將達4億,其中通過...