Twitter所使用的開源專案

2021-07-07 05:07:16 字數 1067 閱讀 7292

以下是twitter所使用的開源專案,簡要瀏覽之後,我覺得是乙個很好的關於分布式架構,大資料,非同步網路傳輸(客戶端,服務端)學習的list,做個備份,以便後用。

1.  分析和搜尋服務

twitter的搜尋服務每天支援超過10億次的查詢,其背後的開源專案包括:

2. 伺服器和儲存

twitter需要將每天使用者傳送的推文儲存到資料庫,並推送給其他相關的使用者。該過程用到的開源專案包括:

3.  twitter工程師的工具箱

4.  twitter背後的程式語言和框架

5.  twitter的前端解決方案

6.  twitter服務開發框架

important remarks: thrift 這篇文章對thrift做了綜合性的介紹,值得我思考的是這篇文章:「thrift與其他框架的比較」,以前對於分布式系統中的服務開發框架,我一直在想為什麼不用rest或者webservice來進行通訊?而主流的卻是選擇rpc? 文章用圖表來展示了thrift在網路傳輸效能上與rest-jason,xml的優勢。所以,是不是可以這樣理解:thrift從協議的定義上就使用了高效壓縮資料格式tcompactprotocol(就算不用壓縮,只用tbinaryprotocol 二進位製流的資料格式,其傳輸效能也高於jason和xml),從而避免了傳輸,序列化jason或者xml 造成的代價。

twitter公司所開源的專案

twitter從開源社群中獲得了大量的好處,而twitter也在不斷地回饋社群,開源了大量基礎設施和工具,使得其他企業和開發者不必重新發明輪子,在這些開源專案的基礎上更加快速地實現自己所需。

1.  大資料處理

2.  前端專案

3.  後端服務

4.  twitter基礎設施通用庫

翻譯 Twitter背後的開源技術

原文 the open source technology behind twitter 如果沒有開源軟體,twitter將不會存在。你傳送和接收的每乙個tweet在移動端和pc端傳送的過程中,都會需要開源軟體。我們非常好奇twitter使用了多少開源軟體。除此之外,我們想要知道開源對twitter...

開源專案IPProxys的使用

前幾天看了一下github上,ipproxys開源專案 快100star了,看來大家對這個專案還是比較感興趣的。最近一直沒更新文章,主要是忙實驗室的工作和寫乙個之前給大家提到新的開源專案,我將它命名為powerproxy,寫的過程中遇到了很多問題,算是乙個不錯的學習經歷,對sock5協議,windo...

使用開源專案集錦

sandcastle是微軟官方的文件生成工具。它從dll檔案及其xml注釋檔案能夠生成完整的幫助文件,支援多種生成格式 helpe1x chm,helper2x hxs,website,helperview 結合新發布的sandcastle help file builder視覺化工具,整個生成過程...