技術性 Search知識

2021-09-12 17:42:48 字數 722 閱讀 3241

持續更新。

fb search框架

php寫的browse layer,負責同client對話以及param處理和passing等。

c++寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a)rewrite query to get better search results (e.g. force retrieval); b)和每個vertical的rackaggregator對話,比如posts,web,people等,從這些分支收集response; c)對response做twiddling,所以有一堆twiddlers比如web twiddler

每個rackaggregator做的事主要就是和index對話,從各個shards拿結果(用reverse index做retrieval, top m, determined by static rank),以及score results(用forward index / docdata做ranking)。

然後再返回php的middle tier,做caching, privacy check等等。

forward index和reverse index

f index主要是給id找doc,r index主要是給出terms找list

index build:

也是分batch pipeline (base index build)和live update pipeline (realtime)。

技術性 Search知識

持續更新。fb search框架 php寫的browse layer,負責同client對話以及param處理和passing等。c 寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a rewrite query to get better search results...

技術性 Search知識

持續更新。fb search框架 php寫的browse layer,負責同client對話以及param處理和passing等。c 寫的backend,最大的一坨叫做topaggregator,主要負責三件事 a rewrite query to get better search results...

技術性 OO語言知識

持續更新。c 篇 分布計算提高效率的庫及庫函式,比如fb的folly庫就有folly gen一大堆函式,e.g.auto results from ids get 0 as 本質上和e.g.pyspark的分布式計算的底層思想是一致的。python篇 python特別適用於搭data pipelin...