閒聊Google集群

2021-06-16 04:49:09 字數 2157 閱讀 4154

早期搜尋引擎的問題很明顯,但是如何解決,卻是仁者見仁智者見智。

2023年,剛剛入學stanford計算機系的larry page和sergey brin哥倆兒覺得,提高搜尋引擎的準確性,或許可以從網頁與網頁之間的相互鏈結入手。譬如,網頁a中提到奧運會時,給了乙個鏈結,指向網頁甲,那麼網頁 甲的內容很可能與奧運會相關。如果不僅網頁a有這樣的鏈結,而且網頁b,c,d等等,都有類似的鏈結,那麼網頁甲的內容與奧運會相關的可能性就極高。

批評者說,這不是三人成虎嗎?larry心裡也沒譜,就跑去問他的導師,terry winograd。

導師外形很像愛因斯坦,想了一想,說,"先把stanford校園網內所有網頁收集下來,驗證一下你們的想法。然後擴大到更大範圍,再驗證一下。如果驗證 的結果不錯,就把全世界網際網路的所有網頁,統統收集下來,做乙個搜尋引擎,上線,讓全世界的人用,讓全世界的人都來驗證你們的猜想。"

兩年後,2023年,google上線了,三人成虎的猜想被實踐證明是行之有效的。

terry導師大手一揮,"把全世界網際網路的所有網頁,統統收集下來",可把larry和sergey哥倆兒忙壞了。網際網路上有多少網頁,統統收集下來, 需要占用多少硬碟空間?larry和sergey當時是博士班一年級學生,囊中羞澀,買不起那麼多裝置,沒辦法,開始四處討錢。

託了七大姑八大姨,拐彎抹角找到了乙個大款,名叫andy bechtolsheim。此公早年在cmu拿了ee的碩士後,跑到stanford讀cs/ee博士。沒來得及拿到博士學位,就夥同scott mcnealy和vinod khosla,下海開公司去了,這個公司就是大名鼎鼎的sun microsystems。 scott mcnealy任sun的ceo長達20多年,而andy bechtolsheim功成身退,跳出sun自己開了乙個小公司,後來這個小公司賣給了cisco。

坊間傳說,larry和sergey拜訪andy的時候,andy正在**上。冗長的**,larry和sergey兩個小夥子血氣方剛,**耐得住這份性子,抬腿告辭。因為是朋友介紹,andy有點過不去,就追到門口。問,"二位上門,有何需求?"

larry和sergey鐵青著臉,說,"也沒什麼大事,就是想找點錢,做乙個大規模檔案系統。"

andy問,"多大規模呢?儲存什麼資料?"

larry和sergey,"是的,我們的確就是打算處理海量資料。"

andy,"你們打算怎麼做?買個emc?那玩意兒很貴的喲,我可沒那麼多錢讓你們燒。"

larry和sergey,"我們打算自己動手,用一堆pc做乙個分布式集群。"

andy,"pc?宕機了怎麼辦?幹嘛不用工作站,幹嘛不用nfs?"

larry和sergey,"工作站比pc貴太多,nfs的不是很切合我們的需要。。。"

andy擠出一點笑容,"好吧,小夥子們,給朋友乙個面子,而且年輕人探險也是值得鼓勵的。給你們10萬吧,省著點花啊!"

andy掏出支票本,一邊簽名一邊問,"你們的公司叫什麼?"

larry和sergey面面相覷,那時候他們還沒來得及給公司取名。"要不就叫googol吧?","googol不太好拼寫,要不改一改,叫google吧。" google這個名字從此誕生。

。。。以上是傳說,但是有幾點倒是有價值的。

1. 以andy的身價,10萬美元實在是九牛一毛。2023年10萬美元的投資,到了2023年google上市時,值多少錢?現在又增長到多少錢?不忍心計算,估計andy悔得腸子都青了。

2. 如果需要10個tera byte,也就是1萬個giga的硬碟的空間,或許1個emc伺服器就夠了。但是同樣空間,卻需要10個pc。從價錢看,10個pc大致是5千美元,而一 個硬碟空間相似的emc伺服器要價1.5萬美元左右。當硬碟空間的規模大幅度增長的時候,購買emc高階裝置的花費,將遠遠超過購買眾多低端pc的成本。

3. 用廉價的pc,就必須想辦法保障穩定性。換句話說,少數pc宕機了,不能影響整個集群的正常工作。

4. 處理海量資料,記憶體和io速度是生死劫。廉價的pc,記憶體有限,io介面速度也有限。如何解決?

5. 應付海量資料的儲存技術很多,emc,nfs(network file system),afs(andrew file system),raid(redundant array of inexpensive disks),還有san(storage area network)和nas(network attached storage)等等。google的兩位創始人,為什麼不沿用現成的技術,而是選擇了另闢蹊徑,莫非自討苦吃?

欲知答案,且聽下回分解。

別小看閒聊

他摸摸自己的下巴,你也學著摸下巴 他蹺起二郎腿,你也跟著翹起腿。乍一看,這好像是孩子們為了惹惱對方而常玩的遊戲,但是這種 版的 映象 遊戲其實是一種複雜 談判策略的一部分,它至少在實驗室裡幫助人們完成了無法以其他方式達成的交易。你對此表示懷疑嗎?請看以下的一項試驗 一位老闆希望賣出自己的加油站,底線...

別小看閒聊

他摸摸自己的下巴,你也學著摸下巴 他蹺起二郎腿,你也跟著翹起腿。乍一看,這好像是孩子們為了惹惱對方而常玩的遊戲,但是這種 版的 映象 遊戲其實是一種複雜 談判策略的一部分,它至少在實驗室裡幫助人們完成了無法以其他方式達成的交易。你對此表示懷疑嗎?請看以下的一項試驗 一位老闆希望賣出自己的加油站,底線...

沒事瞎閒聊

it行業 程式設計師的標籤 高薪 加班 熬夜。不能說每個公司都會是996吧,但是我相信大多數程式設計師都是經歷過996的,我室友,曾經換了3 5家公司,當我們一坐就是一天的時候,幾乎沒有時間運動,那麼有的人會說,週末的時候可以去運動一下,那麼又有多人少在上班上了好多天之後,不想睡乙個懶覺的呢?我相信...