為什麼百度雲可以給每位使用者分配兩T的儲存空間?

2021-07-14 01:15:09 字數 2339 閱讀 2763

我想要為每個使用者提供 1g 的網路儲存空間。

如果伺服器上有一顆 1000g 的硬碟可以全部為使用者提供資料儲存,如果每個使用者分配 1g 的最大儲存空間,那麼能非配給多少個使用者使用呢?

你一定說是 1000/1=1000 個使用者。

但事實上你這麼分配了,你會發現每個使用者平時根本不會上傳 1g 的東西將容量佔的漫漫的,有多又少,但平均使用者平時只上傳 50m 的檔案,也就是說,你將 1000g 的硬碟分給 1000個 人使用,但只有效利用了其中的 50m*1000=50g 的空間,剩餘 950g 的空間基本都完全浪費了。

那麼怎麼解決呢?

你可以變通一下,將這 1000g 的空間分配給 20000個 使用者使用,每個人的上傳上限容量還是 1g,但每人平時還是平均上傳 50m 的資料,那麼 20000*50m=1000g,這下子就把寶貴的伺服器上的儲存空間充分利用了。但你又怕這樣分配給 20000個 人後,萬一某一刻人們突然多上傳點資料,那麼使用者不是就覺察出來你分給人家的 1g 空間是假的了嗎?所以可以不分配那麼多人,只分配給 19000 人,剩下一些空間做應急之用。

突然發現一下子將可分配的使用者數量翻了 19倍啊,了不起。那還有買有辦法更加有效的利用一下呢?

如果我有 1000個 以上的伺服器,乙個伺服器上有 1000g 空間,那麼我們個伺服器上都要留下 50g 的空白空間以備使用者突然上傳大資料時導致資料塞滿的情況,呢麼我這 1000個伺服器上就空出了 1000臺*50g=50000g 的空間被浪費了,所麼可惜。所以我們發明了計儲存集群,使得乙個使用者的資料可以被分配在多個伺服器上儲存,但在使用者那看起來只是乙個 1g 的連續空間,那麼就沒必要在每個伺服器上預留出應急的空間了,甚至可以充分的將前乙個伺服器塞滿後,在將資料往下乙個伺服器中塞。這樣保證了伺服器空間的最大利用,如果某一刻管理員發現使用者都在瘋狂上傳資料(在乙個大規模使用者群下,這樣的概率少之又少)導致我現有提供的空間不夠了,沒關係,只需要隨手加幾塊硬碟或者伺服器就解決了。

好吧,這下子我們的伺服器空間利用高多了,可以將一定量的空間分配給最多的使用者使用了。但有沒有更好的改進方案呢?

管理員有一天發現,即使每個使用者平局下來只儲存 50m 的東西,但這 50m 也不是一蹴而就的,是隨著1-2年的使用慢慢的達到這個數量的,也就是說,乙個新的使用者剛剛註冊我的網路空間時,不會上傳東西,或者只上傳一點非常小的東西。那麼我為每乙個使用者都初始分配了 50m 的空間,即使將來2年後他們會填滿這 50m ,但這期間的這空間就有很多時浪費的啊。所以聰明的工程師說:既然我們可以分布式、集群式儲存,乙個使用者的資料可以分布在多個伺服器上,那麼我們就假設一開始就給乙個新註冊的使用者提供 0m 的空間,將來他用多少,我就給他提供多少儲存空間,這樣就徹底的保證硬碟的利用了。但使用者的前端還是要顯示 1g 的。

工程師的這個點子,使得我在建立網盤初期能用 1臺 1000g 的伺服器提供了大約 1000000 人來註冊和使用,隨著註冊的人多了,我也有錢了,也可以不斷增加伺服器以提供他們後期的存貯了。同時因為一部分伺服器完了一年多購買,我的購買成本也下來了。

那麼…這結束了嗎?若是郵箱提供商的話,這樣的利用率夠高了。但網盤就不一樣了。

這樣子隨著儲存的資料越來越多,註冊的使用者越來越多,其上傳的重複資料越來越多。你發現這樣的檢測重複檔案儲存的效率越來越大。這樣算下來似乎每個人上傳的不重複的檔案只能平均 1m/使用者。這下子你可以提供超過 50倍 的使用者使用您這有限的空間了。

但伴隨這使用,你又發現乙個規律:

張三上傳的《tokyo hot n0124》和李四上傳的《th n124》是同乙個檔案,只不過檔名不一樣,難道我就不能識別出他們是乙個檔案,然後只將其分別給不同的使用者儲存成不同的檔名不久行啦?確實可行,但這要利用一些識別檔案相同性的演算法,例如 md5 值等。只要兩個檔案的 md5 值一樣,檔案大小一樣,我就認為它們是相同的檔案,只需要儲存乙份檔案並給不同的使用者記作不同的檔名就好了。

有一天你發現,因為每乙個檔案都需要計算 md5 值,導致 cpu 負荷很大,而且本來一樣的檔案非要浪費頻寬上傳回來才可以檢測一致性,能改進一下嗎?

聰明的工程師寫了個小軟體/.小外掛程式,美其名曰「上傳控制項」,將計算 md5 的工作利用這個軟體交給了上傳使用者的點老來完成,一旦計算出使用者要上傳的資料和伺服器上已經儲存的某個資料是一樣的,就乾脆不用上傳了,直接在使用者那裡標記上這個檔案已經按照 xx 檔名上傳成功了。這個過程幾乎是瞬間搞定了,並給其起了個高富帥的名字「秒傳」!

通過以上這麼多步驟,你發現本來你只能給 1000使用者 提供網路空間的,這麼多改進辦法後,在使用者端顯示 1g 空間不變的情況下,近乎可以為 1000000個使用者 提供網路空間了。

這樣若是您哪天心情好,對外宣傳說:我要將每個使用者的儲存空間上限提公升到 1tb。那麼每個使用者平均還是只上傳 50m 資料,只有極個別極個別的使用者上傳了突破 1g 原始空間的資料,你會發現所付出的成本近乎是微乎其微的。

辛勤的工程師還在為如何更有效率的利用伺服器提供的磁碟空間在不屑努力和挖掘著……

使用者為什麼建立百度貼吧

現在我還是持上述觀點。我還有乙個觀點 對於社群來說,拋開站方管理員不談,存在四種使用者 版主,發言者 主貼 灌水者 跟貼 潛水員。這四類人是從 貢獻內容 的高到低排列的。乙個成熟社群版面,上述四類人數相應比例基本是1 100 1000 5000 也就是說1個成功的版主背後,有100個發主貼者,100...

新站百度為什麼不收錄?

如果你的 遇到了以上問題,請看下面 在你決定要花錢找人幫你解決問題之前,你應該明白這些問題 1 我的 什麼時候收錄最好?2 我的 是不是適合用快速收錄的方法?3 我的 快速收錄了會不會影響以後的排名?4 我的 沒有排名沒有快照是否與當初的快速收錄有關?5 我的 快速收錄的方法是治標同時也治本嗎?6 ...

百度搜尋為什麼這麼快?

我在網上搜到了很多個版本,下面就來總結一下。1.使用了資料庫的搜尋技術。也就是在採集資訊時就已經分門別類在資料庫中放好,相關索引也已經做好。對於大部分搜尋,其實引擎並不是直接查詢資料庫,而是根據提交關鍵字尋找已經貯備好的最近似關鍵字搜尋結果,直接提交。因此你會發現,越是搜尋多的東西,查詢的越快,越是...