儲存和計算的分別雲化設想

2021-09-13 09:45:28 字數 1192 閱讀 4927

我的想法是這樣衍生來的...

雲的概念我這裡就不細說了,大致的意思就是可以自由分配固定的資源。比如說你有好幾百臺伺服器,每台伺服器資源相對來說比較大,你的服務不需要這麼大的資源,一台伺服器的資源,對你來說都是「殺雞用了牛刀」,那麼雲計算就可以根據演算法劃分出適合你的服務的資源,剩下的資源,這個演算法就會根據別的服務所需要的資源的多少來劃分給別的使用者,大致就是這麼乙個意思。

我是做資料處理的,有幾年資料庫的經驗,也接觸過hadoop系統,hadoop的核心是hdfs和mapreduce,乙個儲存,乙個計算。這個儲存比較有意思,分布式的儲存,還實現了共享,容了錯,很厲害,確實了不起。計算先map再reduce,可以很容易找到原始碼,我也不多介紹了。

但是無論是傳統的資料庫還是hadoop系統的大資料系統,都有乙個共同的特點,那就是儲存和計算所占用的資源是一體的。這個一體說的也不準確,因為計算主要是在記憶體裡,cpu指揮,和儲存在硬碟裡的東西從物理上看也不是一體。但是我之所以說是一體,就好比說乙個人來說,有手有腳,有眼睛有鼻子,少了乙個,那麼這個人就是有殘疾的,對吧?所以如果記憶體少了,只有硬碟,那資料就沒辦法處理了,就是個死的東西。少了硬碟,就儲存不下來,對吧?所以我說的一體呢,就是這個意思。

然後步入正題。

我在想,斷了電之後我們還剩下什麼?還剩下什麼呢?cpu裡的資料沒了,記憶體裡的資料沒了,硬碟裡的資料還有,所以我們就剩下硬碟裡的資料裡。那我就在想,我如果平時不需要執行程式,或者執行很簡單的程式,那麼我需要的記憶體和cpu資源是特別少的,我只需要保證我能用上的資料在硬碟裡就行了,那我cpu和記憶體資源不是都閒著浪費掉了嗎?但是我們又不能把電完全給斷了,因為我的資料還是有很多人要訪問,要查詢的,但即使是很多人訪問,查詢,那我所用到的資源也沒有我跑程式處理資料時候所用的資源多,甚至說隨著資料量的增多,我處理資料執行指令碼的時候,資源消耗的越來越多,還不夠用,那麼我就得加記憶體,加cpu,同時也加硬碟,我就在想,有沒有一種線上的雲化的方法,我不執行指令碼的時候,我的cpu和記憶體資源,別人可以用,我只留下我的硬碟和別人訪問我所需要的資源。當我執行指令碼處理資料的時候,我的資源不夠用的時候,我可不可以線上從別的位址「借」一些資源過來解決我的燃眉之急?所以我就有了這麼乙個想法。

當然,這個只是我乙個初步的想法,我很清楚記憶體溢位對於資料安全的威脅很大,另外線上的資源雲化,安全威脅也是特別大的,就想人分好人壞人,伺服器也分好伺服器和壞伺服器。

如果你突然看到了這篇文章,或者你有什麼想法,可以隨時聯絡我,我很開心接受你的意見!

vx:daijiubu7878

深入理解雲儲存和雲計算 虛擬化

使用虛擬化會有如下好處 1,擴充套件性 可以動態的遷移和複製,使得伺服器增加變得更簡單 2,提高資源利用率 3,降低運維成本 遠端管理,環境更單一 異常行為區域性化,使得主機控制更簡單 4,提高可用性 抽象硬體差異 5,調整負載 軟體層面對負載進行控制,當監測到負載消耗異常可重啟程序或者虛擬機器 為...

雲計算和虛擬化的關係

雲計算和虛擬化,沒有任何必然關係。實現雲計算,根本不需要虛擬化。我說的雲計算,就是分布式計算 利用 mapreduce來實現 只有在雲服務提供商對外提供服務的時候,才需要使用虛擬化的技術,用虛擬化的目的是為了更好的管理。這就是我的結論。現在雲有多熱?連我媽都問我,啥是雲?我也只能告訴他,我那時候也沒...

雲計算的發展路徑和落地形態分別有幾種?

說到雲計算可能很多的朋友不知道到底有什麼作用,下面讓我們和新霸哥一起回到最原始的位置來討論究竟什麼是雲計算,雲計算對於現在的很多公司到底意味著什麼?雲計算有三條發展路徑 第一 源於谷歌的gfs 谷歌為全球網際網路使用者提供搜尋服務,可以看到在海量的資料中如何分析得到使用者需要的資料,這就需要對大規模...