雲計算與大資料的關係

2021-07-24 03:15:18 字數 1535 閱讀 2370

關於大資料和雲計算的關係人們通常會有誤解。而且也會把它們混起來說,一句話直白解釋就是:雲計算就是硬體資源的虛擬化;大資料就是海量資料的高效處理。有人把hadoop理解為雲計算,認為雲計算只是資料分析, 對於雲的概念有些人認為:就乙個對歷史海量資料的分析,不知道雲具體還能做其他什麼?aws應該算作一種典型的雲計算服務實現吧,除了分析,其他方面能體現雲計算的特點有哪些呢?其實這些可能對雲計算了解的還不是很多的原因。

其實雲平台都差不多,型別也差不多,效能和優勢各有不同,比方都有網盤,都能在裡面安裝軟體,支援開發語言等。網盤不是基於hdfs實現的,網盤是屬於iaas,是通過openstack搭建的。hadoop是用來資料分析的,他和雲平台沒有太大關係。不過他可以用來,分析雲平台產生的資料。也就是大資料。但是並不是只有雲平台產生大資料。可以了解一下大資料特點。

大資料的特點:

大資料(big data)是指「無法用現有的軟體工具提取、儲存、搜尋、共享、分析和處理的海量的、複雜的資料集合。」業界通常用4個v(即volume、variety、value、velocity)來概括大資料的特徵。

一是資料體量巨大(volume)。截至目前,人類生產的所有印刷材料的資料量是200pb(1pb=210tb),而歷史上全人類說過的所有的話的資料量大約是5eb(1eb=210pb)。當前,典型個人計算機硬碟的容量為tb量級,而一些大企業的資料量已經接近eb量級。

四是處理速度快(velocity)。這是大資料區分於傳統資料探勘的最顯著特徵。根據idc的「數字宇宙」的報告,預計到2023年,全球資料使用量將達到35.2zb。在如此海量的資料面前,處理資料的效率就是企業的生命。    

如果做乙個更形象的解釋,

雲計算相當於我們的計算機和作業系統,將大量的硬體資源虛擬化之後再進行分配使用

,在雲計算領域目前的老大應該算是amazon,可以說為雲計算提供了商業化的標準,另外值得關注的還有vmware(其實從這一點可以幫助你理解雲計算和虛擬化的關係),開源的雲平台最有活力的就是openstack了;大資料相當於海量資料的「資料庫」,而且通觀大資料領域的發展也能看出,當前的大資料處理一直在向著近似於傳統資料庫體驗的方向發展,hadoop的產生使我們能夠用普通機器建立穩定的處理tb級資料的集群,把傳統而昂貴的平行計算等概念一下就拉到了我們的面前,但是其不適合資料分析人員使用(因為mapreduce開發複雜),所以piglatin和hive出現了(分別是yahoo!和facebook發起的專案,說到這補充一下,在大資料領域google、facebook、twitter等前沿的網際網路公司作出了很積極和強大的貢獻),為我們帶來了類sql的操作,到這裡操作方式像sql了,但是處理效率很慢,絕對和傳統的資料庫的處理效率有天壤之別,所以人們又在想怎樣在大資料處理上不只是操作方式類sql,而處理速度也能「類sql」,google為我們帶來了dremel/powerdrill等技術,cloudera(hadoop商業化最強的公司,hadoop之父cutting就在這裡負責技術領導)的impala也出現了。

整體來看,未來的趨勢是,雲計算作為計算資源的底層,支撐著上層的大資料處理,而大資料的發展趨勢是,實時互動式的查詢效率和分析能力,借用google一篇技術**中的話,「動一下滑鼠就可以在秒級操作pb級別的資料」難道不讓人興奮嗎?

大資料和雲計算的關係

1 什麼是大資料 ibm提出了大資料的5v特徵 volume 大量 velocity 高速 variety 多樣 value 價值 veracity 真實性 個人理解 大資料是在資訊資料 時代,為了更經濟地從高頻率獲取的 大容量的 不同結構和型別的資料中獲取價值,而設計的新一代技術架構,是必須的思想...

大資料與雲計算

近幾年來,雲計算受到學術界和工業界的熱捧,隨後,大資料橫空出世,更是炙手可熱。那麼,大資料和雲計算之間是什麼關係呢?從整體上看,大資料與雲計算是相輔相成的 大資料著眼於 資料 關注實際業務,提供資料採集分析挖掘,看重的是資訊積澱,即資料儲存能力。雲計算著眼於 計算 關注it解決方案,提供it 基礎架...

大資料與雲計算

近幾年來,雲計算受到學術界和工業界的熱捧,隨後,大資料橫空出世,更是炙手可熱。那麼,大資料和雲計算之間是什麼關係呢?從整體上看,大資料與雲計算是相輔相成的 大資料著眼於 資料 關注實際業務,提供資料採集分析挖掘,看重的是資訊積澱,即資料儲存能力。雲計算著眼於 計算 關注it 解決方案,提供it 基礎...