不要讓Hadoop成為Had oops!

2021-09-23 08:17:23 字數 1373 閱讀 3448

過去幾年裡,資料量的生成以每兩年翻翻的速度增長,但企業的預算卻沒有相應增長。這意味著要更有創造性地通過更少的方式做更多的工作。這是乙個持續且艱鉅的挑戰,我沒有一勞永逸的解決方案,但我可以提供一些指導原則,讓你以更好的姿態去面對挑戰。

idc**,到2023年,全球資料規模將達到44zb,即44萬億gb,如果人們無法繼續投資以擴大儲存能力,可能在未來只有15%的資料能夠找到地方加以儲存。

在今天的資料驅動型經濟中,儲存需求往往超出了計算資源的需求,這就導致it基礎設施無法均衡負載。客戶新增越來越多的伺服器用來擴充套件其大資料和分析功能,然而cpu資源卻並未得到充分利用。這是因為大資料和分析工作通常是儲存密集型,而不是計算密集型。因此,成功應對資料挑戰的關鍵之一就是認識到基礎設施所需的不同增長率,了解到什麼會增長,以什麼樣的速度增長。

為了應對持續增長的資料挑戰,越來越多的公司創造了一系列技術和工具,用於攝取,傳輸,分析,儲存,**,剝離等。其結果呈現在你眼前,是一幅充滿各種選擇的巨大地圖,並且這些選擇並不都是平等的:有些是死胡同,有些會把你鎖定到乙個特定的**商,而另一些只能應對今天的問題,更不要說明天或後天了。

可悲的是,一些組織似乎認為,應對資料挑戰非常簡單 :「just add hadoop!」,然而直到他們擁有太多的hadoop或hadoop裝在了錯誤的位置時,才意識到了問題所在。此外,把硬體和軟體簡單地投入到分析挑戰中,就如同把汽油投入火中,它能燒得更旺,但也可能會燒到你。將技術應用於資料和分析問題時,通常包含著的複雜性。即使是hadoop,也會面臨多重挑戰。

除了挑戰之外,也有很多選擇讓你無從下手。 選擇hortonworks、cloudera、mapr還是biginsights hadoop發行版? 是否使用諸如emc vblock / vxblock之類的融合基礎架構或超融合基礎設施(如emc vxrail和vxrack)?直連式儲存(das)是否滿足您的需求,還是應該將計算和儲存分離,使用isilon為你的資料湖橫向擴充套件? 相信我,以上這些只是衡量使用hadoop所需考慮的一部分因素。大象並不是你在叢林中唯一需要擔心的, 了解技術的同時了解其對業務和it的影響,對成功至關重要。

對於以上這些挑戰,乙個有效解決方案是企業級的擴充套件儲存解決方案,如emc isilon。在isilon上執行hadoop擁有以下幾個優點。

除了以上優勢,isilon還通過以下方式為客戶帶來好處:

對於許多客戶而言,isilon代表了可擴充套件性,可用性和效能的最佳平衡,同時降低了與hadoop集群相關的運營開銷。沒有任何銀彈能解決**性資料增長所帶來的所有問題,但是應用橫向擴充套件儲存技術往往有助於減輕痛苦。

不要讓物件成為奴隸

寫這篇文章純粹是為了提高大家對物件的認識。此間不同的論點不適用於目前的工程應用軟體設計。物件什麼時候成為奴隸了?也許在物件導向出現的時候,早就注定他是奴隸了。就如非洲黑人被帶到美洲的第一天,他們就是奴隸!是什麼是他們成為奴隸?枷鎖!身上的枷鎖和心靈上的枷鎖!身上的枷鎖是他們不能掙脫,而心靈上的枷鎖確...

不要讓物件成為奴隸

2006年11月08日 08 43 00 物件什麼時候成為奴隸了?也許在物件導向出現的時候,早就注定他是奴隸了。就如非洲黑人被帶到美洲的第一天,他們就是奴隸!是什麼是他們成為奴隸?枷鎖!身上的枷鎖和心靈上的枷鎖!身上的枷鎖是他們不能掙脫,而心靈上的枷鎖確讓他們不願或是不知道逃離!不是奴隸的人,永遠不...

不要讓物件成為奴隸

物件什麼時候成為奴隸了?也許在物件導向出現的時候,早就注定他是奴隸了。就如非洲黑人被帶到美洲的第一天,他們就是奴隸!是什麼是他們成為奴隸?枷鎖!身上的枷鎖和心靈上的枷鎖!身上的枷鎖是他們不能掙脫,而心靈上的枷鎖確讓他們不願或是不知道逃離!不是奴隸的人,永遠不願意主動去思考,為什麼奴隸要成為奴隸!而成...