Hadoop遭遇瓶頸的七大危險訊號

2021-09-23 05:37:40 字數 1770 閱讀 9748

文章講的是hadoop遭遇瓶頸的七大危險訊號

大多數企業大資料應用案例尚處於實驗和試點階段,對於少數首次在生產環境部署hadoop系統的使用者來說,最常遇到的就是擴充套件問題,此類問題往往導致企業因噎廢食,終止大資料應用專案。

部署和擴充套件hadoop系統是一件高度複雜的事情,如果使用者能提前對hadoop擴充套件可能會遇到的各種問題和危險訊號有所了解,就能避免很多「救火」場面。

以下是altiscale的raymie stata為我們總結的hadoop大資料系統出現擴充套件問題的七大危險訊號:

危險訊號一: 永遠進入不了生產階段

大資料應用從概念驗證到生產環境是乙個巨大的飛躍,hadoop系統的可擴充套件性將面臨巨大的挑戰。生產環境的資料規模產生的一些問題實驗環境很難碰到。另外資料本身也存在差異,概念驗證階段使用的測試資料集往往是不真實的,或者型別單一。

在進入生產環境前,大資料團隊需要對hadoop系統進行模擬真實資料規模的壓力測試,此類測試能夠檢驗大資料應用的可擴充套件性和容錯性能,還能幫你做出更加準確的效能(資源需求)規劃模型。

危險訊號二: 分析計算任務不斷超時

當hadoop集群中執行的大資料應用很少或者只有乙個時,一切都行雲流水,按部就班,但是隨著hadoop集群的增長,資料分析任務的執行時間變得難以**起來。一開始,只是有零星的超時現象,問題容易被忽視,但隨著時間增長,超時問題會越來越嚴重,最後導致危機。

在危機爆發前,你必須提前採取行動,根據任務峰值調整計算效能規劃模型。

危險訊號三: 你開始告訴人們不要保留所有資料

危機出現的另乙個徵兆是資料保留時間視窗不斷縮水。一開始你想保留13個月的資料進行年度分析。但是由於空間限制,你開始減少保留資料的月份數。到最後,你的hadoop系統因為沒有足夠多的資料而不再是「大資料」系統。

資料保留視窗的縮水是因為儲存的擴充套件性遇到問題,這與前面的計算效能問題類似。當你的容量**模型出現問題時,需要盡快調整。

危險訊號四: 資料科學家被「餓死」

任務負荷過重的hadoop集群會扼殺創新,因為資料科學家們將沒有足夠的計算資源來開展大型任務,也沒有足夠的空間來儲存中間結果。

效能和容量規劃通常會忽略或者低估資料科學家的需求,在加之前面提到的對生產環境任務的估計不足,會嚴重限制資料科學家的開拓性和創新性工作。

危險訊號五:資料科學家們開始檢視stack overflow

在hadoop系統部署的早期,你的運營團隊與科學家緊密協作。運營團隊隨時為資料科學家提供支援。(編者按:類似串聯的協作模式)但是當hadoop系統成功上線後,系統的運維和擴充套件任務就會讓運營團隊疲於奔命,這時候資料科學家遇到hadoop問題就只好自己解決,例如經常去技術問答**stack overflow檢視問題帖子。

危險訊號六:資料中心越來越熱

資料中心

伺服器的電力都不是按伺服器的功率峰值配置的,但是乙個hadoop集群執行任務的時候經常會連續「拷機」數小時,會燒壞功率不匹配的供電線路,同樣的問題也存在於製冷系統中。部署hadoop系統時請確保資料中心支援其長時間全速執行。

危險訊號七:費用超支

基於iaas的hadoop部署,例如aws,在支出上是失控的。乙個月的費用很有可能是上個月的三倍,遠遠超出你的預算。

效能規劃對於基於iaas的hadoop部署來說也是非常重要的,但是好的效能規劃只是開始,如果你需要擴充套件iaas上的hadoop系統,那麼你需要學習netflix在成本監控和優化系統上投入大量資金。

Hadoop大資料系統的七大危險訊號

大多數企業大資料應用案例尚處於實驗和試點階段,對於少數首次在生產環境部署hadoop系統的使用者來說,最常遇到的就是擴充套件問題,此類問題往往導致企業因噎廢食,終止大資料應用專案。部署和擴充套件hadoop系統是一件高度複雜的事情,如果使用者能提前對hadoop擴充套件可能會遇到的各種問題和危險訊號...

Spring的七大模組

1.核心容器 元件beanfactory採用工廠模式,利用ioc模型將應用程式中的配置檔案和實現的的應用程式分開 2.spring web spring整合了struts框架,把struts的action類中用到的一些介面通過spring注入的方式載入到記憶體,也就是set get 3.spring...

Spring的七大模組

spring 框架是乙個分層架構,由 7 個定義良好的模組組成。分別是spring core,aop,orm,dao,mvc,web,content。spring 模組構建在核心容器之上,核心容器定義了建立 配置和管理 bean 的方式。組成 spring 框架的每個模組 或元件 都可以單獨存在,或...