大多數企業大資料應用案例尚處於實驗和試點階段，對於少數首次在生產環境部署hadoop系統的使用者來說，最常遇到的就是擴充套件問題，此類問題往往導致企業因噎廢食，終止大資料應用專案。
部署和擴充套件hadoop系統是一件高度複雜的事情，如果使用者能提前對hadoop擴充套件可能會遇到的各種問題和危險訊號有所了解，就能避免很多「救火」場面。
以下是hadoop大資料系統出現擴充套件問題的七大危險訊號：
危險訊號一: 永遠進入不了生產階段
大資料應用從概念驗證到生產環境是乙個巨大的飛躍，hadoop系統的可擴充套件性將面臨巨大的挑戰。生產環境的資料規模產生的一些問題實驗環境很難碰到。另外資料本身也存在差異，概念驗證階段使用的測試資料集往往是不真實的，或者型別單一。
在進入生產環境前，大資料團隊需要對hadoop系統進行模擬真實資料規模的壓力測試，此類測試能夠檢驗大資料應用的可擴充套件性和容錯性能，還能幫你做出更加準確的效能(資源需求)規劃模型。
危險訊號二: 分析計算任務不斷超時
當hadoop集群中執行的大資料應用很少或者只有乙個時，一切都行雲流水，按部就班，但是隨著hadoop集群的增長，資料分析任務的執行時間變得難以**起來。一開始，只是有零星的超時現象，問題容易被忽視，但隨著時間增長，超時問題會越來越嚴重，最後導致危機。
在危機爆發前，你必須提前採取行動，根據任務峰值調整計算效能規劃模型。
危險訊號三: 你開始告訴人們不要保留所有資料
危機出現的另乙個徵兆是資料保留時間視窗不斷縮水。一開始你想保留13個月的資料進行年度分析。但是由於空間限制，你開始減少保留資料的月份數。到最後，你的hadoop系統因為沒有足夠多的資料而不再是「大資料」系統。
資料保留視窗的縮水是因為儲存的擴充套件性遇到問題，這與前面的計算效能問題類似。當你的容量**模型出現問題時，需要盡快調整。
危險訊號四: 資料科學家被「餓死」
任務負荷過重的hadoop集群會扼殺創新，因為資料科學家們將沒有足夠的計算資源來開展大型任務，也沒有足夠的空間來儲存中間結果。
效能和容量規劃通常會忽略或者低估資料科學家的需求，在加之前面提到的對生產環境任務的估計不足，會嚴重限制資料科學家的開拓性和創新性工作。
危險訊號五：資料科學家們開始檢視stack overflow
在hadoop系統部署的早期，你的運營團隊與科學家緊密協作。運營團隊隨時為資料科學家提供支援。(編者按：類似串聯的協作模式)但是當 hadoop 系統成功上線後，系統的運維和擴充套件任務就會讓運營團隊疲於奔命，這時候資料科學家遇到hadoop問題就只好自己解決，例如經常去技術問答**stack overflow檢視問題帖子。
危險訊號六：資料中心越來越熱
資料中心伺服器的電力都不是按伺服器的功率峰值配置的，但是乙個hadoop集群執行任務的時候經常會連續「拷機」數小時，會燒壞功率不匹配的供電線路，同樣的問題也存在於製冷系統中。部署hadoop系統時請確保資料中心支援其長時間全速執行。
危險訊號七：費用超支
基於iaas的hadoop部署，例如aws，在支出上是失控的。乙個月的費用很有可能是上個月的三倍，遠遠超出你的預算。
效能規劃對於基於iaas的hadoop部署來說也是非常重要的，但是好的效能規劃只是開始，如果你需要擴充套件iaas上的hadoop系統，那麼你需要學習netflix在成本監控和優化系統上投入大量資金。
小白篇 七 大資料HiveSql優化
獲取原文 簡短介紹 是不是有很多小夥伴,上完一天班之後感覺啥也沒幹呢？是不是每天就跑了幾次hivesql一天就結束了呢？那麼優化hivesql可以給我們帶來如下的提公升 是不是每天可以執行更多hivesql了，做更多的資料需求了呢？了解底層技術引擎的工作流程，能夠更好的告訴我們該如何優化。mapre...
大資料在醫療領域的七大應用
大資料的意義在於提供 大見解 從不同 收集資訊，然後分析資訊，以揭示用其他方法發現不了的趨勢。在利用大資料發掘價值的所有行業中，醫療行業有可能實現最大的回報。憑藉 大資料 醫療服務提供商不僅可以知道如何提高盈利水平和經營效率，還能找到直接增進人類福祉的趨勢。例如，美國疾病控制與預防中心 cdc 一直...
大資料在醫療領域的七大應用
大資料的意義在於提供 大見解 從不同 收集資訊，然後分析資訊，以揭示用其他方法發現不了的趨勢。在利用大資料發掘價值的所有行業中，醫療行業有可能實現最大的回報。憑藉 大資料 醫療服務提供商不僅可以知道如何提高盈利水平和經營效率，還能找到直接增進人類福祉的趨勢。例如，美國疾病控制與預防中心 cdc 一直...