想搞大資料 你這樣是自尋死路

2021-09-13 15:56:01 字數 1130 閱讀 7488

近日來,家住北京市朝陽區的程式設計師諸葛建國非常鬱悶。因為他的公司審時度勢,附庸風雅牽強附會的上了一套大資料系統,可謂麻雀雖小五臟俱全,包括了:

分布式檔案系統hdfs

分布式資料庫hbase,mongodb,kudu

分布式記憶體檔案系統alluxio

用於多維分析的druid

實時流計算系統storm

正所謂,覆巢之下,安有完卵。這些產品雖然好用,但是卻給諸葛建國帶來了很多煩惱。為了安裝軟體,他要重複重複再重複的登入一台又一台的伺服器;為了修改某個引數,他又要重複重複再重複的登入一台又一台的伺服器;為了監控服務的執行狀態,他要不擇手段的檢視服務的埠或者程序;為了啟動某個掛掉的服務,他要記住那些詰屈聱牙晦澀難懂的linux命令。更讓他細思極恐的是,如果某個底層服務中節點發生了增減或者遷移,所有依賴這個服務的服務都要修改配置並重新啟動。所以這一段時間以來,諸葛建國殫精竭慮,夙夜憂嘆,覺得自己搞大資料真是自尋死路,恨不得舉身赴清池,自掛東南枝。

雖然他掌握了同時操作多台伺服器的技巧,然而人心不足蛇吞象,諸葛建國欲壑難填得隴望蜀,他迫切的希望有產品能釜底抽薪,一勞永逸的解決他的問題。

他希望有一款產品能一站式管理大資料平台

能全程圖形化安裝

能自動處理好服務中錯綜複雜的關係

能一鍵修改服務引數

能一鍵執行他永遠記不住的linux命令

還好他的同事夏侯富貴給了諸葛建國乙個提示。既然諸葛建國已經使用了cloudera來管理大資料元件,完全可以再次擴充套件cloudera manager,讓它管理更多的分布式系統。

專案位址是

你是大資料人才嗎?

大資料 無人不知,無人不曉,那麼請問你是大資料人才嗎?那麼大資料的方向大概可以分為以下三個方向 一 偏重基建與架構 大資料架構方向的人才更多注重的是hadoop spark storm等大資料框架的實現原理 部署 調優和穩定性問題,以及它們與flume kafka等資料流工具以及視覺化工具的結合技巧...

「大資料殺熟」殺的是你嗎?

最近關於 大資料殺熟 的新聞引發很多關注。不少使用者發現,使用出行軟體購買機票 通過預訂平台預訂酒店和電影票 或者在網上購物時,等級高的老客戶常常要支付更高的 而很少使用相關服務的新顧客,卻能享受到更低的 不知道您有沒有遇到過類似下面這種 大資料殺熟 的情況?他重新搜尋,選擇,卻變成了18987元,...

想利用大資料走向巔峰 在那之前這些你必須了解

大資料時代下的今天,企業在做決策時更加注重資料驅動,那些收集資料 分析資料並用於商業決策的公司,相對於傳統企業更有競爭力。ca technologies曾經做過一項面向全球的調查,調查顯示,高達90 的公司認為大資料能對他們帶來好處。大資料不是一拍腦門說做就做的,單純的收集資料只能稱之為海量資料,要...