生產環境下的大資料元件版本公升級

2021-08-07 17:42:34 字數 414 閱讀 5529

公司所用的大資料平台是基於原生hadoop,並且在這之上做了些微調和二次開發。所以在這裡寫版本號其實意義不太大。但我還是記錄一下:

上面的x代表公司二次開發的小版本號,目前參與過公司的hbase版本公升級和zookeeper。因為公司的大資料集群比較多,估計算上pre和sit環境,得有20-30個集群。最大的集群600多節點,最小的集群只有5-6個節點。

雖然都是批量執行公升級指令碼,但是還是會有一些預先檢查的工作。

我們選擇先在測試集群和影響最小的集群先行公升級,執行一兩天後,再對較大的集群公升級。如果新版本幾天下來都沒有問題,那麼就在最大的集群上公升級。

如果小集群上在新版本測試上發現錯誤則及時回滾和檢查錯誤。

滾動公升級 使用批量指令碼 從ftp上把新的軟體包拉到機器上,然後替換掉配置就可以了。

這些都可以用乙個指令碼批量執行。

智慧型淮北市大資料生產 大資料環境下的智慧型校園現狀

數位化校園是智慧型校園的前身,並且它構建的時間很早,在對於高校的教育科研和管理過程中起到積極的作用。但是目前受到理念,技術,手段等多種限制,數位化校園的建設也在逐漸隨著高校規模不斷的擴大而出現種種問題,比如不同的系部之間雖然都各種構建自己專有的數字平台,但是它們彼此之間基本上是不能進行關聯的,這種情...

用以生產環境的Hadoop版本比較

一 背景介紹 生產環境中,hadoop的版本選擇是乙個公司架構之時,很重要的乙個考慮因素。這篇文章根據就談談現在主流的hadoop版本的比較。如果有不同意見,或者指正,希望大家能交流。apache hadoop apache hadoop是一款支援資料密集型分布式應用並以apache 2.0許可協議...

生產環境下的cron寫法

cron這個單詞 於希臘單詞 chronos 意為 時間 是 linux 系統下乙個自動執行指定任務 的程式。例如,你想在每晚睡覺期間建立某些檔案或資料夾的備份,就可以用 cron 來自動執行。很多朋友有時經常在問 為什麼我寫的 cron 計畫列表不能執行了?其實最 常見的乙個問題往往是因為環境變數...