Laxcus大資料管理系統在四種硬體平台上的表現

2021-07-23 16:39:29 字數 1326 閱讀 4004

從2.6版本開始,laxcus大資料管理系統開始支援powerpc、x86、arm、nvidia四種平台。其中x86、arm、nvidia又分為32位和64位兩種,powerpc是純64位,,所以實際上共有七種平台,作業系統統一使用linux。下面就總結一下laxcus在這些系統平台上的表現。

nvidia:先說nvidia,nvidia是gpu,嚴格來說,它不是cpu,屬於協處理器範疇。就好象當年的80386和80387的關係一樣。gpu這些年所以能得到這麼快速的發展,得益於它完成了cpu不擅長完成的工作。這個工作就是它強大的資料計算能力,如3d動畫渲染和加密貨幣挖礦這類工作。在執行過程中,laxcus大資料管理系統自動識別gpu,然後驅動專職負責資料計算工作的分布任務元件,根據資料量的多少,有選擇地把資料,交給cpu的mmx、sse指令,或者gpu來完成。目前基本的統計情況是,在計算量相等的情況下,gpu相比cpu的計算能力,能夠提高10倍左右。這種提公升,在於gpu獨特的、遠超過cpu核心的眾核架構得以實現。

powerpc:現在laxcus生產環境還沒有這個平台,不是不部署,是能提供powerpc集群平台的企業和公司,在國內沒有,究其原因,是這個平台成本太高,沒有企業和公司肯去負擔這個成本,所以,執行powerpc版本的laxcus大資料系統現在仍然是空置著,只是在我們的測試環境通過和使用著。

x86:這是目前生產環境使用最廣泛的乙個平台,在我們的客戶裡,使用這個系列的晶元型別,從相當早期的pentium iii 圖拉丁,到最新的core、atom都有,可以說是品種相當齊全。x85在生產環境中表現,也是執行最穩定的,很少聽到使用者的抱怨。

arm:arm64的伺服器版本剛推出不久,在我們的企業客戶中還沒有應用,現在客戶使用arm平台的只有arm32一種,所以這裡只說arm32。根據我們的追蹤統計,arm32是目前幾個平台中最不穩定的,不是說晶元有什麼問題,畢竟人家arm公司只做ic設計,晶元成品和內部其它零件都是全球各it廠商做。最初我們的客戶拿arm32的伺服器跑laxcus 1.x版本,經常出現故障,開始以為是軟體造成硬體有什麼問題,後來轉到x86平台執行,卻沒有出現,所以我們只能認為是硬體問題。但是我們仍然深挖了可能出現故障的原因,在laxcus 2.0版本裡,把因為軟體可能造成的故障,比如cpu超載、硬碟io超載、網路流量超載、記憶體溢位,通過invoke/prduce機制實時監控和資源管理,全部進行了限制。目前這些現象再沒有出現,但是arm32的平台仍然故障不斷,雖然laxcus大資料系統有冗錯恢復機制,客戶的資料不會丟失,但是隔三差五的總是讓管理員重啟計算機,也是一件很煩心的事。為此我們專門去客戶現場對arm32平台做了測試,發現問題原因出在主機板上,是主機板品質太次導致,目前這家使用arm平台的使用者已經陸續把伺服器換成x86。

最後說一句,真心希望arm硬體平台廠商重視自己的產品質量!否則你們的客戶真的會流失!

大資料管理

1 資料治理 概念 業務中涉及資料使用的一整套管理行為,如何制定和實施針對整個企業內部資料的商業應用和技術管理的一系列政策和流程.組成部分 元資料管理 主資料管理 大資料質量管理 大資料資產化 大資料共享發布 大資料標準 大資料交換整合 元資料管理 收集元資料,對元資料進行查詢 分析 版本管理 後期...

(四)docker資料管理

在使用docker過程中,往往需要能檢視容器內應用生產的資料,或者需要把容器內的資料進行備份,甚至多個容器之間進行資料的共享,這必然涉及到容器的資料管理操作。容器中管理資料主要有兩種方式 資料卷 data volumes 資料卷容器 data volume container 定義 乙個可供容器使用...

裝置資料管理系統

在工程行業中,普遍存在工程外包的情況,這樣可以使企業業務結構簡化,同時將工程分包給更專業的公司 班組,對於提高工程質量 提公升工程速度 節約工程成本等方面有著不可比擬的優勢。但外包工程的業務流程大多比較繁雜,存在著跨區域 跨公司 跨部門的情況,這些都不利於工程企業的整體管理。一 下面我們來總結下外包...