大資料時代 雲架構

2021-06-17 15:55:28 字數 2170 閱讀 9523

關於大資料的資訊鋪天蓋地而來,讓大家看得眼花繚亂。雖然資訊很精彩,我們也看到了大資料背後的價值,但普遍不知道如何下手。

yonghong認為,在乙個企業中,超出現有計算機系統處理能力的資料,就是大資料。作為領軍企業,應本著務實的態度,利用較低的成本,通過對大資料進行高速捕獲和實時的分析,以獲取核心業務和戰略決策所需的關鍵資訊,從而提公升企業經營管理和戰略決策水平,最終創造巨大的商業價值,才是對大資料價值的最好詮釋。

大資料正在成為從工業經濟向知識經濟轉變的重要特徵,已經成為新時代最關鍵的生產要素和產品形態。資料庫時代之後,隨著可用資料的持續積累,各行業的領軍企業逐步開始了資料價值的發現之旅,尤其是在電信、金融、保險、網際網路等it建設比較領先的行業,商業智慧型系統(bi)的建設已然比較完善,並在日常經營和戰略決策中發揮著重要的作用。

這一階段的商業智慧型系統,一般是以資料倉儲+olap為主,各種報表展現系統為輔。

資料倉儲的目的是構建面向分析的整合化資料環境,為企業提供決策支援(decision ******)。資料倉儲本身並不生產任何資料,它的資料**於外部,並且開放給外部應用,因此資料倉儲的基本架構主要包含的是資料流入流出的過程,可以分為三層:源資料、資料倉儲、資料應用。

olap就是最常見的一種資料應用。

olap以多維度方式分析資料,它提供積存(roll-up)、下鑽(drill-down)、樞紐分析(pivot)等操作,呈現整合性決策資訊的方法。它主要的功能,在於方便大規模資料分析及統計,對決策提供參考和支援。

一般地,傳統資料倉儲能夠儲存大資料,但並不提供針對大資料的分析和統計功能,因此,在開發olap這種資料應用時,需要使用者預先提出的分析及統計的需求,再預先計算好這些主觀的分析及統計的結果,才能確保olap系統的實時互動能力。

yonghong在大資料、分布式計算、資料分析等領域具備核心競爭力、自主創新並擁有多項發明專利。yonghong研發團隊推出的商業智慧型平台z-suite,是由一系列基於mpp架構的商業智慧型產品組成。

z-suite是發現型的商業智慧型產品,她具備豐富的資料分析能力。當使用者訪問資料應用的時候,如果看到商業活動的異常或者變化時,除了資料展現,我們更需要的是能夠通過即席的、深入的分析以獲取現象背後的深層次原因。基於z-suite,使用者可以不斷地與資料對話(talk),深入分析資訊(analyze),直到得到滿意的答案。

z-suite具有高效能的大資料分析能力,她完全摒棄了向上公升級(scale-up),全面支援橫向擴充套件(scale-out)。z-suite主要通過以下核心技術來支撐pb級的大資料:

跨粒度計算(in-database computing)

z-suite支援各種常見的彙總,還支援幾乎全部的專業統計函式。得益於跨粒度計算技術,z-suite資料分析引擎將找尋出最優化的計算方案,繼而把所有開銷較大的、昂貴的計算都移動到資料儲存的地方直接計算,我們稱之為庫內計算(in-database)。這一技術大大減少了資料移動,降低了通訊負擔,保證了高效能資料分析。

平行計算(mpp computing)

z-suite是基於mpp架構的商業智慧型平台,她能夠把計算分布到多個計算節點,再在指定節點將計算結果彙總輸出。z-suite能夠充分利用各種計算和儲存資源,不管是伺服器還是普通的pc,她對網路條件也沒有嚴苛的要求。作為橫向擴充套件的大資料平台,z-suite能夠充分發揮各個節點的計算能力,輕鬆實現針對tb/pb級資料分析的秒級響應。

列儲存 (column-based)

z-suite是列儲存的。基於列儲存的資料集市,不讀取無關資料,能降低讀寫開銷,同時提高i/o 的效率,從而大大提高查詢效能。另外,列儲存能夠更好地壓縮資料,一般壓縮比在5 -1 0倍之間,這樣一來,資料占有空間降低到傳統儲存的1/5到1/10 。良好的資料壓縮技術,節省了儲存裝置和記憶體的開銷,卻大大了提公升計算效能。

記憶體計算

得益於列儲存技術和平行計算技術,z-suite能夠大大壓縮資料,並同時利用多個節點的計算能力和記憶體容量。一般地,記憶體訪問速度比磁碟訪問速度要快幾百倍甚至上千倍。通過記憶體計算,cpu直接從記憶體而非磁碟上讀取資料並對資料進行計算。記憶體計算是對傳統資料處理方式的一種加速,是實現大資料分析的關鍵應用技術。

yonghong的大資料之道是:大資料,小投入。自主研發的產品系列z-suite力求以低成本投入,從大資料這座金礦裡獲取最大的回報。作為國家重點扶持的創新型高科技企業,yonghong期待著和您攜手,一起去發掘大資料的商業價值,共同走向成功。

大資料時代資料庫 雲HBase架構 生態 實踐

摘要 2018第九屆中國資料庫技術大會,阿里雲高階技術專家 架構師封神 曹龍 帶來題為大資料時代資料庫 雲hbase架構 生態 實踐的演講。主要內容有三個方面 首先介紹了業務挑戰帶來的架構演進,其次分析了apsaradb hbase及生態,最後分享了大資料資料庫的實際案例。現如今大量的中小型公司並沒...

大資料時代的IT架構設計

大資料時代的it架構設計 來自網際網路 銀行等領域的一線架構師先進經驗分享 it架構設計研究組 編著 isbn 978 7 121 22605 2 2014年4月出版 定價 49.00元 208頁 16開 l 一書在手,架構無憂 l 三十位一線架構師真知實踐 l 百位頂級架構師獻計獻策 l 十萬文字...

大資料時代

大資料 巨量資料 big data 指的是需要新處理模式才能具有更強的決策力,洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。4v特點 volume 大量 velocity 高速 variety 多樣 value 價值 資料倉儲,英文名稱為data warehouse,可簡寫為dw或dwh。...