2023年大資料真諦 實時分析與批量處理

2021-09-23 01:31:21 字數 1146 閱讀 3684

本文講的是2023年大資料真諦:實時分析與批量處理,全球經濟環境的不景氣直接影響了it系統建設的資金投放。不過,gartner認為「major retardants to it growth will lift」。隨著全球經濟正在更大範圍內復甦,2023年會出現增量。其中,it支出將達到3.7萬億,較2023年將增長4.2%。這比之前所**的3.8%還有增加,由此可見其樂觀態度。此外,全球軟體支出預計降到2960億美元,增加6.4%;熱點技術如安全、儲存管理、客戶關係管理等將驅動更高的增長,而全球電信市場仍然是it最大的消費市場。

在gartner看來,2023年, 「大資料」 分析工具將會被視為一種必要的投資。與此同時,由於基於android的手持裝置的強勢進攻,平板和pc市場都將收到最嚴重的打擊。

▲gartner:全球it預算評估圖

幾乎同一時間,摩根斯坦利也發布了報告。其認為2023年大資料十大最快增速領域是:

·healthcare 醫療

·entertainment 娛樂

·com/media 網際網路/**

·manufacturing 製造業

·financial 金融業

·business services 商業服務

·transportation 運輸業

·web tech web技術

·distribution 通訊

·engineering 工程

所以,美國很多資深技術派人士如jim kaskade的眼中,2023年以下技術元件是必須的:

·real-time stream processing 實時流處理

·ad-hoc near real-time analytics (see nosql and newsql data stores)特別接近實時分析( 基於nosql和newsql的資料儲存)

·batch analytics 批量處理與分析

最重要的是,不是乙個,而是要同時滿足三個方面,才是大資料真諦所在。

對大資料進行實時分析

大資料分析 bda 包括大資料的採集 儲存 分析 展示。而其中分析是bda的關鍵。說到分析,可以分為歷史分析和實時分析。上次我們著重提過了歷史分析,尤其是互動式歷史分析,當然還有批處理式的歷史分析。這次,我們回過頭來再談談實時分析,包括流處理 cep,等等。說到cep,複雜事件處理 complex ...

對大資料進行實時分析

大資料分析 bda 包括大資料的採集 儲存 分析 展示。而其中分析是bda的關鍵。說到分析,可以分為歷史分析和實時分析。上次我們著重提過了歷史分析,尤其是互動式歷史分析,當然還有批處理式的歷史分析。這次,我們回過頭來再談談實時分析,包括流處理 cep,等等。說到cep,複雜事件處理 complex ...

Hadoop(三) 大資料離線計算與實時計算

分享一下我老師大神的人工智慧教程吧。零基礎,通俗易懂!風趣幽默!1 mapreduce是處理hdfs上的資料 2 mapreduce的思想 是pagerank 搜尋排名 原理是進行分布式計算。如上圖,網頁跳轉中,訪問網頁3的次數最多,也就是權重最大的為網頁3。比如京東 中給推薦的商品,就是近期訪問的...