大資料學習3之初識實時流處理

2021-10-20 16:26:44 字數 475 閱讀 4561

五、實時流處理框架對比

六、實時流處理架構與技術選型

七、實時流處理在企業中的應用

離線:hdfs 歷史資料,資料量比較大

實時:訊息佇列(kafka) 實時新增、修改記錄過來的某一筆資料

離線:mapreduce : map+reduce

實時:spark(dstream/ss)

離線:慢

實時:快

離線:啟動+銷毀

實時:7*24

apache storm :真的實時(常用)

apache spark streaming :微小的批處理(常用)

ibm stream

yahoo!s4

linkedin kafka

apache flink:實時流,離線批處理

大資料系列 Spark學習筆記之初識Spark

不完全對 因為我們只能使用spark core代替mr做離線計算,資料的儲存還是要依賴hdfs spark hadoop的組合,才是未來大資料領域最熱門的組合,也是最有前景的組合!容易使用 一站式解決方案 可以執行在任意的平台 只提供兩個操作,map和reduce,表達力欠缺 乙個job只有map和...

css3學習系列之初識 transform 一

一 transform是哈?從字面意思來看 transform的含義是 改變,使 變形 轉換,對 沒錯 就是變形 變形當有 放大縮小 東倒 西歪,剛好css3中 transform 也出這個 放幾個類似詞 transform rotate 旋轉 乙個東西你想旋轉多少度 就是多少 rotate 它的方...

大資料入門學習(一) 初識大資料

大資料的定義 大資料 big data 又稱為巨量資料,指需要新處理模式才能具有更強的決策力 洞察力和流程優化能力的海量 高增長率和多樣化的資訊資產。大資料技術,是指從各種各樣型別的資料中,快速獲得有價值資訊的能力。適用於大資料的技術,包括大規模並行處理 mpp 資料庫,資料探勘電網,分布式檔案系統...