就是在計算開始前已知所有輸入資料，輸入資料不會產生變化，一般計算量級較大，計算時間也較長。例如今天早上一點，把昨天累積的日誌，計算出所需結果。最經典的就是hadoop的mapreduce方式；
一般是根據前一日的資料生成報表，雖然統計指標、報表繁多，但是對時效性不敏感。從技術操作的角度，這部分屬於批處理的操作。即根據確定範圍的資料一次性計算。
輸入資料是可以以序列化的方式乙個個輸入並進行處理的，也就是說在開始的時候並不需要知道所有的輸入資料。與離線計算相比，執行時間短，計算量級相對較小。強調計算過程的時間要短，即所查當下給出結果。
主要側重於對當日資料的實時監控，通常業務邏輯相對離線需求簡單一下，統計指標也少一些，但是更注重資料的時效性，以及使用者的互動性。
從技術操作的角度，這部分屬於流處理的操作。根據資料源源不斷地到達進行實時的運算。
Hadoop（三） 大資料離線計算與實時計算
分享一下我老師大神的人工智慧教程吧。零基礎，通俗易懂！風趣幽默！1 mapreduce是處理hdfs上的資料 2 mapreduce的思想 是pagerank 搜尋排名 原理是進行分布式計算。如上圖，網頁跳轉中，訪問網頁3的次數最多，也就是權重最大的為網頁3。比如京東 中給推薦的商品，就是近期訪問的...
第四課記錄 離線計算與實時計算
1 舉例 1 電商 商品推薦 問題1 大量的訂單如何儲存？問題2 大量的訂單如何計算？2 天氣預報 問題1 大量的天氣資料如何儲存？問題2 大量的天氣資料如何計算？2 大資料解決核心問題 1 資料的儲存 解決 分布式的檔案系統 儲存資料 hdfs hadoop distributed file sy...
Spark Streaming實時計算框架介紹
隨著大資料的發展，人們對大資料的處理要求也越來越高，原有的批處理框架mapreduce適合離線計算，卻無法滿足實時性要求較高的業務，如實時推薦 使用者行為分析等。spark streaming是建立在spark上的實時計算框架，通過它提供的豐富的api 基於記憶體的高速執行引擎，使用者可以結合流式 ...