1.流式架構
流式架構在大資料中應用十分廣泛，在傳統大資料架構的基礎上，流式架構非常激進，直接取消了批處理操作，資料全程以資料流的方式進行處理，所以在資料接入端沒有了etl操作，轉而替換為資料通道。而流式架構的優點十分明顯，流式架構的優點就是沒有十分麻煩的etl過程，資料的實效性非常高。當然，流式架構的缺點也是十分明顯的，那就是對於流式架構來說，不存在批處理，因此對於資料的重播和歷史統計無法很好的支撐。對於離線分析僅僅支撐視窗之內的分析。經過流處理加工後的資料，通過訊息中介軟體以訊息的形式直接推送給了消費者。雖然有乙個儲存部分，但是該儲存更多的以視窗的形式進行儲存，所以該儲存並非發生在資料湖，而是在外圍系統。正因為如此，流式架構的適用場景就是預警，監控，對資料有有效期要求的情況。這些就是流式架構的主要內容。
資料親和架構 流式計算
關於計算有很多名詞，比如實時計算 分布式計算，以及這裡提到流式計算等等。他們是從計算形勢的不同維度來描述，不必爭議孰優孰劣。流式計算主要從資料的形態來定義的一種計算方式，顧名思義，這種資料如流水一般，沒有終點。乙個有爭議的特徵的是，流式資料之間是否具有時序性，我贊同流式資料之間應該假定為具有時序性，...
大資料篇 Lambda架構和Kappa架構（上）
在講解之前我們先來看看這個實際的專案。情況是這樣的，乙個正執行著的廣告精準投放業務，且擁有海量的使用者訪問行為。現在需要進行使用者行為分析倆建立乙個模型，然後根據這個模型來投放使用者喜好的廣告。這時你應該想到，我們可以使用批處理架構來完成，沒錯，這確實也是乙個很不錯的選擇。可是你別忘了，批處理架構有...
大資料架構詳解 資料中臺架構下的大資料應用
有了資料中臺，資料在資訊化體系中不再是分散 凌亂 重複的存在，系統可以對資料進行實時的分類 整理 加工，使其成為清晰有序 有條理 有脈絡的有用資訊。這些資料可以進一步分享給業務應用系統以開展資料應用和實現資料變現，結果將通過前端展現系統以多樣化 視覺化的形式展現出來。1 資料中臺徹底消除企業的資訊孤...