flume原始碼閱讀 總體介紹

2021-06-29 13:31:45 字數 713 閱讀 9674

flume是cloudera提供的乙個高可用的,高可靠的,分布式的海量日誌採集、聚合和傳輸的系統,flume支援在日誌系統中定製各類資料傳送方,用於收集資料;同時,flume提供對資料進行簡單處理,並寫到各種資料接受方(可定製)的能力。

對於怎樣去讀原始碼,仁者見仁,智者見智,下面僅僅陳述一下我的方法:

這裡分為兩種情況:

對於自己不熟悉的框架,比如這次的flume,首先看一下user guide 了解一下這個框架是幹什麼用的,大概會是怎麼去使用, 然後去自己嘗試一下怎麼使用

flume的整體是有3個大的元件構成:

1. source: 完成資料的收集,將散落在各個業務系統中資料傳送到channel中

2. channel: 類似乙個queue的作用,對source過來的資料進行暫時的快取, 也提供了乙個事務容器

3. sink :對資料進行處理,將其放入到hdfs或hbase或者還可以再放入source中

flume的**結構相對來說還是比較清晰的,各個功能模組都分布在不同的package中:

下面簡單介紹一下各個包的作用:

Eureka原始碼總體介紹

在 在 spring cloud netflix構建起來很簡單,執行 mvn clean package,耐心等待即可。二 eureka 官方原始碼 結構 1 eureka模組結構 2 eureka core模組 eureka core 模組包含了功能的核心實現 com.netflix.eureka...

《原始碼閱讀》原始碼閱讀技巧,原始碼閱讀工具

檢視某個類的完整繼承關係 選中類的名稱,然後按f4 quick type hierarchy quick type hierarchy可以顯示出類的繼承結構,包括它的父類和子類 supertype hierarchy supertype hierarchy可以顯示出類的繼承和實現結構,包括它的父類和...

原始碼閱讀 Glide原始碼閱讀之with方法(一)

前言 本篇基於4.8.0版本 原始碼閱讀 glide原始碼閱讀之with方法 一 原始碼閱讀 glide原始碼閱讀之load方法 二 原始碼閱讀 glide原始碼閱讀之into方法 三 大多數情況下,我們使用glide 就一句 但是這一句 裡面蘊含著成噸的 with方法有以下幾個過載方法 publi...