大資料筆記之Flume Source

source提供了兩種機制：

pollablesource（輪詢拉取）和eventdrivensource（事件驅動）

source繼承的關係圖

在圖我們可以看到netcatsource，execsource和httpsource屬於事件驅動模型。kafkasource，sequencegeneratorsource和jmssource屬於輪詢拉取模型。

pollablesource實現的**例項

public class mysource extends abstractsource implements configurable, pollablesource 

@override
public void start() 
@override
public void stop () 
@override
public status process() throws eventdeliveryexception catch (throwable t) 
} finally 
return status;
}}

大資料之 Hadoop學習筆記

1 hadoop生態系統 hdfs 分布式檔案系統 hadoop hdfs 2.7.2.jar ambari 安裝部署配置和管理工具 zookeeper分布式協作服務zookeeper 3.5.1.jar hbase實時分布式資料庫hbase server 1.0.2.jar hive資料倉儲hiv...

大資料筆記

分類 利用資料學習模型或得到規則，用於 或者判定乙個輸入所屬的類，或者計算屬於某一類的概率 給定乙個輸入，所產生的輸出是乙個布林值。回歸 y g x w g 模型 w 引數 關鍵 確定損失函式，以及最小化損失函式的過程 梯度下降 隨機梯度下降 批量 梯度下降 給出損失函式f wx 目的是優化w使f ...

大資料技術之kettle 筆記01

kettle 官網 工具 kettle 開源的etl工具 管理來自不同資料庫的資料 有兩種指令碼檔案，transformation和job，transformation完成針對資料的基礎轉換，job則完成整個工作流的控制 spoon 圖形化介面工具 kettle 一部分 4部分 spoon使用測試 ...