1、配置flume(flume-kafka.conf)
#definea1.sources = r1a1.sinks = k1a1.channels = c1 # sourcea1.sources.r1.type = execa1.sources.r1.command = tail -f -c +0 /opt/module/datas/flume.loga1.sources.r1.shell = /bin/bash -c # sinka1.sinks.k1.type = org.apache.flume.sink.kafka.kafkasinka1.sinks.k1.kafka.bootstrap.servers = hadoop1:9092,hadoop2:9092,hadoop3:9092a1.sinks.k1.kafka.topic = firsta1.sinks.k1.kafka.flumebatchsize = 20a1.sinks.k1.kafka.producer.acks = 1a1.sinks.k1.kafka.producer.linger.ms = 1 # channela1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactioncapacity = 100 # binda1.sources.r1.channels = c1a1.sinks.k1.channel = c1
2、啟動kafkaidea消費者
3、進入flume根目錄下，啟動flume
$ bin/flume-ng agent -c conf/ -n a1 -f jobs/flume-kafka.conf
4、向 /opt/module/datas/flume.log裡追加資料，檢視kafka消費者消費情況
$ echo hello >> /opt/module/datas/flume.log
1、 kafka monitor
5.在/opt/module/kafka-offset-console目錄下建立mobile-logs資料夾
mkdir /opt/module/kafka-offset-console/mobile-logs
6.啟動kafkamonitor
./start.sh2、kafka manager
修改為：
kafka-manager.zkhosts="hadoop102:2181,hadoop103:2181,hadoop104:2181"
4.啟動kafka-manager
bin/kafka-manager
5.登入hadoop102:9000頁面檢視詳細資訊
mysql對接 對接mysql
新建 對接mysql 安裝pymysql 參考 安裝pymysql 在檔案 bianbingdang init py 內寫入如下 import pymysql pymysql.install as mysqldb 修改配置 開啟配置檔案 bianbingdang settings.py 找到如下 d...
Flume（03） Flume採集案例
需求分析 採集需求 某伺服器的某特定目錄 export servers dirfile下，會不斷產生新的檔案，每當有新檔案出現，就需要把檔案採集到hdfs中去。需求分析 通過flume採集資料，最重要的就是配置三大元件。這裡可以通過source來監控檔案目錄。通過channel，來將source採集...
Flume學習筆記（一）Flume 組成架構
本文主要記錄我在學習 flume 過程中的一些知識的整理與記錄，預計會做成乙個系列來梳理一下 flume 中的知識，本篇的主要內容為 flume 的組成架構，文中如有疏漏與不足歡迎指正！flume 是 cloudera 提供的乙個高可用的，高可靠的，分布式的海量日誌採集 聚合和傳輸的系統。flume...