了解乙個框架就去它的官網上看
使用：使用flume的關鍵就是寫配置檔案
a) 配置source
b) 配置channel
c) 配置sink
d) 把它們串聯起來
netcat source +memory channel +logger sink
# name the components on this agent 定義這個agent名稱為a1,sources,sinks,channels名稱為r1,k1,c1
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# describe/configure the source
a1.sources.r1.type = netcat 描述source的型別，網路傳輸則用netcat,指定的，不要寫netdog....
a1.sources.r1.bind = 192.168.240.131
a1.sources.r1.port = 44444
# describe the sink
a1.sinks.k1.type = logger sinks型別
# use a channel which buffers events in memory
a1.channels.c1.type = memory channel型別
# bind the source and sink to the channel 將三個元件組裝起來
a1.sources.r1.channels = c1 source可以傳輸不同的channel所以帶了s
a1.sinks.k1.channel = c1 而sink上游只能鏈結乙個channel
在另一邊的控制台
event: body: 64 73 64 61 64 0d dsdad. }event=可選的header+byte array
Flume的使用一 從指定埠採集資料傳送到工作台
1.寫配置檔案 1 配置source 2 配置channel 3 配置sink 4 串聯三個元件 a1 agent的名稱 r1 source的名稱 k1 sink的名稱 c1 channel的名稱 agent的定義 a1.sources r1 a1.sinks k1 a1.channels c1 描...
採集資料小總結
採集過程遇到的問題 1.十分鐘內訪問資料頁面,需要輸入驗證碼 2.每天ip限定訪問五十個以內,用完則明天再來 b 剛開始的解決辦法 b 去抓取網上提供的 ip 埠,然後 訪問 問題 ip好多不能用,需要 ip個數較多,然後還要根據採集 的規則設定,比如十分鐘內每個 訪問規則數量 1,之後再次訪問.b...
AD採集資料 UDP上傳
fpga通過udp進行資料的上傳，目前實驗室用的方法是 一.通過wireshark抓udp包 二.用python進行資料的轉換 udp資料報16進製制 10bit整數 三.用matlab對10bit整數進行分析 上述第二步的具體轉換步驟如下 1.將udp的包轉成hex格式，以byte為單位對每乙個b...