實現步驟：
安裝jdk，1.6版本以上
上傳flume的安裝包
解壓安裝
在conf目錄下，建立乙個配置檔案，比如：template.conf（名字可以不固定,字尾也可以不固定）
#配置agent a1 的元件
a1.sources=r1
a1.channels=c1 (可以配置多個，以空格隔開，名字自己定）
a1.sinks=s1 (可以配置多個，以空格隔開，名字自己定）
#描述/配置a1的r1
a1.sources.r1.type=netcat (netcat表示通過指定埠來訪問)
a1.sources.r1.bind=0.0.0.0 (表示本機)
a1.sources.r1.port=44444 （指定的埠，此埠不固定，但是不要起衝突）
#描述a1的s1
a1.sinks.s1.type=logger (表示資料匯聚點的型別是logger日誌）
#描述a1的c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactioncapacity=100
#位channel 繫結 source和sink
a1.sources.r1.channels=c1 （乙個source是可以對應多個通道的）
a1.sinks.s1.channel=c1 (乙個sink,只能對應乙個通道）
進入flume的bin目錄
執行：./flume-ng agent -n a1 -c ../conf -f ../conf/template.conf -dflume.root.logger=info,console
如果出現上圖所示，證明配置和啟動成功
7.通過nc來訪問：
nc localhost 44444
hello flume
或者：通過外部http請求訪問對應的ip和埠
比如：啟動命令解釋
20 大資料 hive資料格式
hive支援原子和複雜資料型別。原子資料型別包括數值型 布林型 字串型別和時間戳型別。複雜資料型別包括陣列 對映和結構 hive會為每個建立的資料庫在hdfs上建立乙個目錄，該資料庫的表會以子目錄形式儲存，表中的資料會以表目錄下的檔案形式儲存。對於default資料庫，預設的預設資料庫沒有自己的目錄...
大資料學習之路53 flume使用示例
因為flume是面對各種場景的，所以當我們面對具體場景的時候，我們需要提供一套配置檔案。告訴他source用哪一種，channel用哪一種，sink用哪一種。我們知道source用哪一種之後還要告訴他檔案在 sink也是，比如我們要往hdfs中存，我們要告訴他實現類用hdfs，接著hdfs的實現類需...
大資料的學習總結（2） 大資料基礎知識
現在全球資料量以每年60 的速度增長，預計2020年，資料量將進入zb時代。而大資料的應用又十分的廣泛，無論是在學術研究 生產實踐 公司戰略 國家治理等各個方面都具有非同尋常的意義。因此對大資料的學習和研究是必不可少的。大資料的核心目標 利用好資料實現大資料的高效儲存管理和 值的挖掘分析 大資料三層...