Flume基礎(四) 企業開發案例(一)

2022-05-07 22:48:24 字數 3047 閱讀 6716

1)案例需求:首先,flume 監控本機 44444 埠,然後通過 telnet 工具向本機 44444 埠發

送訊息,最後 flume 將監聽的資料實時顯示在控制台。

2)需求分析:

3)實現步驟:

1.安裝 telnet 工具

將 rpm 軟 件 包 (xinetd-2.3.14-40.el6.x86_64.rpm 、 telnet-0.17-48.el6.x86_64.rpm 和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software 資料夾下面。執行 rpm 軟體包安裝命令:

[atguigu@hadoop102 software]$ sudo rpm -ivh 

xinetd-2.3.14-40

.el6.x86_64.rpm

[atguigu@hadoop102 software]$ sudo rpm -ivh

telnet-0.17-48

.el6.x86_64.rpm

[atguigu@hadoop102 software]$ sudo rpm -ivh

telnet-server-0.17-48.el6.x86_64.rpm

2.判斷 44444 埠是否被占用 

[atguigu@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444
功能描述:netstat 命令是乙個監控 tcp/ip 網路的非常有用的工具,它可以顯示路由表、實際的網路連線以及每乙個網路介面裝置的狀態資訊。

基本語法:netstat [選項]

選項引數:

-t 或--tcp:顯示 tcp 傳輸協議的連線狀況;

-u 或--udp:顯示 udp 傳輸協議的連線狀況;

-l 或--listening:顯示監控中的伺服器的 socket;

-p 或--programs:顯示正在使用 socket 的程式識別碼和程式名稱;

3.建立 flume agent 配置檔案 flume-telnet-logger.conf

在 flume 目錄下建立 job 資料夾並進入 job 資料夾。 

[atguigu@hadoop102 flume]$ mkdir job

[atguigu@hadoop102 flume]$ cd job/

在 job 資料夾下建立 flume agent 配置檔案 flume-telnet-logger.conf。 

[atguigu@hadoop102 job]$ touch flume-telnet-logger.conf
在 flume-telnet-logger.conf 檔案中新增如下內容。 

[atguigu@hadoop102 job]$ vim flume-telnet-logger.conf
新增內容如下: 

4. 先開啟 flume 監聽埠

[atguigu@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name 

a1 --conf-file job/flume-telnet-logger.conf

-dflume.root.logger=info,console

引數說明:

--conf conf/ :表示配置檔案儲存在 conf/目錄

--name a1

:表示給 agent 起名為 a1

--conf-file job/flume-telnet.conf :flume 本次啟動讀取的配置檔案是在 job 資料夾下的 flume-telnet.conf 檔案。

-dflume.root.logger==info,console : -d 表 示 flume 運 行 時 動 態 修 改

flume.root.logger 引數屬性值,並將控制台日誌列印級別設定為 info 級別。日誌級別包括:log、info、warn、error。 

5.使用 telnet 工具向本機的 44444 埠傳送內容 

6.在 flume 監聽頁面觀察接收資料情況

Flume基礎(六) 企業開發案例(三)

1 案例需求 使用 flume 監聽整個目錄的檔案 2 需求分析 3 實現步驟 1 建立配置檔案 flume dir hdfs.conf 建立乙個檔案 atguigu hadoop102 job touch flume dir hdfs.conf開啟檔案 atguigu hadoop102 job ...

Hive UDF開發案例

bin hive中操作 臨時函式的使用 add jar home hadoop lib train 1.0 snapshot.jar 將上傳的jar包匯入到classpath變數裡 list jars 檢視匯入的jar包 create temporary function say hello as ...

移動端開發案例

touchstart touchmove touchend 可以實現拖動元素 但是拖動元素需要當前手指的座標值 我們可以使用 targettouches 0 裡面的pagex 和 pagey 移動端拖動的原理 手指移動中,計算出手指移動的距離。然後用盒子原來的位置 手指移動的距離 手指移動的距離 手...