Storm kafka flume運維命令

2021-07-05 00:20:59 字數 2031 閱讀 4149

#h0和h1上分別執行

zkserver.sh start

#檢視zookeeper狀態

zkserver.sh status

#h0上執行

nohup storm nimbus &

nohup storm ui &

#h1和h2上執行

nohup storm supervisor &

#h0上執行

start-dfs.sh

#h0上啟動kafka服務,啟動兩個broker

nohup kafka-server-start.sh $kafka_home/config/server1.properties &

nohup kafka-server-start.sh $kafka_home/config/server1.properties &

#查詢所有topic

kafka-topics.sh --list --zookeeper h0:2181

#建立乙個topic

kafka-topics.sh --create --zookeeper h0:2181 --replication-factor 1 --partitions 1 --topic test

#啟動訊息生產者

kafka-console-producer.sh --broker-list h0:9092 --topic test

#啟動訊息消費者

kafka-console-consumer.sh --zookeeper h0:2181 --topic test --from-beginning

刪除kafka中的topic,這裡介紹一下在zookeeper中如何刪除。執行zkcli.sh,命令就看圖吧:

1. 啟動flume命令
flume-ng agent -c

$flume_conf_dir

-f$flume_conf_dir/hdfs.conf --name a1 -dflume

.root.logger=info,console

2. flume簡單配置,其他配置可以到使用者手冊中查詢
# example.conf: a single-node flume configuration

# name the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# describe/configure the source

a1.sources

.r1.type = netcat

a1.sources

.r1.bind = localhost

a1.sources

.r1.port = 44444

# describe the sink

a1.sinks

.k1.type = logger

# use a channel which buffers events in memory

a1.channels

.c1.type = memory

a1.channels

.c1.capacity = 1000

a1.channels

.c1.transactioncapacity = 100

# bind the source and sink to the channel

a1.sources

.r1.channels = c1

a1.sinks

.k1.channel = c1

運維(1)什麼是運維

運維,這裡指網際網路運維,通常屬於技術部門,與研發 測試 系統管理同為網際網路產品技術支撐的4大部門,這個劃分在國內和國外以及大小公司間都會多少有一些不同。乙個網際網路產品的生成一般經歷的過程是 產品經理 需求分析 研發部門開發 測試部門測試 運維部門部署發布以及長期的執行維護。對於初創公司,運維部...

初級運維個人運維筆記

實時抓取並顯示當前系統中tcp 80埠的網路資料資訊,請寫出完整操作命令 tcpdump nn tcp port 80 如何重置mysql root密碼?一 在已知mysql資料庫的root使用者密碼的情況下,修改密碼的方法 1 在shell環境下,使用mysqladmin命令設定 mysqladm...

運維 運維知識體系(運維體系化成長)

運維標準化 工具化服務化 api 智慧型化自動化縮容 縮容服務降級 故障自癒 基於itil的運維管理體系 監控概述 快取應用運維 專案上線 服務部署 業務部署 版本管理 灰度發布 應用監控 安全運維 安全寶 整體安全方案 規範 漏洞監測 安全防護 監控運維 7x24 故障處理 系統運維 阿里雲 分布...