與集群相關的linux使用

2021-10-14 09:43:40 字數 1077 閱讀 9593

啟動

在三颱機器上啟動zookeeper

./zkserver.sh start

在01執行start-dfs.sh

在01執行start-yarn.sh

關閉在01執行stop-yarn.sh

在01執行stop-dfs.sh

在三颱機器上關閉zookeeper

./zkserver.sh stop

先啟動zookeeper,再啟動kafka,zookeeper在kafka裡有自帶的,如果要使用需要進行配置。

三颱機器都 bin/kafka-server-start.sh config/server.properties

開啟話題 bin/kafka-topics.sh --create --zookeeper ha3vm01:2181 --replication-factor 3 --partitions 1 --topic myto

啟動生產者 bin/kafka-console-producer.sh --broker-list ha3vm01:9092 --topic myto

啟動消費者 bin/kafka-console-consumer.sh --zookeeper ha3vm01:2181 --from-beginning --topic myto

執行jar

hadoop jar hadoopt.jar fl5point1.streamcompressor org.apache.hadoop.io.compress.gzipcodec

hadoop fs -mkdir /directory

hadoop fs -ls /

$ echo "text" | hadoop fl5point1.streamcompressor org.apache.hadoop.io.compress.gzipcodec \ | gunzip

error: could not find or load main class fl5point1.streamcompressor

(不知道為什麼,過幾天搞搞shell看看為什麼)

alt + p進入

傳向集群

put c:/hadoopt.jar

Zookeeper集群的安裝與使用

使用命令tar zxvf zookeeper 3.4.14.tar.gz c opt module 解壓檔案。看個人習慣將檔案解壓到自己的路徑即可。題外話 linux專案大多通過專門的使用者建立並管理,這裡的hadoop使用者在 opt目錄下建立了module和software兩個子目錄,並使用su...

搭建與使用redis集群

redis集群中至少應該有三個節點。要保證集群的高可用,需要每個節點有乙個備份機。redis集群至少需要 6臺伺服器。搭建偽分布式。可以使用一台虛擬機器執行6個 redis 例項。需要修改 redis 的埠號 7001 7006 1 使用 ruby 指令碼搭建集群。需要 ruby 的執行環境。安裝r...

Linux串列埠相關使用

1 列出所有的串列埠裝置 ls l dev ttyusb 2 列出所有的外設 ll dev 3 顯示裝置的詳細資訊 lsusb vvv 4 簡歷軟連線 簡歷規則檔案 x.rules kernel ttyusb attrs 10c4 attrs ea60 mode 0777 symlink rplid...