storm目錄結構及在zk中的目錄結構

2021-08-05 19:22:57 字數 2538 閱讀 7176

@(storm)[storm]

二supervisor中的目錄結構

二storm在zookeeper中的資訊

/home/data/storm/nimbus目錄有2個子目錄

inbox stormdist

2個jar包

ls inbox/

stormjar-32a7ece3-30f6-46b0-a85a-f8a6d7bedd4b.jar stormjar-9d203ae1-55e3-46aa-a503-e0f64dc77850.jar

與supervisro相同,見下面。

/home/data/storm目錄下有3個目錄

supervisor  workers  workers-users
就是supervisor的一些資訊,包括拓撲的jar包等

$ tree

.|-- isupervisor

| |-- 1448866045210

| `-- 1448866045210.version

|-- localstate

| |-- 1448867673421

| |-- 1448867673421.version

| |-- 1448867676421

| |-- 1448867676421.version

| |-- 1448867677289

| |-- 1448867677289.version

| |-- 1448867677292

| `-- 1448867677292.version

|-- stormdist

| |-- ma321-13-1448866092

| | |-- stormcode.ser

| | |-- stormconf.ser

| | `-- stormjar.jar

| `-- test-9-1448861412

| |-- stormcode.ser

| |-- stormconf.ser

| `-- stormjar.jar

`-- tmp

stormdist目錄是nimbus分發過來的**、配置及jar包。

nimbus的stormdist目錄下也有相同的目錄,內容也一樣。不同之處是nimbus有全部拓撲的內容,而supervisor只有分配到的拓撲的內容。

stormjar.jar是topo的**jar包。

stormcode.ser是拓撲的序列化檔案,包括拓撲的各個元件的詳細資訊與它們之間的關係。

stormconf.ser是topo的配置資訊

worker-users裡面有一些空檔案,這些檔案的名字就是worker的id,如

ls -l workers-users/

total 0

-rw-r--r-- 1 hadoop hadoop 0 11月 30 14:48 917efffc-2ee6-4392-b365-06bc3a846a4c

-rw-r--r-- 1 hadoop hadoop 0 11月 30 14:50 fee027e3-a737-4f49-9c85-da5bb4acc43c

workers裡面則是每個worker的一些資訊,如心跳與pid的記錄

total 8

drwxr-xr-x 4 hadoop hadoop 4096 11月 30 14:48 917efffc-2ee6-4392-b365-06bc3a846a4c

drwxr-xr-x 4 hadoop hadoop 4096 11月 30 14:50 fee027e3-a737-4f49-9c85-da5bb4acc43c

注意這些是目錄,這些目錄下的內容如下:

ls 917efffc-2ee6-4392-b365-06bc3a846a4c/

heartbeats pids

因此,當在worker目錄定位到乙個worker,但想要啟動這個worker,卻在supervisor目錄中找不到對應的內容,因此啟動失敗。

storm在zookeeper中有以下6個目錄(預設在/storm下)

/assignments -> 任務分配資訊

/storms -> 正在執行的topology的id

/supervisors -> 所有的supervisors的心跳資訊

/workerbeats -> 所有的worker的心跳

/errors -> 產生的出錯資訊

/credentials ->認證資訊

任務的分配資訊,supervisor會不斷的讀取這裡的資訊,看有沒有被分配的任務需要處理。

正在執行的拓撲id

所有的supervisors的心跳資訊

每個worker的心跳資訊

錯誤資訊, ui即通過在這裡讀取資訊來顯示

認證資訊

canal 在ZK 中的目錄

otter canal canal的根目錄 otter canal cluster 整個canal server的集群列表 otter canal destinations destination的根目錄 otter canal destinations dest1 running 服務端當前正在提...

zookeeper在storm集群中的應用

1.心跳檢測,儲存supervisor和worker的心跳 包括它們的狀態 使得nimbus可以監控整個集群的狀態,從而重啟一些掛掉的worker 2.提交任務 3.儲存整個集群的所有狀態資訊,供ui顯示 4.storm在zk上的儲存結構 storm在zookeeper上的根目錄 預設為 storm...

Linux中的目錄結構

bin 存放二進位制的可執行檔案 ls cat mkdir etc 存放系統管理和配置檔案 home 存放所有使用者檔案的根目錄 root 超級管理員的主目錄 usr 存放系統中安裝的應用程式 opt 安裝的可選應用包,比如tomact等 proc 虛擬檔案目錄,是系統記憶體的對映,其中包含了系統的...